Cloudflare will KI-Crawler vom kostenlosen Web entwöhnen

Worum es geht

Cloudflare hat am 1. Juli 2026 neue Bausteine fuer eine bezahlte Inhaltsnutzung durch KI-Systeme vorgestellt. Das Unternehmen spricht von einem Monetization Gateway und fuehrt die Linie fort, die 2025 mit Pay Per Crawl begann: Webseitenbetreiber sollen KI-Crawler nicht nur blockieren oder kostenlos durchlassen, sondern Geld fuer Zugriff verlangen koennen.

Die neue Richtung ist wichtig, weil KI-Suche und Chatbots Inhalte haeufig nutzen, ohne dass der urspruengliche Anbieter denselben Besucherstrom zurueckbekommt. TechCrunch berichtet, Cloudflare wolle das Modell von Pay Per Crawl in Richtung Pay Per Use erweitern: Bezahlt wuerde dann nicht nur beim Abruf, sondern wenn Inhalt Wert in einem KI-System erzeugt.

Was Cloudflare tatsaechlich macht

Pay Per Crawl nutzt Web-Infrastruktur, die es bereits gibt: HTTP-Statuscodes, Crawler-Erkennung und Zugriffskontrollen. Ein KI-Crawler kann kostenlos erlaubt, blockiert oder gegen Gebuehr zugelassen werden. Cloudflare nutzt dabei unter anderem den lange selten genutzten Statuscode 402 Payment Required.

Das neue Monetization-Gateway soll breiter sein. Laut Cloudflare soll es nicht nur Webseiten, sondern auch Datensaetze, APIs und MCP-Tools hinter Cloudflare monetarisierbar machen. Die Abwicklung soll ueber das x402-Protokoll und Stablecoin-Zahlungen laufen. Ob grosse KI-Anbieter das in relevantem Umfang akzeptieren, ist offen.

Warum das wichtig ist

Das Web lebt davon, dass Menschen Inhalte erstellen, Links folgen und Anbieter ueber Werbung, Abos oder Produkte Geld verdienen. KI-Assistenten veraendern diese Kette. Wenn Nutzer nur noch eine zusammengefasste Antwort lesen, sinkt der Wert des Originalbesuchs. Fuer kleine Publisher ist das existenziell.

Cloudflare sitzt an einer besonderen Stelle: Das Unternehmen schuetzt und beschleunigt einen grossen Teil des Webverkehrs. Wenn es Crawler unterscheiden und Zahlungen technisch erzwingen kann, entsteht ein Marktmechanismus, der nicht nur auf individuellen Lizenzdeals grosser Medienhaeuser beruht.

Einfach erklaert

Stell dir ein Cafe vor, in dem bisher jeder kostenlos Kaffeeproben aus der Kueche holen durfte. Manche Gaeste kamen danach wirklich ins Cafe, andere nahmen nur die Proben mit und verkauften daraus eigene Getraenke. Cloudflare baut jetzt eine Kasse an die Kuechentuer: kostenlos rein, zahlen oder draussen bleiben.

Praktisches Beispiel

Ein Fachblog hat 50.000 Seiten und wird pro Monat 10 Millionen Mal von Bots abgerufen. Wenn mehr als die Haelfte dieser Abrufe unveraenderte Seiten erneut holt, entstehen Bandbreiten- und Serverkosten ohne neuen Leserkontakt. Der Betreiber koennte Suchcrawler kostenlos erlauben, Trainingscrawler blockieren und einem KI-Assistenten 0,002 Dollar pro Abruf berechnen. Bei 1 Million bezahlten Abrufen waeren das 2.000 Dollar, bevor andere Erloesmodelle dazukommen.

Einordnung und Grenzen

Erstens ist ein technisches Zahlungstor kein Urheberrechtsurteil. Es klaert nicht automatisch, welche Nutzung erlaubt ist oder wie Training, Suche und Antwortgenerierung juristisch zu trennen sind.

Zweitens funktioniert das Modell nur, wenn Crawler erkennbar bleiben und grosse Anbieter mitspielen. Aggressive Scraper koennen versuchen, sich zu tarnen oder andere Netze zu nutzen.

Drittens ist der Nutzen fuer Publisher ungleich verteilt. Grosse Marken koennen Preise setzen. Kleine Seiten brauchen einfache Standards, sonst bleibt das Modell zu kompliziert.

SEO- und GEO-Schluesselbegriffe

Cloudflare, Pay Per Crawl, Pay Per Use, x402, AI crawlers, AI bots, publisher monetization, content licensing, web scraping, HTTP 402