cyberivy
Crawl4AIWeb ScrapingRAGAI AgentsOpen Source AIDeveloper ToolsMCPData Extraction

Crawl4AI macht Webseiten zu sauberem Markdown für KI Agenten und RAG

18. November 2026

Hellbeiges Banner mit dem grünen Crawl4AI Cloud Logo oben links, großer dunkler Schrift links und rechts einer weißen Karte mit der Zeile POST /scrape, grauen und grünen Balken als Platzhalter für Text und der Statuszeile 200 OK Markdown

Die Open Source Bibliothek Crawl4AI liefert Webinhalte als Markdown oder JSON für Sprachmodelle. Version 0.9.5 vom 14. Oktober 2026 schließt sechs Lücken im Docker Server.

Worum es geht

Crawl4AI ist eine Open Source Bibliothek in Python, die Webseiten in sauberes Markdown oder strukturiertes JSON verwandelt, damit Sprachmodelle, Suchsysteme mit Abruf (RAG) und KI Agenten damit arbeiten können. Das Projekt liegt auf GitHub unter unclecode/crawl4ai, wurde im Mai 2024 angelegt, steht unter Apache 2.0 und hatte am 17. November 2026 rund 87.500 Sterne.

Warum gerade jetzt: Am 14. Oktober 2026 erschien Version 0.9.5, laut Changelog ausdrücklich eine Sicherheitsversion für den selbst betriebenen Docker Server. Parallel bietet das Team mit Crawl4AI Cloud eine gehostete Variante an. Wer das Werkzeug nutzt oder einsetzen will, muss deshalb zwei Fragen neu beantworten: Wie aktuell ist mein eigener Server, und lohnt sich die Cloud?

Was Crawl4AI tatsächlich macht

Crawl4AI steuert einen echten Browser über Playwright (Chromium, Firefox oder WebKit), lädt eine Seite inklusive JavaScript und gibt den Inhalt als Markdown mit Überschriften, Tabellen und Codeblöcken zurück. Filter wie BM25 oder ein Pruning Filter entfernen Menüs, Fußzeilen und anderen Ballast, damit weniger Text an das Sprachmodell geht. Links landen auf Wunsch als nummerierte Quellenliste am Ende.

Für strukturierte Daten gibt es zwei Wege: Schemata mit CSS oder XPath Selektoren, die ganz ohne Sprachmodell laufen, oder eine Extraktion über ein frei wählbares Modell, auch ein lokales. Dazu kommen Tiefencrawls (Breitensuche, Tiefensuche oder nach Relevanz) mit Wiederaufnahme nach einem Absturz, ein adaptiver Crawler, der aufhört, sobald er genug zu einer Frage gesammelt hat, Screenshots, PDFs, Proxys, Sitzungen mit gespeicherten Logins und ein Kommandozeilenwerkzeug namens crwl.

Als Docker Server stellt Crawl4AI eine REST API, ein Dashboard, einen Playground und einen MCP Endpunkt bereit. Seit Version 0.9.0 verlangt jeder Endpunkt ein Token. Die Cloud bietet dieselbe Engine über einen API Schlüssel und ergänzt Websuche, eine Google Ergebnisseite als Daten (Beta) und eine experimentelle Antwortfunktion.

Warum das wichtig ist

Wer Sprachmodelle mit aktuellen Webinhalten füttert, scheitert selten am Modell, sondern an schmutzigem Eingabetext: Cookie Banner, Navigation, doppelte Absätze. Crawl4AI setzt genau dort an und lässt sich komplett auf eigener Infrastruktur betreiben, ohne Seiten durch einen fremden Dienst zu schicken. Das ist für Teams mit Datenschutzanforderungen ein echter Unterschied.

Der unabhängige Test von Geekflare (aktualisiert am 19. Oktober 2026, Version 0.9.5) nennt es die vollständigste kostenlose Option für Markdown und JSON aus Webseiten. Im Test war der Server nach 74 Sekunden einsatzbereit, brauchte im Leerlauf 538 MB Arbeitsspeicher und crawlte 50 Seiten in 13 Sekunden mit einer Spitze von 644 MB. Die Dokumentation empfiehlt trotzdem 4 GB RAM und 1 GB Shared Memory für den Container.

Die Version 0.9.5 schließt laut Changelog sechs koordiniert gemeldete Schwachstellen im Docker Server, darunter eine SSRF Lücke, JavaScript Einschleusung über css_selector und wait_for, ReDoS durch eingeschleuste reguläre Ausdrücke und einen Chromium Start ohne Zertifikatsprüfung. Wer den Server selbst betreibt, sollte aktualisieren.

Einfach erklärt

Stell dir vor, du schneidest Rezepte aus Zeitschriften aus. Zwischen den Zutaten stehen Anzeigen, Gewinnspiele und Leserbriefe. Crawl4AI ist die Schere, die nur das Rezept ausschneidet und es ordentlich auf eine Karteikarte klebt, damit dein Kochassistent nicht versehentlich die Anzeige für Waschmittel mitliest.

Praktisches Beispiel

Ein Onlinehändler mit 12 Mitarbeitenden will seinen Support Chatbot mit der eigenen Hilfeseite füttern: rund 400 Artikel, die sich jede Woche ändern. Das Team startet den Docker Server auf einem vorhandenen Server mit 8 GB RAM und lässt jeden Sonntag einen Tiefencrawl mit maximaler Tiefe 3 laufen. Mit Fit Markdown schrumpft jede Seite deutlich, weil Navigation und Fußzeile entfallen. Die Ergebnisse landen in der Vektordatenbank des Chatbots.

Für die Preisliste der Konkurrenz nutzt das Team dagegen ein CSS Schema, das Produktname und Preis als JSON ausgibt, ohne ein Sprachmodell zu bezahlen. Erst wenn eine Seite so verschachtelt ist, dass Selektoren brechen, schaltet es auf die Extraktion mit einem lokalen Modell um. Ein sinnvoller erster Test: zehn eigene Seiten durch crwl URL -o markdown schicken und das Ergebnis mit dem Original vergleichen.

Einordnung und Grenzen

  • Recht und Fairness: Crawl4AI bringt einen Stealth Modus und Werkzeuge gegen Bot Erkennung mit. Ob ein Crawl erlaubt ist, entscheiden Nutzungsbedingungen, Urheberrecht und bei personenbezogenen Daten die DSGVO. Das Werkzeug nimmt diese Prüfung niemandem ab.
  • Betrieb und Sicherheit: Der Docker Server ist ein Dienst, der fremde Seiten lädt und Eingaben verarbeitet. Sechs Sicherheitsmeldungen in einer Version zeigen, dass er gepflegt werden muss. Das Image ist laut Geekflare 8,2 GB groß; ohne Token sollte er nie erreichbar sein.
  • Reifegrad und Kosten: Das Paket ist auf PyPI als Beta eingestuft. Proxys und Schlüssel für Sprachmodelle bringt man im Eigenbetrieb selbst mit. Die Cloud läuft laut eigener Dokumentation als Soft Launch, Preise und freies Kontingent können sich noch ändern. Laut Geekflare ergänzt die LICENSE Datei Apache 2.0 um eine Bitte um Namensnennung; das sollte man vor kommerzieller Nutzung prüfen.

SEO- und GEO-Schlüsselbegriffe

Crawl4AI, Crawl4AI Cloud, unclecode, Web Crawler für LLMs, Markdown für RAG, Web Scraping Python, Playwright, MCP Server, strukturierte Datenextraktion, Open Source Crawler, Docker Self Hosting, KI Agenten Webzugriff

💡 Im Klartext

Crawl4AI lädt Webseiten wie ein Browser und gibt nur den eigentlichen Inhalt als ordentlichen Text oder als Tabelle zurück. Das spart Sprachmodellen Arbeit und Kosten. Man kann es kostenlos selbst betreiben oder gegen Credits als Cloud Dienst nutzen.

Wichtigste Erkenntnisse

  • →Crawl4AI ist eine Python Bibliothek unter Apache 2.0, die Webseiten in Markdown oder JSON für Sprachmodelle umwandelt.
  • →Version 0.9.5 vom 14. Oktober 2026 schließt sechs Sicherheitslücken im selbst betriebenen Docker Server.
  • →Strukturierte Daten lassen sich mit CSS oder XPath Schemata ganz ohne Sprachmodell extrahieren.
  • →Der Docker Server bietet REST API, Dashboard und MCP Endpunkt und verlangt seit Version 0.9.0 ein Token.
  • →Crawl4AI Cloud startet mit 1.000 freien Credits pro Monat, bezahlte Pläne beginnen laut Dokumentation bei 10 US Dollar.
  • →Rechtliche Fragen zu Nutzungsbedingungen, Urheberrecht und DSGVO bleiben beim Nutzer.

Häufige Fragen

Ist Crawl4AI kostenlos?

Die Bibliothek und der Docker Server sind kostenlos unter Apache 2.0, Infrastruktur, Proxys und Modellschlüssel zahlt man selbst. Die Cloud bietet 1.000 freie Credits im Monat, bezahlte Pläne beginnen bei 10 US Dollar; die Preise gelten laut Anbieter noch als Soft Launch.

Brauche ich ein Sprachmodell, um Daten zu extrahieren?

Nein. Mit CSS oder XPath Schemata funktioniert die Extraktion ohne Modell. Ein Sprachmodell, auch ein lokales, ist nur für Seiten nötig, bei denen feste Selektoren nicht reichen.

Muss ich nach Version 0.9.5 etwas tun?

Wer den Docker Server selbst betreibt, sollte auf 0.9.5 oder neuer aktualisieren, weil diese Version sechs gemeldete Schwachstellen schließt. Reine Nutzer der Python Bibliothek sollten den Changelog auf ihre Konfiguration prüfen.

Welche Hardware braucht der Docker Server?

Die Dokumentation empfiehlt mindestens 4 GB RAM und 1 GB Shared Memory. Im Test von Geekflare lag der Verbrauch im Leerlauf bei 538 MB.

Darf ich mit Crawl4AI jede Webseite auslesen?

Nicht automatisch. Nutzungsbedingungen, Urheberrecht und bei personenbezogenen Daten die DSGVO gelten weiter; das Werkzeug prüft das nicht für dich.

Quellen & Kontext