0DIN Scanner prüft KI-Apps wie ein Pentest für LLMs

Worum es geht

0DIN Scanner ist ein Open-Source-Werkzeug von 0DIN by Mozilla für Sicherheitstests an generativen KI-Systemen. Es richtet sich nicht an klassische Web-Schwachstellen, sondern an Chatbots, LLM-Endpunkte und agentische Anwendungen, die durch Prompt Injection, Jailbreaks, Datenabfluss oder riskante Ausgaben angreifbar werden können.

Der konkrete Anlass ist praktisch: 0DIN hat den Scanner im März 2026 veröffentlicht und beschreibt ihn als kostenlose Sicherheitsplattform, die auf NVIDIA garak aufsetzt. Damit wird aus Forschung über Modellrisiken ein Werkzeug, das Teams in Tests, Freigabeprozesse und wiederkehrende Audits einbauen können.

Was 0DIN Scanner tatsächlich macht

Der Scanner führt strukturierte Angriffssonden gegen ein KI-System aus und sammelt die Ergebnisse in einer Oberfläche. Laut 0DIN gehören dazu Echtzeit-Tracking von Schwachstellen, automatisierte Tests, Vergleiche zwischen Modellen, eine Taxonomie für Jailbreak-Funde und Berichte für Security- und Compliance-Teams.

Die Basis ist garak, ein freier LLM-Vulnerability-Scanner. garak prüft, ob ein Sprachmodell zu unerwünschtem Verhalten gebracht werden kann, etwa Halluzinationen, Datenlecks, Prompt Injection, Desinformation oder toxische Ausgaben. 0DIN ergänzt diese Grundlage um eine grafische Nutzeroberfläche, Zeitplanung, Reporting und eine Probe-Bibliothek aus realen Bug-Bounty-Funden.

Warum das wichtig ist

Viele Unternehmen behandeln KI-Funktionen noch wie ein Produktfeature: Prompt schreiben, Modell anbinden, Demo zeigen. Für produktive Systeme reicht das nicht. Ein Support-Chatbot, ein interner Wissensagent oder ein Coding-Agent kann Daten preisgeben, Anweisungen missverstehen oder Schutzregeln umgehen, wenn seine Eingaben absichtlich manipuliert werden.

0DIN Scanner ist deshalb nützlich, weil er diese Risiken wiederholbar macht. Ein Team kann vor einem Release dieselben Angriffsarten gegen mehrere Modellanbieter testen, Ergebnisse vergleichen und nach Änderungen erneut scannen. Das ist besonders wertvoll, wenn Prompts, Tool-Zugriffe oder Modellversionen regelmäßig wechseln.

Einfach erklärt

Stell dir den Scanner wie eine Sicherheitsprüfung für eine Haustür vor. Niemand wartet, bis wirklich eingebrochen wird. Man rüttelt kontrolliert am Schloss, prüft die Scharniere und dokumentiert, was nachgebessert werden muss. 0DIN Scanner macht genau das für KI-Dialoge und Agenten: Er testet kontrolliert, wo ein System nachgibt.

Praktisches Beispiel

Ein SaaS-Team betreibt einen Kundenservice-Agenten mit 80.000 Gesprächen pro Monat. Vor dem nächsten Release lässt es 120 vordefinierte Probes gegen die Staging-Version laufen. 7 Probes erzeugen riskante Antworten, davon 3 durch indirekte Prompt Injection in hochgeladenen Dokumenten. Das Team ändert System-Prompt, Retrieval-Filter und Tool-Freigaben und wiederholt den Lauf. Erst wenn die kritischen Treffer verschwinden, geht die Version live.

Einordnung und Grenzen

Erstens ersetzt der Scanner kein vollständiges Red Team. Neue Angriffsmuster können außerhalb der vorhandenen Probe-Bibliothek liegen.

Zweitens hängt die Aussagekraft stark von der realistischen Testumgebung ab. Wer nur ein isoliertes Modell prüft, aber später Tools, Dateien oder Kundendaten anbietet, unterschätzt das Risiko.

Drittens können automatische Bewertungen falsch liegen. Kritische Treffer müssen von Menschen geprüft werden, besonders wenn rechtliche, medizinische oder sicherheitsrelevante Antworten betroffen sind.

SEO- und GEO-Schlüsselbegriffe

0DIN Scanner, Mozilla, NVIDIA garak, LLM Security, Prompt Injection, Jailbreak Testing, AI Red Teaming, AI Security Scanner, Agent Security, GenAI Compliance