garak prüft KI-Anwendungen mit gezielten Sicherheitstests

Worum es geht

garak ist ein ausführbares Prüfwerkzeug für Anwendungen mit Sprachmodellen. Statt einen Chatbot nur mit freundlichen Alltagsfragen auszuprobieren, konfrontiert der Scanner ihn systematisch mit Eingaben, die unerwünschtes Verhalten auslösen sollen. Das Projekt wird laut seiner offiziellen Website von NVIDIA und der Community weiterentwickelt. Sein vollständiger Name lautet Generative AI Red-teaming & Assessment Kit.

Dieser Tool-Check vom 5. November 2026 beschreibt ein verfügbares Werkzeug, keine neue Modellankündigung. Geprüft wurden Projektwebsite, Repository, Dokumentation und das zugehörige Forschungspapier. Ein eigener Scan oder vergleichender Leistungstest wurde nicht durchgeführt. Interessant ist garak vor allem für Entwicklungsteams und Sicherheitsverantwortliche, die einen Chatbot vor der Freigabe oder nach Änderungen gezielter untersuchen möchten.

Was garak tatsächlich macht

garak arbeitet über die Kommandozeile. Sogenannte Probes liefern Testeingaben, ein Generator verbindet das Werkzeug mit dem Zielsystem, und Detektoren bewerten die Antworten. Im offiziellen Repository werden unter anderem Prüfungen auf Prompt Injection, Datenlecks, erfundene Inhalte, schädliche Sprache und das Umgehen von Schutzregeln genannt. Das sind unterschiedliche Fehlerklassen: Eine falsche Antwort ist nicht automatisch ein erfolgreicher Zugriff auf vertrauliche Daten.

Das Werkzeug unterstützt verschiedene Zugangswege, darunter lokal ausgeführte Hugging-Face-Modelle, externe Modell-APIs und konfigurierbare REST-Endpunkte. Damit lässt sich grundsätzlich auch ein eigener Dienst anbinden. Ob dessen Anmeldung, Gesprächsverlauf und Antwortformat korrekt abgebildet werden, muss das Team jedoch prüfen. Ein Test direkt am Basismodell untersucht nicht automatisch dieselbe Umgebung wie der fertige Kundenchatbot.

Die Ausgabe zeigt Ergebnisse je Prüfung und Detektor. Detailprotokolle werden laut Repository in JSONL-Dateien gespeichert. Damit können Verantwortliche auffällige Antworten nachlesen, statt nur eine zusammengefasste Zahl zu betrachten. Die Abbildung dieses Artikels stammt aus dem offiziellen README und zeigt einen historischen Terminaldurchlauf. Seine Modellnamen, Befehle und Prozentwerte sind kein aktueller Vergleich und keine Messergebnisse von Cyber Ivy.

Warum das wichtig ist

Wer nach jedem Modellwechsel nur dieselben drei Fragen ausprobiert, übersieht leicht andere Fehlerarten. garak bietet dafür eine strukturierte Sammlung von Tests und nachvollziehbare Ausgaben. Sein Nutzen liegt nicht in einem pauschalen Sicherheitsversprechen, sondern darin, konkrete problematische Antworten auffindbar zu machen. Diese lassen sich anschließend als Ausgangspunkt für Verbesserungen verwenden.

Das Forschungspapier vom 16. Juni 2024 betont, dass Sicherheit bei Sprachmodellen vom jeweiligen Anwendungskontext abhängt. Ein Verhalten kann in einem kreativen Schreibprogramm akzeptabel sein und in einem Beratungsdienst zum Problem werden. Das Papier stammt aus dem Projektumfeld und ist keine unabhängige Wirksamkeitsprüfung. Es erklärt jedoch, warum ein Scanner Ergebnisse liefern sollte, die Menschen im Kontext bewerten können.

Besonders passend ist das Werkzeug für Teams mit Python-Erfahrung, Zugang zu einem Testsystem und Zeit für die Auswertung. Für Menschen, die lediglich gelegentlich einen Chatbot nutzen, ist es meist zu technisch. Die Software steht unter Apache 2.0 und wird als kostenloses Werkzeug angeboten. Modellaufrufe, lokale Rechenleistung, Speicherung und Arbeitszeit bleiben mögliche Kosten; ein kostenloser Scanner macht den gesamten Prüfprozess nicht kostenlos.

Einfach erklärt

Man kann sich garak wie eine Prüfung von Reisekoffern vorstellen. Ein Prüfer öffnet und schließt den Reißverschluss, belastet den Griff und rollt den Koffer über unebenen Boden. Jeder Versuch untersucht etwas anderes. Besteht der Griff die Belastungsprobe, sagt das noch nichts darüber aus, ob Regen durch die Nähte dringt. Bei einem Chatbot entsprechen die verschiedenen Eingaben solchen einzelnen Belastungsproben. Das Prüfprotokoll hilft, die schwache Stelle zu finden, ersetzt aber nicht die Entscheidung, ob der Koffer für die geplante Reise geeignet ist.

Praktisches Beispiel

Ein fiktives Team aus drei Personen betreibt einen internen Assistenten für öffentlich verfügbare Produktinformationen. Vor einer Umstellung legt es zwei Testkonfigurationen an: den bisherigen Stand und die geplante Variante. Beide nutzen denselben abgegrenzten Datenbestand ohne Kundendaten. Die Zahlen beschreiben ein Beispiel, keinen gemessenen Einsatz.

Als ersten Schritt installiert das Team garak in einer getrennten Python-Umgebung und lässt sich mit python -m garak --list_probes die verfügbaren Prüfungen anzeigen. Anschließend wählt es eine passende, begrenzte Testgruppe und verbindet ausschließlich seinen freigegebenen Testendpunkt. Vor dem Start legt es ein Kostenlimit beim Modellanbieter fest und kontrolliert, welche Inhalte in Protokollen landen.

Danach liest eine Person die auffälligen Antworten, eine zweite prüft ihre fachliche Bedeutung, und die dritte dokumentiert die Bedingungen. Nach einer Änderung wiederholt das Team denselben Test mit dokumentierten Versionen und Einstellungen. Der nächste sinnvolle Test ist also klein und auswertbar: nicht sofort alle Prüfungen starten, sondern zuerst Verbindung, Ausgabe und Bewertung an einem klaren Fehlerbild verstehen.

Einordnung und Grenzen

• Keine vollständige Sicherheitsgarantie: Detektoren können harmlose Antworten markieren oder problematische übersehen. Unauffällige Ergebnisse gelten nur für die tatsächlich geprüften Bedingungen. Rechteverwaltung, angebundene Werkzeuge und Geschäftslogik benötigen zusätzliche Prüfungen.
• Nicht automatisch privat oder günstig: Ein lokal gestarteter Scanner kann Eingaben an externe APIs senden. Antworten und Protokolle können sensible Inhalte enthalten. Datenwege, Aufbewahrung, Anbieterbedingungen und Verbrauch müssen vorab geklärt werden; geprüft werden nur eigene oder ausdrücklich freigegebene Systeme.
• Technischer Aufwand und Versionsunterschiede: Der Einsteigerleitfaden enthält ältere Befehlsbeispiele, während das aktuelle Repository andere Optionsnamen zeigt. Maßgeblich sind die installierte Version und deren Hilfe. Einrichtung, passende Testauswahl und menschliche Bewertung bleiben erforderlich; garak repariert die gefundenen Probleme nicht selbst.

SEO- und GEO-Schlüsselbegriffe

garak, NVIDIA, LLM Security, KI-Sicherheit, Prompt Injection, Red Teaming, Open Source, Apache 2.0, Chatbot-Tests, REST API