Augustus prüft Sprachmodelle mit mehr als 210 Angriffstests

Worum es geht

Augustus ist ein quelloffenes Werkzeug von Praetorian für Sicherheitstests an großen Sprachmodellen. Der Scanner sendet systematisch Angriffs-Prompts an ein ausgewähltes Modell und bewertet die Antworten mit passenden Detektoren. Das Projekt nennt mehr als 210 Prüfverfahren in 47 Kategorien, über 90 Detektoren sowie 28 Anbietergruppen mit 43 Generatorvarianten.

Das Werkzeug ist in Go geschrieben, wird unter Apache 2.0 veröffentlicht und lässt sich als einzelne Binärdatei bauen. Am 20. August 2026 war das Repository aktiv gepflegt. Zielgruppe sind Sicherheitsverantwortliche und Entwicklungsteams, die ein Modell, eine RAG-Anwendung oder einen Agenten vor dem Einsatz wiederholbar gegen bekannte Angriffsmuster prüfen möchten.

Was Augustus tatsächlich macht

Ein Testlauf verbindet drei Bausteine: Ein Generator spricht das Zielmodell an, ein Probe-Modul erzeugt Angriffsvarianten und ein Detektor bewertet die Antwort. Die Kategorien reichen von klassischen Jailbreaks und Prompt Injection über Kodierungstricks, Kontextmanipulation und Datenextraktion bis zu RAG-Vergiftung, Multi-Agenten-Manipulation und Browsing-Angriffen. Transformationen können einen Prompt etwa kodieren, umformulieren oder in andere Sprachen übertragen.

Augustus unterstützt laut Dokumentation unter anderem OpenAI, Anthropic, Azure OpenAI, AWS Bedrock, Vertex AI, Ollama, LiteLLM, NVIDIA-Dienste und eigene REST-Endpunkte. Teams können einzelne Tests auswählen oder Sammlungen über Muster starten. Parallelisierung, Zeitlimits, Wiederholungen und Begrenzung der Anfragerate sind eingebaut. Ergebnisse lassen sich als Tabelle, JSON, JSONL oder HTML-Bericht ausgeben.

Das Werkzeug bewertet nicht nur mit Zeichenkettenregeln. Es enthält unter anderem Mustererkennung, modellbasierte Richter und spezialisierte Sicherheitsdetektoren. Diese Vielfalt ist nützlich, führt aber zu einer wichtigen Einschränkung: Ein Detektor kann selbst falsch liegen. Ein gemeldeter Fund ist ein Prüfhinweis, kein abschließender Beweis.

Warum das wichtig ist

Ein manuell ausprobierter Jailbreak zeigt höchstens, dass ein einzelner Prompt funktioniert oder scheitert. Nach Änderungen am System-Prompt, Modell, Retrieval oder Filter kann das Ergebnis anders ausfallen. Ein automatisierter Katalog macht solche Tests wiederholbar und ermöglicht Vergleiche zwischen Versionen.

Für Produktteams ist besonders der Maschinenexport relevant. JSONL-Ergebnisse können in eine interne Auswertung oder CI-Pipeline einfließen, während ein HTML-Bericht die manuelle Prüfung erleichtert. Der einzelne Go-Build senkt die technische Einstiegshürde. Augustus konkurriert dabei nicht mit einer vollständigen Sicherheitsprüfung: Es untersucht Modellantworten, aber nicht automatisch Authentifizierung, klassische Weblücken, Mandantentrennung oder die gesamte Agenten-Infrastruktur.

Einfach erklärt

Augustus funktioniert wie ein großer Schlüsselbund für ein neues Schloss. Jeder Schlüssel steht für einen anderen Angriff. Wenn sich die Tür öffnet, weiß das Team, welcher Versuch erfolgreich war; wenn sie geschlossen bleibt, ist trotzdem nicht bewiesen, dass kein unbekannter Schlüssel passt.

Praktisches Beispiel

Ein Versicherer betreibt einen internen Assistenten, der 12.000 freigegebene Richtliniendokumente durchsucht. Vor einer Modellaktualisierung wählt das Sicherheitsteam 60 Tests für Prompt Injection, Datenextraktion und RAG-Manipulation. Augustus führt sie gegen die Testumgebung aus und schreibt die Antworten als JSONL sowie einen HTML-Bericht.

Fünf Fälle werden als auffällig markiert. Zwei sind Fehlalarme, weil der Detektor harmlose Ablehnungen falsch einordnet. In drei Fällen gibt der Assistent jedoch Ausschnitte aus einem verborgenen System-Prompt wieder. Das Team korrigiert die Kontexttrennung, wiederholt exakt dieselbe Suite und dokumentiert den Unterschied vor der Freigabe.

Einordnung und Grenzen

Erstens ist die Zahl der Tests keine Garantie für Abdeckung: eigene Geschäftslogik und neue Angriffsmuster brauchen zusätzliche Prüfungen. Zweitens können Detektoren falsch positive und falsch negative Ergebnisse liefern; kritische Funde benötigen eine manuelle Reproduktion. Drittens erzeugen große Testläufe API-Kosten, Last und potenziell problematische Inhalte. Sie gehören ausschließlich in autorisierte, begrenzte Umgebungen.

Augustus ersetzt weder Threat Modeling noch klassische Anwendungs-, API- und Zugriffstests. Manche Probes enthalten ausdrücklich beleidigende Inhalte. Der nächste sinnvolle Test nutzt deshalb ein nicht produktives Ziel, eine kleine Suite von zehn passenden Probes, begrenzte Zugangsdaten und eine manuelle Prüfung jeder Markierung.

SEO- und GEO-Schlüsselbegriffe

Augustus, Praetorian, LLM-Sicherheit, Prompt Injection, Jailbreak-Test, KI-Red-Teaming, RAG-Sicherheit, Ollama, Apache 2.0, Security Scanner, Modellprüfung, Sicherheitsbewertung, automatisierte Tests, autorisierte Testumgebung, Sicherheitsprüfung, Modellschutz