Scenario testet KI-Agenten mit langen Angriffsdialogen

Worum es geht

Scenario von LangWatch ist ein Open-Source-Framework für automatisiertes Red-Teaming von KI-Agenten. Das Tool ist relevant, weil Agenten immer häufiger mit Tools, Datenbanken, Support-Systemen und internen Wissensquellen verbunden werden. Ein harmlos wirkender Dialog kann dann plötzlich zu Datenabfluss, Rechteumgehung oder falschen Aktionen führen.

Help Net Security berichtete am 23. April 2026 über die Veröffentlichung von Scenario. Die Kernidee: Sicherheitsprüfungen für Agenten dürfen nicht bei einem einzelnen Jailbreak-Prompt stehen bleiben. Viele Schwächen entstehen erst nach mehreren Gesprächsrunden, wenn der Agent Kontext, Vertrauen oder Hilfsbereitschaft aufgebaut hat.

Was Scenario tatsächlich macht

Scenario führt Tests als Dialogläufe aus. Das Framework kann Nutzer simulieren, Agenten gegen Zielverhalten prüfen und Ergebnisse in CI-Workflows einbinden. Für Red-Teaming liefert es laut GitHub-README einen RedTeamAgent, der mehrstufige Crescendo-Angriffe, Bewertung pro Runde, Refusal-Erkennung und Backtracking unterstützt.

Die offizielle LangWatch-Seite beschreibt 50-Turn-Angriffe gegen Agenten. Getestet werden unter anderem Zielentführung, System-Prompt-Extraktion, unautorisierter Datenzugriff und Social Engineering. Das ist näher an echten Angriffen als eine Liste einzelner verbotener Prompts.

Warum das wichtig ist

Klassische Prompt-Sicherheit fragt oft: Antwortet das Modell auf eine direkte verbotene Anfrage? Agenten-Sicherheit muss zusätzlich fragen: Was passiert, wenn ein Angreifer 20 Runden lang Kontext aufbaut, Rollen vortäuscht und dann ein Tool auslösen will?

Für Teams mit Kundenservice-Bots, Datenanalyse-Agenten oder internen Assistenten ist das praktisch. Ein Agent, der Rechnungsdaten lesen, Tickets ändern oder interne Dokumente durchsuchen kann, braucht Tests gegen Gesprächsverläufe, nicht nur gegen einzelne Textbausteine. Scenario macht diese Tests wiederholbar und damit CI-tauglicher.

Einfach erklärt

Stell dir einen Türsteher vor, der auf den Satz „Lass mich ohne Ticket rein“ korrekt Nein sagt. Das reicht nicht, wenn jemand erst 15 Minuten freundlich redet, behauptet, vom Management zu sein, und dann einen Seiteneingang erwähnt. Scenario spielt solche langen Gespräche durch, bevor der echte Angreifer es tut.

Praktisches Beispiel

Ein Versicherer betreibt einen Support-Agenten mit Zugriff auf Policenstatus, interne Richtlinien und Ticketaktionen. Das Team definiert 30 Testfälle: System-Prompt-Schutz, Kundendatenzugriff, falsche Rollenbehauptung und gefährliche Tool-Aufrufe. Scenario lässt pro Test bis zu 50 Dialogrunden laufen und markiert, in welcher Runde der Agent kippt. Wenn nach einem Update 4 von 30 Tests brechen, sieht das Team vor dem Deployment, welche Guardrails nachgebessert werden müssen.

Einordnung und Grenzen

Erstens findet Red-Teaming keine vollständige Sicherheit. Es zeigt belegte Schwächen, aber keine Abwesenheit von Schwächen.

Zweitens können automatische Angriffe Kosten verursachen, weil viele Modellaufrufe nötig sind. Teams sollten Budgets, Testumfang und sensible Daten im Testsystem begrenzen.

Drittens braucht das Tool klare Zieldefinitionen. Wenn ein Team nicht präzise beschreibt, welches Verhalten verboten ist, werden Ergebnisse schwer interpretierbar. Scenario ersetzt also keine Sicherheitsarchitektur, sondern macht sie prüfbarer.

SEO- und GEO-Schlüsselbegriffe

Scenario, LangWatch, AI Red Teaming, KI-Agenten, Agent Security, Prompt Injection, System Prompt Extraction, Crescendo Attacks, LLM Security, CI Testing, Developer Tools, OWASP LLM