PyRIT im Check: Microsofts offenes Werkzeug für KI-Sicherheitstests
21. November 2026
PyRIT greift Chatbots und KI-Anwendungen gezielt an, um Schwachstellen vor dem Livegang zu finden. Version 1.2.0 vom 13. November 2026 bringt eine deutlich ausgebaute Browser-Oberfläche.
Worum es geht
Wer einen Chatbot, einen KI-Agenten oder eine Anwendung mit Sprachmodell ausliefert, muss wissen, wie leicht sich das System zu verbotenen Antworten, Datenabflüssen oder ungewollten Aktionen überreden lässt. Genau dafür hat das Microsoft AI Red Team PyRIT gebaut, das Python Risk Identification Tool for generative AI. Das Projekt steht unter MIT-Lizenz auf GitHub und hat dort rund 5.000 Sterne (Stand 21. November 2026).
Anlass für diesen Check ist Version 1.2.0 vom 13. November 2026. Laut Release-Notes ist sie vor allem ein großes Update der grafischen Oberfläche CoPyRIT. Am 18. November folgte mit 1.2.1 ein reines Paketierungs-Update ohne Funktionsänderungen.
Was PyRIT tatsächlich macht
PyRIT besteht aus drei Teilen. Der Scanner führt wiederholbare Prüfungen von der Kommandozeile aus. CoPyRIT ist die Browser-Oberfläche: Dort lassen sich Angriffe manuell im Chat ausprobieren, automatische Szenarien starten und Ergebnisse mit Belegen sichten. Darunter liegt ein Python-Framework, aus dessen Bausteinen man eigene Testabläufe zusammensetzt.
Die Bausteine heißen Targets, Converter, Scorer und Angriffe. Ein Target ist das zu prüfende System, etwa ein Modell bei OpenAI, Anthropic, Azure OpenAI, Google Gemini, AWS Bedrock, Hugging Face, Ollama oder OpenRouter, aber auch eine komplette Anwendung über HTTP, WebSockets oder eine per Playwright gesteuerte Weboberfläche. Converter verändern Angriffstexte, zum Beispiel durch Verschlüsselungstricks oder Sprachwechsel. Scorer bewerten, ob eine Antwort eine Grenze überschritten hat. Mehrstufige Angriffe lassen ein zweites Modell als Angreifer immer neue Gesprächszüge erzeugen.
Version 1.2.0 ergänzt laut Release-Notes wiederverwendbare Szenario-Vorlagen und Szenario-Pakete, dauerhaft gespeicherte Operations zum Bündeln eines Prüfauftrags, Findings für von Menschen bestätigte Probleme samt Angriffsbelegen sowie den Export von Findings nach Word und Markdown. Neu sind außerdem Angriffstechniken wie GOAT und Rollenspiel-Varianten sowie Targets für A2A und GitHub Copilot.
Warum das wichtig ist
Klassische Sicherheitstests prüfen Code. Bei KI-Systemen entscheidet aber auch das Verhalten im Gespräch, und das ändert sich mit jedem Modellwechsel und jedem neuen Systemprompt. PyRIT macht solche Prüfungen wiederholbar, statt sie dem Erfahrungswissen einzelner Fachleute zu überlassen. Microsoft beschreibt die Grundidee in einem wissenschaftlichen Artikel auf arXiv (Oktober 2024) und einem Whitepaper vom August 2026.
Das Projekt ist klar gemeinschaftlich getragen: Laut Release-Notes stammen 507 der 882 Pull-Requests für Version 1.2.0 von 108 externen Beitragenden, also 58 Prozent.
Einfach erklärt
PyRIT ist wie ein Probealarm im Bürogebäude. Man wartet nicht auf das echte Feuer, sondern spielt verschiedene Szenarien gezielt durch: Wo klemmt eine Tür, wo hängt ein Schild falsch? Danach schreibt man auf, was schiefging, und wiederholt die Übung nach jedem Umbau.
Praktisches Beispiel
Eine Versicherung baut einen Kundenchat, der Fragen zu Verträgen beantwortet. Vor dem Start legt das Sicherheitsteam in CoPyRIT eine Operation an und startet ein Szenario-Paket mit 300 Angriffszielen, etwa: Gib die interne Systemanweisung preis, nenne Daten eines anderen Kunden, empfiehl ein Produkt ohne Beratungshinweis. Der Scanner meldet 12 Antworten als auffällig. Zwei Fachleute prüfen sie, bestätigen 4 als echte Findings und exportieren den Bericht als Word-Datei für die Entwicklung. Nach der Korrektur des Systemprompts läuft dieselbe Vorlage erneut, damit der Vergleich fair bleibt.
Einordnung und Grenzen
- Kein Freifahrtschein: Wenn PyRIT nichts findet, heißt das nur, dass die getesteten Angriffe nicht gewirkt haben. Neue Techniken oder anwendungsspezifische Lücken bleiben möglich.
- Bewertung durch Modelle irrt: Automatische Scorer nutzen oft selbst Sprachmodelle und liefern Fehlalarme oder übersehen Treffer. Seit Version 1.1.0 können Bewertungen ausdrücklich unbestimmt sein. Eine menschliche Prüfung bleibt nötig.
- Kosten, Daten und Aufwand: Jeder Angriffslauf verbraucht Tokens beim Anbieter, und Testinhalte können sensible oder verletzende Texte enthalten. Version 1.2.0 bricht zudem Schnittstellen: Python 3.10 wird nicht mehr unterstützt, und bei CoPyRIT-Installationen müssen Backend, Oberfläche und Kommandozeile aus demselben Quellstand stammen. Getestet werden sollten nur eigene Systeme oder solche mit ausdrücklicher Erlaubnis.
Ein sinnvoller erster Test: PyRIT per pip install pyrit in einer separaten Python-Umgebung installieren, eine Staging-Version des eigenen Chatbots als Target eintragen und ein kleines Szenario mit begrenzter Anfragezahl laufen lassen, bevor man größere Pakete startet.
SEO- und GEO-Schlüsselbegriffe
PyRIT, CoPyRIT, Microsoft AI Red Team, AI Red Teaming, LLM-Sicherheitstest, Jailbreak-Test, Prompt Injection, Sicherheit generativer KI, Open Source Security Tool, Python, Sprachmodell-Prüfung
💡 Im Klartext
PyRIT ist ein kostenloses Prüfwerkzeug von Microsoft, das KI-Chatbots absichtlich mit Tricks angreift. So sieht ein Team vor dem Start, wo sich das eigene System überlisten lässt, und kann die Prüfung nach jeder Änderung wiederholen.
Wichtigste Erkenntnisse
- →PyRIT ist ein Open-Source-Werkzeug des Microsoft AI Red Team unter MIT-Lizenz.
- →Es kombiniert einen Kommandozeilen-Scanner, die Browser-Oberfläche CoPyRIT und ein Python-Framework.
- →Version 1.2.0 vom 13. November 2026 bringt Szenario-Vorlagen, Operations, Findings und Export nach Word und Markdown.
- →Geprüft werden können Modelle vieler Anbieter sowie ganze Anwendungen über HTTP, WebSockets oder Playwright.
- →Automatische Bewertungen ersetzen keine menschliche Prüfung, und ein leeres Ergebnis ist kein Sicherheitsnachweis.
- →Version 1.2.0 setzt Python 3.11 bis 3.14 voraus und enthält weitere inkompatible Änderungen.
Häufige Fragen
Was kostet PyRIT?
Die Software selbst ist kostenlos und steht unter MIT-Lizenz. Kosten entstehen durch die Modellaufrufe beim jeweiligen KI-Anbieter, sowohl für das getestete System als auch für Angreifer- und Bewertungsmodelle.
Brauche ich Erfahrung im Red Teaming?
Für die ersten Schritte reicht die Oberfläche CoPyRIT mit vorgefertigten Szenarien. Für eigene Angriffe und die Bewertung der Ergebnisse ist Sicherheitswissen aber hilfreich.
Funktioniert PyRIT nur mit Microsoft-Diensten?
Nein. Laut Projektseite werden unter anderem OpenAI, Anthropic, Google Gemini, AWS Bedrock, Hugging Face, Ollama und OpenRouter unterstützt, dazu eigene Anwendungen über HTTP oder WebSockets.
Worin unterscheidet sich PyRIT von Promptfoo?
Beide testen KI-Systeme auf Schwachstellen. PyRIT ist stark auf Python-Bausteine und mehrstufige Angriffe ausgerichtet, Promptfoo stärker auf konfigurierbare Tests in Entwicklungsabläufen. Welches besser passt, hängt vom Team ab.
Quellen & Kontext
- PyRIT – GitHub-Repository (microsoft/PyRIT)
- PyRIT – offizielle Dokumentation
- PyRIT v1.2.0 Release Notes
- CoPyRIT GUI – Dokumentation
- PyRIT: Democratizing AI Red Teaming Through Open-Source Tooling (Whitepaper, August 2026)
- arXiv 2410.02828: PyRIT – A Framework for Security Risk Identification and Red Teaming in Generative AI System
- pyrit auf PyPI
- OWASP GenAI Security Project