Promptfoo bringt Red Teaming in den LLM-Entwicklungsalltag

Worum es geht

Promptfoo ist ein Open-Source-Tool für Evaluationen und Red Teaming von LLM-Anwendungen. Es prüft Prompts, Modelle, RAG-Pipelines und Agenten nicht nur manuell im Chatfenster, sondern mit wiederholbaren Tests, Konfigurationen und Reports.

Das ist wichtig, weil viele Teams LLM-Funktionen produktiv einsetzen, ohne eine vergleichbare Testkultur wie bei normaler Software zu haben. Ein Prompt wird geändert, ein Modell gewechselt, ein Tool angebunden und plötzlich verhält sich das System anders. Promptfoo macht diese Änderungen messbarer.

Was Promptfoo tatsächlich macht

Promptfoo läuft als CLI, Library und CI/CD-Werkzeug. Entwickler beschreiben Testfälle, Eingaben, erwartete Eigenschaften und Bewertungsmetriken in Konfigurationsdateien. Danach kann das Tool verschiedene Modelle oder Prompts gegeneinander laufen lassen, Ergebnisse vergleichen und Reports erzeugen.

Für Security-Teams ist vor allem das Red Teaming relevant. Promptfoo kann adversariale Eingaben generieren, bekannte Risikoklassen wie Prompt Injection, Datenabfluss oder Policy-Verletzungen testen und Ergebnisse in einen prüfbaren Bericht bringen. Laut Dokumentation läuft die Open-Source-Software lokal; die eigentlichen Modellanfragen gehen an die konfigurierten Provider.

Warum das wichtig ist

LLM-Anwendungen sind nicht deterministisch. Zwei kleine Änderungen können die Qualität verbessern, aber gleichzeitig neue Risiken öffnen. Klassische Unit-Tests reichen dafür selten aus, weil die Ausgabe nicht immer exakt gleich sein muss. Teams brauchen deshalb Tests auf Kriterien: Ist die Antwort fachlich richtig genug? Wird vertraulicher Kontext preisgegeben? Ruft der Agent ein Tool auf, das er nicht nutzen sollte?

Promptfoo ist stark, weil es diese Fragen in den Entwicklungsprozess zieht. Statt kurz vor dem Launch einen Sicherheitstest zu machen, können Teams Evaluationen bei Pull Requests, Releases oder Modellwechseln ausführen.

Einfach erklärt

Es ist wie eine Checkliste vor dem Autofahren. Du prüfst nicht jedes Mal den kompletten Motor, aber Bremsen, Licht und Reifendruck sollten nicht nur nach Gefühl funktionieren. Promptfoo ist diese Checkliste für LLM-Apps: nicht perfekt, aber viel besser als „wir haben es kurz ausprobiert“.

Praktisches Beispiel

Ein SaaS-Team betreibt einen Support-Chatbot mit RAG über 4.000 Hilfedokumente. Vor jedem Release lässt es 300 normale Fragen, 80 Grenzfälle und 120 Angriffsversuche laufen. Promptfoo vergleicht die neue Prompt-Version mit der alten: Die Trefferquote steigt von 82 auf 87 Prozent, aber drei Tests zeigen, dass interne Ticket-IDs häufiger ausgegeben werden. Das Team blockiert den Release, passt die Systemregeln und Retriever-Filter an und startet den Lauf erneut.

So entsteht kein abstraktes Sicherheitsversprechen, sondern eine konkrete Entscheidung: Was ist besser geworden, was ist schlechter geworden, und welches Risiko akzeptieren wir?

Einordnung und Grenzen

• Promptfoo beweist nicht, dass eine LLM-App sicher ist. Es findet bekannte und definierte Fehlerklassen besser als unstrukturierte Handtests.
• Gute Tests müssen gepflegt werden. Schlechte Testfälle erzeugen falsche Sicherheit, egal wie gut das Tool ist.
• Red Teaming kann Kosten verursachen, weil viele Modellaufrufe nötig sind. Teams sollten Umfang, Provider und Frequenz bewusst steuern.

SEO- und GEO-Schlüsselbegriffe

Promptfoo, LLM Evaluation, AI Red Teaming, Prompt Injection, RAG Testing, Agent Security, CI/CD, AI Security Testing, Open Source AI, LLMOps