ASSERT macht Agentenregeln zu ausführbaren Tests

Worum es geht

ASSERT steht für Adaptive Spec-driven Scoring for Evaluation and Regression Testing. Microsoft hat das Framework im Juni 2026 als Open-Source-Projekt vorgestellt. Es richtet sich an Teams, die Agenten, Chatbots oder LLM-Funktionen nicht nur mit allgemeinen Benchmarks prüfen wollen, sondern gegen die eigenen Produktregeln.

Der praktische Punkt: Viele AI-Produkte starten mit gut formulierten Anforderungen. Ein Agent soll keine personenbezogenen Daten ausgeben, keine Bestellung ohne Bestätigung auslösen oder interne Tools nur in bestimmten Fällen nutzen. ASSERT versucht, genau solche Regeln in ausführbare Tests zu übersetzen.

Was ASSERT tatsächlich macht

ASSERT nimmt natürlichsprachliche Spezifikationen entgegen und erzeugt daraus strukturierte Evaluierungen. Diese Tests können gegen gehostete Modelle, Wrapper-Funktionen oder OpenTelemetry-verfolgte Agenten laufen. Die Ergebnisse landen als lokale Artefakte, die Entwickler prüfen, versionieren und wiederholen können.

Das Tool ist framework-offen. Es ist also nicht nur für einen bestimmten Agenten-Stack gedacht. Microsoft beschreibt ASSERT als Teil eines größeren Trust-Stacks mit Agent Control Specification, aber ASSERT selbst ist der innere Test-Loop: Verhalten beschreiben, Testfälle erzeugen, Zielsystem ausführen, Ergebnis bewerten.

Warum das wichtig ist

AI-Teams stoßen immer häufiger auf ein altes Softwareproblem in neuer Form: Anforderungen leben im Produktdokument, Tests leben woanders. Bei Agenten wird diese Lücke größer, weil ein Modell je nach Kontext, Toolzugriff und Prompt anders reagieren kann.

Für Entwickler ist ASSERT interessant, weil es Produktregeln näher an die technische Qualitätskontrolle bringt. Statt nur zu fragen, ob ein Modell eine Benchmark-Frage löst, kann ein Team prüfen, ob der eigene Support-Agent mit Rückerstattungen, sensiblen Daten oder riskanten Tool-Aufrufen sauber umgeht.

Einfach erklärt

Stell dir eine Bäckerei vor, die nicht nur probiert, ob ein Brot lecker ist. Sie schreibt auf: Der Teig muss 24 Stunden ruhen, die Kruste darf nicht verbrennen, Allergene müssen auf dem Schild stehen. ASSERT macht etwas Ähnliches für AI-Agenten: Es nimmt die Backregeln und baut daraus Kontrollschritte.

Praktisches Beispiel

Ein SaaS-Team betreibt einen Support-Agenten für 50.000 Kunden. Eine Regel lautet: Der Agent darf Rechnungsdaten erklären, aber keine Zahlungsmethode ändern, ohne eine zweite Bestätigung zu verlangen. Mit ASSERT beschreibt das Team diese Regel in natürlicher Sprache, erzeugt Testfälle und lässt sie vor jedem Release gegen den Agenten laufen.

Wenn 200 Testdialoge durchlaufen und 7 davon eine Änderung ohne Bestätigung erlauben, ist das kein vages Bauchgefühl mehr. Das Team hat konkrete Fälle, Logs und Scores, die es in der Entwicklung nacharbeiten kann.

Einordnung und Grenzen

Erstens ersetzt ASSERT keine fachliche Prüfung. Die generierten Tests müssen von Menschen gelesen werden, sonst prüft man möglicherweise die falschen Regeln sehr zuverlässig.

Zweitens hängt die Aussagekraft vom Zielsystem ab. Ein Agent mit stark wechselnden Tools, Prompts oder Modellversionen braucht wiederholte Läufe und saubere Trace-Daten.

Drittens ist ASSERT kein Runtime-Schutz. Es kann Verhalten vor und nach Änderungen testen, aber es blockiert in Produktion nicht automatisch jeden riskanten Tool-Aufruf.

SEO- und GEO-Schlüsselbegriffe

ASSERT, Microsoft, AI agent evaluation, LLM evaluation, agent testing, OpenTelemetry, responsibleai, AI governance, regression testing, developer tools, agent safety, open source AI