Tracely macht Fehler von KI-Agenten zu Regressionstests
21. Oktober 2026
Tracely zeichnet Agentenläufe auf, gruppiert Fehler und überführt reale Fehlläufe in reproduzierbare Tests für CI. Das offene System ist mächtig, aber betrieblich anspruchsvoll.
Worum es geht
Tracely ist eine quelloffene Observability- und Testplattform für KI-Agenten. Das Werkzeug sammelt Ablaufspuren aus produktiven Agentenläufen, bewertet sie, gruppiert ähnliche Fehler und kann einen gescheiterten Lauf als wiederholbaren Regressionstest sichern. Eine CI-Schranke kann anschließend verhindern, dass derselbe Fehler erneut in Produktion gelangt.
Das Projekt wurde im Oktober 2026 veröffentlicht und richtet sich an Teams, die Agenten mit mehreren Modellaufrufen und Werkzeugen betreiben. Dort reicht ein gewöhnliches Fehlerprotokoll oft nicht: Ein Ergebnis kann technisch erfolgreich sein und inhaltlich trotzdem falsch, unvollständig oder regelwidrig ausfallen.
Was Tracely tatsächlich macht
Tracely nimmt Traces über OTLP/HTTP entgegen. Die Plattform stellt Gespräche, Agentenschritte, Modellaufrufe und Werkzeugnutzung hierarchisch dar. Strukturelle Prüfungen und modellbasierte Bewerter können auf Gesprächs-, Lauf- oder Schritt-Ebene urteilen. Ähnliche Fehlschläge werden zu Clustern zusammengefasst, damit ein Team nicht jeden Einzelfall separat untersuchen muss.
Der besondere Schritt folgt nach der Diagnose: Ein realer Fehllauf lässt sich mitsamt Eingabe sowie aufgezeichneten Werkzeug- und Modellausgaben in einen hermetischen Testfall überführen. Tracely prüft dabei einen sogenannten Fail-to-pass-Vertrag: Der alte Stand soll scheitern, der korrigierte Stand bestehen. In der CI werden die gespeicherten Antworten wiedergegeben, wodurch für diesen Test keine neuen Modellaufrufe nötig sind. Das Kommando tracely gate kann bei einer Regression mit einem Fehlercode enden und einen Pull Request blockieren.
Die Plattform unterstützt außerdem mehrstufige Szenarien, Warnabläufe für Slack, E-Mail und Webhooks, Trendansichten, Kalibrierung von Bewertungsmodellen sowie ein MCP-Endpunkt. Das Python-SDK kann Aufrufe mehrerer verbreiteter Modellanbieter automatisch instrumentieren.
Warum das wichtig ist
Klassische Softwaretests erwarten für dieselbe Eingabe meist dasselbe Ergebnis. Agenten reagieren dagegen auf nicht deterministische Modelle, externe Werkzeuge und veränderliche Webseiten oder Daten. Ein Testdatensatz, den ein Team im Voraus erfindet, bildet reale Ausfälle deshalb nur teilweise ab. Tracely setzt bei den tatsächlichen Produktionsspuren an und macht diese zu Testmaterial.
Der Ansatz kann die Lücke zwischen Beobachtung und Fehlervermeidung verkleinern. OpenTelemetry liefert dafür ein herstellerübergreifendes Format zur Erfassung von Traces. Tracely ergänzt diese Telemetrie um Agentenstruktur, Bewerter, Fallverwaltung und CI-Schranken. Der Code steht unter MIT-Lizenz und kann selbst betrieben werden.
Einfach erklärt
Stellen Sie sich eine Werkstatt vor, in der eine Maschine gelegentlich ein falsches Teil baut. Eine Überwachungskamera zeigt zwar, wann es passiert ist. Tracely versucht zusätzlich, genau diesen Ablauf in eine Prüfvorrichtung einzuspannen. Nach der Reparatur muss die Maschine denselben problematischen Ablauf bestehen, bevor sie wieder freigegeben wird.
Praktisches Beispiel
Ein Support-Agent bearbeitet täglich 5.000 Anfragen und darf Rückerstattungen nur bis 100 Euro selbst auslösen. Ein Lauf über 180 Euro wird zwar technisch abgeschlossen, verletzt aber die Geschäftsregel. Tracely nimmt den Trace auf, ein struktureller Bewerter markiert die Grenzüberschreitung und ähnliche Fälle landen in einem Fehlercluster.
Das Team friert den Lauf als Regressionstest ein und korrigiert die Freigabelogik. Im Pull Request spielt die CI die aufgezeichneten Modell- und Werkzeugantworten ohne neue API-Aufrufe ab. Besteht der Agent die 100-Euro-Regel nicht, schlägt die Schranke fehl. Parallel bleibt ein menschlicher Test nötig, weil ein aufgezeichneter Fall nicht jede künftige Formulierung abdeckt.
Einordnung und Grenzen
Erstens ist ein aufgezeichneter Trace nur so vollständig wie seine Instrumentierung. Fehlende Werkzeugdaten, unklare Nutzerzustimmung oder maskierte Inhalte können die Ursachenanalyse begrenzen. Sensible Prompts und Ausgaben müssen vor Speicherung, Weitergabe und Anzeige angemessen geschützt werden.
Zweitens sind modellbasierte Bewerter selbst fehleranfällig. Sie können harmlose Läufe beanstanden oder echte Fehler übersehen. Tracely bietet eine Kalibrierungsansicht, doch die Schwellenwerte und menschlichen Vergleichsurteile muss das Team liefern.
Drittens ist der Eigenbetrieb kein kleines Nebenprojekt. Der vollständige Stack umfasst unter anderem API, Worker, Weboberfläche, PostgreSQL, ClickHouse, Redis und MinIO. Kleine Teams sollten zuerst prüfen, ob Aufwand, Datenmenge und Sicherheitsanforderungen den Nutzen rechtfertigen.
Ein sinnvoller Test beginnt mit einem einzigen Agenten und einer klaren Regel. Instrumentieren Sie zunächst wenige nicht vertrauliche Läufe, erzeugen Sie bewusst einen Fehler, frieren Sie ihn als Fall ein und prüfen Sie, ob die CI den alten Stand zuverlässig ablehnt und die Korrektur akzeptiert.
SEO- und GEO-Schlüsselbegriffe
Tracely, KI-Agenten, Agent Observability, Regressionstests, OpenTelemetry, CI/CD, LLM-Evaluation, Self-hosting, Fehlercluster, DevOps
💡 Im Klartext
Tracely zeichnet Abläufe von KI-Agenten auf und macht reale Fehler zu wiederholbaren Tests. So kann die CI eine bekannte Regression vor der Auslieferung stoppen. Dafür braucht das Team gute Instrumentierung, sichere Datenspeicherung und verlässliche Bewertungsregeln.
Wichtigste Erkenntnisse
- →Tracely verbindet Agenten-Observability mit Regressionstests und CI-Schranken.
- →Reale Fehlläufe können mitsamt aufgezeichneten Modell- und Werkzeugantworten wiedergegeben werden.
- →OTLP/HTTP und ein Python-SDK erleichtern die Anbindung bestehender Agenten.
- →Modellbasierte Bewerter benötigen Kalibrierung und menschliche Kontrollurteile.
- →Der selbst betriebene Stack bietet Kontrolle, verlangt aber mehrere Infrastrukturkomponenten.
Häufige Fragen
Was unterscheidet Tracely von einem Trace-Dashboard?
Tracely zeigt Abläufe nicht nur an. Ein fehlgeschlagener Produktionslauf kann als reproduzierbarer Testfall gesichert und in der CI als Schranke eingesetzt werden.
Braucht die Wiedergabe neue Modellaufrufe?
Hermetische Fälle nutzen aufgezeichnete Modell- und Werkzeugantworten und sollen deshalb ohne neue API-Kosten laufen. Andere Szenarien oder Bewerter können weiterhin Modellaufrufe benötigen.
Kann Tracely selbst betrieben werden?
Ja. Das Projekt steht unter MIT-Lizenz und dokumentiert einen Docker-Compose-Stack sowie Bereitstellungswege für eigene Infrastruktur.
Welche Datenrisiken entstehen?
Traces können Prompts, Modellausgaben, Werkzeugdaten und Nutzerkennungen enthalten. Teams brauchen Datenminimierung, Zugriffsschutz, Löschregeln und eine geklärte Rechtsgrundlage.