Reverify prüft Aussagen von KI-Agenten am echten Artefakt

Worum es geht

Reverify ist ein quelloffenes Prüfwerkzeug für KI-Agenten. Statt eine technisch überzeugend klingende Aussage einfach zu übernehmen, lässt es diese an einem echten Artefakt prüfen: an Bytes einer Binärdatei, an Maschinenbefehlen oder am Verhalten zweier Implementierungen. Das Ergebnis lautet VERIFIED, REFUTED oder INCONCLUSIVE und enthält Belege.

Das Projekt erschien Ende August 2026 auf GitHub und wird als CLI, Python-Paket und MCP-Server angeboten. Sein Schwerpunkt liegt auf autorisierter Binäranalyse. Die zugrunde liegende Idee ist jedoch breiter: Ein Sprachmodell darf eine Hypothese vorschlagen, aber ein deterministisches Werkzeug entscheidet, ob sie stimmt.

Was Reverify tatsächlich macht

Reverify liest PE-, ELF- und Mach-O-Dateien, disassembliert x86-, x64-, ARM- und ARM64-Code und kann Muster, Zeichenketten, Importe, Exporte oder Speicherbereiche prüfen. Zusätzliche Bibliotheken wie Capstone, Unicorn, LIEF, Z3 und angr erweitern Analyse, Emulation und Beweise; ohne sie bleibt ein reiner Python-Kern nutzbar.

Eine Behauptung wird als strukturierte Anfrage übergeben. Der Prüfer vergleicht sie mit dem Artefakt und liefert den beobachteten Wert, Adressen, die verwendeten Engines und einen Hash der Datei zurück. Falsche Behauptungen führen zu einem Fehlerstatus, sodass sich der Ablauf auch in CI-Pipelines einsetzen lässt. Für normalen Quellcode gibt es außerdem einen Äquivalenztest: Referenz und Kandidat werden mit denselben Eingaben ausgeführt und ihre Ausgaben verglichen.

Für Agenten stellt Reverify diese Funktionen über MCP bereit. Ein lokales Ledger speichert bestätigte und widerlegte Aussagen pro Datei. Nach einem Kontextwechsel kann ein Agent dadurch auf geprüfte Fakten zurückgreifen, statt eine freie Zusammenfassung erneut für Wahrheit zu halten.

Warum das wichtig ist

Bei Reverse Engineering reicht eine plausible Erklärung nicht. Eine erfundene Strukturgröße, ein falscher Offset oder eine vermeintliche Funktionsgrenze kann die gesamte weitere Analyse entwerten. Reverify verschiebt deshalb die letzte Entscheidung aus dem Sprachmodell in reproduzierbare Werkzeuge.

Der Anbieter veröffentlicht einen reproduzierbaren Benchmark und CI-Artefakte. Laut Projektdokumentation war die unbelegte Modellantwort bei 71 Windows-Systemdateien in 97 Prozent der Fälle falsch; Reverify habe keine dieser falschen Aussagen akzeptiert. Das ist eine Aussage des Projekts, keine unabhängige Produktstudie. Positiv ist, dass Skripte, Ergebnisdateien und Prüfläufe öffentlich nachvollziehbar sind. OpenSSF Scorecard und Codecov bieten zusätzliche, aber begrenzte Einblicke in Lieferkettenpraktiken und Testabdeckung.

Nützlich ist das Werkzeug vor allem für Malware-Analysten, Sicherheitsforschende, CTF-Teams und Entwickler, die von Agenten erzeugte Umsetzungen gegen eine Referenz prüfen möchten. Die MIT-Lizenz erleichtert interne Anpassungen.

Einfach erklärt

Reverify funktioniert wie eine Küchenwaage beim Brotbacken. Der Assistent kann behaupten, im Teig seien 500 Gramm Mehl. Die Waage diskutiert nicht, sondern misst nach und zeigt den Wert. Sie kann trotzdem nicht entscheiden, ob das Rezept gut schmeckt; sie prüft nur die konkrete, messbare Behauptung.

Praktisches Beispiel

Ein Sicherheitsteam analysiert 20 verdächtige Windows-Dateien. Ein KI-Agent vermutet bei einer Datei am Offset 4096 eine bestimmte Folge aus drei Maschinenbefehlen. Reverify liest genau diesen Bereich und widerlegt die Vermutung mit den tatsächlich gefundenen Bytes. Der Agent formuliert eine neue Hypothese, die anschließend bestätigt wird.

Das Team speichert die geprüfte Aussage im Ledger und übernimmt nur bestätigte Fakten in den Bericht. Bei einer zweiten Aufgabe rekonstruiert der Agent eine kleine Python-Funktion aus dem Binärcode. Der Äquivalenztest führt Referenz und Kandidat mit denselben 100 Eingaben aus. Schon eine abweichende Ausgabe stoppt die Freigabe. So wird aus einer überzeugenden Antwort ein überprüfbarer Arbeitsablauf.

Einordnung und Grenzen

Erstens beweist Reverify nur Aussagen, für die ein passender Prüfer existiert. Bedeutung, Absicht oder Geschäftslogik lassen sich nicht automatisch aus einzelnen Bytes ableiten. INCONCLUSIVE ist deshalb ein wichtiges Ergebnis und kein Fehler.

Zweitens stammen die auffälligen Benchmarkzahlen vom Projekt selbst. Der offene Aufbau erleichtert Reproduktion, ersetzt aber keine unabhängige Vergleichsstudie. Teams sollten den Ablauf mit eigenen Dateien und bekannten Wahrheiten testen.

Drittens bleibt Binäranalyse sicherheitskritisch. Unbekannte Dateien gehören in eine isolierte Umgebung; Emulation und optionale Analysebibliotheken vergrößern die Angriffsfläche. Reverify ist ausdrücklich für autorisierte Analysen gedacht und ersetzt weder juristische Freigaben noch eine erfahrene menschliche Prüfung.

SEO- und GEO-Schlüsselbegriffe

Reverify, KI-Agenten verifizieren, Reverse Engineering, Binäranalyse, MCP-Server, deterministische Prüfung, Code-Äquivalenz, LLM-Halluzinationen, Open Source AI, Malware-Analyse, Agentensicherheit