Bedeutet die Studie, dass KI keine Patches schreiben kann?

Nein. Rund ein Viertel der ausgewerteten Patches waren saubere Reparaturen. Das Problem ist, dass Teams gute und gefährliche Ergebnisse ohne starke Tests und Fachprüfung nicht sicher unterscheiden können.

Welche Schwachstellen wurden getestet?

Die Auswahl umfasste sechs neue Lücken in Linux, ActiveMQ, Chrome, Exim, Spring AI und einer Gemini-CLI-Aktion.

Warum wurden 400 Patches ausgeschlossen?

Die Forschenden markierten Versuche, bei denen ein Modell offenbar nach einer vorhandenen Lösung suchte. Diese wurden aus der Hauptauswertung entfernt, damit das Ergebnis die eigenständige Patch-Erzeugung besser abbildet.

Kann ein Unternehmen FLAWED selbst nutzen?

Ja, Code, Methodik und Datensätze sind öffentlich. Wegen Docker-Socket-Zugriff und fremdem Code sollte das Werkzeug jedoch nur in einer isolierten Testumgebung laufen.

FLAWED-Studie: Nur 26 Prozent der KI-Patches waren sauber

Worum es geht

Die neue Studie FLAWED von 1Passwords Off-by-1 Labs stellt eine unbequeme Frage: Wenn KI immer mehr Sicherheitslücken findet, kann sie diese auch zuverlässig schließen? Das am 6. August 2026 veröffentlichte Ergebnis fällt deutlich aus. Von 6.080 ausgewerteten Patch-Versuchen behoben nur 26,0 Prozent die Schwachstelle vollständig, ohne das Verhalten der Anwendung wesentlich zu verändern.

Weitere 20,1 Prozent schlossen zwar die bekannte Lücke, veränderten dabei aber die Software. In 53,9 Prozent der Fälle blieb die Schwachstelle bestehen, eine neue kam hinzu oder beides geschah gleichzeitig. Die Forschenden nennen solche Ergebnisse „Fix-Like Artifacts with Embedded Defects“: Änderungen, die wie Reparaturen aussehen, aber versteckte Mängel enthalten.

Was FLAWED tatsächlich macht

FLAWED ist ein offenes Testsystem für KI-generierte Sicherheits-Patches. Es setzt ein Open-Source-Projekt auf einen bekannten verwundbaren Stand zurück, gibt einem Modell die Beschreibung der Lücke und lässt es einen Patch erstellen. Den echten Patch des Projekts sieht das Modell dabei nicht.

Anschließend werden die Änderungen in isolierten Containern validiert, geprüft und in fünf Ergebnisklassen eingeteilt. Die Bandbreite reicht von einer vollständigen Reparatur ohne Verhaltensänderung bis zu einem Patch, der den alten Fehler nicht behebt und zusätzlich eine neue Schwachstelle einführt.

Getestet wurden sechs 2026 veröffentlichte Lücken, darunter Fehler in Linux, ActiveMQ, Chrome, Exim, Spring AI und einer Gemini-CLI-Aktion. Zwei leistungsfähige Modelle erzeugten insgesamt 6.480 Patches. 400 Versuche wurden wegen Hinweisen auf eine Suche nach vorhandenen Lösungen aus der Hauptauswertung entfernt; übrig blieben 6.080 Patches.

Warum das wichtig ist

Automatisches Patchen klingt nach der logischen Antwort auf eine wachsende Zahl automatisch gefundener Sicherheitslücken. Die Studie zeigt jedoch eine Asymmetrie: Ein Modell kann verdächtigen Code erkennen, ohne die Architektur und alle Nebenwirkungen einer sicheren Reparatur zuverlässig zu verstehen.

Mehr als ein Drittel der als vollständig oder funktional repariert bewerteten Patches enthielt laut Off-by-1 Labs zudem fragile Schutzmaßnahmen. Häufig blockierten sie nur den bekannten Angriffstext, statt die Ursache zu beseitigen. Ein leicht veränderter Input könnte die Lücke dadurch wieder erreichbar machen.

Auch der Preis löst das Qualitätsproblem nicht. Die gemeldeten durchschnittlichen Kosten lagen bei 2,11 US-Dollar beziehungsweise 2,81 US-Dollar pro Versuch samt Validierung. Das ist günstig gegenüber menschlicher Entwicklungszeit, aber nur dann nützlich, wenn Tests und Fachprüfung die fehlerhaften Ergebnisse zuverlässig aussortieren.

Einfach erklärt

Ein KI-Patch ähnelt einem Pflaster auf einem undichten Wasserrohr. Von außen kann alles trocken wirken, obwohl der Riss unter dem Pflaster weiterläuft oder der Druck an einer anderen Stelle ein neues Leck erzeugt. Erst ein Belastungstest zeigt, ob das Rohr wirklich repariert wurde.

Praktisches Beispiel

Ein Team erhält 100 KI-generierte Patches für eine kritische Bibliothek. Überträgt man die Durchschnittswerte der Studie grob, wären etwa 26 saubere Reparaturen, 20 Reparaturen mit geändertem Programmverhalten und 54 Fehlschläge oder neue Risiken zu erwarten.

Das Team darf deshalb nicht einfach den ersten Patch übernehmen. Es braucht reproduzierbare Exploit-Tests, bestehende Funktionstests, Prüfungen auf neue Schwachstellen und eine fachkundige Code-Review. FLAWED kann diesen Prozess messbar machen: Das Unternehmen testet zunächst ältere, bereits behobene Lücken aus der eigenen Codebasis und erkennt, bei welchen Komponenten KI-Patches häufig scheitern.

Einordnung und Grenzen

Die Studie untersuchte sechs komplexe Open-Source-Schwachstellen. Die Quote lässt sich nicht unverändert auf kleine Fehler, proprietäre Systeme oder andere Modelle übertragen.
Die Bewertung hängt von Tests, Prüfkriterien und den gewählten Prompts ab. Ein fehlender Test kann einen schlechten Patch fälschlich gut aussehen lassen.
Es war kein Ranglistenvergleich zwischen einzelnen Modellen. Die Ergebnisse beschreiben die getestete Arbeitsweise und den Stand vom August 2026.
Menschliche Prüfung ist ebenfalls nicht fehlerfrei. Sie muss durch automatisierte Tests, klare Sicherheitsanforderungen und unabhängige Kontrolle gestützt werden.
FLAWED montiert für bestimmte Abläufe den Docker-Socket und führt fremden Code aus. Das Werkzeug gehört in eine isolierte, dafür vorgesehene Umgebung.

SEO- und GEO-Schlüsselbegriffe

FLAWED, Off-by-1 Labs, 1Password, KI-generierte Patches, Vulnerability Remediation, Software Security, LLM Security, Code Review, CVE, DevSecOps, Patch Verification, Open Source

FLAWED: Nur 26 Prozent der KI-Patches bestanden den Test