KI-Agenten scheitern an offener Forschung im Praxistest

Worum es geht

Eine neue Untersuchung stellt eine der folgenreichsten Behauptungen der KI-Branche auf die Probe: Können heutige KI-Agenten eigenständig neue Forschung betreiben? Das Team um Peter Kirgis, Sayash Kapoor und Arvind Narayanan gab Agenten die Kernfragen zweier damals unveröffentlichter NeurIPS-2026-Einreichungen. Dadurch konnten die Systeme die Lösungen nicht einfach im Internet finden.

Die Agenten erhielten sechs Tage, Internetzugang, Rechenleistung und jeweils rund 3.000 US-Dollar Modellbudget. Sie schrieben vollständige Arbeiten, doch die ursprünglichen Forschenden bewerteten beide Ergebnisse mit eindeutigen Ablehnungen. Die Studie erschien zunächst als arXiv-Preprint; am 14. August 2026 griffen Tech Xplore und The Decoder die Ergebnisse auf.

Was die Shadow Evaluation tatsächlich macht

Die Forschenden nennen ihr Verfahren Shadow Evaluation. Ein Agent bekommt die zentrale Frage einer hochwertigen, noch nicht veröffentlichten Arbeit. Er muss Literatur suchen, Code schreiben, Experimente planen, Ergebnisse prüfen und daraus ein Paper erstellen. Anschließend beurteilen die Personen, die monatelang an der Originalfrage gearbeitet haben, das Ergebnis nach üblichen Konferenzmaßstäben.

Im Hauptversuch bearbeiteten die Agenten zwei Themen: die Steuerbarkeit von Persönlichkeitsmerkmalen in Sprachmodellen und die Erkennung veränderter Eingabedaten bei tabellarischen Basismodellen. Technisch waren die Systeme erstaunlich selbstständig. Sie programmierten, starteten GPU-Experimente und erzeugten LaTeX-Dokumente ohne laufende menschliche Anleitung.

Gerade beim wissenschaftlichen Urteil entstanden jedoch wiederkehrende Fehler. Die Agenten wählten schwache Versuchsaufbauten, verwarfen ambitionierte Wege zu früh und reagierten auf negative Resultate oft mit vorsichtigeren Formulierungen statt mit besseren Experimenten. Beide Arbeiten überschritten zudem formale Längengrenzen. Die Fachbewertungen lagen insgesamt bei 2 von 6 beziehungsweise 1 von 6 Punkten.

Warum das wichtig ist

Die Ergebnisse trennen zwei Fähigkeiten, die in Debatten häufig vermischt werden. Ein Agent kann Forschungsarbeit technisch ausführen, ohne deshalb eine gute Forschungsfrage zu entwickeln oder aus einem Fehlschlag die richtige neue Richtung abzuleiten. Genau dieses Urteil entscheidet aber darüber, ob aus vielen Experimenten neues Wissen entsteht.

Das betrifft Forschungslabore, Hochschulen und Unternehmen, die Agenten für anspruchsvolle Entwicklungsprojekte einplanen. Automatisierte Literaturrecherche, Programmierung und reproduzierbare Testläufe können Zeit sparen. Wer daraus jedoch ableitet, dass ein System ein offenes Forschungsprogramm allein führen kann, übernimmt ein Risiko, das bestehende Benchmarks kaum messen.

Bemerkenswert ist auch die Ressourcennutzung. Die Agenten verbrauchten weniger als die Hälfte ihres verfügbaren API-Budgets und beendeten wichtige Erkundungsphasen deutlich früher als geplant. Mehr Budget allein löst offenbar kein Problem, wenn ein System nicht erkennt, dass sein Ansatz grundsätzlich überarbeitet werden muss.

Einfach erklärt

Ein KI-Agent in diesem Versuch ähnelte einem sehr schnellen Koch mit einer voll ausgestatteten Küche. Er konnte Zutaten holen, Geräte bedienen und mehrere Gerichte parallel zubereiten. Als die erste Soße misslang, änderte er jedoch nur die Beschreibung auf der Speisekarte, statt Rezept, Temperatur und Zutaten neu zu prüfen. Geschwindigkeit in der Küche ersetzt noch kein gutes kulinarisches Urteil.

Praktisches Beispiel

Ein Materiallabor möchte eine neue Beschichtung entwickeln und gibt einem Agenten sechs Tage sowie 3.000 Euro Rechenbudget. Der Agent liest 400 Arbeiten, schreibt Simulationscode und testet 120 Varianten. Nach 30 Tests zeigt sich, dass die Ausgangshypothese nicht trägt. Ein guter Forschungsprozess würde nun Messmethode, Kontrollgruppe oder Hypothese neu aufbauen.

Ein Agent mit den in der Studie beobachteten Schwächen könnte stattdessen nur die ursprüngliche Aussage einschränken, weitere ähnliche Tests ausführen und früh einen Bericht abgeben. Das Ergebnis wirkt umfangreich, beantwortet die entscheidende Frage aber nicht. Eine menschliche Fachperson müsste deshalb spätestens bei der Versuchsplanung, bei negativen Zwischenresultaten und vor der Schlussfolgerung eingreifen.

Einordnung und Grenzen

• Die Untersuchung umfasst nur zwei Forschungsfragen. Sie zeigt wiederkehrende Fehler, ist aber kein allgemeiner Beweis für jedes Modell und jedes Fachgebiet.
• Die Bewertenden kannten ihre eigenen Originalarbeiten und wussten, dass sie Agentenergebnisse prüften. Eine vollständige Verblindung gab es nicht.
• Der Preprint wurde noch nicht in einem abgeschlossenen Fachbegutachtungsverfahren veröffentlicht. Die Autoren stellen jedoch Bewertungen, Protokolle und Repositorien zur Überprüfung bereit.

Die Studie sagt nicht, dass KI in der Forschung nutzlos ist. Sie zeigt vielmehr eine sinnvolle Grenze: Agenten eignen sich derzeit eher als Werkzeuge für Engineering, Recherche und Routineexperimente als als alleinige Verantwortliche für offene wissenschaftliche Entscheidungen.

SEO- und GEO-Schlüsselbegriffe

KI-Agenten, autonome Forschung, Shadow Evaluation, NeurIPS 2026, wissenschaftliche KI, OpenClaw, Forschungsautomatisierung, Agenten-Benchmark, arXiv 2607.27191, KI-Forschung