Coding-Agenten pruefen ML-Paper mit sichtbaren Belegen

Worum es geht

Am 2. Juli 2026 haben Atharva Hans und Ilias Bilionis das Paper Coding-agents can replicate scientific machine learning papers auf arXiv eingereicht. Die Arbeit untersucht nicht die naechste Chatbot-Demo, sondern eine sehr konkrete Frage: Kann ein Coding-Agent wissenschaftliche Machine-Learning-Paper so nachbauen, dass die Belege spaeter wirklich pruefbar sind?

Der Kern ist ein Workflow namens Paper-replication. Er zwingt den Agenten, Aussagen aus einem Paper als einzelne Ziele zu erfassen, Experimente zu rekonstruieren, Ergebnisse mit Herkunftsnachweisen abzulegen und erst dann als abgeschlossen zu markieren, wenn Validierungschecks bestanden sind.

Was Paper-replication tatsaechlich macht

Der Workflow behandelt ein Paper nicht als Text, den ein Modell zusammenfasst, sondern als Liste pruefbarer Behauptungen. Eine Aussage wie „der relative Fehler liegt unter 5 Prozent“ wird zu einem Ziel. Der Agent muss dann Methode, Datenfluss, Ausfuehrung und Vergleich so dokumentieren, dass ein Mensch die Spur spaeter nachvollziehen kann.

Die Autoren implementieren das als Coding-Agent-Skill. Veröffentlicht wurden dazu ein GitHub-Repository, zwoelf erzeugte Fallstudien-Workspaces, Analyse-Skripte und die Skill-Dateien. Im Test liefen zwoelf unabhaengige Replikationen ueber vier wissenschaftliche Machine-Learning-Paper. Alle zwoelf Workspaces bestanden den Completion-Gate, und alle 158 erfassten Ziele wurden mit Berichtsnachweisen abgedeckt.

Warum das wichtig ist

Viele KI-Demos enden mit einem selbstbewussten Satz: „Ich habe es repliziert.“ Genau das ist wissenschaftlich wenig wert, wenn nicht klar ist, welche Zahl, welches Skript und welcher Vergleich dahintersteht. Dieses Paper verschiebt die Messlatte vom finalen Agenten-Text zur Workspace-Evidenz.

Das passt in eine breitere Entwicklung. Nature hat 2026 mit The AI Scientist gezeigt, dass agentische Systeme schon ganze Forschungspipelines bauen koennen. Gleichzeitig warnen Forschende, dass automatisierte Wissenschaft ohne saubere Pruefbarkeit auch mehr Rauschen in die Literatur bringen kann. Paper-replication ist interessant, weil es nicht behauptet, perfekte Reproduktion zu liefern. Es baut stattdessen eine nachvollziehbare Akte: Welche Ziele wurden gewaehlt, welche Belege akzeptiert, wo gab es Abweichungen?

Einfach erklärt

Stell dir vor, ein Praktikant soll ein kompliziertes Kuchenrezept aus einem Kochbuch nachbacken. Eine schlechte Kontrolle waere: Er sagt am Ende, der Kuchen sei gelungen. Eine bessere Kontrolle ist: Er notiert jede Zutat, fotografiert jeden Zwischenschritt, misst Backzeit und Temperatur und vergleicht das Ergebnis mit dem Rezept. Paper-replication macht genau diese zweite Variante fuer Coding-Agenten.

Praktisches Beispiel

Ein Forschungsteam liest ein Paper, das fuer ein physikalisches Modell einen Fehler unter 5 Prozent meldet. Der Agent zerlegt diese Behauptung in ein Ziel, rekonstruiert den Trainingslauf, speichert Skripte und Ausgaben und schreibt in den Bericht, welche Datei den Vergleich belegt. Wenn spaeter ein Review-Team 20 solche Ziele prueft, muss es nicht den ganzen Chatverlauf glauben, sondern kann Ziel fuer Ziel die Belegkette oeffnen.

In einem realistischen Laborlauf koennte das bedeuten: Vier Paper, je 30 bis 50 technische Behauptungen, zwoelf Agentenlaeufe und ein Ordner pro Lauf. Der wichtige Fortschritt ist nicht, dass jede Zahl exakt gleich wird. Wichtig ist, dass Unterschiede sichtbar bleiben, statt in einer glatten Zusammenfassung zu verschwinden.

Einordnung und Grenzen

• Die Studie umfasst vier Paper und zwoelf Laeufe. Das ist ein sauberer Anfang, aber kein Beweis, dass der Ansatz fuer jede Disziplin funktioniert.
• „Matched“ bedeutet hier: Das erfasste Ziel ist unter den definierten Regeln mit Berichtsnachweis abgedeckt. Es bedeutet nicht, dass jede moegliche Aussage des Ursprungspapers repliziert wurde.
• Replikationsarbeit bleibt urteilsabhaengig. Die Autoren berichten selbst, dass Laeufe sich bei Zielaufteilung, numerischer Naehe, Laufzeit und Akzeptanzregeln unterscheiden.

SEO- und GEO-Schlüsselbegriffe

Coding agents, wissenschaftliche Replikation, Machine Learning Paper, arXiv 2607.02134, Paper-replication, Codex Skills, Claude Code Skills, reproduzierbare Forschung, KI in der Wissenschaft, Evidence Workflow