Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch10. April 2026 · Q004940

MirrorCode: evidence AI can already do some weeks-long coding tasks

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI berichtet, dass Claude Opus 4.6 gotree ohne Quellcodezugriff erfolgreich nachgebaut, Pkl aber selbst mit einer Milliarde Tokens nicht gelöst habe. Die Autoren sehen Hinweise auf autonome KI-Leistung bei langen Programmieraufgaben, warnen jedoch vor einer Übertragung auf gewöhnliche Entwicklung: Der Benchmark hat präzise Prüfvorgaben, kann von Memorierung beeinflusst sein und deckt nur wenige Programme ab.

Mittel

Der Bericht beschreibt MirrorCode, einen Benchmark für längere Programmieraufgaben. KI-Modelle sollen Kommandozeilenprogramme ohne Zugriff auf deren Quellcode nachbauen. Sie können das Original ausführen und seine Ausgaben beobachten; bestanden ist eine Aufgabe, wenn die neue Version in Ende-zu-Ende-Tests dieselben Ergebnisse liefert.

Epoch AI berichtet, Claude Opus 4.6 habe das Bioinformatik-Werkzeug gotree mit rund 40 Befehlen erfolgreich nachgebaut. Vier informelle Schätzungen beziffern den Aufwand für einen erfahrenen Menschen auf etwa zwei bis 17 Wochen. Opus 4.6 löste dagegen Pkl, eine deutlich umfangreichere Konfigurationssprache, auch mit einer Milliarde Tokens nicht. Das Modell hatte bei der Umsetzung unter anderem die verzögerte Auswertung der Sprache übersehen und den grundlegenden Fehler nicht korrigiert.

Die Autoren sehen darin Hinweise auf autonome KI-Leistung bei manchen umfangreichen Aufgaben. Sie betonen jedoch, dass der Benchmark eine präzise, automatisch prüfbare Spezifikation voraussetzt, Memorierung nicht sicher ausgeschlossen ist und nur wenige Programme aus bestimmten Bereichen untersucht wurden. Die Ergebnisse belegen daher nicht, dass KI beliebige Softwareaufgaben bewältigen kann.

Ausführlich lesen

Der Bericht stellt vorläufige Ergebnisse von MirrorCode vor, einem gemeinsam mit METR entwickelten Benchmark für längerfristige Programmieraufgaben. Die Modelle sollen bestehende Kommandozeilenprogramme nachbauen, ohne deren Quellcode zu sehen. Sie dürfen das Originalprogramm mit Eingaben ausführen und dessen Ausgaben beobachten; außerdem erhalten sie Dokumentation und sichtbare Tests. Bewertet wird anhand von Ende-zu-Ende-Tests, bei denen die neue Implementierung exakt dieselben Ausgaben wie das Original liefern muss. Die Versuche liefen autonom in Docker-Umgebungen ohne Internetzugang. Untersucht wurden vier Claude-Opus-Versionen und zunächst vier Programme: choose, cal, gotree und Pkl.

Epoch AI berichtet, dass Opus 4.6 gotree erfolgreich nachgebaut habe. Das Bioinformatik-Werkzeug umfasst rund 40 Befehle; die gelungene Rust-Implementierung umfasst laut Bericht etwa 7.644 Zeilen. Die Autoren schätzen, dass ein erfahrener Mensch für eine vollständige Umsetzung unter denselben Vorgaben ungefähr zwei bis 17 Wochen brauchen könnte. Diese Einschätzung beruht auf vier informellen Expertenschätzungen und einem unvollständigen Versuch mit einer einfacheren Aufgabe, also nicht auf einer breiten Zeitmessung. Ältere Opus-Versionen schnitten laut Bericht schlechter ab: Sie reichten teils vorzeitig unvollständige Lösungen ein und verwendeten für phylogenetische Bäume weniger passende Datenstrukturen. Die Qualität des erfolgreichen KI-Codes sei gemischt gewesen; unter anderem habe er vermeidbare Wiederholungen enthalten.

Pkl, eine umfangreiche Konfigurationssprache mit rund 61.000 Zeilen in der Referenzimplementierung, löste Opus 4.6 auch mit einem Budget von einer Milliarde Tokens nicht. Die Autoren beobachteten zwar weitere Leistungsfortschritte während des Laufs, betonen aber, dass ungewiss sei, ob mehr Rechenaufwand zur vollständigen Lösung führen würde. Ein zentrales Problem war, dass das Modell zunächst sofortige statt verzögerte Auswertung implementierte und diesen grundlegenden Entwurfsfehler trotz wiederholter eigener Hinweise nicht behob.

Die Autoren werten die Ergebnisse als Hinweis darauf, dass KI bereits manche umfangreichen Programmieraufgaben autonom bewältigen kann. Sie schränken diese Aussage deutlich ein: MirrorCode setzt eine ungewöhnlich präzise, maschinell prüfbare Verhaltensvorgabe voraus; gewöhnliche Softwareentwicklung funktioniere oft anders. Trotz Gegenmaßnahmen könne Memorierung eine Rolle spielen. Außerdem decken die wenigen untersuchten Programme nur einige Softwarebereiche ab, und viele reale Systeme seien komplexer. Die hier gezeigten Ergebnisse betreffen vor allem Anthropic-Modelle; breitere Modellvergleiche und weitere Tests kündigen die Autoren für eine spätere Veröffentlichung an. Daher lassen sich die Resultate nicht ohne Weiteres auf beliebige Entwicklungsaufgaben übertragen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna hat die Zusammenfassung weitgehend korrekt wiedergegeben; es fehlen nur einzelne Nebenpunkte. Bei der Einordnung liegen die Stufen für die Sammelfragen zu hoch, weil der Bericht ein Programmier-Benchmark ist und keine Sicherheits- oder Cyberpolitik behandelt. Die Anteilsangaben in Lunas Einordnung waren im Bericht nicht zu finden und wurden deshalb nicht bewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Ergebnisse gelten ausdrücklich als vorläufig; ein offener Benchmark mit zurückgehaltenem Privattestsatz ist geplant
  • Getestet wurden nur Anthropic-Claude-Modelle; die Autoren berichten von ähnlicher oder schwächerer Leistung anderer Modelle
  • Der Erfolg bei gotree wird auf Ausdauer beim Abschluss und bessere Datenstrukturen zurückgeführt; ältere Modelle gaben oft vorzeitig auf
  • Bei cal gibt es nur schwache Belege für Memorierung bei Opus 4.0 und 4.1; ein menschlicher Basiswert auf einer kleineren Aufgabe blieb unvollständig

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 47 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 25 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 25 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %umfangreiche Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 20 %gleiches Oberthema, hilft nicht
    • Luna 49 %einzelne zitierbare Belege
    • JEV 42 %umfangreiche Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 34 %einzelne zitierbare Belege
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 57 %Hintergrund, keine Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 22 %gleiches Oberthema, hilft nicht
    • d3-ultra 39 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 51 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 72 %einzelne zitierbare Belege
    • JEV 41 %beantwortet teilweise oder widerspricht
    • amos 31 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 25 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →