Measuring Time Horizon using Claude Code and Codex
Zusammenfassung
Kurz
METR berichtet, dass Claude Code für Opus 4.5 und Codex für GPT-5 den gemessenen Zeithorizont gegenüber ReAct beziehungsweise Triframe nicht statistisch signifikant verbesserten. Die Autorin weist auf mögliche Probleme mit Tokenbudgets, unausgereiften Werkzeug-Anpassungen und der Übertragbarkeit autonomer Tests auf interaktive Nutzung hin.
Mittel
Der METR-Bericht vergleicht den gemessenen Zeithorizont von Opus 4.5 mit Claude Code und ReAct sowie GPT-5 mit Codex und Triframe. Die spezialisierten Werkzeuge sind ausführlicher angewiesen und auf ihre Modellfamilien abgestimmt; Triframe nutzt seinerseits beratende und bewertende Unteragenten, während ReAct eine einfache Aktionsschleife ist.
METR führte die Tests auf seiner Inspect-Infrastruktur mit kleineren Änderungen an vorhandenen Agenten durch, prüfte auffällige Fehlschläge manuell und untersuchte die Läufe auf mögliches Schummeln. Laut Bericht schnitten Claude Code und Codex nicht eindeutig besser ab. Die Unterschiede waren statistisch nicht signifikant: Claude Code lag in 50,7 Prozent der Bootstrap-Stichproben vor ReAct, Codex in 14,5 Prozent vor Triframe.
Als mögliche Schwächen nennt die Autorin unter anderem Codex’ nutzerähnliche Abschlussberichte sowie Claude Codes Festhalten an ungeeigneten Plänen und ineffiziente Nutzung begrenzter Abfragen. Ein vierfach höheres Tokenbudget änderte Opus’ vorläufiges Ergebnis kaum. Einschränkungen bleiben: Die Werkzeug-Wrapper seien unausgereift, GPT-5-Codex wurde nicht getestet, und die autonomen Aufgaben bilden interaktive Nutzung nur begrenzt ab. Die Schlussfolgerung gilt daher zunächst für GPT-5 und Opus 4.5 in dieser Aufgabensuite.
Ausführlich lesen
Der Bericht von METR untersucht, ob Claude Code und Codex die gemessene Zeithorizont-Leistung von Modellen gegenüber den von METR verwendeten Standard-Gerüsten ReAct und Triframe verbessern. Anlass ist die Skepsis, dass die spezialisierten, für Softwareentwicklung optimierten Werkzeuge in diesen Messungen besser abschneiden müssten. Die Autorin vergleicht Opus 4.5 mit Claude Code und ReAct sowie GPT-5 mit Codex und Triframe. METR hatte die Messungen der Standard-Gerüste bereits zuvor durchgeführt; neu hinzu kamen die Läufe mit Claude Code und Codex.
Die Gerüste unterscheiden sich in ihrem Ablauf: ReAct führt nacheinander Aktionen aus und verarbeitet jeweils deren Ergebnisse. Triframe ergänzt diesen Ablauf vor jeder Aktion um beratende, parallel arbeitende Akteure und Bewerter, von denen die am besten bewertete Aktion ausgeführt wird. Codex arbeitet laut Bericht als einfache Aktionsschleife, während Claude Code bei Bedarf Unteragenten für Recherche oder Planung einsetzen kann. Beide spezialisierten Werkzeuge erhalten ausführlichere Anweisungen als ReAct und Triframe und sind auf ihre jeweiligen Modellfamilien abgestimmt.
Für die Tests nutzte METR vorhandene Claude-Code- und Codex-Agenten auf der Inspect-Infrastruktur, mit kleineren Änderungen: Die Agenten erfuhren ihren verbleibenden Tokenvorrat, und fehlgeschlagene API-Aufrufe konnten wiederholt werden. Nach den Läufen prüfte die Autorin auffällige Schwächen manuell auf technische Ursachen. Dabei wurden unter anderem korrekte Antworten neu bewertet, die wegen Leerzeichen oder Zeilenumbrüchen fälschlich als falsch gewertet worden waren. Zusätzlich ließ METR die Läufe automatisiert auf mögliches Schummeln prüfen und sichtete markierte Fälle manuell.
Nach den berichteten Ergebnissen übertrafen Claude Code und Codex die Standard-Gerüste nicht klar. Die Unterschiede waren statistisch nicht signifikant: In 50,7 Prozent der Bootstrap-Stichproben lag Claude Code für Opus 4.5 vor ReAct; Codex lag für GPT-5 in 14,5 Prozent der Stichproben vor Triframe. Die Autorin beschreibt zudem beobachtete Fehlermuster: GPT-5 mit Codex verfasste teils Abschlussberichte, als spreche es mit einem Nutzer. Opus 4.5 mit Claude Code hielt in einem Beispiel zu lange an einem ungeeigneten Plan fest und verschwendete in anderen Läufen begrenzte Abfragen, ohne deren Ergebnisse auszugeben.
Der Bericht nennt mehrere Einschränkungen. Die Tokenbudgets betrugen zunächst acht Millionen für Opus 4.5 und 16 Millionen für GPT-5; eine zusätzliche Opus-Messung mit dem vierfachen Budget von 32 Millionen änderte das vorläufige Ergebnis laut Autorin kaum. Dennoch sei bei Claude Code kein deutlicher Leistungssättigungspunkt zu sehen gewesen. Außerdem könnte GPT-5-Codex das Codex-Gerüst besser nutzen als GPT-5; die Autorin hält eine Verbesserung des Zeithorizonts um mehr als das Doppelte dadurch jedoch für unwahrscheinlich. Auch die METR-Anpassungen der Werkzeuge seien noch unausgereift. Zusätzliche Hinweise gegen frühes Aufgeben könnten die Resultate verbessern. Schließlich bilden autonome Aufgaben ohne menschliche Rückmeldung und die verwendete Aufgabensuite interaktive Anwendungen in der Praxis nur begrenzt ab. METR folgert daher vorsichtig, dass Claude Code und Codex bei diesen Modellen keinen großen Unterschied für den gemessenen Zeithorizont bewirkten; für andere neuere Modelle sei ein ähnlicher Befund denkbar, aber nicht abschließend belegt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung. Die kurze Zusammenfassung ist ebenfalls treu, lässt aber Methodik und Einschränkungen aus. Der Bericht ist eine methodische Studie zu Agenten-Gerüsten und enthält keine normativen oder governance-bezogenen Aussagen, weshalb die Einordnungen zu Werten, Verantwortung und Betrieb niedrig ausfallen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Schlussfolgerung des Berichts, dass der Unterschied vermutlich auch für andere aktuelle Modelle gering ausfällt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 25 %Hintergrund, keine Belege
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 24 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 27 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %gleiches Oberthema, hilft nicht
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 22 %Hintergrund, keine Belege
- Luna 57 %umfangreiche Belege
- JEV 54 %umfangreiche Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 30 %gleiches Oberthema, hilft nicht
- drex 31 %einzelne zitierbare Belege
- d3-ultra 38 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 62 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 28 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV 25 %einzelne zitierbare Belege
- amos 29 %nur am Rande erwähnt
- SubQ 40 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit?
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 40 %umfangreiche Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 27 %Hintergrund, keine Belege
- JEV 35 %einzelne zitierbare Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 63 %gleiches Oberthema, hilft nicht
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 28 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv