Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr13. Februar 2026 · Q002004

Measuring Time Horizon using Claude Code and Codex

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR berichtet, dass Claude Code für Opus 4.5 und Codex für GPT-5 den gemessenen Zeithorizont gegenüber ReAct beziehungsweise Triframe nicht statistisch signifikant verbesserten. Die Autorin weist auf mögliche Probleme mit Tokenbudgets, unausgereiften Werkzeug-Anpassungen und der Übertragbarkeit autonomer Tests auf interaktive Nutzung hin.

Mittel

Der METR-Bericht vergleicht den gemessenen Zeithorizont von Opus 4.5 mit Claude Code und ReAct sowie GPT-5 mit Codex und Triframe. Die spezialisierten Werkzeuge sind ausführlicher angewiesen und auf ihre Modellfamilien abgestimmt; Triframe nutzt seinerseits beratende und bewertende Unteragenten, während ReAct eine einfache Aktionsschleife ist.

METR führte die Tests auf seiner Inspect-Infrastruktur mit kleineren Änderungen an vorhandenen Agenten durch, prüfte auffällige Fehlschläge manuell und untersuchte die Läufe auf mögliches Schummeln. Laut Bericht schnitten Claude Code und Codex nicht eindeutig besser ab. Die Unterschiede waren statistisch nicht signifikant: Claude Code lag in 50,7 Prozent der Bootstrap-Stichproben vor ReAct, Codex in 14,5 Prozent vor Triframe.

Als mögliche Schwächen nennt die Autorin unter anderem Codex’ nutzerähnliche Abschlussberichte sowie Claude Codes Festhalten an ungeeigneten Plänen und ineffiziente Nutzung begrenzter Abfragen. Ein vierfach höheres Tokenbudget änderte Opus’ vorläufiges Ergebnis kaum. Einschränkungen bleiben: Die Werkzeug-Wrapper seien unausgereift, GPT-5-Codex wurde nicht getestet, und die autonomen Aufgaben bilden interaktive Nutzung nur begrenzt ab. Die Schlussfolgerung gilt daher zunächst für GPT-5 und Opus 4.5 in dieser Aufgabensuite.

Ausführlich lesen

Der Bericht von METR untersucht, ob Claude Code und Codex die gemessene Zeithorizont-Leistung von Modellen gegenüber den von METR verwendeten Standard-Gerüsten ReAct und Triframe verbessern. Anlass ist die Skepsis, dass die spezialisierten, für Softwareentwicklung optimierten Werkzeuge in diesen Messungen besser abschneiden müssten. Die Autorin vergleicht Opus 4.5 mit Claude Code und ReAct sowie GPT-5 mit Codex und Triframe. METR hatte die Messungen der Standard-Gerüste bereits zuvor durchgeführt; neu hinzu kamen die Läufe mit Claude Code und Codex.

Die Gerüste unterscheiden sich in ihrem Ablauf: ReAct führt nacheinander Aktionen aus und verarbeitet jeweils deren Ergebnisse. Triframe ergänzt diesen Ablauf vor jeder Aktion um beratende, parallel arbeitende Akteure und Bewerter, von denen die am besten bewertete Aktion ausgeführt wird. Codex arbeitet laut Bericht als einfache Aktionsschleife, während Claude Code bei Bedarf Unteragenten für Recherche oder Planung einsetzen kann. Beide spezialisierten Werkzeuge erhalten ausführlichere Anweisungen als ReAct und Triframe und sind auf ihre jeweiligen Modellfamilien abgestimmt.

Für die Tests nutzte METR vorhandene Claude-Code- und Codex-Agenten auf der Inspect-Infrastruktur, mit kleineren Änderungen: Die Agenten erfuhren ihren verbleibenden Tokenvorrat, und fehlgeschlagene API-Aufrufe konnten wiederholt werden. Nach den Läufen prüfte die Autorin auffällige Schwächen manuell auf technische Ursachen. Dabei wurden unter anderem korrekte Antworten neu bewertet, die wegen Leerzeichen oder Zeilenumbrüchen fälschlich als falsch gewertet worden waren. Zusätzlich ließ METR die Läufe automatisiert auf mögliches Schummeln prüfen und sichtete markierte Fälle manuell.

Nach den berichteten Ergebnissen übertrafen Claude Code und Codex die Standard-Gerüste nicht klar. Die Unterschiede waren statistisch nicht signifikant: In 50,7 Prozent der Bootstrap-Stichproben lag Claude Code für Opus 4.5 vor ReAct; Codex lag für GPT-5 in 14,5 Prozent der Stichproben vor Triframe. Die Autorin beschreibt zudem beobachtete Fehlermuster: GPT-5 mit Codex verfasste teils Abschlussberichte, als spreche es mit einem Nutzer. Opus 4.5 mit Claude Code hielt in einem Beispiel zu lange an einem ungeeigneten Plan fest und verschwendete in anderen Läufen begrenzte Abfragen, ohne deren Ergebnisse auszugeben.

Der Bericht nennt mehrere Einschränkungen. Die Tokenbudgets betrugen zunächst acht Millionen für Opus 4.5 und 16 Millionen für GPT-5; eine zusätzliche Opus-Messung mit dem vierfachen Budget von 32 Millionen änderte das vorläufige Ergebnis laut Autorin kaum. Dennoch sei bei Claude Code kein deutlicher Leistungssättigungspunkt zu sehen gewesen. Außerdem könnte GPT-5-Codex das Codex-Gerüst besser nutzen als GPT-5; die Autorin hält eine Verbesserung des Zeithorizonts um mehr als das Doppelte dadurch jedoch für unwahrscheinlich. Auch die METR-Anpassungen der Werkzeuge seien noch unausgereift. Zusätzliche Hinweise gegen frühes Aufgeben könnten die Resultate verbessern. Schließlich bilden autonome Aufgaben ohne menschliche Rückmeldung und die verwendete Aufgabensuite interaktive Anwendungen in der Praxis nur begrenzt ab. METR folgert daher vorsichtig, dass Claude Code und Codex bei diesen Modellen keinen großen Unterschied für den gemessenen Zeithorizont bewirkten; für andere neuere Modelle sei ein ähnlicher Befund denkbar, aber nicht abschließend belegt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die mittlere Zusammenfassung. Die kurze Zusammenfassung ist ebenfalls treu, lässt aber Methodik und Einschränkungen aus. Der Bericht ist eine methodische Studie zu Agenten-Gerüsten und enthält keine normativen oder governance-bezogenen Aussagen, weshalb die Einordnungen zu Werten, Verantwortung und Betrieb niedrig ausfallen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Schlussfolgerung des Berichts, dass der Unterschied vermutlich auch für andere aktuelle Modelle gering ausfällt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 24 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %gleiches Oberthema, hilft nicht
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 57 %umfangreiche Belege
    • JEV 54 %umfangreiche Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 31 %einzelne zitierbare Belege
    • d3-ultra 38 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 29 %nur am Rande erwähnt
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 40 %umfangreiche Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 27 %Hintergrund, keine Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 63 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →