Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr21. Juli 2026 · Q001377

Expenditure Horizon: Measuring Optimization Ability, with an Application to NanoGPT

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR entwickelt den „Expenditure Horizon“, der misst, bei welchem Budget Agenten denselben Optimierungsfortschritt wie Menschen erzielen, und erprobt ihn an NanoGPT. Nach erneuter Prüfung erzielten neuere Modelle laut METR begrenzte, teils übernehmbare Verbesserungen; die geschätzten Horizonte liegen im Basisszenario zwischen 600 und 3.300 Dollar. Die Schätzungen sind stark von unsicheren menschlichen Kostenannahmen abhängig und sagen nichts über mögliche Vorteile der Zusammenarbeit von Menschen und KI aus.

Mittel

METR schlägt den „Expenditure Horizon“ vor: Er bezeichnet das Budget, bei dem ein KI-Agent und Menschen denselben Optimierungsfortschritt erreicht haben. Das Team vergleicht dafür Leistungs- und Kostenkurven. Als Beispiel dient die NanoGPT-Speedrun-Aufgabe. Aus Interviews mit zwei aktiven Mitwirkenden und Schätzungen eines Sprachmodell-Judges leitet METR für den späteren Verlauf der Rangliste einen groben menschlichen Aufwand von 16 Stunden beziehungsweise 2.500 Dollar je ein Prozent Verbesserung ab. Diese Schätzung sei unsicher und könne Vorarbeit und Ideensuche unterschätzen.

Sechs Agentenläufe starteten bei einem historischen Rekord und erhielten umfangreiche GPU-Ressourcen. Nach erneuter Validierung hätten GPT-5 und Opus-4.1 keine bedeutsamen Verbesserungen erzielt; neuere Modelle schon. METR beziffert die Horizonte im Basisszenario auf 600 bis 3.300 Dollar, darunter 3.300 Dollar für Opus-4.8 und 2.300 Dollar für GPT-5.5. Ein Maintainer schätzte, dass nur etwa die Hälfte bis 60 Prozent des Fortschritts dieser beiden Modelle übernehmbar sei. Die Ergebnisse hängen stark von der menschlichen Kostenannahme ab und erfassen keine Mensch-KI-Zusammenarbeit. METR wertet den autonomen Beitrag in diesem Versuch als begrenzt; ob das für andere Aufgaben gilt, bleibt offen.

Ausführlich lesen

METR schlägt den „Expenditure Horizon“ als Maß dafür vor, wie viel Optimierungsfortschritt ein KI-Agent im Verhältnis zu menschlicher Arbeit erzielt. Dafür werden die Leistungsverbesserungen von Agenten und Menschen den jeweiligen Ausgaben gegenübergestellt. Der Expenditure Horizon ist das Budget, bei dem beide Kurven denselben Fortschritt erreichen. Die Methode soll kontinuierliche Leistungswerte und Kosten einschließlich Modellaufrufen und Experimenten berücksichtigen; damit ergänzt sie Benchmarks, die oft nur Erfolg oder Misserfolg bei einem festen Zeitbudget erfassen.

Als Beispiel untersucht METR die NanoGPT-Speedrun-Aufgabe: ein festgelegtes Sprachmodell auf acht H100-GPUs möglichst schnell bis zu einem bestimmten Validierungsverlust zu trainieren. Für die menschliche Vergleichskurve wertete das Team Beiträge seit Januar 2025 aus, befragte zwei besonders aktive Mitwirkende zu sechs Beiträgen und ließ ein Sprachmodell den Aufwand für Pull Requests schätzen. Die Befragten veranschlagten zusammen 142 Arbeitsstunden für Verbesserungen von insgesamt 9,8 Prozent. METR korrigierte die Schätzungen des Sprachmodell-Judges anhand dieser Angaben. Für den späteren Abschnitt der Rangliste schätzt das Team im Mittel etwa 16 Arbeitsstunden beziehungsweise rund 2.500 US-Dollar je ein Prozent Verbesserung, bei einem angenommenen Stundensatz von 150 Dollar. Die Autorinnen und Autoren betonen, dass diese Schätzung unsicher ist und unbezahlte Vorarbeit, Ideensuche sowie Forschung aus der Literatur möglicherweise nicht vollständig erfasst.

Für die Agenten ließ METR sechs Läufe vom historischen Rekord 78 aus starten und stellte ihnen jeweils vier H100-Knoten zur Verfügung. Die Ausgaben umfassten Modellnutzung und Experimente; die Läufe gingen bis zu 10.000 Dollar und dauerten bis zu fünf Tage. Nachträgliche Wiederholungen sollten zufällige Messschwankungen von echten Verbesserungen unterscheiden. Laut METR überschätzten die ungeprüften Verläufe den Fortschritt teilweise: GPT-5 und Opus-4.1 erzielten nach erneuter Prüfung keine bedeutsamen Verbesserungen. Neuere Modelle verbesserten sich dagegen. Bei Opus-4.8 und GPT-5.5 schätzt METR die validierten Zugewinne auf etwa 1,5 beziehungsweise 1 Prozent. Die daraus berechneten Horizonte liegen im Basisszenario bei rund 3.300 Dollar für Opus-4.8 und 2.300 Dollar für GPT-5.5; für die übrigen positiven Läufe nennt der Bericht insgesamt eine Spanne von etwa 600 bis 3.300 Dollar.

Eine Prüfung durch den Speedrun-Maintainer ergab laut METR, dass zwar ungefähr 70 Prozent der Ideen grundsätzlich übernehmbar seien, der übernehmbare Anteil am gemessenen Fortschritt aber geringer ausfalle: etwa 60 Prozent bei Opus-4.8 und 50 Prozent bei GPT-5.5. Als Beispiele nennt der Bericht sinnvolle Änderungen an Trainingsplan und Datenlader, aber auch fragile, stark auf das Ziel zugeschnittene Anpassungen. Zudem beanspruchten Experimente schätzungsweise 70 bis 90 Prozent der Agentenkosten; ein effizienteres Verfahren könnte die Kosten senken, dürfte nach METRs Einschätzung aber weder den Horizon noch den maximalen Zugewinn stark verändern.

Die Ergebnisse gelten nur für diese Aufgabe und die untersuchten autonomen Agentenläufe. Sie hängen empfindlich von der unsicheren menschlichen Kostenkurve ab: Für Opus-4.8 variieren die Horizonte je nach angenommener Schwierigkeit von 120 bis 14.400 Dollar, für GPT-5.5 von 160 bis 9.400 Dollar. Frühere Läufe ab einem älteren Rekord schloss METR wegen Hinweisen auf Trainingsdaten-Kontamination aus. Der Bericht misst außerdem keine Mensch-KI-Zusammenarbeit, die laut METR leistungsfähiger sein könnte. NanoGPT ähnelt nach Darstellung des Teams bestimmten Bereichen der KI-Forschung, ist jedoch deutlich kleiner als Systeme an der Forschungsfront. METR folgert daher, dass autonome Agenten in diesem Versuch bislang nur einen begrenzten Beitrag zum Fortschritt geleistet hätten; eine Verallgemeinerung auf andere Forschungsaufgaben bleibt offen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Kurzfassung und mittlere Fassung geben die Kernaussagen und Zahlen korrekt wieder, lassen aber die Harness-Ineffizienz aus. Die Einordnung bewertet jede Frage unabhängig von Lunas Stufen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Ineffizienz des Harness: Experimentkosten machten etwa 70 bis 90 Prozent der Kosten aus, was die Horizonte nach METR-Angaben verzerren kann.
  • Die Einschränkung, dass NanoGPT nur ein Proof-of-Concept ist und die Ergebnisse nicht ohne Weiteres auf Frontier-Pretraining übertragbar sind.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 33 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 21 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 31 %Hintergrund, keine Belege
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 42 %einzelne zitierbare Belege
    • JEV 37 %umfangreiche Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra 44 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich? Luna: Stufe 3 · 24 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 27 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 33 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 20 %beantwortet teilweise oder widerspricht
    • Luna 32 %umfangreiche Belege
    • JEV 48 %umfangreiche Belege
    • amos 31 %umfangreiche Belege
    • SubQ 23 %einzelne zitierbare Belege
    • drex 30 %umfangreiche Belege
    • d3-ultra 31 %einzelne zitierbare Belege
    • Haiku-Prüfung umfangreiche Belege

    • SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 4 · 38 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 5 · umfangreiche Belege
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 29 %nur am Rande erwähnt
    • JEV 41 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 64 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 26 %Hintergrund, keine Belege
    • Luna 63 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 26 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 38 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →