Expenditure Horizon: Measuring Optimization Ability, with an Application to NanoGPT
Zusammenfassung
Kurz
METR entwickelt den „Expenditure Horizon“, der misst, bei welchem Budget Agenten denselben Optimierungsfortschritt wie Menschen erzielen, und erprobt ihn an NanoGPT. Nach erneuter Prüfung erzielten neuere Modelle laut METR begrenzte, teils übernehmbare Verbesserungen; die geschätzten Horizonte liegen im Basisszenario zwischen 600 und 3.300 Dollar. Die Schätzungen sind stark von unsicheren menschlichen Kostenannahmen abhängig und sagen nichts über mögliche Vorteile der Zusammenarbeit von Menschen und KI aus.
Mittel
METR schlägt den „Expenditure Horizon“ vor: Er bezeichnet das Budget, bei dem ein KI-Agent und Menschen denselben Optimierungsfortschritt erreicht haben. Das Team vergleicht dafür Leistungs- und Kostenkurven. Als Beispiel dient die NanoGPT-Speedrun-Aufgabe. Aus Interviews mit zwei aktiven Mitwirkenden und Schätzungen eines Sprachmodell-Judges leitet METR für den späteren Verlauf der Rangliste einen groben menschlichen Aufwand von 16 Stunden beziehungsweise 2.500 Dollar je ein Prozent Verbesserung ab. Diese Schätzung sei unsicher und könne Vorarbeit und Ideensuche unterschätzen.
Sechs Agentenläufe starteten bei einem historischen Rekord und erhielten umfangreiche GPU-Ressourcen. Nach erneuter Validierung hätten GPT-5 und Opus-4.1 keine bedeutsamen Verbesserungen erzielt; neuere Modelle schon. METR beziffert die Horizonte im Basisszenario auf 600 bis 3.300 Dollar, darunter 3.300 Dollar für Opus-4.8 und 2.300 Dollar für GPT-5.5. Ein Maintainer schätzte, dass nur etwa die Hälfte bis 60 Prozent des Fortschritts dieser beiden Modelle übernehmbar sei. Die Ergebnisse hängen stark von der menschlichen Kostenannahme ab und erfassen keine Mensch-KI-Zusammenarbeit. METR wertet den autonomen Beitrag in diesem Versuch als begrenzt; ob das für andere Aufgaben gilt, bleibt offen.
Ausführlich lesen
METR schlägt den „Expenditure Horizon“ als Maß dafür vor, wie viel Optimierungsfortschritt ein KI-Agent im Verhältnis zu menschlicher Arbeit erzielt. Dafür werden die Leistungsverbesserungen von Agenten und Menschen den jeweiligen Ausgaben gegenübergestellt. Der Expenditure Horizon ist das Budget, bei dem beide Kurven denselben Fortschritt erreichen. Die Methode soll kontinuierliche Leistungswerte und Kosten einschließlich Modellaufrufen und Experimenten berücksichtigen; damit ergänzt sie Benchmarks, die oft nur Erfolg oder Misserfolg bei einem festen Zeitbudget erfassen.
Als Beispiel untersucht METR die NanoGPT-Speedrun-Aufgabe: ein festgelegtes Sprachmodell auf acht H100-GPUs möglichst schnell bis zu einem bestimmten Validierungsverlust zu trainieren. Für die menschliche Vergleichskurve wertete das Team Beiträge seit Januar 2025 aus, befragte zwei besonders aktive Mitwirkende zu sechs Beiträgen und ließ ein Sprachmodell den Aufwand für Pull Requests schätzen. Die Befragten veranschlagten zusammen 142 Arbeitsstunden für Verbesserungen von insgesamt 9,8 Prozent. METR korrigierte die Schätzungen des Sprachmodell-Judges anhand dieser Angaben. Für den späteren Abschnitt der Rangliste schätzt das Team im Mittel etwa 16 Arbeitsstunden beziehungsweise rund 2.500 US-Dollar je ein Prozent Verbesserung, bei einem angenommenen Stundensatz von 150 Dollar. Die Autorinnen und Autoren betonen, dass diese Schätzung unsicher ist und unbezahlte Vorarbeit, Ideensuche sowie Forschung aus der Literatur möglicherweise nicht vollständig erfasst.
Für die Agenten ließ METR sechs Läufe vom historischen Rekord 78 aus starten und stellte ihnen jeweils vier H100-Knoten zur Verfügung. Die Ausgaben umfassten Modellnutzung und Experimente; die Läufe gingen bis zu 10.000 Dollar und dauerten bis zu fünf Tage. Nachträgliche Wiederholungen sollten zufällige Messschwankungen von echten Verbesserungen unterscheiden. Laut METR überschätzten die ungeprüften Verläufe den Fortschritt teilweise: GPT-5 und Opus-4.1 erzielten nach erneuter Prüfung keine bedeutsamen Verbesserungen. Neuere Modelle verbesserten sich dagegen. Bei Opus-4.8 und GPT-5.5 schätzt METR die validierten Zugewinne auf etwa 1,5 beziehungsweise 1 Prozent. Die daraus berechneten Horizonte liegen im Basisszenario bei rund 3.300 Dollar für Opus-4.8 und 2.300 Dollar für GPT-5.5; für die übrigen positiven Läufe nennt der Bericht insgesamt eine Spanne von etwa 600 bis 3.300 Dollar.
Eine Prüfung durch den Speedrun-Maintainer ergab laut METR, dass zwar ungefähr 70 Prozent der Ideen grundsätzlich übernehmbar seien, der übernehmbare Anteil am gemessenen Fortschritt aber geringer ausfalle: etwa 60 Prozent bei Opus-4.8 und 50 Prozent bei GPT-5.5. Als Beispiele nennt der Bericht sinnvolle Änderungen an Trainingsplan und Datenlader, aber auch fragile, stark auf das Ziel zugeschnittene Anpassungen. Zudem beanspruchten Experimente schätzungsweise 70 bis 90 Prozent der Agentenkosten; ein effizienteres Verfahren könnte die Kosten senken, dürfte nach METRs Einschätzung aber weder den Horizon noch den maximalen Zugewinn stark verändern.
Die Ergebnisse gelten nur für diese Aufgabe und die untersuchten autonomen Agentenläufe. Sie hängen empfindlich von der unsicheren menschlichen Kostenkurve ab: Für Opus-4.8 variieren die Horizonte je nach angenommener Schwierigkeit von 120 bis 14.400 Dollar, für GPT-5.5 von 160 bis 9.400 Dollar. Frühere Läufe ab einem älteren Rekord schloss METR wegen Hinweisen auf Trainingsdaten-Kontamination aus. Der Bericht misst außerdem keine Mensch-KI-Zusammenarbeit, die laut METR leistungsfähiger sein könnte. NanoGPT ähnelt nach Darstellung des Teams bestimmten Bereichen der KI-Forschung, ist jedoch deutlich kleiner als Systeme an der Forschungsfront. METR folgert daher, dass autonome Agenten in diesem Versuch bislang nur einen begrenzten Beitrag zum Fortschritt geleistet hätten; eine Verallgemeinerung auf andere Forschungsaufgaben bleibt offen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Kurzfassung und mittlere Fassung geben die Kernaussagen und Zahlen korrekt wieder, lassen aber die Harness-Ineffizienz aus. Die Einordnung bewertet jede Frage unabhängig von Lunas Stufen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Ineffizienz des Harness: Experimentkosten machten etwa 70 bis 90 Prozent der Kosten aus, was die Horizonte nach METR-Angaben verzerren kann.
- Die Einschränkung, dass NanoGPT nur ein Proof-of-Concept ist und die Ergebnisse nicht ohne Weiteres auf Frontier-Pretraining übertragbar sind.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 33 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 35 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 21 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 31 %Hintergrund, keine Belege
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 22 %Hintergrund, keine Belege
- Luna 42 %einzelne zitierbare Belege
- JEV 37 %umfangreiche Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 24 %gleiches Oberthema, hilft nicht
- d3-ultra 44 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 32 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 27 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 33 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %Hintergrund, keine Belege
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2-T04 Würde ein Labor eine Verlangsamung akzeptieren, deren Einhaltung es bei der Konkurrenz nicht prüfen kann?
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 20 %beantwortet teilweise oder widerspricht
- Luna 32 %umfangreiche Belege
- JEV 48 %umfangreiche Belege
- amos 31 %umfangreiche Belege
- SubQ 23 %einzelne zitierbare Belege
- drex 30 %umfangreiche Belege
- d3-ultra 31 %einzelne zitierbare Belege
- Haiku-Prüfung umfangreiche Belege
- SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen?
- SF-T3-T07 Wenn mehrere Anbieter je verschiedene Stufen von Forschung, Training und Prüfung automatisieren und erst ihre ausgetauschten Ergebnisse zusammen einen Kreislauf der Selbstverbesserung schließen, ohne dass eine Firma den ganzen Ablauf betreibt: Welche Regel stellt diesen gemeinsamen Kreislauf unter Aufsicht?
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 29 %nur am Rande erwähnt
- JEV 41 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 64 %Hintergrund, keine Belege
- JEV 36 %einzelne zitierbare Belege
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 26 %Hintergrund, keine Belege
- Luna 63 %einzelne zitierbare Belege
- JEV 33 %einzelne zitierbare Belege
- amos 26 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 38 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 25 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 61 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 25 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 70 %gleiches Oberthema, hilft nicht
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Alle Berichte im Archiv