Quantifying the algorithmic improvement from reasoning models
Zusammenfassung
Kurz
Der Beitrag schätzt den Leistungsgewinn durch Reasoning-Modelle auf ausgewählten Benchmarks mit einem hypothetischen Vergleich zu zusätzlichem Vortraining; zentrale CEG-Schätzungen liegen teils um den Faktor zehn. Die Autoren halten den Effekt für groß, betonen aber erhebliche Unsicherheiten und starke Unterschiede zwischen Aufgaben: Gut überprüfbare Mathematik profitiert offenbar mehr als manche Schreib- oder multimodalen Tests.
Mittel
Der Beitrag schätzt den algorithmischen Nutzen von Reasoning-Modellen mit dem „Compute-Equivalent Gain“ (CEG): Er beschreibt, wie viel zusätzliches Vortraining ein Modell ohne Reasoning-Training hypothetisch gebraucht hätte, um dieselbe Benchmark-Leistung zu erreichen. Dafür passen die Autoren eine Kurve zwischen Trainingsrechenaufwand und Benchmark-Leistung an und vergleichen möglichst passende Modellpaare.
Für OpenAI-Modelle und Claude 3.5/3.7 Sonnet berichten sie auf ausgewählten Tests Schätzungen, deren zentraler Wert ungefähr beim Zehnfachen liegt. Bei Claude schreiben sie Reasoning-Training und längerer Denkzeit etwa gleich große Beiträge zu. In einem breiteren Benchmark-Vergleich zeigten ungefähr 10 Prozent der betrachteten Tests kaum Vorteile; Mathematiktests profitierten stärker als etwa GeoBench oder kreatives Schreiben.
Die Autoren betonen, dass diese Werte sehr unsicher sind: Daten fehlen oder könnten verunreinigt sein, Modellpaare sind teils spekulativ, und zusätzliche Denkzeit beeinflusst die Leistung. Die Ergebnisse belegen daher keinen gleich großen Vorteil bei realen Aufgaben. Die Autoren halten weitere Fortschritte für plausibel, erwarten aber besonders große Effekte bei gut überprüfbaren Aufgaben wie Mathematik und Programmierung.
Ausführlich lesen
Der Beitrag von Anson Ho untersucht, wie groß der algorithmische Fortschritt durch Reasoning-Modelle sein könnte. Epoch AI erklärt, dass die Einschätzungen die Meinung der Autoren wiedergeben und nicht zwingend die Position der gesamten Organisation. Als Maß verwenden sie den „Compute-Equivalent Gain“ (CEG): Er schätzt, wie viel zusätzliches Vortraining-Rechenbudget ein gewöhnliches Modell gebraucht hätte, um die Benchmark-Leistung eines Reasoning-Modells zu erreichen.
Für die Schätzung sammeln die Autoren Angaben zu Trainingsrechenaufwand und Benchmark-Ergebnissen einer Modellfamilie. Sie passen eine sigmoidale Kurve an, die den Zusammenhang zwischen Vortraining und Leistung beschreibt. Dann ordnen sie Reasoning-Modelle möglichst passenden Modellen ohne Reasoning-Training zu und lesen aus der Kurve den hypothetischen Rechenaufwand für deren Leistung ab. Diesen Wert setzen sie ins Verhältnis zum Trainingsaufwand des Basismodells.
Für OpenAIs Modelle ergeben sich auf GPQA Diamond, MATH Level 5 und Mock AIME laut Beitrag teils CEG-Schätzungen in der Größenordnung des Zehnfachen. Auch für Claude 3.5 und 3.7 Sonnet schätzen die Autoren einen breiten Bereich von etwa 1- bis 100-fach, mit einem zentralen Wert um 10. Bei Claude schreiben sie ungefähr gleich große Beiträge dem Reasoning-Training und dem „Extended Thinking“ zur Laufzeit zu. Die Autoren vergleichen diese Größenordnungen mit früheren algorithmischen Verbesserungen und halten sie auf den untersuchten Benchmarks für beträchtlich.
Die Schätzungen sind jedoch ausdrücklich unsicher. Reasoning-Modelle können mehr Zeit und Ausgabetokens zur Problemlösung verwenden; der gemessene Vorteil hängt daher auch von der Inferenzzeit-Skalierung ab. Die Zuordnung von Modellpaaren ist teilweise spekulativ, es fehlen Daten für viele Modellfamilien, und vorhandene Daten können verunreinigt sein. Außerdem vereinfacht die Methode den Einfluss sonstiger algorithmischer Fortschritte. Bei sehr hohen CEG-Werten könnte der daraus abgeleitete Vortrainingsaufwand rein hypothetisch sein, weil geeignete Trainingsdaten fehlen.
Ein Vergleich vieler Benchmarks zeigt laut den Autoren, dass Reasoning-Modelle auf ungefähr 10 Prozent der betrachteten Tests kaum Vorteile aufweisen; in den meisten anderen Fällen lägen sie mehr als fünf Prozentpunkte höher. Die Wirkung variiert stark: Sie erscheint etwa bei Mathematik groß, bei GeoBench oder kreativen Schreibaufgaben dagegen gering. Die Autoren vermuten, dass gut überprüfbare Aufgaben leichter zu verbessern sind, betonen aber, dass sich daraus nicht zuverlässig auf konkrete Aufgaben oder den unordentlichen Alltag übertragen lässt. Ihre vorläufige Einschätzung: In nächster Zeit könnte Reasoning weitere starke algorithmische Fortschritte bringen, besonders in Mathematik und Programmierung; Ausmaß und Geschwindigkeit der Übertragung auf andere Bereiche bleiben offen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde Lunas mittlere Zusammenfassung, die den Bericht im Kern treu wiedergibt; die kurze Fassung ist knapper und lässt die Vorbehalte zur Test-Time-Scaling-Abhängigkeit und zur Claude-Annahme aus. Lunas Stufen zu den Sammelfragen liegen teils höher als der Bericht hergibt; Anteilswerte wurden nicht bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Die Annahme, dass Claude 3.7 Sonnet im Wesentlichen Claude 3.5 Sonnet mit Reasoning-Training ist, ist eine umstrittene Grundlage der Claude-Schätzungen.
- Mehr Test-Time-Scaling erhöht den CEG; Claude 3.7 Sonnet erzeugt mit erweitertem Denken etwa 10–20x mehr Output-Tokens.
- Algorithmischer Fortschritt im Vortraining könnte die Kurvenanpassung verzerren und den Reasoning-Effekt eher unterschätzen lassen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 21 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 68 %Hintergrund, keine Belege
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 28 %Hintergrund, keine Belege
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV 46 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv