Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch9. Mai 2025 · Q006632

How far can reasoning models scale?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Autor hält weitere Fortschritte bei Reasoning-Modellen für wahrscheinlich, erwartet aber, dass sich das Wachstum des Trainingsaufwands nach einer möglichen kurzfristigen Phase schneller Skalierung verlangsamt. Die verfügbaren Kostenschätzungen sind lückenhaft und schwer vergleichbar; Datenknappheit, unklarer Transfer und hohe Entwicklungskosten könnten die Skalierung begrenzen, während neue Daten und Algorithmen weitere Verbesserungen ermöglichen könnten.

Mittel

Josh You schätzt, dass Reasoning-Modelle weiter verbessert werden können, eine Skalierung über viele Größenordnungen aber unwahrscheinlich ist. OpenAI zufolge wurde o3 mit etwa zehnmal so viel Reasoning-Trainingsrechenleistung wie o1 trainiert. Falls sich solche Sprünge fortsetzen, könnte dieser Aufwand innerhalb etwa eines Jahres an die Größenordnung der größten gesamten Trainingsläufe heranreichen. Danach dürfte das Wachstum eher dem allgemeinen Trend von ungefähr viermal mehr Trainingsrechenleistung pro Jahr folgen.

Die verfügbaren Zahlen sind lückenhaft und nur bedingt vergleichbar. Der Beitrag nennt Schätzungen von rund 6 × 10²³ FLOP für das RL-Training von DeepSeek-R1, etwa 10²³ FLOP für Llama-Nemotron Ultra und weniger als 10²⁰ FLOP für Phi-4-reasoning. Bei den letzten beiden Modellen ging RL überwachtes Feintuning mit synthetischen Beispielen voraus. Daher lassen sich ihre Kosten nicht ohne Weiteres auf o1 oder o3 übertragen. Auch die Deutung von OpenAIs Grafik und Amodeis Kostenaussagen bleibt unsicher.

Mehr Rechenaufwand ging bei o3 mit besseren Ergebnissen in mehreren Benchmarks einher; die gezeigten Skalierungskurven lassen weitere Fortschritte möglich erscheinen. Doch es fehlen laut Autor rigorose Skalierungsgesetze. Begrenzte Aufgabenvielfalt, unsicherer Transfer auf andere Bereiche und hohe Forschungskosten könnten das Wachstum bremsen. Daten- und Algorithmusfortschritte könnten es zugleich auch bei langsamerem Rechenwachstum weitertragen. Der Beitrag bewertet o3 deshalb als wahrscheinlich nicht ausgereizt, ohne die weitere Entwicklung als sicher darzustellen.

Ausführlich lesen

Der Beitrag von Josh You fragt, wie weit sich das Training von Reasoning-Modellen skalieren lässt. Der Autor vertritt die Einschätzung, dass weiteres Wachstum möglich ist, aber vermutlich nicht über viele Größenordnungen hinweg. Falls sich der Rechenaufwand zunächst ähnlich schnell erhöht wie zwischen OpenAI o1 und o3 – laut OpenAI etwa um den Faktor zehn in vier Monaten –, könnte Reasoning-Training bald an den Umfang der größten gesamten Trainingsläufe heranreichen. Danach dürfte sein Wachstum eher dem allgemeinen Wachstum der Trainingsrechenleistung folgen, das der Beitrag mit etwa dem Faktor vier pro Jahr angibt.

Reasoning-Training bezeichnet hier vor allem eine nach dem Vortraining stattfindende Phase, in der Modelle durch Rückmeldungen zu schwierigen Aufgaben verbessert werden, insbesondere durch Reinforcement Learning (RL). Öffentliche Angaben zu dessen Rechenaufwand sind allerdings rar. Der Autor deutet eine OpenAI-Grafik so, dass o3 etwa zehnmal mehr Rechenleistung im Reasoning-Training erhielt als o1. Die Grafik erläutere ihre Einzelheiten nicht ausdrücklich; die Zuordnung zur Reasoning-Phase ist eine begründete Interpretation des Autors, unter anderem anhand der dargestellten AIME-Leistungen.

Als Vergleich zieht der Beitrag DeepSeek-R1 heran: Eine frühere Schätzung veranschlagt dessen RL-Training auf ungefähr 6 × 10²³ FLOP und rund eine Million US-Dollar. R1 erzielt laut Beitrag ähnliche Benchmark-Ergebnisse wie o1, doch Modellgrößen und Trainingseffizienz unterscheiden sich möglicherweise. Weitere Beispiele verdeutlichen die Spannweite: Für Llama-Nemotron Ultra schätzt der Autor rund 10²³ FLOP für RL, während Phi-4-reasoning möglicherweise weniger als 10²⁰ FLOP benötigte. Diese Zahlen sind nur bedingt auf frontierführende Modelle übertragbar, da beide Modelle vor dem RL auch überwachtes Feintuning mit synthetischen, teils von anderen Reasoning-Modellen erzeugten Daten erhielten. Der Beitrag betont zudem, dass unklar ist, welche Phasen sinnvoll als „Reasoning-Rechenaufwand“ gezählt werden.

Als weiteren Hinweis zitiert der Autor Anthropic-Chef Dario Amodei: Die Ausgaben für die RL-Phase seien bei allen Anbietern noch klein; Unternehmen arbeiteten daran, sie auf Hunderte Millionen oder Milliarden Dollar zu steigern. You kann nicht feststellen, ob dessen Beträge konkrete Modelle beschreiben oder hypothetische Beispiele sind. Seine Gesamteinschätzung lautet, dass o1 und wahrscheinlich auch o3 noch unter dem bisherigen Gesamt-Rechenleistungsmaximum liegen, aber vermutlich nicht viele Größenordnungen davon entfernt sind.

Für den möglichen Leistungsfortschritt verweist der Autor auf o3s bessere Ergebnisse als o1 in Mathematik, Wissenschaft, Programmierung und agentischen Aufgaben. OpenAI- und DeepSeek-Darstellungen zeigten ungefähr log-lineare Zuwächse mit mehr Reasoning-Training; rigorose Forschung zu solchen Skalierungsgesetzen gebe es laut Beitrag jedoch noch nicht. Der Autor hält daher weitere deutliche Verbesserungen für möglich, insbesondere kurzfristig.

Die Prognose ist mit Grenzen behaftet: Es könnte an genügend vielfältigen Aufgaben mangeln, der Transfer auf weniger klar definierte Bereiche wie Mathematik und Programmierung hinaus ist unsicher, und der gesamte Entwicklungsaufwand kann wegen zahlreicher Experimente weit über den direkten Trainingskosten liegen. Umgekehrt könnten Daten- oder Algorithmusverbesserungen Fortschritte auch bei langsamerem Rechenwachstum ermöglichen. Der Autor hält o3 deshalb nicht für eine Leistungsgrenze, räumt aber erhebliche Unsicherheit über Kosten, Messgrößen, Ursachen des Fortschritts und künftige Skalierbarkeit ein.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung von Luna (mittel) gibt den Bericht im Kern treu wieder. Sie lässt jedoch die zentrale Einschätzung aus, dass der Reasoning-Rechenaufwand noch unter den größten Läufen liegt, aber nicht viele Größenordnungen dahinter. Die Einordnung der Sammelfragen ist auf Grundlage des Berichts begründet; für SF-P4 ist die Einordnung teilweise, weil der Bericht Schätzmethoden zeigt, aber kein Verfahren zur Überprüfung beschreibt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Reasoning-Rechenleistung von o1 und vermutlich o3 liegt noch unter den größten Trainingsläufen, ist aber nicht viele Größenordnungen vom Frontier entfernt
  • Konvergenz mit dem Gesamttrend ist wahrscheinlich, wenn Reasoning-Training nur wenige (etwa weniger als drei) Größenordnungen unter dem Frontier liegt
  • OpenAI-Forscher und Amodei zeigen sich zuversichtlich, dass Reasoning-Modelle schnell skaliert werden können

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 30 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 27 %einzelne zitierbare Belege
    • d3-ultra 36 %Hintergrund, keine Belege
    • Haiku-Prüfung umfangreiche Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 80 %Hintergrund, keine Belege
    • JEV 26 %Hintergrund, keine Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 69 %Hintergrund, keine Belege
    • JEV 32 %gleiches Oberthema, hilft nicht
    • amos 29 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 33 %gleiches Oberthema, hilft nicht
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 47 %nur am Rande erwähnt
    • amos 35 %nur am Rande erwähnt
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 32 %nur am Rande erwähnt
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  3. SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →