How persistent is the inference cost burden?
Zusammenfassung
Kurz
Der Autor stimmt zu, dass RL oft längere und damit teurere Inferenz ermöglicht, hält aber sowohl die langfristige Kostenlast als auch Ords Schätzung von 10.000-mal mehr RL-Rechenleistung für unsicher. Er verweist auf sinkende Kosten für feste Fähigkeiten, schätzt deren Rückgang grob auf das Fünf- bis Zehnfache pro Jahr und nennt zugleich Einschränkungen bei dieser Schätzung und der verfügbaren RL-Datenlage.
Mittel
Jean-Stanislas Denain erörtert Toby Ords These, dass RL vergleichsweise geringe Erträge liefere und vor allem längere Modell-Ausgaben ermögliche, während mehr Inferenz die Leistung stärker steigere. Ord folgert aus einem Vergleich von AIME-Daten, dass für einen ähnlichen Leistungszuwachs rund 10.000-mal mehr RL-Rechenleistung nötig sein könnte. Denain hält die Beobachtung für interessant, betont aber, dass zusätzliche Inferenz bei lösbaren Aufgaben oft effizienter erscheine und RL zugleich neue Aufgaben erschließen könne.
Die Kosten für eine feste Fähigkeit könnten trotz nutzungsabhängiger Inferenz rasch sinken: durch kleinere, destillierte Modelle, effizientere Inferenzverfahren, kürzere Lösungswege und günstigere Hardware. Ein FrontierMath-Vergleich deute laut Beitrag auf etwa dreifach geringere Kosten innerhalb von acht Monaten; allgemein schätzt der Autor den Rückgang grob auf das Fünf- bis Zehnfache pro Jahr. Diese Werte seien jedoch unsicher: kleinere Modelle könnten bei Agentenfähigkeiten an Grenzen stoßen, Destillation könne Robustheit kosten und Benchmarks die Fortschritte überzeichnen. Auch die 10.000-mal-Schätzung beruhe auf wenigen Datenpunkten und sei wegen möglicher algorithmischer Fortschritte im RL nicht belastbar. Der Autor sieht die Kostenlast daher möglicherweise als vorübergehender, als Ords Darstellung nahelegt.
Ausführlich lesen
Der Beitrag von Jean-Stanislas Denain diskutiert die These von Toby Ord, dass der Fortschritt durch Reinforcement Learning (RL) vor allem längere Ausgaben ermögliche und deshalb mehr Inferenz-Rechenleistung erfordere. Ord vergleicht dem Bericht zufolge eine etwa 100-fache Steigerung des RL-Trainings mit einer gleich großen Steigerung der Inferenz: Während Letztere die AIME-Leistung ungefähr von 20 auf 80 Prozent erhöhe, steige sie durch mehr RL-Training etwa von 33 auf 66 Prozent. Daraus leitet Ord ab, dass rund 10.000-mal mehr RL-Rechenleistung nötig sein könnte, um einen vergleichbaren Leistungszuwachs zu erzielen. Weil Inferenzkosten bei jeder Nutzung erneut anfallen, könne dies den wirtschaftlichen Aufwand des KI-Fortschritts dauerhaft erhöhen.
Denain stimmt zu, dass zusätzliche Inferenz bei lösbaren Aufgaben oft effizienter zu sein scheint als zusätzliches RL-Training. RL könne Modelle aber auch zu Aufgaben befähigen, die sie zuvor selbst mit mehr Testzeit-Rechenleistung nicht bewältigen konnten. Dafür brauche es häufig längere Gedankengänge, Werkzeugaufrufe oder andere zusätzliche Schritte, die wiederum Inferenzkosten verursachen.
Der Beitrag hält die Dauerhaftigkeit dieser Kostenlast jedoch für fraglich. Der Autor führt mehrere Wege an, auf denen der Preis für eine feste Fähigkeit sinken kann: kleinere Modelle können durch Training und Destillation Fähigkeiten früherer großer Modelle übernehmen; effizientere Inferenzverfahren senken die Tokenkosten; Modelle können für dieselbe Aufgabe weniger Ausgabeschritte benötigen; und neue GPU-Generationen reduzieren die Kosten pro Rechenoperation. Als Beispiel nennt er den Vergleich auf FrontierMath: Für ungefähr 27 Prozent Genauigkeit seien im April 2025 mit o4-mini und hoher Reasoning-Einstellung etwa 43 Millionen Ausgabetokens nötig gewesen, im Dezember 2025 mit GPT-5.2 und niedriger Einstellung dagegen etwa 5 Millionen. Unter Berücksichtigung unterschiedlicher Tokenpreise entspreche dies laut Autor ungefähr einer dreifachen Kostensenkung in acht Monaten. Er schätzt den allgemeinen Rückgang der Kosten für eine feste Fähigkeit grob auf das Fünf- bis Zehnfache pro Jahr.
Diese Entwicklung könnte sich verlangsamen: Es gebe vermutlich eine Mindestgröße für leistungsfähige allgemeine Agenten, und stark destillierte Modelle könnten anfälliger sein. Zudem könnten Benchmarks die Fortschritte kleinerer Modelle überzeichnen. Auch die RL-Schätzung von 10.000-mal mehr Rechenaufwand bewertet Denain als unsicher. Sie beruhe auf wenigen Punkten aus einer Grafik mit entfernten Achsenwerten und sei von schwer einsehbaren Details abhängig. Eine Studie zu RL-Skalierung zeige, dass unterschiedliche Algorithmen deutlich verschiedene Skalierungserträge erzielen können; sie sei allerdings nicht direkt mit den wesentlich größeren Trainingsläufen von o1 und o3 vergleichbar. Der Autor vermutet außerdem, dass sich RL-Effizienz und Aufgabenvielfalt seit diesen Modellen verbessert haben könnten.
Der Beitrag folgert daher, dass Ords Vergleich nützlich ist, die langfristige Kostenlast und die 10.000-mal-Schätzung aber überzeichnen könnte. Die genannten Kostentrends sind grobe Einschätzungen und mit Einschränkungen behaftet; angekündigt wird eine künftig rigorosere Analyse.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Liste der Teilfragen ist leer, deshalb wurden nur die drei Sammelfragen bewertet. Die Einordnungen beruhen auf dem Berichtstext, nicht auf Lunas Stufen oder Anteilen.
Im Bericht, aber nicht in der Zusammenfassung
- Der Scaled-RL-Vergleich aus Abbildung 2 zeigt, dass der Algorithmus die RL-Skalierung stark verändert, mit mehr als doppelter Steigung gegenüber GRPO
- Die Begründung, warum OpenAI die RL-Effizienz bei o1 und o3 nicht maximiert hat, und der seitdem wahrscheinlich gestiegene Fortschritt durch bessere RL-Aufgaben und Umgebungen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 59 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 81 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 43 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 24 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 36 %nur am Rande erwähnt
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 38 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv