Final training runs account for a minority of R&D compute spending
Zusammenfassung
Kurz
Laut den Schätzungen des Beitrags entfielen bei OpenAI, MiniMax und Z.ai jeweils weniger als ein Viertel der F&E-Ausgaben für Rechenleistung auf abschließende Trainingsläufe veröffentlichter Modelle. Die Werte beruhen teils auf Annahmen und messen Ausgaben statt tatsächlich ausgeführter Rechenoperationen; mit nur drei Unternehmen bleibt auch die Deutung der Unterschiede unsicher.
Mittel
Der Beitrag vergleicht, welcher Anteil der F&E-Ausgaben für Rechenleistung auf die abschließenden Trainingsläufe veröffentlichter Modelle entfällt. Neben einer früheren Schätzung zu OpenAI untersuchen die Autoren Börsenangaben von MiniMax und Z.ai. Sie ordnen die Ausgaben Zeiträumen etwa ein Quartal vor den jeweiligen Modellveröffentlichungen zu und schätzen die Trainingskosten anhand von Modelldaten sowie Annahmen zu GPU-Auslastung und Preisen.
Nach ihren Berechnungen machten die abschließenden Trainingsläufe 9,6 Prozent der F&E-Rechenausgaben von OpenAI, 22,6 Prozent bei MiniMax und 12,3 Prozent bei Z.ai aus. In allen drei Fällen sei der Großteil der Ausgaben somit auf andere F&E-Arbeit entfallen, etwa Experimente und Datenerzeugung. Die Werte betreffen Ausgaben, nicht direkt die tatsächlich ausgeführten Rechenoperationen; F&E könne wegen geringerer GPU-Auslastung weniger Rechenleistung je Dollar erbringen. Auch sind Schätzungen, insbesondere für MiniMax’ Hailuo-Modell, unsicher. Die Autoren sehen MiniMax’ höheren Anteil als vereinbar mit der Vermutung, dass Unternehmen durch Lernen von der KI-Spitze weniger experimentieren müssen. Z.ai passt dazu nicht klar. Drei Datenpunkte mit breiten Unsicherheiten reichen laut Beitrag nicht für belastbare Schlussfolgerungen.
Ausführlich lesen
Der Epoch-Beitrag untersucht, welcher Anteil der Forschungs- und Entwicklungs- (F&E-)Ausgaben für Rechenleistung auf die abschließenden Trainingsläufe öffentlich veröffentlichter KI-Modelle entfällt. Die Autoren betonen, dass ein Modell vor seinem letzten Trainingslauf oft durch umfangreiche Experimente, kleinere Skalierungstests, synthetische Datenerzeugung und weitere, teils unveröffentlichte Trainingsvorhaben vorbereitet wird. Wer nur den abschließenden Lauf als Trainingskosten betrachtet, erfasst daher laut Beitrag nicht die gesamten Entwicklungskosten.
Für OpenAI hatten die Autoren zuvor die F&E-Rechenausgaben 2024 auf rund fünf Milliarden US-Dollar geschätzt. Etwa 500 Millionen Dollar beziehungsweise 9,6 Prozent seien auf die abschließenden Trainingsläufe der veröffentlichten Modelle entfallen. Der neue Vergleich ergänzt Angaben aus Börsenunterlagen der chinesischen Unternehmen MiniMax und Z.ai. Für MiniMax werden die Ausgaben von Q4 2024 bis Q3 2025 betrachtet, für Z.ai diejenigen von H2 2024 bis H1 2025. Die Autoren ordnen den Ausgaben jeweils Modellveröffentlichungen ungefähr ein Quartal später zu, weil die Entwicklungskosten typischerweise vor der Veröffentlichung anfallen.
Die F&E-Ausgaben stammen laut Artikel direkt aus den Börsenunterlagen. Die Kosten der abschließenden Trainingsläufe schätzen die Autoren anhand ihrer Modelldatenbank und angenommener GPU-Leistung, GPU-Auslastung sowie Kosten pro GPU-Stunde. Für Auslastung und Preis werden Bandbreiten angesetzt und ihre Unsicherheit per Monte-Carlo-Simulation fortgeschrieben. Bei unvollständigen Modelldaten berechnen sie Konfidenzintervalle. Besonders unsicher ist die Schätzung für MiniMax’ Hailuo 02: Die Autoren geben dafür ein 90-Prozent-Intervall von 5 bis 51 Millionen Dollar und einen Median von 18 Millionen an. Nach ihrer Einschätzung entspricht das rund 40 Prozent der geschätzten Trainingsausgaben von MiniMax 2025.
Als Ergebnis nennen sie Anteile der abschließenden Trainingsläufe an den F&E-Rechenausgaben von 9,6 Prozent bei OpenAI, 22,6 Prozent bei MiniMax und 12,3 Prozent bei Z.ai. Damit sei der Anteil in allen drei Fällen eine Minderheit, obwohl sich die Unternehmen hinsichtlich Größe, Land und Geschäftsmodell unterscheiden. Die Autoren folgern, dass der zuvor für OpenAI beobachtete Befund nicht auf diesen Einzelfall beschränkt zu sein scheint.
Die Zahlen messen jedoch Ausgaben, nicht die tatsächlich ausgeführten Rechenoperationen. F&E-Arbeit könne wegen fehlgeschlagener Jobs, Wartezeiten und Fehlersuche eine geringere GPU-Auslastung haben als ein optimierter abschließender Trainingslauf. Gleiche Ausgaben bedeuteten deshalb nicht zwingend gleich viele FLOP. Zudem umfasst die Analyse vor allem veröffentlichte Modelle; nicht öffentlich bekannt gemachte, kommerziell genutzte Modelle werden ausgelassen. Bei MiniMax würde der Ausschluss der Hailuo-Trainingsläufe den Anteil laut Autoren auf einen Median von 12,2 Prozent senken; diese Vergleichsrechnung berücksichtigt allerdings nicht, dass auch die dafür aufgewendeten F&E-Ausgaben aus dem Nenner herausgerechnet werden müssten.
Der Beitrag erörtert außerdem, ob Unternehmen mit Abstand zur technologischen Spitze mehr von den Erkenntnissen führender Labore übernehmen und deshalb weniger experimentieren müssen. MiniMax’ höherer Anteil passe zu dieser Vermutung, Z.ai’s Anteil dagegen nicht eindeutig. Mit nur drei Unternehmen und breiten Unsicherheiten sei die Datenlage laut Autoren nicht stark genug, um daraus sichere Aussagen über die Ursachen der Unterschiede abzuleiten. Verlässlichere Ausgabedaten seien die zentrale Voraussetzung für Analysen weiterer Unternehmen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung ist im Kern treu, lässt aber die Hailuo-Sensitivität, die OpenAI-Zahlen und den Anthropic-Bezug aus. Bei den Einordnungen überschätzt Luna SF-T2 (Stufe 3) und unterschätzt SF-P4 (Stufe 3), da der Bericht zur Schätzung von Trainingsrechenleistung teilweise Antwort gibt.
Im Bericht, aber nicht in der Zusammenfassung
- Ohne das Hailuo-Modell läge MiniMax laut Beitrag bei 12,2 % (90-%-KI 6,4 % bis 23,5 %), was die Hailuo-Schätzung als Unsicherheitsquelle belegt
- Die OpenAI-Zahlen fehlen: rund 5 Mrd. $ F&E-Compute im Jahr 2024, davon nur etwa 500 Mio. $ (ca. 10 %) für Trainingsläufe
- Die Anthropic-Meldung über eine großangelegte Destillationskampagne von MiniMax gegen Claude, die der Beitrag als Stütze der Aufholthese nennt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 28 %Hintergrund, keine Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 41 %gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 22 %Hintergrund, keine Belege
- Luna 53 %Hintergrund, keine Belege
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 33 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 31 %einzelne zitierbare Belege
- d3-ultra 34 %Hintergrund, keine Belege
- Haiku-Prüfung beantwortet teilweise oder widerspricht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 30 %gleiches Oberthema, hilft nicht
- d3-ultra 37 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 25 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %gleiches Oberthema, hilft nicht
- JEV 41 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 27 %nur am Rande erwähnt
- Luna 36 %nur am Rande erwähnt
- JEV 72 %nur am Rande erwähnt
- amos 39 %einzelne zitierbare Belege
- SubQ 38 %nur am Rande erwähnt
- drex 41 %einzelne zitierbare Belege
- d3-ultra 69 %nur am Rande erwähnt
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 28 %nur am Rande erwähnt
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 29 %nur am Rande erwähnt
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H6 Welche Belege klären Vorwürfe von Spionage und Datenabfluss zwischen Staaten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 25 %nur am Rande erwähnt
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 27 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 66 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %nur am Rande erwähnt
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 60 %Hintergrund, keine Belege
- JEV 47 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv