Trends in the dollar training cost of machine learning systems
Zusammenfassung
Kurz
Der Bericht schätzt, dass die Dollar-Kosten der abschließenden Trainingsläufe öffentlich bekannter ML-Systeme historisch um etwa 0,44 bis 0,51 Größenordnungen pro Jahr gestiegen sind; für besonders große Läufe fällt die Schätzung mit etwa 0,2 geringer aus. Die Prognosen sind wegen breiter Unsicherheitsbereiche, vereinfachender Annahmen und des engen Kostenumfangs mit Vorsicht zu lesen: Erfasst wird nur der Rechenaufwand des letzten Trainingslaufs. Die Anhänge sind im bereitgestellten Text lediglich als Überschriften enthalten.
Mittel
Ben Cottiers Bericht schätzt, wie sich die Dollar-Kosten der abschließenden Trainingsläufe öffentlich bekannter Machine-Learning-Systeme entwickelt haben. Dazu verbindet er Trainingsrechenaufwand mit GPU-Preis-Leistungs-Daten und vergleicht einen allgemeinen GPU-Preistrend mit Preisen der tatsächlich verwendeten NVIDIA-GPUs. Für alle Systeme ergibt sich ein geschätztes Kostenwachstum von jährlich 0,44 bis 0,51 Größenordnungen; die gewichtete Zusammenführung liegt bei 0,49. Für besonders großskalige Systeme schätzt der Autor etwa 0,2 Größenordnungen pro Jahr, weist aber auf die kleinere Datengrundlage hin.
Die geschätzten durchschnittlichen Kosten eines Trainingslaufs im Jahr 2030 betragen in der Zusammenführung 350 Millionen Dollar, mit einem sehr breiten 90-Prozent-Intervall von 40 Millionen bis 4 Milliarden. Eine naive Fortschreibung ergäbe, dass Trainingskosten von 233 Milliarden Dollar 2032 erreicht würden; Cottiers vorsichtigere, teilweise subjektiv begründete Prognose nennt 2040 (Intervall 2033–2062).
Die Zahlen sind unsicher und hängen von vereinfachenden Annahmen ab. Erfasst werden nur die Rechenkosten des letzten Trainingslaufs, nicht etwa Personal, fehlgeschlagene Experimente oder Inferenz. Der bereitgestellte Text enthält Hauptteil und Fußnoten; die Anhänge sind nur als Überschriften aufgeführt.
Ausführlich lesen
Der Bericht von Ben Cottier untersucht, wie sich die geschätzten Dollaraufwendungen für das Rechnen im jeweils abschließenden Trainingslauf öffentlich bekannter Machine-Learning-Systeme entwickelt haben. Der Autor fragt nach dem Wachstum dieser Kosten, danach, ob sich der Trend verändert, und danach, wie teuer besonders große Trainingsläufe waren. Als mögliche Bedeutung solcher Kosten nennt er, dass sie wirtschaftliche Belastungen und die Ausgabebereitschaft von Entwicklern besser abbilden könnten als Rechenoperationen allein. Daraus könnten sich Hinweise auf künftige KI-Entwicklung und darauf ergeben, welche Akteure sich bestimmte Trainingsläufe leisten können.
Für die Kostenschätzung verbindet Cottier veröffentlichte Schätzungen des Trainingsaufwands mit dem Preis-Leistungs-Verhältnis von GPUs. Er betrachtet zwei Verfahren: Das erste verwendet einen allgemeinen historischen GPU-Preistrend; das zweite die geschätzte Leistung und den Preis der tatsächlich eingesetzten NVIDIA-GPUs. Die Modelle schätzen Hardwarekosten, nicht aber Energiekosten. Zudem setzen sie unter anderem eine Nutzungsdauer der Hardware von zwei Jahren und eine Auslastung von 35 Prozent voraus. Die Auswertung umfasst nach den jeweiligen Verfahren unterschiedlich große Datensätze: 124 Systeme bei Methode 1 und 48 bei Methode 2. „Großskalige“ Systeme werden gesondert betrachtet; dafür enthält Methode 2 nur sechs Fälle.
Für alle erfassten Systeme schätzt der Bericht das Wachstum der Kosten auf jährlich 0,51 Größenordnungen nach Methode 1 und 0,44 nach Methode 2. Eine gewichtete Zusammenführung ergibt 0,49 Größenordnungen pro Jahr, mit einem 90-Prozent-Intervall von 0,37 bis 0,56. Für großskalige Systeme liegt die Schätzung bei etwa 0,2 Größenordnungen jährlich. Der Autor wertet dies als Hinweis darauf, dass die Kosten der teuersten Trainingsläufe langsamer gestiegen sein könnten als die Kosten der betrachteten Meilensteinsysteme insgesamt. Er betont jedoch die geringe Fallzahl und zusätzliche Unsicherheit dieser Aussage.
Für 2030 nennt die Zusammenführung eine geschätzte durchschnittliche Trainingslauf-Kostengröße von 350 Millionen US-Dollar, mit einem breiten 90-Prozent-Intervall von 40 Millionen bis 4 Milliarden. Für großskalige Systeme nennt Methode 1 80 Millionen Dollar, ebenfalls mit großer Spanne. Solche Werte sind Modellvorhersagen, keine beobachteten Kosten. Bei einer hypothetischen Schwelle von 233 Milliarden Dollar – einem Prozent des US-BIP von 2021 – ergäbe eine naive Fortschreibung des historischen Gesamttrends das Jahr 2032. Cottiers vorsichtigere, auch auf subjektiven Einschätzungen beruhende Prognose setzt 2040 an; ihr 90-Prozent-Intervall reicht von 2033 bis 2062.
Der Bericht schränkt die Aussagekraft ausdrücklich ein: Die Kostenschätzungen könnten um ein Mehrfaches zu hoch oder zu niedrig liegen; auch die Wachstumsraten seien mit Vorsicht zu verwenden, besonders für Zukunftsprognosen. Er erfasst nur den Rechenaufwand des letzten Trainingslaufs, nicht fehlgeschlagene Experimente, Personal, Datenaufbereitung, Infrastruktur oder Inferenz. Die Methoden lassen unter anderem Energiekosten und weitere Hardwarekosten aus. Außerdem betreffen die Daten ausgewählte, öffentlich bekannte Systeme, deren Leistungszuwächse nicht gleichmäßig ausfallen. Der bereitgestellte Text enthält Hauptteil und umfangreiche Fußnoten; die Anhänge sind am Ende jedoch nur als Überschriften aufgeführt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung ist im Kern treu, die Auslassungen betreffen den Bezug des Schwellenwerts zum US-BIP und die geringe Datengrundlage der großskaligen Methode-2-Schätzung. Die Einordnung stützt sich auf den Bericht, der Kostenschätzungen für Trainingsläufe behandelt und keine Sicherheits- oder Governance-Fragen beantwortet. Die Angaben zu Anteilen in Lunas Einordnung wurden nicht übernommen, da das Format sie nicht vorsieht.
Im Bericht, aber nicht in der Zusammenfassung
- Der Schwellenwert von 233 Mrd. $ entspricht 1 % des US-BIP von 2021 und wurde nach Cotra gewählt
- Die großskalige Methode-2-Schätzung beruht nur auf 6 Systemen und soll kaum gewichtet werden
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 55 %Hintergrund, keine Belege
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 24 %Hintergrund, keine Belege
- Luna 65 %Hintergrund, keine Belege
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 26 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 22 %einzelne zitierbare Belege
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 27 %einzelne zitierbare Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 65 %Hintergrund, keine Belege
- JEV 48 %Hintergrund, keine Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 75 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 83 %Hintergrund, keine Belege
- JEV 34 %Hintergrund, keine Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 39 %Hintergrund, keine Belege
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv