How much does it cost to train frontier AI models?
Zusammenfassung
Kurz
Epoch AI schätzt, dass die Hardware- und Energiekosten der abschließenden Trainingsläufe besonders rechenintensiver KI-Modelle seit 2016 jährlich um den Faktor 2,4 gestiegen sind; die Cloud-Methode ergibt 2,6-faches Wachstum, aber im Mittel höhere Kosten. In einer Aufschlüsselung für vier Modelle macht Hardware den größten Kostenanteil aus, während der Bericht zugleich Personal- und Stromkosten sowie mögliche Finanzierungs- und Stromkapazitätsengpässe hervorhebt. Projektionen von Milliardenkosten bis 2027 und Gigawattbedarf bis 2029 gelten nur, falls die Trends anhalten, und beruhen auf Schätzungen.
Mittel
Der Bericht von Epoch AI schätzt die Kosten für bis zu 45 besonders rechenintensive KI-Modelle anhand dreier Ansätze: abgeschriebene Hardware plus Energie beim abschließenden Trainingslauf, Cloud-Mietpreise sowie eine detaillierte Aufteilung der Entwicklungskosten für vier Modelle. Für den ersten Ansatz ermittelt die Studie seit 2016 einen jährlichen Kostenanstieg um den Faktor 2,4 (95%-Konfidenzintervall: 2,0 bis 3,1). Die Cloud-Methode ergibt 2,6-faches Wachstum, aber im Schnitt etwa doppelt so hohe Kosten; sie kann Modelle überbewerten, wenn Entwickler eigene statt gemieteter Hardware nutzen.
Bei GPT-3, OPT-175B, GPT-4 und Gemini Ultra entfallen laut Schätzung 47–67 Prozent der Entwicklungskosten auf Hardware, 29–49 Prozent auf Forschungspersonal und 2–6 Prozent auf Energie. Für Gemini Ultra nennt der Bericht einen geschätzten Leistungsbedarf von 35 Megawatt. Bei anhaltendem Trend könnten die größten Trainingsläufe bis 2027 mehr als eine Milliarde Dollar kosten. Das ist eine bedingte Projektion. Auch der mögliche Gigawattbedarf von KI-Supercomputern bis 2029 beruht auf einer ausdrücklich naiv genannten Fortschreibung. Die Werte sind Schätzungen; manche TPU-Kosten seien besonders unsicher.
Ausführlich lesen
Der Bericht untersucht, wie stark die Kosten für das Training besonders rechenintensiver KI-Modelle gestiegen sind und welche Ausgaben dabei anfallen. Epoch AI erklärt, die öffentlichen Daten zu diesen Kosten seien begrenzt. In einer begleitenden Studie schätzt das Team die Kosten von bis zu 45 Frontier-Modellen mit drei Ansätzen: abgeschriebene Hardware und Energie für den abschließenden Trainingslauf, gemietete Cloud-Rechenleistung sowie eine detailliertere Aufschlüsselung der Entwicklungsaufwendungen einschließlich Forschungspersonal und Experimenten.
Für den ersten Ansatz ermittelten die Forschenden Hardwaretyp und -menge sowie Dauer des Trainingslaufs anhand von Angaben der Entwickler oder glaubwürdiger Berichte. Sie berechneten den anteiligen Hardwareverschleiß und Energiebedarf; in die Hardwarekosten floss zudem ein Aufschlag von 23 Prozent für die Vernetzung des Clusters ein. Als Frontier-Modelle gelten in dieser Auswertung Modelle, die bei ihrer Veröffentlichung zu den zehn rechenintensivsten ihrer Zeit gehörten. Auf dieser Grundlage schätzt der Bericht, dass die Hardware- und Energiekosten des abschließenden Trainingslaufs seit 2016 jährlich um den Faktor 2,4 gestiegen sind. Das angegebene 95-Prozent-Konfidenzintervall reicht von 2,0 bis 3,1.
Ein zweiter Ansatz bewertet die Trainingsläufe so, als wäre die Rechenleistung zu historischen Cloud-Mietpreisen bezogen worden. Er ergibt ein ähnliches jährliches Wachstum von 2,6-fach, aber im Durchschnitt ungefähr doppelt so hohe Kosten wie die Abschreibungs- und Energiemethode. Der Bericht weist darauf hin, dass diese einfache Berechnung viele Modelle überbewerten kann, weil Entwickler häufig eigene Hardware verwenden und keine Cloud-Rechenleistung mieten.
Für GPT-3, OPT-175B, GPT-4 und Gemini Ultra schlüsselt die Studie darüber hinaus Entwicklungskosten auf. Dabei berücksichtigt sie Rechenaufwand für Experimente und Training sowie die Vergütung des Forschungspersonals einschließlich Aktienanteilen. Der Bericht beziffert den Hardwareanteil auf 47 bis 67 Prozent, Personalkosten auf 29 bis 49 Prozent und Energie auf 2 bis 6 Prozent. Diese Anteile beziehen sich auf die untersuchten Modelle und sind keine allgemeingültige Aufteilung für jedes KI-Projekt.
Obwohl Energie laut dieser Rechnung nur einen kleinen Kostenanteil ausmacht, ist der Strombedarf erheblich: Für Gemini Ultra werden geschätzt 35 Megawatt genannt. Eine als naiv bezeichnete Fortschreibung des historischen Wachstums legt laut Bericht eine Versorgung von KI-Supercomputern im Gigawattbereich bis 2029 nahe. Ebenso extrapoliert der Bericht den Kostenanstieg: Hielte der Trend an, könnten die größten Trainingsläufe bis 2027 mehr als eine Milliarde Dollar kosten. Das sind bedingte Projektionen, keine gesicherten Vorhersagen.
Als mögliche Folgen nennt Epoch AI einen engeren Kreis finanzstarker Entwickler, eine mögliche Konzentration von Einfluss sowie Investitionen und Stromkapazität als Engpässe. Die Ergebnisse beruhen auf Schätzungen; insbesondere TPU-Kosten, die aus Produktionskosten abgeleitet wurden, seien unsicherer als Schätzungen mit tatsächlichen Preisdaten. Der Bericht verweist für Methodik und Datengrundlage auf eine Studie und begleitenden Code. Die hier vorliegende Fassung enthält die Zusammenfassung und Erläuterungen, nicht die vollständigen Berechnungsdetails.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen sind im Kern treu; Lunas mittlere Fassung lässt die Folgen für Konzentration und Investitionsengpässe aus. Die Einordnung betrifft nur die drei Sammelfragen, Teilfragen sind nicht angegeben, und die Stufen wurden unabhängig von Lunas Werten vergeben.
Im Bericht, aber nicht in der Zusammenfassung
- Folgen der Kostenentwicklung für Konzentration: Nur wenige große Organisationen können mithalten, was Innovation begrenzen und Einfluss bündeln kann (Implications)
- Investoren als möglicher Engpass für den Hardware-Ausbau, neben Stromkapazität (nur in der kurzen Fassung genannt, in der mittleren fehlt es)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 23 %Hintergrund, keine Belege
- Luna 54 %Hintergrund, keine Belege
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 41 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 85 %Hintergrund, keine Belege
- JEV 32 %Hintergrund, keine Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 72 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 30 %Hintergrund, keine Belege
- Luna 57 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 73 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 83 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 38 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 82 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 73 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 44 %Hintergrund, keine Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 51 %einzelne zitierbare Belege
- JEV 60 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 43 %Hintergrund, keine Belege
- Haiku-Prüfung Hintergrund, keine Belege
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 67 %Hintergrund, keine Belege
- JEV 45 %Hintergrund, keine Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
Weitere Berichte zu diesen Fragen
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv