Training compute growth is driven by larger clusters, longer training, and better hardware
Zusammenfassung
Kurz
Epoch AI schreibt das Wachstum des Trainings-Computings bei führenden KI-Modellen vor allem größeren Hardware-Clustern, längeren Trainingsläufen und leistungsfähigerer Hardware zu. Die geschätzte jährliche Zunahme liegt im Median beim 4,17-Fachen; Hinweise auf eine steigende Hardwareauslastung seien schwach und wegen schlechter Datenqualität nicht in die Hauptanalyse eingeflossen.
Mittel
Epoch AI untersucht, warum das Trainings-Computing führender KI-Modelle seit 2018 wächst. Als zentrale Treiber nennt der Bericht größere Hardware-Cluster, längere Trainingsläufe und leistungsfähigere Hardware. Die Analyse passt exponentielle Trends an diese drei Faktoren an und schätzt ihre Beiträge zum Gesamtwachstum. Sie konzentriert sich auf Frontier-Modelle nach 2018, für die zuvor ein jährliches Wachstum des Trainings-Computings um etwa das Vier- bis Fünffache berichtet worden war.
Im Median steigen die eingesetzte Hardwaremenge jährlich um den Faktor 1,69, die Trainingsdauer um 1,52 und die Hardwareleistung um 1,41. Die ausgewiesenen Beiträge dieser Faktoren betragen 0,40, 0,33 und 0,27. Das geschätzte Gesamtwachstum liegt im Median bei 4,17-fach pro Jahr; zwischen dem 10. und 90. Quantil reicht es von 3,74 bis 4,62. Die Hardwaremenge ist in den ausgewiesenen Quantilen der größte Treiber. Zur Entwicklung der Hardwareauslastung fand Epoch AI nur schwache Hinweise und ließ sie wegen geringer Datenqualität und ihres kleinen Einflusses aus der Hauptanalyse heraus.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, welche Faktoren seit 2018 zum Wachstum des Trainings-Computings bei führenden KI-Modellen beitragen. Als wichtigste Treiber nennt er die größere Menge an Hardware in Trainingsclustern, längere Trainingsläufe und leistungsfähigere Hardware. Der Bericht stellt diese Entwicklung in den Zusammenhang mit stark steigenden Investitionen: Budgets für KI-Entwicklung seien ungefähr zwei- bis dreimal pro Jahr gewachsen und hätten so größere Trainings- und Inferenzcluster sowie größere Modelle ermöglicht.
Für die Analyse betrachtet Epoch AI drei Faktoren: die Größe der Hardware-Cluster, die Rechenleistung pro Hardwareeinheit und die Dauer des Trainings. Exponentielle Trends dieser Faktoren werden angepasst, um ihre jeweiligen Beiträge zum Gesamtwachstum des Trainings-Computings abzuschätzen. Im Mittelpunkt stehen Frontier-Modelle aus der Zeit nach 2018. Für diesen Zeitraum verweist der Bericht auf eine zuvor ermittelte jährliche Zunahme des Trainings-Computings um etwa das Vier- bis Fünffache.
Die Tabelle beziffert die geschätzten jährlichen Wachstumsfaktoren über verschiedene Quantile. Beim Median beträgt der Faktor für die eingesetzte Hardwaremenge 1,69, für die Trainingsdauer 1,52 und für die Hardwareleistung 1,41. Die dazu ausgewiesenen Beiträge liegen bei 0,40, 0,33 und 0,27. Das geschätzte Gesamtwachstum beträgt im Median 4,17-fach pro Jahr; beim 10. und 90. Quantil liegt es bei 3,74 beziehungsweise 4,62. Über die angegebenen Quantile hinweg ist der Beitrag der Hardwaremenge am größten, gefolgt von Trainingsdauer und Hardwareleistung. Die Zahlen sind Schätzungen aus der Trendanalyse und keine Aussage, dass jeder einzelne Trainingslauf genau diesen Faktoren folgt.
Epoch AI untersuchte außerdem, ob die Hardwareauslastung im Zeitverlauf gestiegen ist. Dafür fand das Team nur schwache Hinweise. Wegen der schlechten Datenqualität und des geringen angenommenen Einflusses wurde dieser Faktor aus der Hauptanalyse ausgeschlossen. Der bereitgestellte Bericht nennt keine Einzelheiten zu den zugrunde liegenden Modellen, Datenpunkten oder Unsicherheitsintervallen; die Tabelle fasst daher die berichteten Quantilschätzungen zusammen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen geben die Zahlen korrekt wieder; die Beiträge 0,40, 0,33 und 0,27 sind allerdings Anteile am logarithmierten Gesamtwachstum, die sich zu 1,00 addieren, was Luna nicht erwähnt. Die Tabelle wird im Bericht doppelt abgedruckt.
Im Bericht, aber nicht in der Zusammenfassung
- Investitionsbudgets für KI-Entwicklung wachsen um etwa das 2- bis 3-Fache pro Jahr
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 22 %Hintergrund, keine Belege
- Luna 62 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 28 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 21 %einzelne zitierbare Belege
- d3-ultra 44 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 68 %Hintergrund, keine Belege
- JEV 38 %gleiches Oberthema, hilft nicht
- amos 31 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra 44 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 42 %Hintergrund, keine Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 60 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv