Training compute of frontier AI models grows by 4-5x per year
Zusammenfassung
Kurz
Epoch AI schätzt, dass der Trainingsrechenaufwand bedeutender und führender KI-Modelle zuletzt insgesamt etwa vier- bis fünfmal pro Jahr gewachsen ist. Sprachmodelle wuchsen nach 2017 zunächst schneller, doch die Analyse deutet ab etwa 2020 auf eine Annäherung an den allgemeinen Frontier-Trend hin; Zeitpunkt und Stärke der Verlangsamung sind unsicher und hängen von Modellierungsentscheidungen ab.
Mittel
Der Bericht analysiert Schätzungen zum Trainingsrechenaufwand von 333 bedeutenden KI-Modellen aus den Jahren 2010 bis Mai 2024. Für die Gesamtgruppe ergibt sich ein Wachstum von etwa dem 4,1-Fachen pro Jahr. Bei Modellen, die bei ihrer Veröffentlichung zu den zehn rechenintensivsten gehörten, beträgt die Langzeitschätzung das 5,3-Fache; zugleich findet die Analyse Hinweise auf eine Verlangsamung ab ungefähr 2018 und schätzt das jüngere Wachstum auf rund das 4,2-Fache pro Jahr. Diese Ergebnisse hängen unter anderem davon ab, wie Ausreißer wie AlphaGo Master und AlphaGo Zero behandelt werden.
Bedeutende Sprachmodelle wuchsen seit 2017 zunächst schneller, laut Schätzung um das 9,5-Fache jährlich. Der Bericht deutet dies als Aufholen gegenüber der KI-Spitze insgesamt und sieht ab etwa 2020 einen langsameren Trend von ungefähr dem Fünffachen pro Jahr. Auch die größten Modelle von OpenAI, Google DeepMind und Meta AI folgen grob dieser Größenordnung. Die Forschenden empfehlen daher das Vier- bis Fünffache pro Jahr als Faustzahl und Ausgangspunkt für Erwartungen. Sie weisen auf breite Unsicherheiten, eine unvollständige Datenbasis und mögliche künftige Engpässe oder Beschleunigungen hin; deren Auswirkungen sind hier nicht abschließend untersucht.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, wie schnell der Rechenaufwand für das Training bedeutender KI-Modelle gewachsen ist. Grundlage ist eine erweiterte Datenbank mit Schätzungen für 333 Modelle, veröffentlicht zwischen 2010 und Mai 2024. Die Autorinnen und Autoren passen log-lineare Wachstumstrends an und geben Unsicherheitsbereiche an. Sie betonen, dass die Datenbank nicht vollständig ist und für manche Modelle Schätzungen fehlen.
Für bedeutende Modelle insgesamt schätzt der Bericht den Zuwachs von 2010 bis Mai 2024 auf etwa das 4,1-Fache pro Jahr; das 90-Prozent-Konfidenzintervall reicht vom 3,7- bis zum 4,6-Fachen. Seit der vorigen Auswertung im Februar 2022 ergibt sich ein geschätzter jährlicher Faktor von 4,4, allerdings mit einem sehr breiten Intervall von 1,5 bis 11,8. Die Werte seien mit der früheren Einschätzung vereinbar. Die untersuchten Alternativen zu einem einfachen exponentiellen Wachstum werden nicht eindeutig bevorzugt; eine Beschleunigung lässt sich laut Bericht jedoch nicht ausschließen.
Als „Frontier-Modelle“ gelten Modelle, die bei ihrer Veröffentlichung zu den zehn rechenintensivsten gehörten. Für diese Gruppe ergibt sich über den gesamten Zeitraum ein Wachstum um den Faktor 5,3 pro Jahr. Zugleich sieht die Analyse Hinweise auf eine Verlangsamung etwa ab 2018: Für die jüngere Phase wird ein Faktor von ungefähr 4,2 pro Jahr geschätzt. Zeitpunkt und Rate hängen jedoch von Modellierungsentscheidungen ab, etwa davon, ob ein abrupter Trendbruch zugelassen wird und ob die Ausreißer AlphaGo Master und AlphaGo Zero einbezogen werden. Mit diesen beiden Modellen fällt die jüngere Schätzung auf etwa 3,3 pro Jahr. Die Gründe für die Verlangsamung bleiben ungeklärt; die im Bericht diskutierte Erklärung, dass größere Rechencluster und bessere Hardware nötig wurden, wird ausdrücklich als unsicher bezeichnet.
Bei bedeutenden Sprachmodellen ist das Wachstum seit dem Transformer-Start im Juni 2017 mit geschätzt 9,5-mal pro Jahr deutlich schneller. Der Bericht deutet dies als Aufholprozess gegenüber der KI-Spitze insgesamt. Für die rechenintensivsten Sprachmodelle findet er Hinweise auf eine Verlangsamung um 2020; danach liegt die Schätzung bei etwa dem Fünffachen pro Jahr, mit einem breiten Intervall von 3,1 bis 7,3. Auch hier sind schnellere Entwicklungen mit den Daten vereinbar.
Für die jeweils größten Modelle von OpenAI, Google DeepMind und Meta AI ergeben sich grob jährliche Faktoren von fünf, fünf und sieben. Bei Google DeepMind findet der Bericht keinen eindeutigen Beleg für eine jüngste Beschleunigung. Außerdem vergleicht er die Trends mit Schätzungen für GPT-4 und Gemini Ultra: Eine Fortschreibung des GPT-3-Rechenaufwands mit Faktoren von vier bis fünf pro Jahr ergibt Größenordnungen, die den im Bericht genannten Schätzwerten für diese Modelle nahekommen. Eine Rechnung nur mit Daten vor GPT-3 wäre deutlich unsicherer gewesen.
Als zusammenfassende Faustzahl empfehlen die Autorinnen und Autoren das Vier- bis Fünffache pro Jahr für bedeutende und Frontier-Modelle, auch als Ausgangswert für Erwartungen. Das gilt ihrer Einschätzung nach nur vorbehaltlich möglicher Engpässe oder Beschleunigungen. Untersucht werden sollen unter anderem Datenverfügbarkeit, Investitionsbereitschaft, Stromversorgung und Chipproduktion; der Bericht legt dazu noch keine Ergebnisse vor.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung gibt die Kernaussagen des Berichts zu 4-5x Wachstum, zur Verlangsamung und zu den Sprachmodellen korrekt wieder; die Lücken betreffen vor allem die Retrodiktion und die Bestätigung des Trends seit 2022. Die Einordnung stützt sich nur auf den Bericht, der Compute-Trends analysiert und keine Governance- oder Verifikationsfragen beantwortet.
Im Bericht, aber nicht in der Zusammenfassung
- Die Retrodiktion: Ausgehend von GPT-3 (3e23 FLOP) sagt der 4x-Trend für März 2023 etwa 1e25 und für Dezember 2023 etwa 4e25 FLOP voraus, was nahe an GPT-4 und Gemini Ultra liegt und die Trendrate stützt.
- Der Trend seit Februar 2022 liegt bei etwa 4,4x pro Jahr und bestätigt damit den früheren Trend.
- Gemini Ultra zeigt laut Bericht keinen eindeutigen Beschleunigungsnachweis; die Wachstumsrate passt zum historischen Trend der Firma.
- Die Zusammenfassung erwähnt nicht, dass der Bericht die Befunde ausdrücklich als vorläufig und unsicher kennzeichnet, insbesondere die Frontier-Schätzung nach 2018.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %Hintergrund, keine Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 23 %Hintergrund, keine Belege
- Luna 72 %Hintergrund, keine Belege
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 27 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 30 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 27 %Hintergrund, keine Belege
- Luna 55 %einzelne zitierbare Belege
- JEV 34 %einzelne zitierbare Belege
- amos 31 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 43 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-T2-T01 Welche öffentliche, nachprüfbare Handlung würde als Verzicht auf weitere Skalierung zählen, nicht nur eine Ankündigung? Was müsste ein Labor veröffentlichen, damit eine rivalisierende Regierung bestätigen kann, dass wirklich pausiert wurde, und welche nachträglichen Belege würden zeigen, dass keine Fähigkeitszuwächse zurückgehalten wurden, etwa durch nicht offengelegte Änderungen an Rechenleistung beim Einsatz oder Werkzeugzugang oder durch einen nicht offengelegten Austausch von Modellen?
- SF-T2-T04 Würde ein Labor eine Verlangsamung akzeptieren, deren Einhaltung es bei der Konkurrenz nicht prüfen kann?
- SF-T2-T05 Wenn ein Staat oder Labor einen entscheidenden Vorsprung bei KI-Fähigkeiten erlangt: Welcher Mechanismus hindert diesen Akteur daran, Sicherheitsabkommen als bremsende strategische Last zu behandeln statt als gegenseitigen Nutzen?
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 31 %Hintergrund, keine Belege
- Luna 55 %Hintergrund, keine Belege
- JEV 40 %Hintergrund, keine Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 55 %Hintergrund, keine Belege
- JEV 39 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 68 %Hintergrund, keine Belege
- JEV 44 %Hintergrund, keine Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 57 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5-T03 Welche beobachtbare Reaktion würde zeigen, dass Technologiebeschränkungen ein überprüfbares Sicherheitsabkommen unwahrscheinlicher machen, während sie den Fähigkeitsvorsprung vergrößern, und wie würde sich die Strategie dann ändern?
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 70 %Hintergrund, keine Belege
- JEV 31 %nur am Rande erwähnt
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen?
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv