Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch28. Mai 2024 · Q005472

Training compute of frontier AI models grows by 4-5x per year

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI schätzt, dass der Trainingsrechenaufwand bedeutender und führender KI-Modelle zuletzt insgesamt etwa vier- bis fünfmal pro Jahr gewachsen ist. Sprachmodelle wuchsen nach 2017 zunächst schneller, doch die Analyse deutet ab etwa 2020 auf eine Annäherung an den allgemeinen Frontier-Trend hin; Zeitpunkt und Stärke der Verlangsamung sind unsicher und hängen von Modellierungsentscheidungen ab.

Mittel

Der Bericht analysiert Schätzungen zum Trainingsrechenaufwand von 333 bedeutenden KI-Modellen aus den Jahren 2010 bis Mai 2024. Für die Gesamtgruppe ergibt sich ein Wachstum von etwa dem 4,1-Fachen pro Jahr. Bei Modellen, die bei ihrer Veröffentlichung zu den zehn rechenintensivsten gehörten, beträgt die Langzeitschätzung das 5,3-Fache; zugleich findet die Analyse Hinweise auf eine Verlangsamung ab ungefähr 2018 und schätzt das jüngere Wachstum auf rund das 4,2-Fache pro Jahr. Diese Ergebnisse hängen unter anderem davon ab, wie Ausreißer wie AlphaGo Master und AlphaGo Zero behandelt werden.

Bedeutende Sprachmodelle wuchsen seit 2017 zunächst schneller, laut Schätzung um das 9,5-Fache jährlich. Der Bericht deutet dies als Aufholen gegenüber der KI-Spitze insgesamt und sieht ab etwa 2020 einen langsameren Trend von ungefähr dem Fünffachen pro Jahr. Auch die größten Modelle von OpenAI, Google DeepMind und Meta AI folgen grob dieser Größenordnung. Die Forschenden empfehlen daher das Vier- bis Fünffache pro Jahr als Faustzahl und Ausgangspunkt für Erwartungen. Sie weisen auf breite Unsicherheiten, eine unvollständige Datenbasis und mögliche künftige Engpässe oder Beschleunigungen hin; deren Auswirkungen sind hier nicht abschließend untersucht.

Ausführlich lesen

Der Bericht von Epoch AI untersucht, wie schnell der Rechenaufwand für das Training bedeutender KI-Modelle gewachsen ist. Grundlage ist eine erweiterte Datenbank mit Schätzungen für 333 Modelle, veröffentlicht zwischen 2010 und Mai 2024. Die Autorinnen und Autoren passen log-lineare Wachstumstrends an und geben Unsicherheitsbereiche an. Sie betonen, dass die Datenbank nicht vollständig ist und für manche Modelle Schätzungen fehlen.

Für bedeutende Modelle insgesamt schätzt der Bericht den Zuwachs von 2010 bis Mai 2024 auf etwa das 4,1-Fache pro Jahr; das 90-Prozent-Konfidenzintervall reicht vom 3,7- bis zum 4,6-Fachen. Seit der vorigen Auswertung im Februar 2022 ergibt sich ein geschätzter jährlicher Faktor von 4,4, allerdings mit einem sehr breiten Intervall von 1,5 bis 11,8. Die Werte seien mit der früheren Einschätzung vereinbar. Die untersuchten Alternativen zu einem einfachen exponentiellen Wachstum werden nicht eindeutig bevorzugt; eine Beschleunigung lässt sich laut Bericht jedoch nicht ausschließen.

Als „Frontier-Modelle“ gelten Modelle, die bei ihrer Veröffentlichung zu den zehn rechenintensivsten gehörten. Für diese Gruppe ergibt sich über den gesamten Zeitraum ein Wachstum um den Faktor 5,3 pro Jahr. Zugleich sieht die Analyse Hinweise auf eine Verlangsamung etwa ab 2018: Für die jüngere Phase wird ein Faktor von ungefähr 4,2 pro Jahr geschätzt. Zeitpunkt und Rate hängen jedoch von Modellierungsentscheidungen ab, etwa davon, ob ein abrupter Trendbruch zugelassen wird und ob die Ausreißer AlphaGo Master und AlphaGo Zero einbezogen werden. Mit diesen beiden Modellen fällt die jüngere Schätzung auf etwa 3,3 pro Jahr. Die Gründe für die Verlangsamung bleiben ungeklärt; die im Bericht diskutierte Erklärung, dass größere Rechencluster und bessere Hardware nötig wurden, wird ausdrücklich als unsicher bezeichnet.

Bei bedeutenden Sprachmodellen ist das Wachstum seit dem Transformer-Start im Juni 2017 mit geschätzt 9,5-mal pro Jahr deutlich schneller. Der Bericht deutet dies als Aufholprozess gegenüber der KI-Spitze insgesamt. Für die rechenintensivsten Sprachmodelle findet er Hinweise auf eine Verlangsamung um 2020; danach liegt die Schätzung bei etwa dem Fünffachen pro Jahr, mit einem breiten Intervall von 3,1 bis 7,3. Auch hier sind schnellere Entwicklungen mit den Daten vereinbar.

Für die jeweils größten Modelle von OpenAI, Google DeepMind und Meta AI ergeben sich grob jährliche Faktoren von fünf, fünf und sieben. Bei Google DeepMind findet der Bericht keinen eindeutigen Beleg für eine jüngste Beschleunigung. Außerdem vergleicht er die Trends mit Schätzungen für GPT-4 und Gemini Ultra: Eine Fortschreibung des GPT-3-Rechenaufwands mit Faktoren von vier bis fünf pro Jahr ergibt Größenordnungen, die den im Bericht genannten Schätzwerten für diese Modelle nahekommen. Eine Rechnung nur mit Daten vor GPT-3 wäre deutlich unsicherer gewesen.

Als zusammenfassende Faustzahl empfehlen die Autorinnen und Autoren das Vier- bis Fünffache pro Jahr für bedeutende und Frontier-Modelle, auch als Ausgangswert für Erwartungen. Das gilt ihrer Einschätzung nach nur vorbehaltlich möglicher Engpässe oder Beschleunigungen. Untersucht werden sollen unter anderem Datenverfügbarkeit, Investitionsbereitschaft, Stromversorgung und Chipproduktion; der Bericht legt dazu noch keine Ergebnisse vor.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung gibt die Kernaussagen des Berichts zu 4-5x Wachstum, zur Verlangsamung und zu den Sprachmodellen korrekt wieder; die Lücken betreffen vor allem die Retrodiktion und die Bestätigung des Trends seit 2022. Die Einordnung stützt sich nur auf den Bericht, der Compute-Trends analysiert und keine Governance- oder Verifikationsfragen beantwortet.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Retrodiktion: Ausgehend von GPT-3 (3e23 FLOP) sagt der 4x-Trend für März 2023 etwa 1e25 und für Dezember 2023 etwa 4e25 FLOP voraus, was nahe an GPT-4 und Gemini Ultra liegt und die Trendrate stützt.
  • Der Trend seit Februar 2022 liegt bei etwa 4,4x pro Jahr und bestätigt damit den früheren Trend.
  • Gemini Ultra zeigt laut Bericht keinen eindeutigen Beschleunigungsnachweis; die Wachstumsrate passt zum historischen Trend der Firma.
  • Die Zusammenfassung erwähnt nicht, dass der Bericht die Befunde ausdrücklich als vorläufig und unsicher kennzeichnet, insbesondere die Frontier-Schätzung nach 2018.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 72 %Hintergrund, keine Belege
    • JEV 43 %gleiches Oberthema, hilft nicht
    • amos 27 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät? Luna: Stufe 3 · 46 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 30 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 27 %Hintergrund, keine Belege
    • Luna 55 %einzelne zitierbare Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 43 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 31 %Hintergrund, keine Belege
    • Luna 55 %Hintergrund, keine Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 39 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 68 %Hintergrund, keine Belege
    • JEV 44 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 70 %Hintergrund, keine Belege
    • JEV 31 %nur am Rande erwähnt
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →