Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch23. Oktober 2024 · Q006361

AI training cluster sizes increased by more than 20x since 2016

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI zufolge hat sich die Zahl der für KI-Trainings verwendeten Prozessoren von 2016 bis 2024 mehr als verzwanzigfacht: von 800 GPUs für NASv3-RL auf 16.384 H100-GPUs für Llama 3.1 405B. Für Gemini Ultra nennt der Bericht einen noch größeren TPU-Einsatz, aber keine genaue Zahl; die Tabelle reicht bis 2025, lässt viele Werte offen und beschreibt keine Erhebungsmethode.

Mittel

Epoch AI berichtet, dass die Zahl der für KI-Trainings eingesetzten Prozessoren von 2016 bis 2024 um mehr als das Zwanzigfache gewachsen sei. Als Beispiele nennt der Text NASv3-RL mit 800 GPUs im Jahr 2016 und Metas Llama 3.1 405B mit 16.384 H100-GPUs im Jahr 2024. Gemini Ultra sei mit noch mehr TPUs trainiert worden, doch genaue Angaben dazu seien nicht veröffentlicht.

Eine umfangreiche Tabelle listet Modelle, Organisationen, Veröffentlichungsdaten, Trainingsaufwand und Hardwarezahlen auf; sie reicht bis 2025 und enthält viele fehlende Hardware- oder Rechenangaben. Das Material erläutert nicht, wie die Daten erhoben oder geschätzt wurden und ob die Einträge vollständig oder direkt vergleichbar sind. Die Tabelle ist doppelt enthalten. Der zentrale Vergleich reicht bis 2024, während die angehängte Datensammlung spätere Modelle aufführt.

Ausführlich lesen

Der Bericht von Epoch AI behandelt die Entwicklung der Größe von Rechenclustern für das Training von KI-Modellen. Seine zentrale Aussage lautet, dass die Zahl eingesetzter Prozessoren zwischen 2016 und 2024 um mehr als das Zwanzigfache gestiegen sei. Als Vergleich nennt der Text Googles NASv3-RL-Netzwerk, das 2016 mit 800 GPUs trainiert worden sei, und Metas Llama 3.1 405B von 2024 mit 16.384 H100-GPUs. Für Gemini Ultra behauptet Epoch AI einen noch größeren TPU-Einsatz; genaue Angaben seien jedoch nicht veröffentlicht worden.

Der bereitgestellte Quelltext enthält außerdem eine umfangreiche Tabelle zu Modellen, Organisationen, Veröffentlichungsdaten, geschätztem Trainingsaufwand in FLOP und Hardwareanzahl. Sie umfasst Beispiele von frühen neuronalen Netzen bis zu Modellen aus dem Jahr 2025. Die Tabelle veranschaulicht, dass die dokumentierten Hardwarezahlen bei bekannten Trainingsläufen stark zunehmen: etwa 10.000 Geräte für GPT-3, 25.000 für GPT-4 und 57.000 für Gemini 1.0 Ultra. Zugleich weist sie für viele Einträge keine Hardwarezahl und teils auch keinen Rechenaufwand aus. Die Tabellen sind im Quelltext doppelt enthalten.

Ein genaues Verfahren, mit dem Epoch AI die Daten erhoben, geschätzt oder Modelle für den Vergleich ausgewählt hat, wird im bereitgestellten Material nicht beschrieben. Daher lässt sich daraus nicht ableiten, dass die Liste vollständig ist oder alle Angaben gleich zuverlässig und direkt vergleichbar sind. Der Hauptvergleich ist zudem enger gefasst als die angehängte Tabelle: Er bezieht sich auf 2016 bis 2024, während die Tabelle auch spätere Modelle bis September 2025 aufführt. Besonders bei Gemini Ultra bleibt die konkrete Gerätezahl ausdrücklich unbekannt. Die Aussagen sind somit als berichtete Größenordnungen und Datensammlung zu verstehen, nicht als vollständig dokumentierte Messreihe.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Für die Teilfragen gab es keine Einträge. Die Einordnung beschränkt sich auf die drei genannten Sammelfragen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Top-3-Reihe reicht bis 2025 und nennt Spitzenwerte wie Grok 4 mit 200.000 Hardware-Einheiten

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Behauptung, der zentrale Vergleich reiche nur bis 2024, während die angehängte Datensammlung spätere Modelle aufführe (der Bericht zeigt die Top-3-Reihe bis 2025)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 54 %Hintergrund, keine Belege
    • JEV offen
    • amos 31 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 20 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 30 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 31 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 28 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 34 %Hintergrund, keine Belege
    • JEV offen
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV offen
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV offen
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 78 %Hintergrund, keine Belege
    • JEV offen
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →