Data movement bottlenecks to large-scale model training: Scaling past 1e28 FLOP
Zusammenfassung
Kurz
Der Bericht schätzt, dass Datenbewegung und insbesondere Kommunikationslatenz die effiziente Vergrößerung von GPU-Trainingsläufen begrenzen könnten; für dichte Modelle nennt er bei höchstens drei Monaten Trainingszeit etwa 15 Billionen Parameter als Größenordnung. Als mögliche Auswege diskutiert er Hardwareverbesserungen und größere Trainingsbatches, weist aber auf begrenzte und unsichere Forschung zu den nötigen Skalierungsgesetzen hin. Mehrere Zahlen und Formeln fehlen im bereitgestellten Bericht, daher sind zentrale Schwellenwerte nicht rekonstruierbar.
Mittel
Der Bericht von Ege Erdil für Epoch AI analysiert, wie Datenübertragung die Skalierung des Trainings großer Sprachmodelle begrenzen kann. Weil Trainingsläufe aus praktischen Gründen kaum länger als sechs Monate dauern, beruhe der bisherige Zuwachs vor allem auf größeren GPU-Clustern. Mehr GPUs erhöhen jedoch den Datenverkehr innerhalb der Geräte und zwischen ihnen. Bei kleinen Matrixoperationen kann Speicherzugriff die Rechenarbeit nicht mehr überdecken; zwischen GPUs hängen die Kommunikationskosten von Daten-, Pipeline-, Tensor- und Expertenparallelität ab.
Ein Modell der Autoren schätzt, dass bei höchstens drei Monaten Trainingszeit effiziente Skalierung mit heutiger Technik oberhalb einer bestimmten Größe stark nachlässt. Für dichte, Chinchilla-optimal trainierte Modelle nennt der Text etwa 15 Billionen Parameter als Größenordnung. Bei noch größeren Läufen könnte Latenz eine harte Grenze bilden. Als mögliche Ansätze gelten gleichzeitige Hardwareverbesserungen, größere Batches und eine geringere Zunahme der Modelltiefe. Die Autoren sehen aggressivere Batch-Skalierung als plausibelsten Ansatz, betonen aber, dass die kritische Batchgröße für große Sprachmodelle unzureichend erforscht ist. Es handelt sich um modellbasierte Schätzungen; mehrere Zahlen und Formeln fehlen im bereitgestellten Text, sodass zentrale Schwellenwerte nicht genau angegeben werden können.
Ausführlich lesen
Der Bericht von Ege Erdil für Epoch AI untersucht, wie Datenübertragung die weitere Vergrößerung des Trainings großer Sprachmodelle begrenzen könnte. Er stellt den raschen Anstieg des Trainingsaufwands heraus: Nach Schätzungen der Autoren wuchs die Rechenleistung für führende KI-Trainingsläufe von 2010 bis 2024 jährlich um etwa das Vier- bis Fünffache. Da Trainingsläufe aus praktischen Gründen selten länger als sechs Monate dauern, wurde die Skalierung vor allem durch größere GPU-Cluster vorangetrieben. Der Bericht argumentiert, dass sich diese Entwicklung nicht unbegrenzt fortsetzen lässt, weil mit mehr GPUs auch mehr Daten pro Zeiteinheit bewegt werden müssen.
Die Analyse unterscheidet Datenbewegung innerhalb einer GPU und zwischen GPUs. Innerhalb der GPU kann der Speicherzugriff bei großen Matrixoperationen meist durch Rechenarbeit überdeckt werden. Werden die Teiloperationen beim Skalieren kleiner, nimmt die Rechenzeit jedoch schneller ab als die Zeit für Speicherzugriffe. Dann sinkt die Rechenauslastung. Zwischen GPUs hängt der Kommunikationsbedarf von der Parallelisierungsart ab: Datenparallelität tauscht Gradienten aus, Pipelineparallelität übergibt Zwischenergebnisse zwischen Modellabschnitten, Tensorparallelität erfordert besonders häufige Synchronisierung, und Expertenparallelität verteilt Eingaben und Ergebnisse zwischen den Experten eines MoE-Modells. Der Bericht folgert, dass die Kombination mehrerer Verfahren den Datenverkehr für eine gegebene Clustergröße verringern kann.
Das Modell der Autoren schätzt, dass bei einer Trainingsdauer von höchstens drei Monaten eine effiziente Skalierung mit der heutigen Technik oberhalb einer bestimmten Rechengröße schwierig wird; für dichte, nach der Chinchilla-Regel trainierte Modelle nennt der Text ungefähr 15 Billionen Parameter als Größenordnung. Bei noch größeren Läufen könne die Kommunikationslatenz eine harte Grenze setzen, sofern die logische Integrität des stochastischen Gradientenabstiegs erhalten bleiben soll. Latenz ist bei heutigen Trainingsläufen laut Bericht noch kein wesentlicher Engpass, dürfte aber künftig besonders schwierig werden: Anders als Bandbreitenprobleme lasse sich diese Grenze bei festem Zeitfenster nicht einfach durch zusätzliche GPUs überschreiten, und Latenzen hätten sich laut Autoren langsamer verbessert als andere relevante Hardwarewerte.
Als mögliche Auswege diskutiert der Bericht bessere Hardware, größere Trainingsbatches und eine geringere Zunahme der Modelltiefe. Hardware müsste Speicher- und Netzwerkbandbreite sowie Latenz gleichzeitig verbessern. Größere Batches könnten die Latenzgrenze verschieben, stoßen aber ab einer kritischen Batchgröße auf abnehmenden Nutzen. Weniger aggressives Training wäre ebenfalls möglich, würde nach der angeführten Chinchilla-Skalierungsregel aber die Umwandlung von Rechenaufwand in Modellfähigkeiten verschlechtern. Die Autoren halten eine stärkere Skalierung der Batchgrößen für den plausibelsten algorithmischen Ansatz; die Annahmen zur Skalierung von Modelltiefe sind dagegen nur schwach belegt.
Die Aussagen sind Modellschätzungen und keine beobachteten unumstößlichen Grenzen. Der bereitgestellte Bericht enthält zudem mehrere ausgelassene Zahlen und Formeln, darunter zentrale Schwellenwerte für den Rechenaufwand. Deshalb lassen sich diese konkreten Werte aus dem Text nicht zuverlässig rekonstruieren. Als offene Forschungsfragen nennt er unter anderem Skalierungsgesetze für kritische Batchgröße, Modelltiefe, Seitenverhältnis und Sparsität.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen sind weitgehend treu und enthalten keine erkennbar erfundenen Angaben. Sie lassen aber die 1e28-FLOP-Schwelle, die Trendschätzung und die Einschätzung der Latenzgrenze aus. Bei den Einordnungen liegt keine der drei Sammelfragen im Kernthema des Berichts; alle drei erhalten daher nur niedrige Stufen.
Im Bericht, aber nicht in der Zusammenfassung
- Der Bericht setzt den Schwellenwert auf etwa 1e28 FLOP; die Zusammenfassung nennt keine Compute-Grenze.
- Laut Abbildung 1 liegen aktuelle Trainingsläufe etwa 100-mal unter dieser Grenze.
- Die Trend-Schätzung von 4 bis 5 facher jährlicher Compute-Steigerung und die daraus abgeleitete Erreichung der Schwelle in etwa drei Jahren fehlen.
- Der Bericht hält die Latenzgrenze für die schwierigste künftige Einschränkung, obwohl Latenz heute kaum eine Rolle spielt.
- Die Aussage, dass Hardwareverbesserungen allein schon eine Größenordnung schwer zu erreichen sind, fehlt in der kurzen Fassung.
- Der Bericht verwirft das Unterladen von Modellen (Undertraining) als plausiblen Ausweg, weil es die Effizienz der Umwandlung von Compute in Fähigkeiten senkt; das fehlt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 23 %Hintergrund, keine Belege
- Luna 59 %Hintergrund, keine Belege
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 64 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 76 %Hintergrund, keine Belege
- JEV 37 %einzelne zitierbare Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 60 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 69 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %Hintergrund, keine Belege
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv