Decoupled DiLoCo: Resilient, Distributed AI Training at Scale
Zusammenfassung
Kurz
Google DeepMind und Google Research stellen Decoupled DiLoCo als Ansatz vor, der Modelltraining über getrennte Rechenzentren mit weniger Synchronisation und größerer Ausfalltoleranz ermöglichen soll. Der Beitrag berichtet von geringerem Bandbreitenbedarf, höherem Goodput in Ausfalltests und vergleichbarer Benchmark-Leistung; ein Teil der Vergleiche beruht auf Simulationen, und die Ergebnisse werden vom Team selbst dargestellt.
Mittel
Der Bericht beschreibt Decoupled DiLoCo, eine Methode von Google DeepMind und Google Research, um große Sprachmodelle über getrennte Rechenzentren hinweg zu trainieren. Sie verbindet Pathways’ asynchronen Datenfluss mit DiLoCos geringerem Kommunikationsbedarf. Trainingsläufe werden in „learner units“ aufgeteilt, die laut den Autorinnen und Autoren bei Ausfällen weitgehend unabhängig weiterarbeiten können; ausgefallene Einheiten lassen sich später wieder eingliedern.
In Ausfalltests mit Gemma-4-Modellen habe das Verfahren eine höhere Verfügbarkeit beziehungsweise mehr nutzbare Trainingszeit als Data-Parallel erreicht, bei ähnlicher Benchmark-Leistung. Der Beitrag nennt 0,84 statt 198 Gbit/s Bandbreitenbedarf über acht Rechenzentren und 88 statt 27 Prozent Goodput unter hoher Ausfallrate. Die ersten beiden Wertevergleiche stammen aus Simulationen. Für die Benchmark-Genauigkeit nennt die Abbildung 64,1 Prozent gegenüber 64,4 Prozent und verweist auf reale Gemma-4-Experimente.
Das Team berichtet außerdem vom Training eines 12-Milliarden-Parameter-Modells über vier US-Regionen bei 2 bis 5 Gbit/s, mehr als zwanzigmal schneller als mit herkömmlicher Synchronisation. Auch gemischte TPU-Generationen hätten vergleichbare ML-Leistung erzielt. Dies sind vom Unternehmen berichtete Ergebnisse; der Beitrag liefert keine unabhängige Bewertung und verweist für technische Details auf einen arXiv-Bericht.
Ausführlich lesen
Der Bericht stellt Decoupled DiLoCo vor, eine von Google DeepMind und Google Research beschriebene Methode, große Sprachmodelle über räumlich getrennte Rechenzentren hinweg zu trainieren. Ausgangspunkt ist das Problem, dass herkömmliches Training viele identische Chips eng und nahezu ständig synchronisieren muss. Das funktioniere für heutige Spitzenmodelle, werde bei noch größeren Systemen und Tausenden Chips jedoch organisatorisch schwierig. Laut den Autorinnen und Autoren soll Decoupled DiLoCo diese Abhängigkeit verringern und zugleich Ausfälle besser abfangen.
Die Architektur verbindet Ideen aus Pathways, das auf asynchronen Datenfluss setzt, mit DiLoCo, das den nötigen Datenaustausch zwischen Standorten reduziert. Ein Trainingslauf wird in getrennte Recheneinheiten, sogenannte „learner units“, aufgeteilt. Diese können asynchron weiterarbeiten; fällt eine Einheit aus, sollen die übrigen nicht deshalb ihren Fortschritt unterbrechen müssen. Nach den beschriebenen Tests kann eine ausgefallene Einheit später wieder in den Trainingslauf aufgenommen werden. Dafür setzte das Team künstliche Hardwareausfälle im Rahmen von „Chaos Engineering“ ein.
Der Bericht nennt mehrere Ergebnisse. In Tests mit Gemma-4-Modellen hätten Trainingsläufe mit Decoupled DiLoCo bei Hardwareausfällen eine höhere Verfügbarkeit beziehungsweise mehr nutzbare Trainingszeit („goodput“) erreicht als herkömmliche Verfahren, während die gemessene Benchmark-Leistung ähnlich blieb. Die Abbildung beziffert den benötigten Datenaustausch über acht Rechenzentren mit 0,84 Gbit/s für Decoupled DiLoCo und 198 Gbit/s für Data-Parallel. Für den Goodput unter hoher Ausfallrate werden 88 gegenüber 27 Prozent angegeben. Bei der durchschnittlichen Genauigkeit der ML-Benchmarks stehen 64,1 Prozent für Decoupled DiLoCo und 64,4 Prozent für Data-Parallel. Der Bericht stellt ausdrücklich klar, dass die ersten beiden Diagramme auf simulierten Trainingsläufen beruhen; der Benchmark-Vergleich rechts basiert dagegen auf Experimenten mit realen Gemma-4-Modellen.
Als Nachweis für den praktischen Einsatz beschreibt das Team außerdem das Training eines Modells mit 12 Milliarden Parametern über vier US-Regionen hinweg. Dafür seien 2 bis 5 Gbit/s an Weitverkehrs-Netzwerkbandbreite genutzt worden. Laut Bericht gelang das mehr als zwanzigmal schneller als mit herkömmlichen Synchronisationsmethoden, weil Kommunikation in längere Rechenphasen eingebettet werde und weniger Wartezeiten entstünden. Diese Geschwindigkeitsangabe ist eine Aussage des Teams; der Beitrag nennt dazu keine detaillierte Versuchsanordnung oder unabhängige Bestätigung.
Als weitere mögliche Vorteile führt der Beitrag an, dass ungenutzte Rechenkapazität an verschiedenen Standorten einbezogen und unterschiedliche TPU-Generationen – etwa v6e und v5p – in einem Trainingslauf kombiniert werden könnten. In den berichteten Experimenten hätten solche gemischten Systeme trotz unterschiedlicher Chipgeschwindigkeiten die ML-Leistung von Läufen mit nur einem Chiptyp erreicht. Der Text präsentiert Decoupled DiLoCo als Ansatz für widerstandsfähigeres und flexibleres Training. Er ist jedoch ein Unternehmensbeitrag, der eigene Ergebnisse zusammenfasst; die dargestellten Angaben ersetzen keine vollständige unabhängige Bewertung. Für technische Einzelheiten verweist der Bericht auf einen Fachbericht bei arXiv.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die mittlere Zusammenfassung ist weitgehend treu, ordnet die Gemma-4-Ausfalltests aber dem Goodput-Wert von 88 gegen 27 Prozent zu, obwohl die Abbildungsunterschrift diesen Wert als Simulation ausweist. Die kurze Fassung ist ebenfalls weitgehend treu, lässt aber das 12-Milliarden-Parameter-Training und die gemischten TPU-Generationen aus. Die Einordnungen von Luna sind überhöht: SF-P3 erhält Stufe 4, obwohl der Bericht keine Selbstüberwachung oder Prüfgültigkeit behandelt, und SF-E4 und SF-P4 liegen ebenfalls zu hoch.
Im Bericht, aber nicht in der Zusammenfassung
- Die Ausfälle wurden mit „chaos engineering“ künstlich herbeigeführt, und die wiederaufgenommenen Lerneinheiten werden nahtlos reintegriert.
- Der Beitrag betont, dass die Kommunikationsverzögerungen klassischer Methoden wie Data-Parallel vermieden werden.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 35 %einzelne zitierbare Belege
- JEV 51 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 55 %Hintergrund, keine Belege
- JEV 42 %gleiches Oberthema, hilft nicht
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 64 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 41 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 25 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 73 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv