Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind23. April 2026 · Q002708

Decoupled DiLoCo: Resilient, Distributed AI Training at Scale

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Google DeepMind und Google Research stellen Decoupled DiLoCo als Ansatz vor, der Modelltraining über getrennte Rechenzentren mit weniger Synchronisation und größerer Ausfalltoleranz ermöglichen soll. Der Beitrag berichtet von geringerem Bandbreitenbedarf, höherem Goodput in Ausfalltests und vergleichbarer Benchmark-Leistung; ein Teil der Vergleiche beruht auf Simulationen, und die Ergebnisse werden vom Team selbst dargestellt.

Mittel

Der Bericht beschreibt Decoupled DiLoCo, eine Methode von Google DeepMind und Google Research, um große Sprachmodelle über getrennte Rechenzentren hinweg zu trainieren. Sie verbindet Pathways’ asynchronen Datenfluss mit DiLoCos geringerem Kommunikationsbedarf. Trainingsläufe werden in „learner units“ aufgeteilt, die laut den Autorinnen und Autoren bei Ausfällen weitgehend unabhängig weiterarbeiten können; ausgefallene Einheiten lassen sich später wieder eingliedern.

In Ausfalltests mit Gemma-4-Modellen habe das Verfahren eine höhere Verfügbarkeit beziehungsweise mehr nutzbare Trainingszeit als Data-Parallel erreicht, bei ähnlicher Benchmark-Leistung. Der Beitrag nennt 0,84 statt 198 Gbit/s Bandbreitenbedarf über acht Rechenzentren und 88 statt 27 Prozent Goodput unter hoher Ausfallrate. Die ersten beiden Wertevergleiche stammen aus Simulationen. Für die Benchmark-Genauigkeit nennt die Abbildung 64,1 Prozent gegenüber 64,4 Prozent und verweist auf reale Gemma-4-Experimente.

Das Team berichtet außerdem vom Training eines 12-Milliarden-Parameter-Modells über vier US-Regionen bei 2 bis 5 Gbit/s, mehr als zwanzigmal schneller als mit herkömmlicher Synchronisation. Auch gemischte TPU-Generationen hätten vergleichbare ML-Leistung erzielt. Dies sind vom Unternehmen berichtete Ergebnisse; der Beitrag liefert keine unabhängige Bewertung und verweist für technische Details auf einen arXiv-Bericht.

Ausführlich lesen

Der Bericht stellt Decoupled DiLoCo vor, eine von Google DeepMind und Google Research beschriebene Methode, große Sprachmodelle über räumlich getrennte Rechenzentren hinweg zu trainieren. Ausgangspunkt ist das Problem, dass herkömmliches Training viele identische Chips eng und nahezu ständig synchronisieren muss. Das funktioniere für heutige Spitzenmodelle, werde bei noch größeren Systemen und Tausenden Chips jedoch organisatorisch schwierig. Laut den Autorinnen und Autoren soll Decoupled DiLoCo diese Abhängigkeit verringern und zugleich Ausfälle besser abfangen.

Die Architektur verbindet Ideen aus Pathways, das auf asynchronen Datenfluss setzt, mit DiLoCo, das den nötigen Datenaustausch zwischen Standorten reduziert. Ein Trainingslauf wird in getrennte Recheneinheiten, sogenannte „learner units“, aufgeteilt. Diese können asynchron weiterarbeiten; fällt eine Einheit aus, sollen die übrigen nicht deshalb ihren Fortschritt unterbrechen müssen. Nach den beschriebenen Tests kann eine ausgefallene Einheit später wieder in den Trainingslauf aufgenommen werden. Dafür setzte das Team künstliche Hardwareausfälle im Rahmen von „Chaos Engineering“ ein.

Der Bericht nennt mehrere Ergebnisse. In Tests mit Gemma-4-Modellen hätten Trainingsläufe mit Decoupled DiLoCo bei Hardwareausfällen eine höhere Verfügbarkeit beziehungsweise mehr nutzbare Trainingszeit („goodput“) erreicht als herkömmliche Verfahren, während die gemessene Benchmark-Leistung ähnlich blieb. Die Abbildung beziffert den benötigten Datenaustausch über acht Rechenzentren mit 0,84 Gbit/s für Decoupled DiLoCo und 198 Gbit/s für Data-Parallel. Für den Goodput unter hoher Ausfallrate werden 88 gegenüber 27 Prozent angegeben. Bei der durchschnittlichen Genauigkeit der ML-Benchmarks stehen 64,1 Prozent für Decoupled DiLoCo und 64,4 Prozent für Data-Parallel. Der Bericht stellt ausdrücklich klar, dass die ersten beiden Diagramme auf simulierten Trainingsläufen beruhen; der Benchmark-Vergleich rechts basiert dagegen auf Experimenten mit realen Gemma-4-Modellen.

Als Nachweis für den praktischen Einsatz beschreibt das Team außerdem das Training eines Modells mit 12 Milliarden Parametern über vier US-Regionen hinweg. Dafür seien 2 bis 5 Gbit/s an Weitverkehrs-Netzwerkbandbreite genutzt worden. Laut Bericht gelang das mehr als zwanzigmal schneller als mit herkömmlichen Synchronisationsmethoden, weil Kommunikation in längere Rechenphasen eingebettet werde und weniger Wartezeiten entstünden. Diese Geschwindigkeitsangabe ist eine Aussage des Teams; der Beitrag nennt dazu keine detaillierte Versuchsanordnung oder unabhängige Bestätigung.

Als weitere mögliche Vorteile führt der Beitrag an, dass ungenutzte Rechenkapazität an verschiedenen Standorten einbezogen und unterschiedliche TPU-Generationen – etwa v6e und v5p – in einem Trainingslauf kombiniert werden könnten. In den berichteten Experimenten hätten solche gemischten Systeme trotz unterschiedlicher Chipgeschwindigkeiten die ML-Leistung von Läufen mit nur einem Chiptyp erreicht. Der Text präsentiert Decoupled DiLoCo als Ansatz für widerstandsfähigeres und flexibleres Training. Er ist jedoch ein Unternehmensbeitrag, der eigene Ergebnisse zusammenfasst; die dargestellten Angaben ersetzen keine vollständige unabhängige Bewertung. Für technische Einzelheiten verweist der Bericht auf einen Fachbericht bei arXiv.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die mittlere Zusammenfassung ist weitgehend treu, ordnet die Gemma-4-Ausfalltests aber dem Goodput-Wert von 88 gegen 27 Prozent zu, obwohl die Abbildungsunterschrift diesen Wert als Simulation ausweist. Die kurze Fassung ist ebenfalls weitgehend treu, lässt aber das 12-Milliarden-Parameter-Training und die gemischten TPU-Generationen aus. Die Einordnungen von Luna sind überhöht: SF-P3 erhält Stufe 4, obwohl der Bericht keine Selbstüberwachung oder Prüfgültigkeit behandelt, und SF-E4 und SF-P4 liegen ebenfalls zu hoch.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Ausfälle wurden mit „chaos engineering“ künstlich herbeigeführt, und die wiederaufgenommenen Lerneinheiten werden nahtlos reintegriert.
  • Der Beitrag betont, dass die Kommunikationsverzögerungen klassischer Methoden wie Data-Parallel vermieden werden.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 35 %einzelne zitierbare Belege
    • JEV 51 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 42 %gleiches Oberthema, hilft nicht
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 64 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 31 %gleiches Oberthema, hilft nicht
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 73 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →