Could decentralized training solve AI’s power problem?
Zusammenfassung
Kurz
Epoch AI schätzt, dass ein hypothetischer Verbund aus 23 Rechenzentren mit insgesamt 10 GW Leistung über ein schnelles Glasfasernetz ein sehr großes KI-Modell trainieren könnte, ohne die Trainingszeit stark zu verlängern. Die Rechnung hängt von zahlreichen Annahmen ab; zusätzliche Komplexität und Standortprobleme bleiben, und die genannten Kraftwerksreserven sind keine gesicherte Versorgung.
Mittel
Epoch AI prüft anhand eines hypothetischen Beispiels, ob sich KI-Vortraining auf viele Rechenzentren verteilen lässt, wenn kein einzelner Standort genug Strom liefern kann. Das Szenario umfasst 23 Standorte im Osten der USA mit zusammen 10 GW Leistung, verbunden durch einen 4.800 Kilometer langen Glasfaserring. Die Autoren nehmen ein Modell mit 72 Billionen Parametern an und schätzen, dass ein solcher Verbund einen Trainingslauf in etwa 100 Tagen bewältigen könnte.
Die Standorte würden Daten parallel verarbeiten und für jeden Trainingsschritt Gradienten austauschen. Laut Modellrechnung könnte eine Verbindung mit 6 Petabit pro Sekunde die Synchronisierung auf ungefähr 220 Millisekunden begrenzen. Das entspräche höchstens fünf Prozent zusätzlicher Trainingszeit. Das Netz würde schätzungsweise 410 Millionen Dollar kosten, weniger als ein Prozent der angenommenen 90 Milliarden Dollar für die Rechenzentren.
Die Autoren sehen darin eine technisch plausible Möglichkeit, Stromreserven an verschiedenen Orten zu nutzen. Sie weisen zugleich auf mehr technische Komplexität, Ausfallrisiken, Genehmigungsaufwand und lokale Engpässe bei Bau und Personal hin. Die konkreten Kraftwerksstandorte und Leistungswerte sind hypothetisch; der Bericht belegt Machbarkeit durch Modellannahmen, nicht durch einen tatsächlich ausgeführten 10-GW-Trainingslauf.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, ob sich sehr große KI-Trainingsläufe über mehrere räumlich getrennte Rechenzentren verteilen lassen, um den Engpass bei der Stromversorgung einzelner Standorte zu umgehen. Die Autoren halten dezentrales Training für technisch machbar und argumentieren, dass fehlende einzelne Standorte mit mehreren Gigawatt die weitere Skalierung von KI deshalb wahrscheinlich nicht entscheidend bremsen.
Als Rechenbeispiel entwerfen sie einen hypothetischen Trainingsverbund mit 10 GW Leistung an 23 Standorten in den östlichen USA. Die Standorte lägen nahe bestehenden Gaskraftwerken mit jeweils geschätzt 300 bis 800 MW verfügbarer Reserveleistung und würden über einen rund 4.800 Kilometer langen Glasfaserring verbunden. Die Autoren betonen, dass gerade diese Kraftwerke die benötigte Leistung vermutlich nicht tatsächlich bereitstellen könnten; das Beispiel soll vielmehr zeigen, dass sich vergleichbare Strommengen möglicherweise aus mehreren nahegelegenen Quellen erschließen ließen.
Für den Verbund nehmen sie rund 51.000 NVIDIA-GB200-NVL72-Systeme an. Damit ließe sich ihrer Modellrechnung zufolge ein Trainingslauf über 5 × 10²⁸ FLOP in etwa 100 Tagen absolvieren. Als Belastungstest betrachten sie das Vortraining eines hypothetischen Modells mit 72 Billionen Parametern, von denen pro Vorwärtsdurchlauf 4 Billionen aktiv wären, auf 2.000 Billionen Tokens. Das ist eine Szenarioannahme, keine Beschreibung eines bereits durchgeführten Trainings. Die Autoren weisen zudem darauf hin, dass ein erheblicher Teil künftiger Rechenleistung womöglich eher für synthetische Daten und Reinforcement Learning eingesetzt würde, die sich leichter verteilen ließen.
Die technische Analyse setzt auf Datenparallelität: Jeder Standort verarbeitet einen Teil der Daten und tauscht anschließend Gradienten aus, damit die Modellgewichte gemeinsam aktualisiert werden. Bei einer angenommenen maximalen Batchgröße von etwa 1,1 Milliarden Tokens ergäben sich rund 1,8 Millionen Aktualisierungsschritte. Um den zusätzlichen Zeitbedarf auf höchstens fünf Prozent zu begrenzen, dürfte die Synchronisierung bei ungefähr fünf Sekunden Rechenzeit je Batch höchstens 250 Millisekunden dauern.
Nach der Modellrechnung liegt die reine Laufzeit der Signale im 4.800-Kilometer-Netz bei etwa 24 Millisekunden. Für den Austausch der Gradienten eines 72-Billionen-Parameter-Modells veranschlagen die Autoren eine bidirektionale Verbindung mit 6 Petabit pro Sekunde; damit dauere die Übertragung ungefähr 190 Millisekunden und die Synchronisierung einschließlich Laufzeit rund 220 Millisekunden. Sie kalkulieren für Glasfaser und Netzwerkausrüstung zusammen etwa 410 Millionen US-Dollar. Verglichen mit geschätzten 90 Milliarden Dollar für die Rechenzentren entspräche das einem Baukostenaufschlag von weniger als einem Prozent. Unter den gewählten Annahmen könnte die Verteilung die Trainingszeit um höchstens fünf Tage verlängern.
Der Bericht nennt zugleich erhebliche praktische Nachteile: zusätzliche Fehlerquellen im Netz, mehr Aufwand für Planung, Synchronisierung und Wiederherstellung sowie Genehmigungs-, Bau- und Personalprobleme an vielen Standorten. Ein einzelner großer Campus sei einfacher zu betreiben und biete mehr Spielraum für kommunikationsintensive Trainingsverfahren. Dezentrale Standorte könnten dagegen die Nutzung vorhandener Stromreserven erleichtern, kleinere Stromverträge ermöglichen, lange Netzanschluss-Wartezeiten umgehen helfen und die Belastung des Stromnetzes über Regionen verteilen. Die Kostenrechnung schließt bestimmte Verstärker- und Repeaterkosten zunächst aus, schätzt deren Zusatz jedoch auf 2,4 bis 4,8 Millionen Dollar. Insgesamt erwarten die Autoren, dass Unternehmen zentrale Standorte bevorzugen, dezentrale Verbünde aber bei sehr großen Leistungsklassen – insbesondere oberhalb von 10 GW – attraktiv werden könnten. Die Ergebnisse bleiben eine technische Abschätzung auf Basis von Annahmen, kein Nachweis eines realisierten 10-GW-Trainingslaufs.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen sind weitgehend treu und enthalten keine erfundenen Zahlen; sie lassen aber wichtige Einschätzungen des Berichts zu Standortwahl und Netzrisiken aus. Die Einordnung stützt sich nur auf den Bericht, und Lunas Stufen wurden unabhängig davon vergeben.
Im Bericht, aber nicht in der Zusammenfassung
- Die Einschätzung, dass Unternehmen bei verfügbaren Standorten große Einzelcampus bevorzugen würden und Dezentralisierung nur als Ausweichlösung gilt
- Der Hinweis auf Google Gemini 2.5 und den NVIDIA-Test als reale Vorbilder für Datenparallelität über mehrere Standorte
- Die Schätzung von Norris et al., dass 76 GW ungenutzter Netzkapazität für neue Rechenzentren nutzbar wären, sofern sie 22 Stunden pro Jahr drosseln
- Die Netzstabilitätsrisiken großer Lasten und die Verweise auf Microsofts Fairwater-Standort und Crusoe-Projekt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 25 %Hintergrund, keine Belege
- Luna 50 %Hintergrund, keine Belege
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 59 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 60 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 40 %einzelne zitierbare Belege
- JEV 31 %einzelne zitierbare Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 69 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 25 %Hintergrund, keine Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 55 %gleiches Oberthema, hilft nicht
Weitere Berichte zu diesen Fragen
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv