Hardware failures won’t limit AI scaling
Zusammenfassung
Kurz
Der Bericht kommt anhand mathematischer Modelle zu dem Schluss, dass GPU-Ausfälle die Skalierung von KI-Trainingsläufen voraussichtlich nicht praktisch begrenzen, besonders wenn Checkpoints im Speicher anderer GPUs abgelegt werden. Das Ergebnis beruht auf Annahmen zu Ausfallraten, Netzwerken und Chinchilla-Skalierung; systemweite Katastrophen und technische Umsetzungsprobleme bleiben bestehen.
Mittel
Der Bericht untersucht, ob GPU-Ausfälle und Checkpointing sehr große KI-Trainingsläufe ausbremsen. Die Autoren modellieren die Kosten für das Speichern von Trainingsständen, verlorene Arbeit nach einem Ausfall und die Wiederherstellung. Für Metas Llama-3.1-405B-Lauf schätzen sie den entsprechenden Zeitverlust auf etwa 2,1 Prozent. Mit herkömmlichen Checkpoints auf robustem Speicher werde es in ihrem Beispiel bei rund 70 Millionen GPUs kritisch.
Als Alternative schlagen sie vor, Trainingsstände im Speicher anderer GPUs im Cluster zu replizieren. Damit veranschlagen sie für das Beispielmodell eine Schwelle von etwa 560 Millionen GPUs. Unter Chinchilla-Skalierung und weiteren Annahmen ergeben ihre Modellrechnungen für künftige Modelle Grenzen von Milliarden bis Sextillionen GPUs. Die Autoren folgern, dass gewöhnliche Hardwareausfälle die Skalierung praktisch nicht begrenzen dürften.
Das Ergebnis hängt jedoch von den angenommenen Ausfallraten, Netzwerkleistungen und Skalierungsgesetzen ab. Systemweite Katastrophen erfordern weiterhin externe Speicher, Wartung robuste Checkpoints. Die Umsetzung der GPU-Speicherlösung bleibt laut Bericht technisch anspruchsvoll; mehrere Gleichungen im Quelltext sind nicht lesbar dargestellt.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, ob Ausfälle von GPUs und die nötigen Sicherungen von Trainingsständen das Wachstum großer KI-Trainingsläufe begrenzen könnten. Sein zentrales Ergebnis lautet: Nach den Berechnungen der Autoren werden Hardwareausfälle die Skalierung auf absehbare Zeit voraussichtlich nicht wesentlich beschränken, sofern sich Fehlerraten ungefähr wie angenommen verhalten und künftige Modelle grob nach Chinchilla-Skalierung wachsen.
Als Ausgangspunkt dient eine geschätzte Ausfallrate von etwa einem H100-Ausfall je 50.000 GPU-Stunden. Bei großen Clustern treten dadurch häufig Ausfälle auf. Die Autoren modellieren, wie viel Trainingszeit durch das Speichern von Checkpoints, verlorene Arbeit seit dem letzten Speicherstand und Wiederherstellung verloren geht. Häufiges Speichern kostet Rechenzeit; seltenes Speichern erhöht den möglichen Verlust bei einem Ausfall. Für Metas Llama-3.1-405B-Lauf mit 16.384 GPUs schätzen sie den Zeitverlust durch Speichern und Wiederherstellung auf rund 2,1 Prozent. Bei unverändertem Modell und einer angenommenen Speicherzeit von 2,5 Sekunden würde herkömmliches Speichern auf robuste Speichersysteme dem Modell zufolge erst bei ungefähr 70 Millionen GPUs problematisch.
Als Alternative betrachten die Autoren Checkpoints im GPU-Speicher anderer Rechner im Cluster. Solche verteilten Kopien könnten eine Wiederherstellung aus dem langsameren Speicher vermeiden. Für heutige Hardware und die verwendeten Annahmen verschieben sie die theoretische Schwelle für das Beispielmodell auf etwa 560 Millionen GPUs. Die Ausfallwahrscheinlichkeit mehrerer unabhängiger Kopien sinkt laut ihrer Modellierung stark mit jeder zusätzlichen Kopie. Bei größeren, nach Chinchilla skalierten Modellen errechnet der Bericht je nach angenommener Netzwerkskalierung mögliche Grenzen von Milliarden bis Sextillionen GPUs. Die Autoren folgern daraus, dass sich keine praktisch relevante Obergrenze durch gewöhnliche Hardwareausfälle ergibt.
Der Bericht behandelt außerdem Betriebsfragen. Ein Bestand ungenutzter Ersatzknoten könne bei einer Million GPUs laut einer Beispielrechnung klein bleiben, wenn defekte Knoten laufend ersetzt werden. Wartungsarbeiten erfordern weiterhin robuste Checkpoints auf Speicher, weil das Training gleichartige Knoten voraussetzt. Seltene systemweite Ereignisse wie Stromausfälle, Unwetter oder Brände könnten durch Kopien innerhalb des Clusters nicht ausreichend abgefangen werden; dafür seien externe, robuste Speicher nötig.
Die Schlussfolgerungen sind Modellresultate, keine Garantie für reale Systeme. Sie hängen unter anderem von einer stabilen Ausfallrate, den angenommenen Netzwerk- und Speicherleistungen, der Replikation im GPU-Speicher und der Gültigkeit der Chinchilla-Skalierung ab. Der Text sagt auch, dass die Umsetzung erhebliche technische Arbeit erfordert und laut Bericht bislang nur Google eine ähnliche Technik demonstriert hat. Zudem sind mehrere Gleichungen im bereitgestellten Quelltext nicht lesbar dargestellt, sodass sich die Rechenschritte daraus nicht vollständig nachvollziehen lassen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat zwei Fassungen der Zusammenfassung geliefert (kurz und mittel). Die Prüfung gilt für beide zusammen: Beide geben die Kernaussagen korrekt wieder, erfinden keine Zahlen und nennen die Schwellen 2,1 Prozent, 70 Millionen und 560 Millionen GPUs richtig. Die mittlere Fassung ist vollständiger, lässt aber die Google-Einschränkung aus. Der Satz zu nicht lesbaren Gleichungen beschreibt die Eingabe, nicht den Bericht, und wurde deshalb nicht als erfunden gewertet. Lunas Anteilswerte bei den Sammelfragen wurden nicht übernommen, weil sie für die Einordnung nicht verlangt sind. Teilfragen wurden keine angegeben.
Im Bericht, aber nicht in der Zusammenfassung
- Google ist bisher der einzige im Bericht genannte Anwender der GPU-Speicher-Checkpoints
- Speicherbandbreite für Trainingsdaten lässt sich unabhängig von Checkpoints optimieren
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 23 %Hintergrund, keine Belege
- Luna 57 %Hintergrund, keine Belege
- JEV 51 %gleiches Oberthema, hilft nicht
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 71 %Hintergrund, keine Belege
- JEV 26 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 25 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 19 %einzelne zitierbare Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv