Leading AI chip designs are used for around four years in frontier training
Zusammenfassung
Kurz
Epoch AI berichtet eine mediane Zeit von 3,9 Jahren zwischen Veröffentlichung eines Chipdesigns ab NVIDIA V100 und dem letzten bekannten damit trainierten Frontier-Modell; mit älteren Chips sinkt der Median auf 2,7 Jahre. Gemessen wird anhand von Modell- und Hardwaredatensätzen, wobei „Frontier“ die zehn größten Modelle nach Trainingsaufwand meint; die Kennzahl erfasst letzte bekannte Veröffentlichungen, nicht die tatsächliche Dauer der Chipnutzung.
Mittel
Epoch AI schätzt die „Frontier-Lebensdauer“ von KI-Chipdesigns als Zeit zwischen deren öffentlicher Veröffentlichung und der Veröffentlichung des letzten bekannten Frontier-Modells, das mit ihnen trainiert wurde. Als Frontier gelten die zehn größten KI-Modelle nach Trainingsaufwand zum jeweiligen Veröffentlichungszeitpunkt. Für Chipdesigns ab NVIDIA V100 beträgt der angegebene Median 3,9 Jahre; mit älteren Chips einbezogen sind es 2,7 Jahre.
Die Analyse verknüpft laut Bericht einen Datensatz bedeutender Modelle mit einem Datensatz für ML-Hardware und ermittelt je Chip das späteste Veröffentlichungsdatum eines erfassten Frontier-Modells. In der Tabelle reichen die Dauern von 0,6 Jahren (Google TPU v2) bis 4,5 Jahren (NVIDIA V100); für A100 sind es 4,1 Jahre und für TPU v4 2,7 Jahre. Die Zahl der gelisteten Modelle je Hardware reicht von eins bis 17.
Die Kennzahl beschreibt den Abstand bis zur letzten bekannten Veröffentlichung, nicht die tatsächliche Nutzungsdauer eines Chips. Sie hängt von Definition und Abdeckung der Datensätze ab; der Auszug diskutiert diese Einschränkungen nicht näher.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, wie lange kommerzielle KI-Chipdesigns für das Training besonders großer KI-Modelle verwendet werden. Als „Lebensdauer“ zählt er die Zeit zwischen der öffentlichen Veröffentlichung eines Chips und dem Veröffentlichungsdatum des letzten bekannten Frontier-Modells, das mit diesem Chip trainiert wurde. Frontier-Modelle definiert der Bericht als die zehn zum Veröffentlichungszeitpunkt größten KI-Modelle nach Trainingsaufwand.
Für Chips ab NVIDIAs V100 gibt der Bericht eine mediane Dauer von 3,9 Jahren an. Bezieht man auch ältere Chips ein, sinkt der Median auf 2,7 Jahre. Die Tabelle führt zwölf Chipdesigns auf, von der NVIDIA Quadro K6000 und Tesla K40t bis zu NVIDIA A100 und Google TPU v4. Die ausgewiesenen Dauern reichen von 0,6 Jahren für TPU v2 bis zu 4,5 Jahren für V100. Für A100 werden 4,1 Jahre, für TPU v4 2,7 Jahre angegeben. Bei den aufgeführten Designs liegt die Zahl der erfassten Modelle zwischen einem und 17.
Für die Auswertung verknüpft Epoch AI nach eigener Beschreibung den Datensatz „Notable Models“ mit dem Datensatz zu Machine-Learning-Hardware und bestimmt für jedes Chipdesign das späteste Veröffentlichungsdatum eines damit trainierten Frontier-Modells. Der Bericht verweist außerdem auf Code zur Reproduktion der Analyse.
Die Kennzahl bildet damit die beobachtete Zeitspanne bis zur letzten erfassten Frontier-Modellveröffentlichung ab. Sie belegt nicht, wie lange Chips tatsächlich im Einsatz waren, und sagt nichts darüber aus, ob sie nach diesem Datum weiter genutzt wurden. Die Ergebnisse hängen außerdem von der verwendeten Definition von Frontier-Modellen und den erfassten Datensätzen ab. Der vorliegende Berichtsauszug enthält keine ausführliche Erörterung dieser Grenzen oder der einzelnen Zuordnungen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung gibt die Zahlen korrekt wieder (3,9 bzw. 2,7 Jahre, Top-10-Definition, Spanne 0,6 bis 4,5 Jahre, 1 bis 17 Modelle). Die Ergänzung zu den Datensätzen ist eine eigene Schlussfolgerung, und die Begründung für den Startpunkt V100 fehlt. Die Einordnung bleibt bei den Sammelfragen schwach, da der Bericht nur Hintergrunddaten zu Chip-Lebensdauern liefert.
Im Bericht, aber nicht in der Zusammenfassung
- Die Begründung, warum ab NVIDIA V100 gerechnet wird: diese Chips wurden für großskaliges Sprachmodelltraining ähnlich heutiger Frontier-Modelle eingesetzt.
- Die Tabelle mit den Einzelwerten für zwölf Chipdesigns (von Quadro K6000 bis TPU v4) ist nur teilweise wiedergegeben.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die Kennzahl hänge von Definition und Abdeckung der Datensätze ab, steht so nicht im Bericht; sie ist eine eigene Schlussfolgerung Lunas.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 19 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 50 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 57 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 20 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 65 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv