Is a compute crunch coming?
Zusammenfassung
Kurz
Der Bericht schätzt die weltweite Blackwell-Inferenzkapazität mit einem Kimi-K2.6-ähnlichen Modell auf 500 Millionen bis 20 Milliarden Ausgabetokens pro Sekunde, je nach Kontextlänge. Die Autoren vermuten, dass die Nachfrage schneller wächst als das Angebot und eine Verknappung großer Modelle bevorstehen könnte; die Nachfragewerte und Kapazitätsrechnungen sind jedoch unsicher und beruhen auf Annahmen und indirekten Indikatoren.
Mittel
Der Bericht schätzt, wie viele Ausgabetokens die weltweit vorhandenen Nvidia-Blackwell-GPUs mit einem Kimi-K2.6-ähnlichen Modell erzeugen könnten. Dafür modellieren die Autoren Prefill und Decoding, berücksichtigen Effizienzverfahren und kalibrieren ihre Berechnungen anhand von 111 realen Kimi-K2.5-Messungen. Je nach Eingabekontext veranschlagen sie die globale Kapazität auf etwa 20 Milliarden Tokens pro Sekunde bei 8.000 Tokens, 6 Milliarden bei 25.000 und 500 Millionen bei 128.000. Die Kapazität wachse langfristig bei gleichbleibendem Modell und Kontext laut Modell um etwa das 3,4-Fache pro Jahr.
Aus verschiedenen, ausdrücklich als unvollkommen bezeichneten Nachfrageindikatoren leiten die Autoren eine aktuelle Nachfrage von 200 Millionen bis 4 Milliarden Tokens pro Sekunde ab. Sie schätzen deren Wachstum auf etwa das Zehnfache jährlich und halten es für möglich, dass es das Angebotswachstum übertrifft – besonders bei langen Kontexten für Programmier- und agentische Anwendungen. Daher könnte eine Verknappung großer Modelle bevorstehen oder bereits einsetzen. Höhere Preise und eingeschränkte Verfügbarkeit seien mögliche Folgen. Kleinere, günstigere Modelle könnten durch Effizienzfortschritte dennoch zugänglicher und leistungsfähiger werden. Die Ergebnisse hängen von Modellannahmen ab; tatsächliche Nachfrage und der Einsatz geschlossener Modelle sind nur unvollständig bekannt.
Ausführlich lesen
Der Bericht untersucht, ob die rasch steigende Nachfrage nach KI-Rechenleistung bald die verfügbare Inferenzkapazität übersteigen könnte. Er betont, dass die Nachfrage schwer vorherzusagen sei. Die Autorinnen und Autoren schätzen deshalb zunächst, wie viele Ausgabetokens die weltweit vorhandenen Nvidia-Blackwell-GPUs mit einem Kimi-K2.6-ähnlichen Modell erzeugen könnten. Der Beitrag gibt ausdrücklich die Einschätzung seiner Autoren wieder und nicht zwingend die von Epoch AI insgesamt.
Für die Berechnung modelliert der Bericht die beiden Inferenzphasen: Beim Prefill werden Eingabetokens verarbeitet, beim Decoding entstehen Ausgabetokens nacheinander. Er vergleicht Rechenzeit und Speicherbandbreite, berücksichtigt Techniken wie Chunked Prefill und speculative decoding und gleicht die Modellwerte anhand von 111 realen Kimi-K2.5-Messungen aus SemiAnalysis’ InferenceX ab. Die Rechnung setzt unter anderem voraus, dass alle betrachteten Chips Kimi K2.6 in einer bestimmten Konfiguration ausführen, Anfragen mindestens 35 Ausgabetokens pro Sekunde liefern und Eingabekontexte 8.000, 25.000 oder 128.000 Tokens umfassen. Der Bericht weist darauf hin, dass Kommunikation zwischen Chips und Softwareineffizienzen zunächst vereinfacht behandelt und über Kalibrierungsparameter angenähert werden.
Nach dieser Kalibrierung schätzt Epoch AI die globale Kapazität der Blackwell-Chips auf rund 20 Milliarden Ausgabetokens pro Sekunde bei kurzen, 8.000-Tokens-Anfragen, 6 Milliarden bei 25.000 Tokens und 500 Millionen bei 128.000 Tokens. Die längerfristige Kapazität bei gleichbleibender Modellgröße und Kontextlänge wachse dem Modell zufolge ungefähr um den Faktor 3,4 pro Jahr.
Als Nachfrageindikatoren zieht der Beitrag unter anderem Google-Angaben zu verarbeiteten Tokens, Schätzungen des Gesamtvolumens über Anbieter hinweg sowie den Tokenverbrauch besonders intensiver KI-Nutzer unter Softwareentwicklern heran. Daraus leiten die Autoren eine gegenwärtige Nachfrage von etwa 200 Millionen bis 4 Milliarden Ausgabetokens pro Sekunde ab. Die verwendeten Anhaltspunkte seien jedoch unvollkommen: Unter anderem sei unbekannt, welche Modellgrößen und Kontexte die Tokens betreffen, und Preise hätten sich verändert. Die Autoren schätzen, die Nachfrage wachse ungefähr zehnfach pro Jahr und damit möglicherweise schneller als das Angebot. Besonders lange Kontexte für Programmier- und andere agentische Anwendungen könnten die Kapazität belasten.
Der Beitrag folgert, dass eine Verknappung bei großen Modellen nahe sein könnte oder bereits beginne. Als mögliche Folgen nennt er höhere Preise oder begrenzte Verfügbarkeit für Spitzenmodelle sowie eine stärkere Nutzung kleinerer Modelle durch Alltagsnutzer. Zugleich argumentiert er, Verbesserungen der Inferenz-Effizienz könnten kleinere, günstigere Modelle leistungsfähiger machen. Die Zahlen sind modellabhängige Schätzungen, keine direkte Zählung sämtlicher verfügbarer Rechenleistung oder tatsächlicher Nachfrage; insbesondere seien geschlossene Spitzenmodelle und die Zusammensetzung der Nachfrage nur unzureichend bekannt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung; die kurze ist ebenfalls im Kern treu, lässt aber die Kontextabhängigkeit der Kapazität (20 Mrd. bis 500 Mio. Tokens/s) und das Wachstum von 3,4x pro Jahr weg. Lunas Stufe 3 (Hintergrund ohne Belege) ist für alle drei Fragen zu hoch, weil der Bericht sie kaum berührt.
Im Bericht, aber nicht in der Zusammenfassung
- Der Bericht vergleicht die Angebotsschätzung mit Googles Traffic (etwa 130 Mio. Output-Tokens/s) und dem geschätzten Gesamtverbrauch aller Anbieter (etwa 5 Mrd./s) und folgert, dass die Kapazität für Kurzkontext reicht.
- Das theoretische Modell überschätzte die InferenceX-Messungen im Schnitt um den Faktor 5; die Kalibrierung (65 % Rechen-, 30 % Bandbreiteneffizienz, 5 ms Latenz) senkt den Wert auf 400.000 Tokens/s pro GB200-Rack.
- Die Autoren nennen die Speicherbandbreite (4,1x/Jahr) als kurzfristigen Engpass, bei langen Kontexten mit Programmierung besonders, während langfristig die Rechenleistung (3,4x/Jahr) bestimmt.
- Konkrete Beispiele für Verknappung wie Anthropics reduzierte Spitzenzeit-Quoten fehlen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 24 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 34 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 33 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 55 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 44 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 33 %Hintergrund, keine Belege
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv