Changing how we measure AI chip inference performance
Zusammenfassung
Kurz
Der Bericht beschreibt den IPI als Vergleichsmaß für die modellierte Inferenzkapazität von KI-Chips, das neben Rechenleistung auch Speicher, Chip-Verbindungen und den Zielkonflikt zwischen Parallelität und Ausgabegeschwindigkeit berücksichtigt. Die Schätzungen beruhen auf vier agentischen Modellarbeitslasten und Hardwareprojektionen; Software-Reife, Modellwahl und weitere Annahmen begrenzen ihre Aussagekraft.
Mittel
Der Bericht führt den Inference Performance Index (IPI) ein, der die modellierte Inferenzkapazität von KI-Chips in GB300-Äquivalenten ausdrückt. Epoch AI schätzt für agentische Arbeitslasten, dass ein Nvidia GB300 pro Chip etwa 25-mal so viele Anfragen wie ein H100 bedienen kann, obwohl seine 8-Bit-Rechenleistung nur etwa 2,5-mal höher ist. Speicherbandbreite und Chip-Verbindungen können demnach für Inferenz entscheidender sein als FLOP/s allein.
Die Berechnung nutzt Nvidia AISimulate und berücksichtigt unter anderem Rechenleistung, Speicher sowie Interconnects. Sie vergleicht die mögliche Parallelität bei Ausgabegeschwindigkeiten von 50 bis 400 Token pro Sekunde und Anfrage. Version 1 kombiniert vier Modellarchitekturen zu einem arithmetischen Mittel der Kapazität relativ zum GB300. Im Bericht erzielt VR200 einen Wert von 2,18, GB300 den Referenzwert 1 und H200 0,12. Auch die Konfiguration zählt: GB300 NVL72 wird pro GPU mit rund 1,9-mal der modellierten Kapazität von B300 HGX angesetzt.
Die Werte sind Projektionen optimaler Leistung unter angenommenen Hardwaregrenzen, keine Messung der im Betrieb tatsächlich erreichten Leistung. Sie lassen Software-Reifegrade außer Acht und hängen von Modellwahl, Genauigkeit und weiteren Annahmen ab. Bei Kimi K3 allein ist der geschätzte GB300-Vorsprung gegenüber H200 rund 46-fach statt etwa achtfach über den gesamten Modellkorb. Verglichen werden sollten daher Werte derselben IPI-Version.
Ausführlich lesen
Der Bericht von Jason Li stellt den Inference Performance Index (IPI) vor, eine Kennzahl, mit der Epoch AI die modellierte Inferenzkapazität verschiedener KI-Chips vergleichen will. Ausgangspunkt ist die Behauptung, dass reine Rechenleistung in FLOP/s die praktische Inferenzkapazität stark unterschätzen kann: Für die betrachteten agentischen Arbeitslasten schätzt der Bericht beim Nvidia GB300 etwa die 25-fache Kapazität eines H100 pro Chip, obwohl der GB300 nur etwa die 2,5-fache 8-Bit-Rechenleistung aufweist. Als Erklärung nennt der Bericht die Bedeutung von Speicher und Kommunikation zwischen Chips.
Der IPI drückt die Kapazität in GB300-Äquivalenten (GB300e) aus. Ein Wert von 2 bedeutet laut Definition, dass ein Chip im Mittel über die berücksichtigten Modelle und Ausgabegeschwindigkeiten doppelt so viele gleichzeitige Anfragen bedienen kann wie ein GB300. Die Kennzahl berücksichtigt dabei einen Zielkonflikt: Höhere Parallelität kann den Gesamtdurchsatz steigern, zugleich aber die Token-Erzeugung pro Anfrage verlangsamen. Im gezeigten GB300-Beispiel steigt die modellierte Parallelität von zwei auf acht Anfragen pro Chip, während die Ausgabe pro Anfrage von rund 210 auf 80 Token pro Sekunde sinkt; der Gesamtdurchsatz steigt nach den gerundeten Werten dennoch um etwa 50 Prozent.
Für die Berechnung nutzt Epoch AI Nvidia AISimulate. Als Eingaben dienen unter anderem Rechenleistung bei verschiedenen numerischen Genauigkeiten, HBM-Speicherkapazität und -bandbreite sowie Bandbreite, Gruppierung und angenommene Latenz der Chip-Verbindungen. Die Ergebnisse sind analytische Projektionen eines optimalen Betriebs unter den modellierten Hardwaregrenzen. Prefill und Decode werden getrennt betrachtet; die Kapazitätskurven vergleichen die höchste modellierte Parallelität über Ausgabegeschwindigkeiten von 50 bis 400 Token pro Sekunde und Anfrage. Die Flächen unter diesen Kurven werden auf einer logarithmischen Geschwindigkeitsskala verglichen, sodass jede Verdopplung der Zielgeschwindigkeit gleich gewichtet wird.
Version 1 konzentriert sich auf agentische Inferenz und kombiniert vier repräsentative Modellarchitekturen. Für jeden Chip wird das Verhältnis zum GB300 je Modell ermittelt; daraus bildet Epoch AI den einfachen arithmetischen Mittelwert. Im Bericht erreicht etwa Vera Rubin VR200 einen IPI-Wert von 2,18, GB300 NVL72 den Referenzwert 1, H200 HGX 0,12 und B300 HGX 0,54. Der Vergleich von GB300 NVL72 und B300 HGX soll außerdem zeigen, dass die Verbindung von 72 statt acht GPUs innerhalb einer Kommunikationsgruppe die modellierte Kapazität pro GPU beeinflussen kann.
Die Werte beschreiben ausdrücklich modelliertes Hardwarepotenzial und berücksichtigen Unterschiede im Reifegrad der Software nicht. Weitere Einschränkungen betreffen die gewählten Modellarchitekturen, numerischen Genauigkeiten, Arbeitslastannahmen und die angenommene Akzeptanzlänge beim spekulativen Decoding; der Bericht stellt nicht fest, dass die Genauigkeitswahl bei allen Chips gleichwertige Modellqualität erhält. Für Kimi K3 allein fällt der geschätzte GB300-Vorsprung gegenüber H200 mit etwa dem 46-Fachen deutlich größer aus als der rund achtfache Vergleich über den gesamten Modellkorb. Die Autoren verweisen zudem auf fehlende Softwareoptimierungen als möglichen Grund für schwache Hopper-Ergebnisse. Sie empfehlen Vergleiche nur zwischen Werten derselben IPI-Version, weil eine geänderte Modell- und Arbeitslastenauswahl die Bewertungen verändern kann.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat die Sammelfragen mit Stufe 3 überbewertet, weil der Bericht sie nicht beantwortet. Die Zusammenfassung mittel ist sachlich treu, lässt aber Validierung und Sensitivität aus. Die kurze Fassung ist ohne erfundene Angaben, aber noch knapper. Teilfragen wurden nicht angegeben.
Im Bericht, aber nicht in der Zusammenfassung
- Validierung: GB300-Messwerte für Kimi K3 folgen den Vorhersagen bei etwa 50 % der modellierten SOL-Leistung, mittlere Abweichung rund 12 % über fünf Punkte
- Der Vergleich mit SemiAnalysis InferenceX zeigt eine ähnliche Chip-Reihenfolge, wobei Hopper bei Kimi K3 durch fehlende Software-Optimierungen geschwächt wirkt
- Sensitivitätsanalyse: Ergebnisse hängen von Modellauswahl, Ausgabegeschwindigkeits-Bereich, Gewichtung und Prefill-Annahmen ab; ein geometrisches Mittel würde Hopper-Werte deutlich senken
- Der Bericht betont, dass Scores nur innerhalb derselben IPI-Version vergleichbar sind, weil Änderungen am Modellkorb Chip-Werte verschieben
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 44 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 30 %Hintergrund, keine Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 78 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 74 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv