Inference economics of language models
Zusammenfassung
Kurz
Der Bericht beschreibt ein Modell, das Inferenzlaufzeiten in Rechen-, Speicher-, Netzwerk- und Latenzanteile zerlegt und damit Kosten-Geschwindigkeits-Kombinationen verschiedener GPU-Konfigurationen vergleichen soll. Der bereitgestellte Text nennt keine konkreten Modellresultate; als Einschränkung wird die vereinfachte Betrachtung des Speichers auf HBM erwähnt.
Mittel
Ege Erdils Bericht stellt ein Modell vor, mit dem sich Geschwindigkeit und Kosten der Sprachmodell-Inferenz vergleichen lassen sollen. Als Hintergrund nennt er den wachsenden Inferenzbedarf und die zunehmende Nutzung langer Denkprozesse und agentischer Abläufe, durch die eine Ausgabe von etwa zehn Tokens pro Sekunde nicht mehr als ausreichender Maßstab gelte.
Das Modell zerlegt die Laufzeit eines Transformer-Vorwärtsdurchlaufs in Rechenzeit, HBM-Speicherzugriffe, Netzwerkübertragung zwischen GPUs und feste Latenzen. Es berücksichtigt, dass sich manche Vorgänge überlappen können. Für unterschiedliche GPU-Konfigurationen werden dann per Gittersuche die günstigsten Möglichkeiten bei einer bestimmten Geschwindigkeit beziehungsweise die schnellsten bei festgelegten Kosten ermittelt. Diese optimalen Kombinationen bilden laut Bericht die Pareto-Frontier.
Der Text liefert allerdings keine konkreten Ergebnisse oder Kurven aus den Modellrechnungen. Als Einschränkung wird genannt, dass nur HBM und nicht die gesamte Speicherhierarchie modelliert wird; weitere Grenzen und die Validierung der Annahmen werden nicht näher beschrieben.
Ausführlich lesen
Der Bericht „Inference economics of language models“ von Ege Erdil beschreibt ein Modell zur Untersuchung der Kosten und Geschwindigkeit von Sprachmodell-Inferenz im großen Maßstab. Als Anlass nennt der Autor den stark gestiegenen Inferenzbedarf: Laut Bericht wuchsen die Infrastruktureinnahmen großer KI-Unternehmen wie OpenAI und Anthropic zuletzt mit mindestens dem Dreifachen pro Jahr, obwohl Modelle gegenüber 2023 kleiner und günstiger geworden seien. Zugleich hätten lange Denkprozesse und agentische Abläufe die frühere Orientierung an ungefähr zehn generierten Tokens pro Sekunde überholt. Wie groß der Nutzen höherer Geschwindigkeit ist und welcher Preis pro Token dafür anfällt, sei bislang wenig erforscht worden.
Das vorgestellte Modell zerlegt die Laufzeit eines Transformer-Vorwärtsdurchlaufs in vier Bestandteile: Rechenzeit für Additionen und Multiplikationen auf der GPU, Zeit für Speicherzugriffe zum und vom Hochbandbreitenspeicher (HBM), Netzwerkzeit für den Datenaustausch zwischen GPUs sowie feste Latenzen, etwa durch Kernelstarts und GPU-Kollektivoperationen. Als Beispiel für solche Latenzen nennt der Bericht rund 30 Mikrosekunden Basislatenz für ein All-Reduce mit dem NCCL-LL128-Protokoll auf einem DGX-H100-System, selbst bei einem Tensor von nur einem Byte.
Für eine gegebene Transformer-Architektur und GPU-Parallelisierung schätzt das Modell die Dauer eines Vorwärtsdurchlaufs anhand der Eingaben, der Länge des bisherigen Kontexts und der Batchgröße. Die vier Laufzeitanteile werden nicht einfach addiert: Das Modell berücksichtigt Annahmen darüber, welche Vorgänge zeitlich überlappen können, etwa Speicherzugriffe und Berechnungen. Anschließend werden verschiedene Inferenzkonfigurationen per Gittersuche verglichen. So sollen sich Konfigurationen finden lassen, die bei festen Kosten möglichst schnell oder bei festgelegter Geschwindigkeit möglichst günstig sind. Die daraus entstehenden optimalen Kosten-Geschwindigkeits-Kombinationen bezeichnet der Bericht als Pareto-Frontier.
Der Autor stellt die Arbeit als Beitrag zu einem bislang undurchsichtigen und nur wenig verlässlich untersuchten Gebiet dar und hofft, damit verbreitete Missverständnisse auszuräumen. Der vorliegende Text enthält jedoch keine konkreten Resultate der Modellrechnungen, keine quantitativen Pareto-Kurven und keine detaillierte Diskussion der gefundenen Erkenntnisse. Er weist zudem auf eine Modellgrenze hin: Die Speicherzeit wird nur für HBM modelliert, nicht für die gesamte Speicherhierarchie. Weitere Einschränkungen oder eine Validierung der Annahmen werden im bereitgestellten Text nicht ausgeführt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat zwei Fassungen der Zusammenfassung geliefert (kurz und mittel). Bewertet wurde die mittlere Fassung, die kurze ist ebenfalls treu, nennt aber nur die Einschränkung zu HBM und keine Hintergründe. Es gab keine Teilfragen, daher wurden nur die beiden Sammelfragen bewertet. Luna's Stufen und Prozentangaben wurden nicht übernommen. Die Abbildung 1 ist im Text nur als Bild verlinkt, ihr Inhalt wurde nicht berücksichtigt.
Im Bericht, aber nicht in der Zusammenfassung
- Der Umsatz großer KI-Firmen wie OpenAI und Anthropic wächst etwa um das Dreifache pro Jahr
- Modelle werden kleiner und billiger als 2023
- Kernmotivation: Bisher gibt es wenig verlässliche öffentliche Forschung zur Inferenz im großen Maßstab, und der Bericht soll das öffentliche Verständnis verbessern
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 33 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 74 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug