Latency scaling differences for GPT and Claude models
Zusammenfassung
Kurz
Bei Messungen bis ungefähr einer Million Tokens stieg die TTFT der getesteten GPT-5.6-Modelle zunehmend stark, während Claude Sonnet 5 und, trotz größerer Messstreuung, Opus 5 nahezu linear skalierten. Der Autor sieht darin einen Hinweis auf unterschiedliche Ansätze bei langen Kontexten, doch die Messungen belegen keine konkrete Architektur; Hochrechnungen bis zehn Millionen Tokens sind ausdrücklich keine Prognosen.
Mittel
Jason Li vergleicht die Zeit bis zum ersten Ausgabetoken (TTFT) von GPT-5.6 Terra und Sol mit Claude Sonnet 5 und Opus 5 bei Eingaben bis ungefähr einer Million Tokens. Die Messwerte wurden mit drei Verfahren ausgewertet, die unterschiedliche Annahmen über Latenzrauschen und zusätzliche Verzögerungen treffen.
GPT-5.6 zeigt dabei eine deutliche Aufwärtskrümmung: Je länger der Kontext, desto stärker steigt die zusätzliche TTFT pro weiteren Tokens. Sonnet verhält sich über alle Verfahren nahezu linear. Opus ist stärker verrauscht, zeigt aber ebenfalls wenig Krümmung. Der Autor wertet die Übereinstimmung der Verfahren als Hinweis, dass Ausreißer den Unterschied nicht allein erklären. Er vermutet, dass vollständige Aufmerksamkeit bei den getesteten Claude-Modellen eine geringere Rolle spielen könnte; die Messungen weisen aber keine konkrete Architektur nach.
Längere Kontexte erhöhen weiterhin die Kosten, auch wenn die Latenz annähernd linear wächst. Hochrechnungen bis zehn Millionen Tokens sind laut Bericht nur ein Belastungsszenario: Gemessen wurde bis etwa eine Million, und das Verhalten außerhalb dieses Bereichs ist ungewiss. Die Anhänge sind im bereitgestellten Text nur als Überschriften enthalten.
Ausführlich lesen
Der Bericht von Jason Li bei Epoch AI vergleicht, wie sich die Zeit bis zum ersten Ausgabetoken (TTFT) bei längeren Eingaben verändert. Anlass sind unterschiedliche Preisregeln von OpenAI und Anthropic: GPT-5.6-Eingaben über 272.000 Tokens werden laut Bericht teurer abgerechnet, während Claude einen festen Preis pro Token unabhängig von der Eingabelänge hat. Der Autor untersucht, ob sich die Modellfamilien auch beim Latenzanstieg mit wachsendem Kontext unterscheiden.
Gemessen wurde die TTFT bei deaktiviertem Reasoning für GPT-5.6 Terra und Sol sowie Claude Sonnet 5 und Opus 5. Die Eingaben reichten bis ungefähr eine Million Tokens. Der Bericht passt quadratische Modelle an die Messwerte an und prüft, ob die Ergebnisse von der Behandlung störender Latenzen abhängen. Dazu vergleicht er drei Schätzverfahren: eine Student-t-Regression, eine Stochastic-Frontier-Regression und ein Modell, das zusätzliche Verzögerungen durch Spitzen und Auslastung berücksichtigt. Als mögliche Ursachen für Messstreuung nennt der Autor unter anderem Warteschlangen und Routing, betont jedoch, dass dies eine Arbeitshypothese ist.
Die GPT-Modelle zeigen den Auswertungen zufolge eine deutliche Aufwärtskrümmung: Bei größerem Kontext führt dieselbe zusätzliche Tokenzahl zu zunehmend mehr TTFT. Für Sonnet verläuft der Zusammenhang unter allen drei Verfahren nahezu linear. Opus weist stärkere Messstreuung und mehr Unterschiede zwischen den Schätzverfahren auf, bleibt in den Anpassungen aber ebenfalls weitgehend linear. Dass die GPT-Kurven bei allen Verfahren gekrümmt und die Claude-Kurven überwiegend geradlinig bleiben, spricht nach Ansicht des Autors dagegen, dass Ausreißer allein den Unterschied erklären.
Li deutet die Befunde als Hinweis darauf, dass die getesteten Modellfamilien unterschiedlich mit dem Rechenaufwand langer Kontexte umgehen. Seine Erklärung: Claudes geringe Krümmung könnte bedeuten, dass vollständige Aufmerksamkeit, deren Rechenaufwand mit der Kontextlänge quadratisch wächst, dort eine geringere Rolle spielt als bei den getesteten GPT-Modellen. Die Messungen belegen jedoch keine konkrete interne Architektur. Der Bericht ordnet sie in verbreitete Ansätze ein, die den quadratischen Anteil verringern, etwa hybride oder sparsame Aufmerksamkeit, und stellt sie unterschiedlichen Produktentscheidungen zu Kontextlänge und automatischer Verdichtung gegenüber.
Auch bei annähernd linearem Zeitverlauf steigen die Kosten mit mehr Kontext. Ein Rechenbeispiel für eine hypothetische Claude-Opus-5-Anfrage kommt bei 100.000 Tokens zwischengespeichertem Kontext, 1.000 neuen Eingabe- und 1.000 Ausgabetokens auf 0,08125 US-Dollar; bei 900.000 Tokens würde allein der zwischengespeicherte Teil laut Bericht 0,45 US-Dollar kosten. Die günstigere Latenzskalierung bedeutet also nicht, dass längere Kontexte kostenlos sind.
Eine Hochrechnung der angepassten Kurven bis zehn Millionen Tokens dient ausdrücklich als Belastungsszenario, nicht als Prognose. Die Messungen reichen nur bis ungefähr eine Million Tokens; außerhalb dieses Bereichs könnten sich Modelle und Serving-Systeme anders verhalten. Unter der angenommenen Fortsetzung würden GPTs marginale TTFT-Zeit pro weiteren 10.000 Tokens von einer auf zehn Millionen Kontext deutlich steigen, während sie bei Claude in der linearen Näherung konstant bliebe. Der Autor folgert daraus mögliche unterschiedliche Vor- und Nachteile für agentische Systeme: längere interne Historie bei ungefähr linearer Skalierung gegenüber stärkerer Nutzung externer Erinnerung und Verdichtung bei quadratischem Wachstum. Die Anhänge sind im bereitgestellten Text lediglich als Überschriften aufgeführt; detaillierte Messparameter und vollständige Modellspezifikationen lassen sich daraus nicht entnehmen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurde die mittlere Zusammenfassung; die kurze Fassung gibt die Kernaussagen ebenfalls treu wieder, lässt aber dieselben Punkte aus. Die Zusammenfassung enthält keine erfundenen Angaben, übergeht aber die Kostenseite und die agentischen Folgerungen des Berichts. Die Anhänge sind im Bericht nur als Überschriften enthalten und wurden entsprechend nicht bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Preisunterschied: OpenAI verdoppelt bei über 272.000 Eingabetoken den Preis für Cached-Input und erhöht Output um das 1,5-Fache, Claude bleibt bei festem Preis
- Codex skaliert bei 272.000 Tokens automatisch zusammen (Autocompacting), was der Autor als bewusste Designentscheidung deutet
- Hochrechnung: Bei 10 Mio. Tokens steigt die marginale TTFT für GPT-5.6 laut Bericht etwa 7–8-fach gegenüber 1 Mio. Tokens
- Folgerung für agentische Systeme: lange Kontexte als Modellspeicher versus externe Speichersysteme und aggressive Kompaktierung
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %umfangreiche Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 66 %gleiches Oberthema, hilft nicht
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 41 %einzelne zitierbare Belege
- JEV 54 %umfangreiche Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 26 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv