Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch8. September 2026 · Q004847

Latency scaling differences for GPT and Claude models

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Bei Messungen bis ungefähr einer Million Tokens stieg die TTFT der getesteten GPT-5.6-Modelle zunehmend stark, während Claude Sonnet 5 und, trotz größerer Messstreuung, Opus 5 nahezu linear skalierten. Der Autor sieht darin einen Hinweis auf unterschiedliche Ansätze bei langen Kontexten, doch die Messungen belegen keine konkrete Architektur; Hochrechnungen bis zehn Millionen Tokens sind ausdrücklich keine Prognosen.

Mittel

Jason Li vergleicht die Zeit bis zum ersten Ausgabetoken (TTFT) von GPT-5.6 Terra und Sol mit Claude Sonnet 5 und Opus 5 bei Eingaben bis ungefähr einer Million Tokens. Die Messwerte wurden mit drei Verfahren ausgewertet, die unterschiedliche Annahmen über Latenzrauschen und zusätzliche Verzögerungen treffen.

GPT-5.6 zeigt dabei eine deutliche Aufwärtskrümmung: Je länger der Kontext, desto stärker steigt die zusätzliche TTFT pro weiteren Tokens. Sonnet verhält sich über alle Verfahren nahezu linear. Opus ist stärker verrauscht, zeigt aber ebenfalls wenig Krümmung. Der Autor wertet die Übereinstimmung der Verfahren als Hinweis, dass Ausreißer den Unterschied nicht allein erklären. Er vermutet, dass vollständige Aufmerksamkeit bei den getesteten Claude-Modellen eine geringere Rolle spielen könnte; die Messungen weisen aber keine konkrete Architektur nach.

Längere Kontexte erhöhen weiterhin die Kosten, auch wenn die Latenz annähernd linear wächst. Hochrechnungen bis zehn Millionen Tokens sind laut Bericht nur ein Belastungsszenario: Gemessen wurde bis etwa eine Million, und das Verhalten außerhalb dieses Bereichs ist ungewiss. Die Anhänge sind im bereitgestellten Text nur als Überschriften enthalten.

Ausführlich lesen

Der Bericht von Jason Li bei Epoch AI vergleicht, wie sich die Zeit bis zum ersten Ausgabetoken (TTFT) bei längeren Eingaben verändert. Anlass sind unterschiedliche Preisregeln von OpenAI und Anthropic: GPT-5.6-Eingaben über 272.000 Tokens werden laut Bericht teurer abgerechnet, während Claude einen festen Preis pro Token unabhängig von der Eingabelänge hat. Der Autor untersucht, ob sich die Modellfamilien auch beim Latenzanstieg mit wachsendem Kontext unterscheiden.

Gemessen wurde die TTFT bei deaktiviertem Reasoning für GPT-5.6 Terra und Sol sowie Claude Sonnet 5 und Opus 5. Die Eingaben reichten bis ungefähr eine Million Tokens. Der Bericht passt quadratische Modelle an die Messwerte an und prüft, ob die Ergebnisse von der Behandlung störender Latenzen abhängen. Dazu vergleicht er drei Schätzverfahren: eine Student-t-Regression, eine Stochastic-Frontier-Regression und ein Modell, das zusätzliche Verzögerungen durch Spitzen und Auslastung berücksichtigt. Als mögliche Ursachen für Messstreuung nennt der Autor unter anderem Warteschlangen und Routing, betont jedoch, dass dies eine Arbeitshypothese ist.

Die GPT-Modelle zeigen den Auswertungen zufolge eine deutliche Aufwärtskrümmung: Bei größerem Kontext führt dieselbe zusätzliche Tokenzahl zu zunehmend mehr TTFT. Für Sonnet verläuft der Zusammenhang unter allen drei Verfahren nahezu linear. Opus weist stärkere Messstreuung und mehr Unterschiede zwischen den Schätzverfahren auf, bleibt in den Anpassungen aber ebenfalls weitgehend linear. Dass die GPT-Kurven bei allen Verfahren gekrümmt und die Claude-Kurven überwiegend geradlinig bleiben, spricht nach Ansicht des Autors dagegen, dass Ausreißer allein den Unterschied erklären.

Li deutet die Befunde als Hinweis darauf, dass die getesteten Modellfamilien unterschiedlich mit dem Rechenaufwand langer Kontexte umgehen. Seine Erklärung: Claudes geringe Krümmung könnte bedeuten, dass vollständige Aufmerksamkeit, deren Rechenaufwand mit der Kontextlänge quadratisch wächst, dort eine geringere Rolle spielt als bei den getesteten GPT-Modellen. Die Messungen belegen jedoch keine konkrete interne Architektur. Der Bericht ordnet sie in verbreitete Ansätze ein, die den quadratischen Anteil verringern, etwa hybride oder sparsame Aufmerksamkeit, und stellt sie unterschiedlichen Produktentscheidungen zu Kontextlänge und automatischer Verdichtung gegenüber.

Auch bei annähernd linearem Zeitverlauf steigen die Kosten mit mehr Kontext. Ein Rechenbeispiel für eine hypothetische Claude-Opus-5-Anfrage kommt bei 100.000 Tokens zwischengespeichertem Kontext, 1.000 neuen Eingabe- und 1.000 Ausgabetokens auf 0,08125 US-Dollar; bei 900.000 Tokens würde allein der zwischengespeicherte Teil laut Bericht 0,45 US-Dollar kosten. Die günstigere Latenzskalierung bedeutet also nicht, dass längere Kontexte kostenlos sind.

Eine Hochrechnung der angepassten Kurven bis zehn Millionen Tokens dient ausdrücklich als Belastungsszenario, nicht als Prognose. Die Messungen reichen nur bis ungefähr eine Million Tokens; außerhalb dieses Bereichs könnten sich Modelle und Serving-Systeme anders verhalten. Unter der angenommenen Fortsetzung würden GPTs marginale TTFT-Zeit pro weiteren 10.000 Tokens von einer auf zehn Millionen Kontext deutlich steigen, während sie bei Claude in der linearen Näherung konstant bliebe. Der Autor folgert daraus mögliche unterschiedliche Vor- und Nachteile für agentische Systeme: längere interne Historie bei ungefähr linearer Skalierung gegenüber stärkerer Nutzung externer Erinnerung und Verdichtung bei quadratischem Wachstum. Die Anhänge sind im bereitgestellten Text lediglich als Überschriften aufgeführt; detaillierte Messparameter und vollständige Modellspezifikationen lassen sich daraus nicht entnehmen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Geprüft wurde die mittlere Zusammenfassung; die kurze Fassung gibt die Kernaussagen ebenfalls treu wieder, lässt aber dieselben Punkte aus. Die Zusammenfassung enthält keine erfundenen Angaben, übergeht aber die Kostenseite und die agentischen Folgerungen des Berichts. Die Anhänge sind im Bericht nur als Überschriften enthalten und wurden entsprechend nicht bewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Preisunterschied: OpenAI verdoppelt bei über 272.000 Eingabetoken den Preis für Cached-Input und erhöht Output um das 1,5-Fache, Claude bleibt bei festem Preis
  • Codex skaliert bei 272.000 Tokens automatisch zusammen (Autocompacting), was der Autor als bewusste Designentscheidung deutet
  • Hochrechnung: Bei 10 Mio. Tokens steigt die marginale TTFT für GPT-5.6 laut Bericht etwa 7–8-fach gegenüber 1 Mio. Tokens
  • Folgerung für agentische Systeme: lange Kontexte als Modellspeicher versus externe Speichersysteme und aggressive Kompaktierung

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %umfangreiche Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 41 %einzelne zitierbare Belege
    • JEV 54 %umfangreiche Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →