Prompt Caching: Why Cached Tokens Are 10× Cheaper and Faster
Zusammenfassung
Kurz
Der vollständige Artikel erklärt Prompt-Caching als Wiederverwendung von Key- und Value-Werten aus dem Attention-Mechanismus, wodurch laut Beitrag Berechnungen für bereits verarbeitete Promptteile entfallen. Er führt mögliche Kosten- und Latenzvorteile an und vergleicht das Caching bei OpenAI und Anthropic, belegt die genannten Zahlen jedoch nicht unabhängig und vereinfacht technische Details.
Mittel
Der vollständige Artikel von Code Coup erläutert Prompt-Caching anhand der Transformer-Architektur. Seine Kernaussage: Anbieter speichern keine fertigen Antworten, sondern Key- und Value-Zwischenergebnisse (K und V) aus dem Attention-Mechanismus. Bei neuen Tokens können diese Werte für bereits verarbeitete Promptteile wiederverwendet werden, statt sie erneut zu berechnen. Auch gemeinsame Prompt-Präfixe ließen sich laut Artikel teilweise nutzen, weshalb stabile Promptanfänge hilfreich sein könnten.
Der Beitrag verbindet dieses Verfahren mit weniger Rechenaufwand und Speicherbandbreite sowie kürzerer Zeit bis zum ersten Token. Er nennt bis zu zehnfach niedrigere Kosten für gecachte Eingabetokens und zitiert eine mögliche Latenzsenkung von bis zu 85 Prozent für lange Prompts. OpenAI beschreibe er als automatisch und opportunistisch mit etwa 50 Prozent Cache-Treffern in der Praxis; Anthropic biete explizite Steuerung und nahezu vollständige Treffer bei aktiviertem Caching. Diese Angaben sind Behauptungen des Artikels und werden nicht durch unabhängige Messungen belegt. Die Erklärung vereinfacht die Transformer-Berechnung und behandelt vor allem Attention und KV-Caching; konkrete Implementierungsdetails der Anbieter bleiben offen.
Ausführlich lesen
Der vollständige Artikel von Code Coup erklärt, wie Prompt-Caching bei Sprachmodellen funktionieren soll und warum Anbieter für zwischengespeicherte Eingabetokens niedrigere Preise und kürzere Antwortzeiten angeben. Die zentrale Aussage lautet: Gespeichert werden nicht fertige Antworten, sondern Zwischenergebnisse der Transformer-Berechnung, insbesondere die Key- und Value-Matrizen (K und V) der Attention. Dadurch können wiederverwendbare Teile eines Prompts effizienter verarbeitet werden.
Zur Erklärung führt der Beitrag vom Tokenisieren zum Transformer: Text wird zunächst in modellabhängige Token-IDs zerlegt und anschließend in Vektoren, sogenannte Embeddings, umgewandelt. Im Attention-Mechanismus werden diese Vektoren über gelernte Gewichte in Query-, Key- und Value-Darstellungen überführt. Queries und Keys bestimmen, welche früheren Tokens für ein Token relevant sind; Values tragen die zu mischenden Informationen. Eine kausale Maske verhindert, dass ein Token auf spätere Tokens zugreift.
Der Artikel beschreibt als Rechenproblem, dass bei der schrittweisen Ausgabe neuer Tokens viele Berechnungen für bereits verarbeitete Promptteile erneut anfielen. KV-Caching soll diese Wiederholung vermeiden: K und V für frühere Tokens bleiben gespeichert, während für ein neues Token die nötigen neuen Werte berechnet und ergänzt werden. Der Beitrag fasst das als inkrementelle Verarbeitung zusammen. Bei teilweise übereinstimmenden Prompts könnten Anbieter laut Artikel auch einen gemeinsamen Präfix wiederverwenden; deshalb seien stabile Promptanfänge in der Produktion nützlich.
Der Text nennt als mögliche wirtschaftliche und technische Folgen geringeren GPU-Rechenaufwand, weniger Speicherbandbreite und eine kürzere Zeit bis zum ersten Token. Er führt Preisvorteile von bis zu etwa zehnfach sowie eine von Anthropic behauptete Latenzsenkung von bis zu 85 Prozent bei langen Prompts an. Für OpenAI beschreibt er automatisches, opportunistisches Caching und eine in der Praxis ungefähr 50-prozentige Trefferquote; für Anthropic nennt er explizite Steuerung und nahezu vollständige Treffer bei aktiviertem Caching. Diese Zahlen und Anbieterunterschiede werden im Artikel behauptet, aber nicht mit Messdaten oder unabhängigen Quellen belegt.
Außerdem argumentiert der Beitrag, dass Temperatur und andere Sampling-Parameter den Cache nicht ungültig machten, weil sie erst nach den Attention-Berechnungen bei der Token-Auswahl wirkten. Die Darstellung ist ausdrücklich vereinfacht: Sie konzentriert sich auf Attention und KV-Caching und lässt andere Teile der Transformer-Berechnung weitgehend außen vor. Die Metapher, Anbieter speicherten dabei „1en und 0en“, veranschaulicht laut Artikel die Matrixwerte; der Text liefert jedoch keine technische Beschreibung konkreter Implementierungen oder ihrer Unterschiede.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen Lunas wurden gemeinsam bewertet, da sich ihre Aussagen im Kern decken: Beide geben die Zahlen des Artikels korrekt wieder und fügen keine Fakten hinzu. Die Bewertung der Einordnung weicht bei beiden Sammelfragen deutlich nach unten von Lunas Stufe 3 ab, weil der Bericht dort nur am Thema vorbeigeht und keine belastbaren Belege liefert.
Im Bericht, aber nicht in der Zusammenfassung
- Temperatur, top_p und top_k beeinflussen das Caching nicht, weil es vor dem Sampling stattfindet
- Die gecachten Werte sind exakt die K- und V-Matrizen als Zahlenwerte im Speicher
- Die kurze Zusammenfassung lässt aus, dass der Artikel gespeicherte Antworten ausdrücklich ausschließt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 80 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 67 %Hintergrund, keine Belege
- JEV 35 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug