Prompt Caching in the API
Zusammenfassung
Kurz
Der Bericht beschreibt Prompt Caching als automatische Funktion für bestimmte OpenAI-Modelle, die laut Anbieter wiederverwendete Prompt-Präfixe günstiger verarbeitet und die Latenz senken kann. Er nennt Schwellenwerte, Cache-Löschfristen und Modellpreise, liefert aber keine unabhängigen Messungen der Beschleunigung; die Angaben beziehen sich auf den Veröffentlichungszeitpunkt.
Mittel
Der Bericht kündigt Prompt Caching für die OpenAI-API an. Laut Text kann das Wiederverwenden gleicher Prompt-Anfänge Kosten und Latenz reduzieren; gecachte Eingabetokens werden mit 50 Prozent Rabatt berechnet. Zum Veröffentlichungszeitpunkt sei die Funktion automatisch für GPT‑4o, GPT‑4o mini, o1-preview und o1-mini sowie deren feinabgestimmte Varianten verfügbar gewesen. Die Tabelle führt dafür Preise für ungecachte Eingabe, gecachte Eingabe und Ausgabe auf.
Bei unterstützten Modellen greife das Caching für Prompts über 1.024 Tokens. Gespeichert werde der längste bereits berechnete Anfang des Prompts, zunächst ab 1.024 und dann in 128-Token-Schritten. Der Cache-Anteil lasse sich über `cached_tokens` in den API-Nutzungsdaten sehen; Änderungen an der Integration seien laut Bericht nicht nötig. Caches würden typischerweise nach fünf bis zehn Minuten Inaktivität und spätestens eine Stunde nach der letzten Verwendung gelöscht. Sie würden nicht zwischen Organisationen geteilt und unterlägen den genannten Enterprise-Datenschutzverpflichtungen.
Der Text liefert keine unabhängigen Tests oder quantifizierten Belege für die behauptete Beschleunigung. Seine Preis- und Verfügbarkeitsangaben sind an die genannten Modellversionen und den damaligen Veröffentlichungszeitpunkt gebunden.
Ausführlich lesen
Der Bericht stellt Prompt Caching für die OpenAI-API vor. Er richtet sich an Anwendungen, die wiederholt denselben Kontext senden, etwa bei Codeänderungen oder längeren Chatverläufen. Laut Bericht kann das Wiederverwenden bereits verarbeiteter Eingabetokens die Kosten senken und die Verarbeitung beschleunigen; für gecachte Eingabetokens nennt er einen Preisnachlass von 50 Prozent.
Zum Zeitpunkt der Veröffentlichung sei die Funktion automatisch für die damals aktuellen Versionen von GPT‑4o, GPT‑4o mini, o1-preview und o1-mini sowie deren feinabgestimmte Varianten verfügbar gewesen. Eine Preistabelle vergleicht Eingabetokens ohne und mit Cache sowie Ausgabetokens: Für GPT‑4o (gpt-4o-2024-08-06) nennt sie 2,50 beziehungsweise 1,25 US-Dollar und 10 US-Dollar für Ausgabetokens; für GPT‑4o mini 0,15 beziehungsweise 0,075 und 0,60 US-Dollar. Für die aufgeführten feinabgestimmten Varianten betragen die genannten Preise jeweils 3,75/1,875/15 US-Dollar und 0,30/0,15/1,20 US-Dollar. Bei o1-preview werden 15/7,50/60 US-Dollar, bei o1 mini 3/1,50/12 US-Dollar angegeben. Der Bericht spezifiziert in der Tabelle nicht ausdrücklich die Abrechnungseinheit.
Die automatische Zwischenspeicherung greife bei unterstützten Modellen für Prompts mit mehr als 1.024 Tokens. Gespeichert werde der längste bereits berechnete Prompt-Anfang, beginnend ab 1.024 Tokens und anschließend in Schritten von 128 Tokens. Wiederkehrende gemeinsame Präfixe könnten so ohne Änderungen an der API-Integration vom Preisnachlass profitieren. Der Cache-Anteil lasse sich laut Bericht anhand des Feldes `cached_tokens` in den Nutzungsdetails der API-Antwort überwachen; ein JavaScript-Beispiel zeigt diesen Wert zusammen mit Tokenzahlen.
Als zeitliche Grenze nennt der Text, dass Caches nach typischerweise fünf bis zehn Minuten ohne Aktivität gelöscht würden und spätestens eine Stunde nach ihrer letzten Nutzung entfernt seien. Außerdem erklärt er, dass Caches nicht organisationsübergreifend geteilt würden und die Enterprise-Datenschutzverpflichtungen gälten.
Der Bericht ist eine Produktankündigung mit Verfügbarkeits-, Preis- und Funktionsangaben. Er beschreibt weder ein unabhängiges Prüfverfahren noch Messwerte, die die behauptete Beschleunigung quantifizieren. Die Angaben beziehen sich auf die im Text genannten Modellversionen und den Veröffentlichungszeitpunkt; der Bericht selbst belegt nicht, ob sie heute noch aktuell sind.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen geben den Bericht im Kern richtig wieder; die kurze Fassung lässt jedoch die Preisersparnis und die Modellliste aus. Der Bericht selbst ist ein Produkt-Blogbeitrag von 2024 mit Preisangaben, der zu den beiden Sammelfragen nur wenig beiträgt.
Im Bericht, aber nicht in der Zusammenfassung
- Die 50-Prozent-Ersparnis für gecachte Eingabetokens fehlt in der kurzen Zusammenfassung
- Die Liste der unterstützten Modelle fehlt in der kurzen Zusammenfassung
- Der Hinweis, dass Prompt Caching ohne Änderung an der API-Integration automatisch greift, fehlt in der kurzen Zusammenfassung
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 72 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 43 %beantwortet direkt und ausführlich
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht