Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai1. Oktober 2024 · Q008916

Prompt Caching in the API

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt Prompt Caching als automatische Funktion für bestimmte OpenAI-Modelle, die laut Anbieter wiederverwendete Prompt-Präfixe günstiger verarbeitet und die Latenz senken kann. Er nennt Schwellenwerte, Cache-Löschfristen und Modellpreise, liefert aber keine unabhängigen Messungen der Beschleunigung; die Angaben beziehen sich auf den Veröffentlichungszeitpunkt.

Mittel

Der Bericht kündigt Prompt Caching für die OpenAI-API an. Laut Text kann das Wiederverwenden gleicher Prompt-Anfänge Kosten und Latenz reduzieren; gecachte Eingabetokens werden mit 50 Prozent Rabatt berechnet. Zum Veröffentlichungszeitpunkt sei die Funktion automatisch für GPT‑4o, GPT‑4o mini, o1-preview und o1-mini sowie deren feinabgestimmte Varianten verfügbar gewesen. Die Tabelle führt dafür Preise für ungecachte Eingabe, gecachte Eingabe und Ausgabe auf.

Bei unterstützten Modellen greife das Caching für Prompts über 1.024 Tokens. Gespeichert werde der längste bereits berechnete Anfang des Prompts, zunächst ab 1.024 und dann in 128-Token-Schritten. Der Cache-Anteil lasse sich über `cached_tokens` in den API-Nutzungsdaten sehen; Änderungen an der Integration seien laut Bericht nicht nötig. Caches würden typischerweise nach fünf bis zehn Minuten Inaktivität und spätestens eine Stunde nach der letzten Verwendung gelöscht. Sie würden nicht zwischen Organisationen geteilt und unterlägen den genannten Enterprise-Datenschutzverpflichtungen.

Der Text liefert keine unabhängigen Tests oder quantifizierten Belege für die behauptete Beschleunigung. Seine Preis- und Verfügbarkeitsangaben sind an die genannten Modellversionen und den damaligen Veröffentlichungszeitpunkt gebunden.

Ausführlich lesen

Der Bericht stellt Prompt Caching für die OpenAI-API vor. Er richtet sich an Anwendungen, die wiederholt denselben Kontext senden, etwa bei Codeänderungen oder längeren Chatverläufen. Laut Bericht kann das Wiederverwenden bereits verarbeiteter Eingabetokens die Kosten senken und die Verarbeitung beschleunigen; für gecachte Eingabetokens nennt er einen Preisnachlass von 50 Prozent.

Zum Zeitpunkt der Veröffentlichung sei die Funktion automatisch für die damals aktuellen Versionen von GPT‑4o, GPT‑4o mini, o1-preview und o1-mini sowie deren feinabgestimmte Varianten verfügbar gewesen. Eine Preistabelle vergleicht Eingabetokens ohne und mit Cache sowie Ausgabetokens: Für GPT‑4o (gpt-4o-2024-08-06) nennt sie 2,50 beziehungsweise 1,25 US-Dollar und 10 US-Dollar für Ausgabetokens; für GPT‑4o mini 0,15 beziehungsweise 0,075 und 0,60 US-Dollar. Für die aufgeführten feinabgestimmten Varianten betragen die genannten Preise jeweils 3,75/1,875/15 US-Dollar und 0,30/0,15/1,20 US-Dollar. Bei o1-preview werden 15/7,50/60 US-Dollar, bei o1 mini 3/1,50/12 US-Dollar angegeben. Der Bericht spezifiziert in der Tabelle nicht ausdrücklich die Abrechnungseinheit.

Die automatische Zwischenspeicherung greife bei unterstützten Modellen für Prompts mit mehr als 1.024 Tokens. Gespeichert werde der längste bereits berechnete Prompt-Anfang, beginnend ab 1.024 Tokens und anschließend in Schritten von 128 Tokens. Wiederkehrende gemeinsame Präfixe könnten so ohne Änderungen an der API-Integration vom Preisnachlass profitieren. Der Cache-Anteil lasse sich laut Bericht anhand des Feldes `cached_tokens` in den Nutzungsdetails der API-Antwort überwachen; ein JavaScript-Beispiel zeigt diesen Wert zusammen mit Tokenzahlen.

Als zeitliche Grenze nennt der Text, dass Caches nach typischerweise fünf bis zehn Minuten ohne Aktivität gelöscht würden und spätestens eine Stunde nach ihrer letzten Nutzung entfernt seien. Außerdem erklärt er, dass Caches nicht organisationsübergreifend geteilt würden und die Enterprise-Datenschutzverpflichtungen gälten.

Der Bericht ist eine Produktankündigung mit Verfügbarkeits-, Preis- und Funktionsangaben. Er beschreibt weder ein unabhängiges Prüfverfahren noch Messwerte, die die behauptete Beschleunigung quantifizieren. Die Angaben beziehen sich auf die im Text genannten Modellversionen und den Veröffentlichungszeitpunkt; der Bericht selbst belegt nicht, ob sie heute noch aktuell sind.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassungen geben den Bericht im Kern richtig wieder; die kurze Fassung lässt jedoch die Preisersparnis und die Modellliste aus. Der Bericht selbst ist ein Produkt-Blogbeitrag von 2024 mit Preisangaben, der zu den beiden Sammelfragen nur wenig beiträgt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die 50-Prozent-Ersparnis für gecachte Eingabetokens fehlt in der kurzen Zusammenfassung
  • Die Liste der unterstützten Modelle fehlt in der kurzen Zusammenfassung
  • Der Hinweis, dass Prompt Caching ohne Änderung an der API-Integration automatisch greift, fehlt in der kurzen Zusammenfassung

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 43 %beantwortet direkt und ausführlich
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →