Better prompt caching for GPT-6
Zusammenfassung
Kurz
OpenAI zufolge soll verbessertes Prompt-Caching für GPT‑6 gemeinsame Prompt-Präfixe häufiger wiederverwenden und dadurch Antwortzeiten und Kosten senken; für geeignete gecachte Eingaben nennt der Bericht Rabatte von bis zu 90 Prozent. Ein Dashboard, Diagnosewerkzeuge und Empfehlungen zu stabilen Werkzeugdefinitionen, Cache-Grenzen und Vorwärmen sollen die Optimierung erleichtern. Die im Text genannten Einsparungen stammen von Unternehmensvertretern und werden nicht unabhängig belegt.
Mittel
Der Bericht beschreibt ein verbessertes Prompt-Caching für GPT‑6. OpenAI zufolge sollen gemeinsame Prompt-Präfixe innerhalb eines 30-Minuten-Fensters standardmäßig häufiger wiederverwendet werden. Das kann Antworten beschleunigen; für geeignete zwischengespeicherte Eingabetokens nennt OpenAI Rabatte von bis zu 90 Prozent.
Ein neues Dashboard soll Trefferraten und die Zusammensetzung gecachter und ungecachter Eingaben sichtbar machen. Ein Diagnosetool vergleicht Anfragen mit jüngsten Antworten, um mögliche Cache-Fehler etwa durch Änderungen an Werkzeugen oder Eingaben und die Zahl betroffener Tokens zu ermitteln. Weitere Empfehlungen sind explizite Cache-Grenzen, stabile Werkzeugdefinitionen und -reihenfolgen, das Ergänzen neuer Anweisungen am Kontextende sowie das Vorwärmen bekannter Inhalte. Bei GPT‑6 könne der Denkaufwand zwischen Antworten angepasst werden, ohne den Cache zu unterbrechen, wenn die beschriebene `configuration_update`-Methode verwendet wird.
Zitierte Unternehmensvertreter berichten von mehr als 50 Prozent weniger neu zu verarbeitenden Tokens bei Milliarden Anfragen beziehungsweise von 20 Prozent geringeren Kosten. Das sind zugeschriebene Erfahrungswerte; der Artikel nennt keine unabhängige Prüfung oder detaillierte Messmethodik. Die möglichen Rabatte sind keine Garantie für jede Anwendung.
Ausführlich lesen
Der Bericht stellt Verbesserungen beim Prompt-Caching für die GPT‑6-Modelle vor. OpenAI zufolge eignen sich GPT‑6-Modelle für länger laufende Agentenaufgaben, bei denen mehrere API-Anfragen dieselben Anweisungen, Werkzeugdefinitionen und Kontextteile wiederverwenden. Werden solche gemeinsamen Prompt-Präfixe aus dem Cache bedient, kann laut Bericht die Antwortzeit sinken; für zwischengespeicherte Eingabetokens seien Rabatte von bis zu 90 Prozent möglich. Das überarbeitete System soll standardmäßig eine höhere Cache-Trefferrate erreichen und berücksichtigt geeignete gemeinsame Präfixe innerhalb eines Zeitfensters von 30 Minuten.
Als neue Hilfen nennt OpenAI ein Dashboard zur Beobachtung der Cache-Nutzung und ein Diagnosetool für verfehlte Cache-Treffer. Im Dashboard lassen sich laut Beschreibung Trefferraten über die Zeit sowie zwischengespeicherte und nicht zwischengespeicherte Eingabetokens vergleichen. Die Diagnose soll eine Anfrage einer kürzlich erfolgten Antwort gegenüberstellen, mögliche Änderungen etwa an Modell, Werkzeugen, Einstellungen oder Eingabe erkennen und die Zahl der betroffenen Tokens schätzen. Ein Beispiel im Bericht führt einen Cache-Fehler auf geänderte Werkzeuge zurück und beziffert die betroffenen Tokens auf 5.629.
Entwickler können außerdem mit expliziten Cache-Grenzen festlegen, welche Präfixe wiederverwendet werden sollen. Bei GPT‑6 lasse sich der Denkaufwand zwischen Antworten anpassen, ohne den Cache zu unterbrechen, sofern die Änderung als `configuration_update` angehängt und die anfragebezogene Einstellung unverändert gelassen wird. Um Kontext trotz wechselnder Werkzeugnutzung wiederverwendbar zu halten, empfiehlt der Bericht stabile Werkzeugdefinitionen, Schemas und Reihenfolgen. Werkzeuge sollen eher über `allowed_tools` eingeschränkt oder per `tool_choice` deaktiviert werden, statt ihre Definitionen zu entfernen. Neue Anweisungen könnten am Ende des Kontexts ergänzt werden. Durch Vorwärmen des Caches lasse sich bekannter Kontext bereits vor der ersten Nutzeranfrage verarbeiten.
Zwei Unternehmensvertreter berichten von Verbesserungen in ihren eigenen Umgebungen. Ein GitHub-Copilot-Verantwortlicher gibt an, der Anteil neu zu verarbeitender Prompt-Tokens sei über Milliarden Anfragen hinweg gegenüber einer früheren Vergleichsbasis um mehr als 50 Prozent gesunken. Ein anderer zitierter Verantwortlicher schreibt Dashboard und Diagnose eine Steigerung der Cache-Trefferrate um einige Prozentpunkte und eine Kostensenkung um 20 Prozent zu. Diese Angaben sind zugeschriebene Erfahrungsberichte; der Text beschreibt keine unabhängige Prüfung oder nähere Messmethodik. Auch die Rabatte von bis zu 90 Prozent werden als mögliche Obergrenze dargestellt, nicht als garantierte Einsparung für jede Anwendung. Der Bericht empfiehlt, Trefferraten zu beobachten, unerwartete Ausfälle zu untersuchen und die eigene Integration anhand des Leitfadens zu optimieren.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen (kurz und mittel); beide wurden gemeinsam bewertet, da das Schema nur ein Urteil vorsieht. Die mittlere Fassung ist die treuere; die Kurzfassung ist sachlich korrekt, aber knapper. Die Zahlen aus den Unternehmenszitaten (über 50 Prozent, 20 Prozent) sind korrekt als Herstellerangaben gekennzeichnet. Für die Teilfragen gab es keine Einordnung, daher fehlt dieser Teil.
Im Bericht, aber nicht in der Zusammenfassung
- Der Kontext persistenter Agenten, die über Stunden komplexe Aufgaben bearbeiten, fehlt als Rahmen des Berichts
- In der Kurzfassung fehlt das 30-Minuten-Fenster für wiederverwendbare gemeinsame Präfixe
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 44 %einzelne zitierbare Belege
- JEV 28 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 76 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 83 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 38 %beantwortet teilweise oder widerspricht
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 40 %einzelne zitierbare Belege
- JEV 32 %einzelne zitierbare Belege
- amos 29 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv