DeepSeek API introduces Context Caching on Disk, cutting prices by an order of magnitude
Zusammenfassung
Kurz
DeepSeek zufolge senkt ein automatisch arbeitender Festplatten-Cache bei wiederverwendeten API-Eingaben Kosten und Antwortlatenz; abgerechnet werden Treffer-Tokens, und der Bericht nennt mögliche Einsparungen von bis zu 90 Prozent. Treffer setzen identische Präfixe ab dem ersten Token voraus, Inhalte unter 64 Tokens werden nicht gespeichert, und vollständige Treffer sind nicht garantiert; Leistungswerte und Einsparungen sind Anbieterangaben.
Mittel
Der Bericht beschreibt DeepSeeks automatisch verfügbaren Festplatten-Cache für API-Anfragen. Wiederkehrende Eingabeteile sollen gespeichert und bei erneuter Verwendung aus dem Cache abgerufen werden, was laut Anbieter Latenz und Kosten senkt. Änderungen am Code oder an der Schnittstelle seien nicht nötig; berechnet würden tatsächliche Cache-Treffer. Der Bericht nennt 0,014 US-Dollar je Million Treffer-Tokens und 0,14 US-Dollar je Million nicht gecachter Eingabetokens. Treffer und Fehlversuche lassen sich über zwei neue Nutzungsfelder in API-Antworten nachvollziehen.
Der Cache ist besonders für lange, wiederholte Präfixe gedacht, etwa in mehrstufigen Gesprächen, Dokumentanalysen und Codearbeit. Nur identische Präfixe ab dem ersten Token zählen; übereinstimmende Inhalte an späterer Stelle reichen nicht. Unter 64 Tokens werde nichts gespeichert, und vollständige Treffer seien nicht garantiert. DeepSeek nennt Einsparungen von bis zu 90 Prozent bei optimierter Nutzung und laut historischen Daten durchschnittlich über 50 Prozent auch ohne Optimierung. Für einen 128.000-Token-Prompt mit vielen Wiederholungen gibt der Anbieter eine Verkürzung der Zeit bis zum ersten Token von 13 Sekunden auf 500 Millisekunden an. Der Text nennt keine unabhängigen Messungen. Laut DeepSeek sind Caches nutzerseitig isoliert und werden nach einigen Stunden bis Tagen entfernt.
Ausführlich lesen
Der Bericht stellt einen von DeepSeek eingeführten Festplatten-Cache für API-Kontexte vor. Ausgangspunkt ist die Beobachtung, dass API-Anfragen häufig wiederkehrende Bestandteile enthalten, etwa lange Vorgaben, Referenzen oder Inhalte aus vorherigen Gesprächsrunden. DeepSeek zufolge speichert der Dienst erwartbar erneut verwendete Inhalte in einem verteilten Festplattensystem. Werden identische Eingaben erkannt, können wiederkehrende Teile aus dem Cache übernommen werden, statt sie neu zu berechnen. Das soll die Antwortzeit verkürzen und die Nutzungskosten senken.
Der Cache ist laut Bericht automatisch für alle Nutzer verfügbar und erfordert weder Code- noch Schnittstellenänderungen. Abgerechnet werden tatsächliche Cache-Treffer: DeepSeek nennt dafür 0,014 US-Dollar je Million Tokens; nicht gecachte Eingabetokens kosten laut den im Bericht beschriebenen Nutzungsfeldern 0,14 US-Dollar je Million Tokens. Zwei neue Felder in der API-Antwort weisen Treffer- und Fehlertokens aus. Der Text nennt als typische Einsatzfälle lange vorgegebene Prompts bei Frage-Antwort-Systemen, umfangreiche Rollenspielkonfigurationen, wiederholte Analysen derselben Dokumente, Codeanalyse mit wiederkehrenden Repository-Referenzen und Few-shot-Beispiele.
Eine zentrale technische Einschränkung betrifft die Erkennung gleicher Eingaben: Nur identische Präfixe ab dem ersten Token können einen Treffer auslösen. Gleiche Inhalte, die erst mitten in einer Anfrage vorkommen, reichen nicht. Außerdem verwendet der Cache laut Bericht 64 Tokens als Speichereinheit; kürzere Inhalte werden nicht gespeichert. Eine Trefferquote von 100 Prozent wird ausdrücklich nicht zugesichert.
DeepSeek beziffert mögliche Kosteneinsparungen auf bis zu 90 Prozent bei einer auf Cache-Eigenschaften abgestimmten Nutzung. Auch ohne solche Optimierung hätten Nutzende laut historischen Daten im Durchschnitt mehr als 50 Prozent gespart. Für Anfragen mit langen, wiederholten Eingaben behauptet der Anbieter zudem eine deutlich kürzere Zeit bis zum ersten Token. Als Beispiel nennt der Bericht einen Prompt mit 128.000 Tokens und hoher Wiederholung: Die Latenz sinke von 13 Sekunden auf 500 Millisekunden. Diese Werte werden im Text als Anbieterangaben präsentiert; ein unabhängiger Prüfmaßstab oder nähere Angaben zu den Messbedingungen sind darin nicht enthalten.
Für die Sicherheit gibt DeepSeek an, jeder Nutzer-Cache sei isoliert und für andere logisch unsichtbar. Nicht mehr verwendete Einträge würden automatisch gelöscht, typischerweise innerhalb weniger Stunden bis Tage; die Speicherung sei kostenlos. Der Bericht führt die technische Umsetzbarkeit auf die MLA-Architektur von DeepSeek V2 zurück, die den KV-Cache verkleinere und damit eine Speicherung auf kostengünstigen Festplatten ermögliche. DeepSeek bezeichnet sich, gestützt auf öffentlich verfügbare Informationen, als ersten Anbieter mit umfangreichem Festplatten-Caching in API-Diensten. Ferner behauptet der Text, die API könne bis zu eine Billion Tokens pro Tag verarbeiten und habe keine Parallelitäts- oder Ratenbegrenzungen. Der Bericht erläutert jedoch weder Messmethoden noch Betriebsbedingungen für diese Kapazitäts- und Leistungsangaben.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas kurze und mittlere Zusammenfassung wurden gemeinsam geprüft; beide geben den Bericht sachlich korrekt wieder, lassen aber die Architektur-Angaben, den Gebührenverzicht und die fehlenden Ratenbegrenzungen aus. Teilfragen gab es keine, daher keine Einordnung dazu.
Im Bericht, aber nicht in der Zusammenfassung
- Die Architektur MLA in DeepSeek V2 als Grundlage des Festplatten-Caches
- Der Anspruch, als erster Anbieter umfangreiches Festplatten-Caching in APIs einzusetzen
- Keine Begrenzung von Parallelität oder Rate, Ausrichtung auf bis zu 1 Billion Tokens pro Tag
- Speicher für den Cache ist kostenlos, zusätzlich zu den Treffer-Kosten fallen keine Gebühren an
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 27 %gleiches Oberthema, hilft nicht
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 72 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 72 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug