Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com10. Dezember 2025 · Q011337

DeepSeek Just Broke the O(L²) Attention Wall — And It Changes Everything for Long-Context AI

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht behauptet, DeepSeek V3.2 senke mit Sparse Attention den Aufwand langer Kontexte, indem ein Indexer pro Token nur rund 2.048 relevante Einträge auswählt. Bei 128.000 Tokens seien die Kosten dadurch zwei- bis dreimal niedriger, während Benchmark-Ergebnisse gleich blieben oder besser würden; konkrete Messmethoden und Benchmarks nennt der Text jedoch nicht.

Mittel

Der Bericht beschreibt DeepSeek Sparse Attention (DSA) als zentrale Neuerung in DeepSeeks V3.2. Statt jedes Token mit allen anderen zu vergleichen, soll ein „Lightning Indexer“ die relevantesten auswählen. Laut Beitrag berücksichtigt das Modell etwa 2.048 Einträge pro Token. Damit sinke der Aufwand von quadratischer Skalierung auf O(L × k), wobei k begrenzt sei.

Für Kontexte mit 128.000 Tokens nennt der Autor geringere Kosten: Prefill falle von etwa 0,65 auf 0,35 US-Dollar, Decode von rund 2,40 auf 0,80 US-Dollar. Das entspreche einer zwei- bis dreifachen Effizienzsteigerung. Die Benchmark-Leistung bei langen Kontexten sei laut Bericht gleich gut oder besser. Das Training erfolge in zwei Schritten: erst werde der Indexer mithilfe der KL-Divergenz trainiert, dann das Gesamtmodell mit den sparsamen Aufmerksamkeitsmustern.

Der Beitrag sieht darin einen Weg zu günstigeren Anwendungen mit sehr langen Texten und argumentiert, dass Architekturverbesserungen neben zusätzlicher Rechenleistung wichtig werden. Die Zahlen und Leistungsbehauptungen werden im Text jedoch nicht durch konkrete Benchmarks, Messmethoden oder Vergleichsbedingungen belegt und sind hier nicht unabhängig überprüfbar.

Ausführlich lesen

Der Bericht stellt DeepSeek Sparse Attention (DSA) als eine Änderung an DeepSeeks Modell V3.2 vor, die den Rechenaufwand bei langen Kontexten senken soll. Ausgangspunkt ist die übliche quadratische Skalierung der Transformer-Aufmerksamkeit: Verdoppelt sich die Eingabelänge, vervierfacht sich demnach der Aufwand. Das mache Kontexte mit sehr vielen Tokens laut Bericht zwar möglich, aber in der Anwendung langsam und teuer.

DSA soll diese Kosten reduzieren, indem jedes Token nur eine begrenzte Auswahl relevanter Tokens berücksichtigt. Der Bericht beschreibt die Komplexität dadurch als O(L × k) statt O(L²), wobei k klein und fest bleibe. Für V3.2 nennt er k ≈ 2.048: Ein Token berücksichtige also höchstens etwa 2.048 andere Einträge, auch bei Eingaben von 10.000 oder 128.000 Tokens. Zur Auswahl diene ein „Lightning Indexer“, der laut Text in FP8 mit wenigen Köpfen Relevanzwerte berechnet und die wichtigsten Schlüssel-Wert-Einträge auswählt.

Als Ergebnis nennt der Beitrag bei 128.000 Tokens niedrigere Kosten: Für das Prefill sinke der Preis von etwa 0,65 auf 0,35 US-Dollar, beim Decode von ungefähr 2,40 auf 0,80 US-Dollar. Daraus leitet der Autor eine zwei- bis dreifache Effizienzsteigerung ab. Zugleich behauptet der Bericht, die Ergebnisse auf Benchmarks für lange Kontexte seien gleich gut oder besser und die Leistung sei nicht gesunken. Er bezeichnet DSA als die einzige architektonische Änderung in V3.2.

Damit das Modell mit der begrenzten Auswahl zurechtkommt, beschreibt der Artikel ein zweistufiges Training: Zunächst werde der Indexer mithilfe der KL-Divergenz separat darauf trainiert, relevante Tokens zu finden. Anschließend werde das Gesamtmodell mit den sparsamen Aufmerksamkeitsmustern trainiert, damit es sich an die eingeschränkte Sicht anpasse. Der Autor deutet dies als Erklärung dafür, warum frühere Ansätze mit sparsamer Aufmerksamkeit oft Leistungseinbußen gehabt hätten.

Die größere These lautet, dass weitere Fortschritte bei KI nicht allein durch mehr GPUs entstehen, sondern auch durch bessere Architektur und effizientere Algorithmen. Günstigere und schnellere lange Kontexte könnten künftig das Arbeiten mit umfangreichen Codebasen, PDFs, Büchern oder Gesprächsverläufen erleichtern.

Die Aussagen sind im bereitgestellten Bericht Behauptungen des Autors. Zwar nennt er Kostenwerte, eine ungefähre Auswahlgröße und Benchmark-Ergebnisse, doch der Text erläutert weder die Berechnung und Vergleichsbedingungen der Kosten noch konkrete Benchmarks, Messmethoden oder Leistungswerte. Die Angaben lassen sich daher anhand dieses Berichts allein nicht unabhängig prüfen. Auch die erwarteten künftigen Anwendungen werden als Möglichkeiten beschrieben, nicht als nachgewiesene Ergebnisse.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen; bewertet wurde die mittlere, die im Kern treu ist, während die kurze Fassung ebenfalls treu ist und nur weniger Details enthält. Die Angaben zu Kosten, 2.048 Einträgen und Training stimmen mit dem Bericht überein; die Einordnung der Sammelfragen bleibt niedrig, weil der Bericht keine Governance-Fragen behandelt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Aussage, DeepSeek Sparse Attention sei die einzige implementierte Architekturänderung von V3.2
  • Das Ilya-Sutskever-Zitat zu den Grenzen von Compute- und Datenskalierung

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 64 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 56 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 28 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →