How has DeepSeek improved the Transformer architecture?
Zusammenfassung
Kurz
Der Autor stellt MLA, Maßnahmen gegen Routing-Kollaps bei Mixture-of-Experts und die Vorhersage mehrerer Tokens als wichtige DeepSeek-v3-Änderungen vor. Er sieht darin mögliche Effizienz- und Leistungsvorteile, weist aber darauf hin, dass viele Belege aus DeepSeeks eigenen technischen Berichten und internen Experimenten stammen; mögliche Beschleunigungen sind keine Garantie.
Mittel
Der Artikel erklärt drei Architekturänderungen, die DeepSeek laut technischem Bericht in v3 nutzt. Als zentrale Neuerung für lange Kontexte beschreibt der Autor Multi-Head Latent Attention (MLA): Statt vollständige Schlüssel- und Wertvektoren im KV-Cache zu speichern, werden kompakte latente Darstellungen abgelegt. So soll der Cache kleiner werden, ohne die Qualitätseinbußen, die der Autor bei gruppierter Abfrageaufmerksamkeit oder Quantisierung anführt. Diese Bewertung stützt sich auf DeepSeeks interne Experimente.
Bei Mixture-of-Experts soll DeepSeek dem Routing-Kollaps entgegenwirken, indem es Bias-Werte zur Lastverteilung laufend anpasst und stets aktive gemeinsame Experten von den gerouteten Experten trennt. Der Artikel erklärt, dass eine erzwungene Gleichverteilung möglicherweise spezialisierte Expertenstrukturen verhindert; ob DeepSeeks gewählte Verteilung optimal ist, lässt der Autor offen.
Mehr-Token-Vorhersage trainiert zusätzlich die Vorhersage des übernächsten Tokens. Laut technischen Ablationen steigert dies die Leistung; eine berichtete Akzeptanzrate von 85 bis 90 Prozent für das zweite Token könnte spekulatives Decoding beschleunigen. Der Autor vermutet nahezu doppelte Inferenzgeschwindigkeit unter bestimmten Bedingungen, kennzeichnet das aber nicht als Garantie. Insgesamt ist der Text eine informelle Einschätzung des Autors; Leistungsangaben beruhen überwiegend auf DeepSeeks Berichten und werden nicht unabhängig überprüft.
Ausführlich lesen
Der Bericht erläutert, welche Architekturänderungen DeepSeek nach Darstellung des Autors in DeepSeek v3 eingeführt hat und warum diese Vorteile bringen könnten. Er nennt außerdem den im technischen Bericht ausgewiesenen Trainingsaufwand: 2,8 Millionen H800-Stunden. Unter der Annahme einer MFU von 40 Prozent entspreche das ungefähr 4 × 10²⁴ FLOP und sei etwa zehnmal weniger Rechenaufwand als beim ähnlich leistungsfähigen Llama 3.1 405B. Der Autor bezeichnet DeepSeek v3 als führend unter den Open-Weight-Modellen bei Benchmark-Ergebnissen; dies ist eine zeitgebundene Einordnung des Artikels, keine unabhängige Prüfung in diesem Text.
Als wichtigste Neuerung für lange Kontexte beschreibt der Autor Multi-Head Latent Attention (MLA), erstmals in DeepSeek v2 eingeführt. Transformer speichern für bereits verarbeitete Tokens Schlüssel- und Wertvektoren im KV-Cache, damit sie bei der nächsten Token-Ausgabe nicht erneut berechnet werden müssen. Bei langen Kontexten wird das Lesen dieses Caches laut Bericht zu einem erheblichen Speicher- und Zeitaufwand. Der Artikel veranschaulicht das mit einer überschlägigen GPT-3-Rechnung für einen hypothetischen Kontext von 100.000 Tokens. MLA komprimiert Schlüssel und Werte über eine niedrigdimensionale latente Darstellung und speichert während der Inferenz nur diese Latents. Durch Zusammenlegen von Matrixoperationen sollen die vollständigen Vektoren nicht bei jeder Ausgabe separat rekonstruiert werden müssen. Der Autor zufolge kann MLA so den Cache verkleinern, ohne die in internen Experimenten beobachtete Qualitätseinbuße, die er bei gruppierter Abfrageaufmerksamkeit oder Cache-Quantisierung verortet. Er führt den möglichen Vorteil darauf zurück, dass verschiedene Aufmerksamkeitsköpfe Informationen teilen, sie aber unterschiedlich nutzen können. Die Aussagen zu Qualität und Regularisierung werden im Artikel als Ergebnisse beziehungsweise Deutungen aus DeepSeeks technischen Berichten wiedergegeben.
Für Mixture-of-Experts (MoE) behandelt der Text das Risiko des „Routing-Kollapses“: Weil nur ausgewählte Experten pro Token trainiert werden, könnten frühe Zufälle dazu führen, dass stets dieselben Experten gewählt und andere kaum weiterentwickelt werden. DeepSeek v3 kombiniere laut Autor mehrere Gegenmaßnahmen. Statt eine Zusatzverlustfunktion für gleichmäßige Auslastung zu verwenden, passe das Modell expertenspezifische Bias-Werte regelbasiert an; der technische Bericht behaupte, dies erziele bessere Leistung bei ausreichender Lastverteilung. Zudem gebe es stets aktive gemeinsame Experten und separat geroutete Experten. Balanciert werde nur die Auswahl der gerouteten Experten. Der Autor hält es für plausibel, dass unterschiedliche Expertenhäufigkeiten nützlich sein können, und äußert Zweifel, ob DeepSeeks angestrebte Verteilung optimal ist.
Die dritte Änderung ist Mehr-Token-Vorhersage: Zusätzlich zum nächsten Token lernt ein weiterer Transformer-Block auch das darauffolgende vorherzusagen. Laut Ablationsexperimenten im technischen Bericht verbessert dies die Leistung. Die Zusatzvorhersage kann außerdem spekulatives Decoding unterstützen. Für das zweite Token nennt der Bericht eine Akzeptanzrate von 85 bis 90 Prozent; daraus leitet der Autor ab, dass sich die Inferenzgeschwindigkeit unter bestimmten Bedingungen nahezu verdoppeln könnte. Er behandelt dies als mögliche Folge, nicht als garantiertes Ergebnis, und merkt an, dass Vorhersagen über weitere Tokens noch untersucht werden müssten.
Abschließend bewertet der Autor die Neuerungen als durchdachte Architekturideen und vermutet, dass künftig eine dynamische Zuteilung von Rechenaufwand je nach Schwierigkeit eines Tokens Potenzial haben könnte. Der Text ist ausdrücklich eine informelle, meinungsbetonte Einschätzung seines Autors; er vertritt nicht notwendigerweise die Gesamtposition von Epoch AI. Viele Leistungsangaben stammen aus DeepSeeks technischen Berichten oder internen Experimenten und werden hier nicht unabhängig nachgeprüft.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat drei Zusammenfassungen geliefert; bewertet wurde die mittlere, die kurze Fassung ist ebenfalls weitgehend treu, lässt aber den Trainingsaufwand aus. Die Einordnung der Sammelfragen beruht auf dem Bericht, nicht auf Lunas Stufen und Anteilen.
Im Bericht, aber nicht in der Zusammenfassung
- Der Trainingsaufwand von 2,8 Mio. H800-Stunden (ca. 4e24 FLOP bei 40 % MFU), der laut Bericht etwa zehnmal weniger Rechenleistung als Llama 3.1 405B entspricht.
- Die Erklärung, warum der KV-Cache bei langen Kontexten zum Kostenproblem wird, einschließlich der Herleitung der Kosten.
- Der Schlussgedanke, dass künftige Verbesserungen wohl bei einer bedarfsgerechten Rechenzuteilung pro Token liegen.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, dass Leistungsangaben nicht unabhängig überprüft werden, steht so nicht im Bericht.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 24 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 40 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 47 %einzelne zitierbare Belege
- JEV 26 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv