Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch17. Januar 2025 · Q006655

How has DeepSeek improved the Transformer architecture?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Autor stellt MLA, Maßnahmen gegen Routing-Kollaps bei Mixture-of-Experts und die Vorhersage mehrerer Tokens als wichtige DeepSeek-v3-Änderungen vor. Er sieht darin mögliche Effizienz- und Leistungsvorteile, weist aber darauf hin, dass viele Belege aus DeepSeeks eigenen technischen Berichten und internen Experimenten stammen; mögliche Beschleunigungen sind keine Garantie.

Mittel

Der Artikel erklärt drei Architekturänderungen, die DeepSeek laut technischem Bericht in v3 nutzt. Als zentrale Neuerung für lange Kontexte beschreibt der Autor Multi-Head Latent Attention (MLA): Statt vollständige Schlüssel- und Wertvektoren im KV-Cache zu speichern, werden kompakte latente Darstellungen abgelegt. So soll der Cache kleiner werden, ohne die Qualitätseinbußen, die der Autor bei gruppierter Abfrageaufmerksamkeit oder Quantisierung anführt. Diese Bewertung stützt sich auf DeepSeeks interne Experimente.

Bei Mixture-of-Experts soll DeepSeek dem Routing-Kollaps entgegenwirken, indem es Bias-Werte zur Lastverteilung laufend anpasst und stets aktive gemeinsame Experten von den gerouteten Experten trennt. Der Artikel erklärt, dass eine erzwungene Gleichverteilung möglicherweise spezialisierte Expertenstrukturen verhindert; ob DeepSeeks gewählte Verteilung optimal ist, lässt der Autor offen.

Mehr-Token-Vorhersage trainiert zusätzlich die Vorhersage des übernächsten Tokens. Laut technischen Ablationen steigert dies die Leistung; eine berichtete Akzeptanzrate von 85 bis 90 Prozent für das zweite Token könnte spekulatives Decoding beschleunigen. Der Autor vermutet nahezu doppelte Inferenzgeschwindigkeit unter bestimmten Bedingungen, kennzeichnet das aber nicht als Garantie. Insgesamt ist der Text eine informelle Einschätzung des Autors; Leistungsangaben beruhen überwiegend auf DeepSeeks Berichten und werden nicht unabhängig überprüft.

Ausführlich lesen

Der Bericht erläutert, welche Architekturänderungen DeepSeek nach Darstellung des Autors in DeepSeek v3 eingeführt hat und warum diese Vorteile bringen könnten. Er nennt außerdem den im technischen Bericht ausgewiesenen Trainingsaufwand: 2,8 Millionen H800-Stunden. Unter der Annahme einer MFU von 40 Prozent entspreche das ungefähr 4 × 10²⁴ FLOP und sei etwa zehnmal weniger Rechenaufwand als beim ähnlich leistungsfähigen Llama 3.1 405B. Der Autor bezeichnet DeepSeek v3 als führend unter den Open-Weight-Modellen bei Benchmark-Ergebnissen; dies ist eine zeitgebundene Einordnung des Artikels, keine unabhängige Prüfung in diesem Text.

Als wichtigste Neuerung für lange Kontexte beschreibt der Autor Multi-Head Latent Attention (MLA), erstmals in DeepSeek v2 eingeführt. Transformer speichern für bereits verarbeitete Tokens Schlüssel- und Wertvektoren im KV-Cache, damit sie bei der nächsten Token-Ausgabe nicht erneut berechnet werden müssen. Bei langen Kontexten wird das Lesen dieses Caches laut Bericht zu einem erheblichen Speicher- und Zeitaufwand. Der Artikel veranschaulicht das mit einer überschlägigen GPT-3-Rechnung für einen hypothetischen Kontext von 100.000 Tokens. MLA komprimiert Schlüssel und Werte über eine niedrigdimensionale latente Darstellung und speichert während der Inferenz nur diese Latents. Durch Zusammenlegen von Matrixoperationen sollen die vollständigen Vektoren nicht bei jeder Ausgabe separat rekonstruiert werden müssen. Der Autor zufolge kann MLA so den Cache verkleinern, ohne die in internen Experimenten beobachtete Qualitätseinbuße, die er bei gruppierter Abfrageaufmerksamkeit oder Cache-Quantisierung verortet. Er führt den möglichen Vorteil darauf zurück, dass verschiedene Aufmerksamkeitsköpfe Informationen teilen, sie aber unterschiedlich nutzen können. Die Aussagen zu Qualität und Regularisierung werden im Artikel als Ergebnisse beziehungsweise Deutungen aus DeepSeeks technischen Berichten wiedergegeben.

Für Mixture-of-Experts (MoE) behandelt der Text das Risiko des „Routing-Kollapses“: Weil nur ausgewählte Experten pro Token trainiert werden, könnten frühe Zufälle dazu führen, dass stets dieselben Experten gewählt und andere kaum weiterentwickelt werden. DeepSeek v3 kombiniere laut Autor mehrere Gegenmaßnahmen. Statt eine Zusatzverlustfunktion für gleichmäßige Auslastung zu verwenden, passe das Modell expertenspezifische Bias-Werte regelbasiert an; der technische Bericht behaupte, dies erziele bessere Leistung bei ausreichender Lastverteilung. Zudem gebe es stets aktive gemeinsame Experten und separat geroutete Experten. Balanciert werde nur die Auswahl der gerouteten Experten. Der Autor hält es für plausibel, dass unterschiedliche Expertenhäufigkeiten nützlich sein können, und äußert Zweifel, ob DeepSeeks angestrebte Verteilung optimal ist.

Die dritte Änderung ist Mehr-Token-Vorhersage: Zusätzlich zum nächsten Token lernt ein weiterer Transformer-Block auch das darauffolgende vorherzusagen. Laut Ablationsexperimenten im technischen Bericht verbessert dies die Leistung. Die Zusatzvorhersage kann außerdem spekulatives Decoding unterstützen. Für das zweite Token nennt der Bericht eine Akzeptanzrate von 85 bis 90 Prozent; daraus leitet der Autor ab, dass sich die Inferenzgeschwindigkeit unter bestimmten Bedingungen nahezu verdoppeln könnte. Er behandelt dies als mögliche Folge, nicht als garantiertes Ergebnis, und merkt an, dass Vorhersagen über weitere Tokens noch untersucht werden müssten.

Abschließend bewertet der Autor die Neuerungen als durchdachte Architekturideen und vermutet, dass künftig eine dynamische Zuteilung von Rechenaufwand je nach Schwierigkeit eines Tokens Potenzial haben könnte. Der Text ist ausdrücklich eine informelle, meinungsbetonte Einschätzung seines Autors; er vertritt nicht notwendigerweise die Gesamtposition von Epoch AI. Viele Leistungsangaben stammen aus DeepSeeks technischen Berichten oder internen Experimenten und werden hier nicht unabhängig nachgeprüft.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna hat drei Zusammenfassungen geliefert; bewertet wurde die mittlere, die kurze Fassung ist ebenfalls weitgehend treu, lässt aber den Trainingsaufwand aus. Die Einordnung der Sammelfragen beruht auf dem Bericht, nicht auf Lunas Stufen und Anteilen.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Trainingsaufwand von 2,8 Mio. H800-Stunden (ca. 4e24 FLOP bei 40 % MFU), der laut Bericht etwa zehnmal weniger Rechenleistung als Llama 3.1 405B entspricht.
  • Die Erklärung, warum der KV-Cache bei langen Kontexten zum Kostenproblem wird, einschließlich der Herleitung der Kosten.
  • Der Schlussgedanke, dass künftige Verbesserungen wohl bei einer bedarfsgerechten Rechenzuteilung pro Token liegen.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, dass Leistungsangaben nicht unabhängig überprüft werden, steht so nicht im Bericht.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 25 %gleiches Oberthema, hilft nicht
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung einzelne zitierbare Belege
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 47 %einzelne zitierbare Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →