DeepSeek V4 Quietly Swapped Out the Residual Connection. The Fix Is Math From 1967.
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Bericht ist nur ein Auszug; der Medium-Artikel ist hinter einer Mitglieder-Schranke und bricht mitten im Satz ab. Der Autor behauptet, DeepSeek-V4 ersetze gewöhnliche Residualverbindungen durch Hyper-Connections mit vier parallelen Strömen, doch Herleitung, Belege und Leistungsresultate sind im Ausschnitt nicht enthalten.
Mittel
Der verfügbare Text ist nur ein Auszug: Der Medium-Beitrag ist mit einer Mitglieder-Schranke versehen und bricht mitten im Satz ab. Der Autor behauptet, DeepSeek-V4 ersetze gewöhnliche Residualverbindungen durch „Manifold-Constrained Hyper-Connections“. Als Hinweise nennt er die Hugging-Face-Architekturübersicht, die Konfigurationswerte `hc_mult = 4` und `hc_sinkhorn_iters = 20`, Module namens `attn_hc` und `ffn_hc` sowie einen `DeepseekV4HyperHead`, der vier parallele Residualströme vor der abschließenden Normierung zusammenführen soll.
Der Beitrag ordnet dies als Veränderung einer lange üblichen Transformer-Komponente ein und verweist auf eine Ende 2025 auf arXiv erschienene Arbeit. Der Autor kündigt eine genauere Betrachtung der mathematischen Grundlagen an; sie ist im vorliegenden Text jedoch nicht enthalten. Die Architekturangaben sind hier nicht unabhängig überprüft. Details zur Mathematik von 1967, zur Funktionsweise oder zu Leistungsergebnissen fehlen im Auszug.
Ausführlich lesen
Der bereitgestellte Text ist nur ein Auszug: Der Medium-Beitrag ist hinter einer Mitglieder-Schranke, und der Haupttext bricht mitten im Satz ab. Daher lassen sich weder die angekündigte mathematische Herleitung noch die vollständigen Ergebnisse und Einschränkungen des Artikels zusammenfassen.
Der Auszug behauptet, DeepSeek-V4 habe die übliche Residualverbindung — vereinfacht `x + f(x)` — durch „Manifold-Constrained Hyper-Connections“ ersetzt. Als Belege nennt der Autor eine Architekturübersicht in der Hugging-Face-Dokumentation und Parameter der Modellkonfiguration: `hc_mult` mit dem Standardwert 4 sowie `hc_sinkhorn_iters` mit dem Standardwert 20. Außerdem beschreibt er je Block die Module `attn_hc` und `ffn_hc` sowie einen `DeepseekV4HyperHead`, der demnach vier parallele Residualströme vor der abschließenden Normierung zu einem zusammenführt.
Zur Einordnung erinnert der Autor daran, dass Residualverbindungen in tiefen Netzen etabliert sind, während sich andere Transformer-Bausteine über die Jahre verändert hätten. Er verweist auf eine zugehörige Arbeit, die laut Auszug am letzten Tag des Jahres 2025 auf arXiv erschienen sei, und sagt, sie sei bereits vielfach zusammengefasst worden. Sein angekündigter Beitrag soll offenbar die mathematische Grundlage genauer betrachten; der sichtbare Text setzt bei der Frage an, wer sich damit befasst habe, liefert die Fortsetzung aber nicht.
Die Angaben zu Architektur und Dokumentation sind hier Behauptungen des Autors; der Auszug enthält keine vollständigen Belege oder unabhängige Prüfung. Aus dem verfügbaren Text gehen weder Funktionsweise und mathematische Details der Hyper-Connections noch ein Vergleich ihrer Leistung mit gewöhnlichen Residualverbindungen hervor. Auch der Titel kündigt Mathematik aus dem Jahr 1967 an, doch der sichtbare Auszug erklärt nicht, welche Mathematik gemeint ist oder wie sie mit V4 zusammenhängt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %Hintergrund, keine Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 38 %beantwortet teilweise oder widerspricht
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug