Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch31. Januar 2025 · Q006889

What went into training DeepSeek-R1?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der vollständige Bericht hält DeepSeeks Angaben zum V3-Vortraining für plausibel und schätzt die GPU-Kosten auf etwa 5,3 Millionen Dollar; für das zusätzliche R1-Training veranschlagt der Autor ungefähr eine Million Dollar, mit deutlichen Unsicherheiten bei den Annahmen. R1 liege leistungsmäßig ungefähr auf dem Niveau von OpenAI o1, werde laut Bericht aber zu einem wesentlich niedrigeren API-Preis angeboten.

Mittel

Der vollständige Bericht von Ege Erdil ordnet Architektur, Training, Leistung und Preis von DeepSeek-R1 ein. Er hält die veröffentlichten Angaben zum Vortraining von DeepSeek V3 für plausibel und sieht keinen Beleg dafür, dass DeepSeek Kosten verschweigt. V3 und R1 teilen sich laut Bericht eine sparse Mixture-of-Experts-Architektur mit 671 Milliarden Gesamtparametern und rund 37 Milliarden aktiven Parametern je Token. Multi-Head Latent Attention spart KV-Cache, erhöht aber den Rechenaufwand beim Dekodieren.

Aus 14,8 Billionen Vortrainingstokens, 2.048 H800-GPUs und 55 Tagen leitet der Autor etwa 5,3 Millionen Dollar GPU-Kosten ab. Für das Reinforcement Learning schätzt er ungefähr eine Million Dollar zusätzlich. Diese Schätzung hängt unter anderem von einer nicht veröffentlichten Batchgröße und Annahmen zu einer zweiten RL-Phase ab. Sie umfasst nur GPU-Zeit, nicht Personal, Experimente oder Gemeinkosten.

R1 liege bei den verglichenen Benchmarks ungefähr auf o1-Niveau; o1 gewinnt sechs von elf Aufgaben. Laut den genannten API-Preisen kostet R1 2,20 Dollar je Million Ausgabetokens gegenüber 60 Dollar bei o1. Der Autor erklärt den Abstand überwiegend mit DeepSeeks geringeren Preisaufschlägen, hält weitere Effizienzunterschiede aber für möglich.

Ausführlich lesen

Der vollständige Bericht von Ege Erdil untersucht, was nach den verfügbaren Angaben in DeepSeek-R1 steckt und ob DeepSeek die Trainingskosten möglicherweise zu niedrig angegeben hat. Der Autor vertritt die Einschätzung, dass die veröffentlichten Zahlen zum Vortraining plausibel sind und es keinen Beleg für eine Untererfassung gibt. Seine Kostenangaben sind eigene Schätzungen, keine von DeepSeek bestätigten Gesamtkosten.

R1 verwendet laut Bericht dieselbe Architektur wie DeepSeek V3: ein sparsames Mixture-of-Experts-Modell mit 671 Milliarden Parametern insgesamt, von denen je Token rund 37 Milliarden aktiv sind. Es gibt einen stets genutzten gemeinsamen Experten und 256 weitere Experten, von denen jeweils acht ausgewählt werden. Die Attention-Methode Multi-Head Latent Attention soll den KV-Cache verkleinern, erhöht aber den Rechenaufwand beim Dekodieren. Der Autor hält diese Architektur für einen wichtigen Teil der leistungsfähigen und vergleichsweise günstigen Basis, auf der das Reasoning-Training aufsetzt.

Das Vortraining von R1 entspricht dem V3-Training. Dessen Bericht nennt 2.048 H800-GPUs, FP8-Präzision, 14,8 Billionen Tokens und 55 Tage Laufzeit. Aus diesen Angaben leitet Erdil rund 2,66 Millionen GPU-Stunden beziehungsweise etwa 5,3 Millionen US-Dollar ab, wenn eine H800-Stunde mit zwei Dollar angesetzt wird. Die daraus errechnete Auslastung der theoretischen Rechenleistung beträgt rund 23 Prozent. Er erklärt den relativ niedrigen Wert unter anderem mit dem Kommunikationsaufwand beim Training des Expertenmodells. Seine grobe Rechnung zeigt, dass der Datenaustausch zwischen GPUs erhebliche Zeit beanspruchen könnte; DeepSeek habe Kommunikation und Rechenarbeit überlappt und die Zuordnung der Experten so abgestimmt, dass mehr Austausch über das schnellere NVLink statt über InfiniBand läuft. Die Kommunikationsrechnung beruht auf vereinfachenden Annahmen.

Für das Reinforcement Learning beschreibt der Artikel einen Ablauf, bei dem das Modell mehrere Antworten auf Fragen erzeugt, diese bewertet werden und anschließend per Group-Relative Policy Optimization (GRPO) optimiert werden. Aus Angaben im R1-Papier sowie Annahmen aus früheren Arbeiten schätzt Erdil für die erste Reasoning-Phase etwa 6,1 × 10²³ FLOP beziehungsweise rund eine Million Dollar GPU-Kosten. Dabei setzt er unter anderem eine Batchgröße von 1.024 und 64 Antwortvarianten an. Die Batchgröße ist nicht veröffentlicht; bei 512 wäre die Schätzung halb so hoch. Auch die Kosten einer zweiten RL-Phase sind unklar. Zusammen mit einer weiteren RL-Runde, einem vorgeschalteten Fine-Tuning und einer späteren überwachten Feinabstimmung schätzt der Autor die zusätzlichen GPU-Kosten für R1 ab V3 grob auf eine Million Dollar. Das entspräche etwa sechs Millionen Dollar für Vortraining und R1-Training zusammen. Personal, Experimente und Gemeinkosten sind ausdrücklich nicht enthalten.

Bei den veröffentlichten Benchmarks liegt R1 laut Artikel ungefähr auf dem Niveau von OpenAI o1; auf elf verglichenen Aufgaben gewinnt o1 sechs. Der Autor vermutet einen möglichen Veröffentlichungseffekt zugunsten der selbst berichteten Ergebnisse und hält o1 insgesamt vermutlich für etwas stärker. R1 koste laut den im Bericht genannten API-Preisen 2,20 Dollar je Million Ausgabetokens gegenüber 60 Dollar bei o1 und sei nicht langsamer. Erdil führt den Preisunterschied vor allem auf geringere Aufschläge bei DeepSeek zurück, lässt aber offen, ob auch eine höhere Modelleffizienz beiträgt. Seine Einschätzungen zu Leistung, Kosten und Wettbewerb bleiben an die veröffentlichten Daten und die genannten Modellannahmen gebunden.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna hat zwei Zusammenfassungen (kurz und mittel) geliefert; ich habe beide gemeinsam bewertet. Beide Fassungen sind sachlich korrekt, die mittlere Fassung enthält alle genannten Zahlen und Namen richtig. Es fehlen vor allem der MFU-Befund und der Ausblick auf den Rückstand von etwa sechs Monaten.

Im Bericht, aber nicht in der Zusammenfassung

  • Die MFU von nur etwa 23 % und die zentrale Aussage des Autors, dass das eigentliche Rätsel nicht die niedrigen, sondern die hohen Trainingskosten sind
  • Die Einschätzung, DeepSeek liege etwa sechs Monate hinter US-Laboren wie OpenAI und Anthropic
  • Die Feststellung, dass die meisten Bausteine von R1 bereits 2024 entwickelt wurden und die Basismodellqualität von V3 der eigentlich schwierige Teil ist

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 66 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 44 %einzelne zitierbare Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

  3. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 20 %Hintergrund, keine Belege
    • Luna 46 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 32 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra 37 %einzelne zitierbare Belege

    • SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät? Luna: Stufe 3 · 53 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 22 %Hintergrund, keine Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 30 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  2. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 30 %nur am Rande erwähnt
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
  3. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 54 %umfangreiche Belege
    • JEV 68 %beantwortet direkt und ausführlich
    • amos 31 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung beantwortet teilweise oder widerspricht
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 66 %einzelne zitierbare Belege
    • JEV 55 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →