DeepSeek-Prover-V2: Advancing Formal Mathematical Reasoning via Reinforcement Learning for Subgoal Decomposition
Zusammenfassung
Kurz
DeepSeek-Prover-V2 verbindet natürlichsprachliche Beweisskizzen von DeepSeek-V3 mit rekursiver Lösung formaler Lean-4-Teilziele und anschließendem Training mit überwachten Daten und bestärkendem Lernen. Die Autoren berichten starke Benchmarkwerte, weisen aber auch auf korrigierte Resultate, fehlerhafte Aufgaben und einen Lean-Benutzeroberflächenfehler hin; die Zahlen hängen von Testaufbau und Stichprobenbudget ab.
Mittel
Der Bericht beschreibt DeepSeek-Prover-V2, ein offenes Modell zur formalen Beweisführung in Lean 4. Sein Kern ist die Zerlegung schwieriger Theoreme in Teilziele: DeepSeek-V3 erstellt Beweisskizzen und Zwischenlemmata, ein kleineres 7B-Modell beweist diese rekursiv. Die geprüften Teilbeweise werden mit natürlichsprachlichen Überlegungen zu Trainingsdaten verbunden; Curriculum-Lernen und bestärkendes Lernen sollen die Leistung weiter steigern. Das 671B-Modell erreicht den Autoren zufolge auf MiniF2F-test 88,9 Prozent bei 8192 Stichproben, löst 47 ausgewertete PutnamBench-Aufgaben und sechs von 15 formalisierten AIME-Aufgaben. Bei PutnamBench korrigierten die Autoren frühere Ergebnisse: Ein Lean-4.9.0-Fehler ließ die Taktik `apply?` in Sonderfällen `sorry` verschleiern; zwei fehlerhafte Aufgaben wurden ausgeschlossen. Auch bei CombiBench wurden zwei falsch formulierte Aufgaben entfernt. Die Resultate hängen von Benchmark-Version, Software, Filtern und Rechenbudget ab. Der Vergleich der AIME-Zahlen mit DeepSeek-V3 ist wegen unterschiedlicher Antwortformate nicht direkt gleichzusetzen.
Ausführlich lesen
Der Bericht stellt DeepSeek-Prover-V2 vor, ein offenes Sprachmodell zur formalen Beweisführung mit Lean 4. Ziel ist, informelles mathematisches Denken besser mit den strengen Anforderungen eines Proof-Assistenten zu verbinden: Jeder Beweisschritt muss formal überprüfbar sein.
Das zentrale Verfahren zerlegt schwierige Theoreme in kleinere Teilziele. DeepSeek-V3 erzeugt dazu zunächst eine natürlichsprachliche Beweisskizze und passende Lean-Zwischenlemmata. Ein spezialisiertes Modell mit 7 Milliarden Parametern versucht, diese Teilaufgaben rekursiv zu beweisen. Zusammengesetzte, von Lean geprüfte Beweise werden mit den Überlegungen von DeepSeek-V3 zu synthetischen Trainingsdaten verbunden. Ein Curriculum steigert die Schwierigkeit der Aufgaben. Das Training hat zwei Modi: einen knappen Modus ohne explizite Gedankenschritte und einen ausführlicheren CoT-Modus. Für Letzteren nutzen die Autoren überwachte Feinabstimmung und anschließend bestärkendes Lernen mit GRPO; ein zusätzlicher Konsistenzanreiz soll frühe Beweise an die vorgegebene Lemmata-Struktur binden. Die 7B-Variante wird außerdem mit Daten des größeren Modells trainiert.
Die Autoren berichten, dass DeepSeek-Prover-V2-671B auf MiniF2F-test im CoT-Modus 82,4 Prozent mit 32 Stichproben und 88,9 Prozent mit 8192 Stichproben erreicht. Auf ProofNet-test werden mit 1024 Stichproben 37,1 Prozent angegeben. Bei PutnamBench meldet der Bericht 47 gelöste Aufgaben; bei CombiBench 10 von 77 ausgewerteten Aufgaben. Auf FormalMATH-Lite steigt das Ergebnis des 671B-Modells von 56,00 Prozent mit 32 auf 61,88 Prozent mit 3200 Stichproben. Im neu eingeführten ProverBench mit 325 formalisierten Aufgaben löst das Modell sechs von 15 ausgewählten AIME-Aufgaben im formalen Beweisformat. Zum Vergleich löst DeepSeek-V3 bei einer natürlichsprachlichen Antwortaufgabe acht dieser 15 Aufgaben per Mehrheitsabstimmung. Diese Zahlen beruhen auf unterschiedlichen Aufgabenformaten und sind daher kein direkter Gleichstandstest.
Der Bericht dokumentiert auch Korrekturen und Grenzen der Auswertung. Bei PutnamBench wurden zunächst zwei fehlerhaft formulierte Aufgaben aus den gemeldeten 49 Lösungen ausgeschlossen; ausgewertet wurden außerdem nicht alle 658 Aufgaben, sondern nach Kompatibilitätsfiltern 649. Eine frühere Behauptung, das 7B-Modell habe 13 Aufgaben gelöst, die das größere Modell nicht schaffte, führen die Autoren auf einen Fehler der Lean-4.9.0-Benutzeroberfläche zurück: Die Taktik `apply?` gab in bestimmten Fällen `sorry` nicht aus. Die entsprechenden Beispiele werden als fehlerhafte Beweise beschrieben. Auch bei CombiBench wurden zwei fehlerhafte Aufgabenstellungen erkannt und ausgeschlossen. Der Text weist zudem auf Änderungen an MiniF2F und auf die Nutzung von Validierungsdaten im Curriculum hin. Die Resultate sind damit an Benchmarks, Softwareversion, Filter und Stichprobenbudgets gebunden; sie belegen keine allgemeine mathematische Kompetenz. Als nächste Richtung nennen die Autoren ein stärker skaliertes, AlphaProof-ähnliches System mit dem Ziel, IMO-Aufgaben anzugehen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht ist ein technischer Benchmark-Bericht zur formalen Beweisführung in Lean 4 und bezieht sich nur mittelbar auf Destillation, Herkunftsnachweis und Selbstverbesserung von KI. Die Einordnungen sind daher für die Sicherheitsfragen eher niedrig; die höheren Werte bei SF-H1 und SF-H3 betreffen vor allem die dokumentierte Trainingsherkunft. Lunas Zusammenfassungen (kurz und mittel) sind inhaltlich treu; die mittlere Fassung lässt ProverBench und die MiniF2F-Revisionen aus.
Im Bericht, aber nicht in der Zusammenfassung
- ProverBench mit 325 formalisierten Aufgaben als eigener Benchmark
- Revisionen einzelner MiniF2F-Aufgaben (Anhang D)
- Distillation des 671B-Modells in das 7B-Modell aus Rollout-Daten der RL-Phase
- Konsistenz-Belohnung im Training neben der binären Belohnung
- Kernwerte 82,4 % bei Pass@32 und 37,1 % auf ProofNet-test
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 31 %einzelne zitierbare Belege
- JEV
- amos 22 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 39 %gleiches Oberthema, hilft nicht
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 58 %umfangreiche Belege
- JEV
- amos 25 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 29 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 55 %umfangreiche Belege
- JEV
- amos 27 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung umfangreiche Belege
- SF-H3-T02 Welche gemeinsamen Prüfstandards und Verfahren zum Herkunftsnachweis erkennen versteckte Verhaltensauslöser und eine systemweite Verschlechterung der Ausrichtung an den vorgesehenen Zielen und Werten, wenn Training immer mehr auf synthetischen Daten anderer Spitzenmodelle beruht?
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv