Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepseekohne Datum · Q006833

DeepSeek-Prover-V2: Advancing Formal Mathematical Reasoning via Reinforcement Learning for Subgoal Decomposition

arxiv.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

DeepSeek-Prover-V2 verbindet natürlichsprachliche Beweisskizzen von DeepSeek-V3 mit rekursiver Lösung formaler Lean-4-Teilziele und anschließendem Training mit überwachten Daten und bestärkendem Lernen. Die Autoren berichten starke Benchmarkwerte, weisen aber auch auf korrigierte Resultate, fehlerhafte Aufgaben und einen Lean-Benutzeroberflächenfehler hin; die Zahlen hängen von Testaufbau und Stichprobenbudget ab.

Mittel

Der Bericht beschreibt DeepSeek-Prover-V2, ein offenes Modell zur formalen Beweisführung in Lean 4. Sein Kern ist die Zerlegung schwieriger Theoreme in Teilziele: DeepSeek-V3 erstellt Beweisskizzen und Zwischenlemmata, ein kleineres 7B-Modell beweist diese rekursiv. Die geprüften Teilbeweise werden mit natürlichsprachlichen Überlegungen zu Trainingsdaten verbunden; Curriculum-Lernen und bestärkendes Lernen sollen die Leistung weiter steigern. Das 671B-Modell erreicht den Autoren zufolge auf MiniF2F-test 88,9 Prozent bei 8192 Stichproben, löst 47 ausgewertete PutnamBench-Aufgaben und sechs von 15 formalisierten AIME-Aufgaben. Bei PutnamBench korrigierten die Autoren frühere Ergebnisse: Ein Lean-4.9.0-Fehler ließ die Taktik `apply?` in Sonderfällen `sorry` verschleiern; zwei fehlerhafte Aufgaben wurden ausgeschlossen. Auch bei CombiBench wurden zwei falsch formulierte Aufgaben entfernt. Die Resultate hängen von Benchmark-Version, Software, Filtern und Rechenbudget ab. Der Vergleich der AIME-Zahlen mit DeepSeek-V3 ist wegen unterschiedlicher Antwortformate nicht direkt gleichzusetzen.

Ausführlich lesen

Der Bericht stellt DeepSeek-Prover-V2 vor, ein offenes Sprachmodell zur formalen Beweisführung mit Lean 4. Ziel ist, informelles mathematisches Denken besser mit den strengen Anforderungen eines Proof-Assistenten zu verbinden: Jeder Beweisschritt muss formal überprüfbar sein.

Das zentrale Verfahren zerlegt schwierige Theoreme in kleinere Teilziele. DeepSeek-V3 erzeugt dazu zunächst eine natürlichsprachliche Beweisskizze und passende Lean-Zwischenlemmata. Ein spezialisiertes Modell mit 7 Milliarden Parametern versucht, diese Teilaufgaben rekursiv zu beweisen. Zusammengesetzte, von Lean geprüfte Beweise werden mit den Überlegungen von DeepSeek-V3 zu synthetischen Trainingsdaten verbunden. Ein Curriculum steigert die Schwierigkeit der Aufgaben. Das Training hat zwei Modi: einen knappen Modus ohne explizite Gedankenschritte und einen ausführlicheren CoT-Modus. Für Letzteren nutzen die Autoren überwachte Feinabstimmung und anschließend bestärkendes Lernen mit GRPO; ein zusätzlicher Konsistenzanreiz soll frühe Beweise an die vorgegebene Lemmata-Struktur binden. Die 7B-Variante wird außerdem mit Daten des größeren Modells trainiert.

Die Autoren berichten, dass DeepSeek-Prover-V2-671B auf MiniF2F-test im CoT-Modus 82,4 Prozent mit 32 Stichproben und 88,9 Prozent mit 8192 Stichproben erreicht. Auf ProofNet-test werden mit 1024 Stichproben 37,1 Prozent angegeben. Bei PutnamBench meldet der Bericht 47 gelöste Aufgaben; bei CombiBench 10 von 77 ausgewerteten Aufgaben. Auf FormalMATH-Lite steigt das Ergebnis des 671B-Modells von 56,00 Prozent mit 32 auf 61,88 Prozent mit 3200 Stichproben. Im neu eingeführten ProverBench mit 325 formalisierten Aufgaben löst das Modell sechs von 15 ausgewählten AIME-Aufgaben im formalen Beweisformat. Zum Vergleich löst DeepSeek-V3 bei einer natürlichsprachlichen Antwortaufgabe acht dieser 15 Aufgaben per Mehrheitsabstimmung. Diese Zahlen beruhen auf unterschiedlichen Aufgabenformaten und sind daher kein direkter Gleichstandstest.

Der Bericht dokumentiert auch Korrekturen und Grenzen der Auswertung. Bei PutnamBench wurden zunächst zwei fehlerhaft formulierte Aufgaben aus den gemeldeten 49 Lösungen ausgeschlossen; ausgewertet wurden außerdem nicht alle 658 Aufgaben, sondern nach Kompatibilitätsfiltern 649. Eine frühere Behauptung, das 7B-Modell habe 13 Aufgaben gelöst, die das größere Modell nicht schaffte, führen die Autoren auf einen Fehler der Lean-4.9.0-Benutzeroberfläche zurück: Die Taktik `apply?` gab in bestimmten Fällen `sorry` nicht aus. Die entsprechenden Beispiele werden als fehlerhafte Beweise beschrieben. Auch bei CombiBench wurden zwei fehlerhafte Aufgabenstellungen erkannt und ausgeschlossen. Der Text weist zudem auf Änderungen an MiniF2F und auf die Nutzung von Validierungsdaten im Curriculum hin. Die Resultate sind damit an Benchmarks, Softwareversion, Filter und Stichprobenbudgets gebunden; sie belegen keine allgemeine mathematische Kompetenz. Als nächste Richtung nennen die Autoren ein stärker skaliertes, AlphaProof-ähnliches System mit dem Ziel, IMO-Aufgaben anzugehen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Der Bericht ist ein technischer Benchmark-Bericht zur formalen Beweisführung in Lean 4 und bezieht sich nur mittelbar auf Destillation, Herkunftsnachweis und Selbstverbesserung von KI. Die Einordnungen sind daher für die Sicherheitsfragen eher niedrig; die höheren Werte bei SF-H1 und SF-H3 betreffen vor allem die dokumentierte Trainingsherkunft. Lunas Zusammenfassungen (kurz und mittel) sind inhaltlich treu; die mittlere Fassung lässt ProverBench und die MiniF2F-Revisionen aus.

Im Bericht, aber nicht in der Zusammenfassung

  • ProverBench mit 325 formalisierten Aufgaben als eigener Benchmark
  • Revisionen einzelner MiniF2F-Aufgaben (Anhang D)
  • Distillation des 671B-Modells in das 7B-Modell aus Rollout-Daten der RL-Phase
  • Konsistenz-Belohnung im Training neben der binären Belohnung
  • Kernwerte 82,4 % bei Pass@32 und 37,1 % auf ProofNet-test

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 31 %einzelne zitierbare Belege
    • JEV offen
    • amos 22 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege
Vertrauen in Modelle
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 58 %umfangreiche Belege
    • JEV offen
    • amos 25 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 55 %umfangreiche Belege
    • JEV offen
    • amos 27 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung umfangreiche Belege

Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →