Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai2. Februar 2022 · Q008549

Solving (some) formal math olympiad problems

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt ein Lean-Beweissystem, das mithilfe eines Sprachmodells und eines abgestuften Trainingsverfahrens mathematische Olympiadeaufgaben formal beweisen soll. Die Autoren berichten 41,2 Prozent auf miniF2F und Beispiele gelöster Aufgaben, betonen aber, dass das System schwierige Wettbewerbsprobleme bislang nur gelegentlich und weit unter dem Niveau der besten Schülerinnen und Schüler löst.

Mittel

Der Bericht stellt ein neuronales Beweissystem für Lean vor, das laut seinen Autoren schwierige Aufgaben auf Schulolympiaden-Niveau lösen kann. Es habe unter anderem AMC12- und AIME-Aufgaben sowie zwei an IMO-Aufgaben angelehnte Probleme bewältigt. Auf dem Benchmark miniF2F berichten die Autoren 41,2 Prozent gegenüber zuvor 29,3 Prozent.

Ihr Ansatz, „statement curriculum learning“, nutzt mathematische Aussagen verschiedener Schwierigkeitsgrade, zunächst ohne Beweise. Das System sucht Beweise und trainiert anschließend mit den neu gefundenen Lösungen weiter. Nach acht Wiederholungen sei es deutlich leistungsfähiger gewesen. Ein Sprachmodell erzeugt dabei sowohl Lean-Taktiken als auch benötigte mathematische Ausdrücke, etwa Kandidaten oder Hilfsaussagen; Lean prüft die Beweise formal.

Der Bericht erläutert dies anhand von Beispielen aus Wettbewerben und Mathematik-Datensätzen. Als Herausforderungen nennt er den großen, teils unbeschränkten Suchraum und das Fehlen eines Selbstspiel-Gegenübers, das schrittweise schwierigere Aufgaben liefern könnte. Die Autoren betonen zugleich die Grenzen: Das System liege weit unter der Leistung der besten Wettbewerbsteilnehmenden und löse schwierige Olympiadeaufgaben nur gelegentlich statt zuverlässig.

Ausführlich lesen

Der Bericht beschreibt ein von Stanislas Polu, Jesse Michael Han und Ilya Sutskever vorgestelltes neuronales Beweissystem für Lean. Es soll formale Beweise für anspruchsvolle Mathematikaufgaben auf Schulolympiaden-Niveau finden. Die Autoren berichten, dass ihr System Aufgaben aus AMC12 und AIME sowie zwei an IMO-Aufgaben angelehnte Probleme lösen konnte. Als zentrale Messzahl nennen sie 41,2 Prozent auf dem miniF2F-Benchmark gegenüber zuvor 29,3 Prozent.

Das Verfahren heißt „statement curriculum learning“. Dafür sammelten die Autoren mathematische Aussagen unterschiedlicher Schwierigkeit, zunächst ohne Beweise. Das System suchte Beweise für diese Aussagen; neu gefundene Beweise dienten anschließend als zusätzliche Trainingsdaten. Nach acht solchen Trainings- und Suchrunden sei das System bei miniF2F deutlich leistungsfähiger gewesen. Die Autoren verstehen die Sammlung abgestufter Aussagen als Ersatz für ein selbst erzeugtes Lernprogramm: Anders als bei Spielen gibt es beim Beweisen keinen Gegner, gegen den sich ein System im Selbstspiel steigern könnte.

Lean prüft, ob ein erzeugter Beweis formal gültig ist. Ein Sprachmodell schlägt während der Suche sowohl Taktikaufrufe als auch mathematische Ausdrücke vor, die als Zeugen, Zwischenschritte oder Hilfsaussagen benötigt werden können. Anhand mehrerer Beispiele erläutert der Bericht diese Fähigkeiten: Das System schlägt etwa einen Kandidaten für eine gesuchte Zahl vor, führt einen Beweis durch Fallumformungen und Widerspruchsführung oder ergänzt bei Ungleichungen geeignete Hilfsaussagen und nutzt anschließend Lean-Taktiken zur Prüfung. Die Beispiele stammen unter anderem aus AMC12, AIME, einem Mathematik-Datensatz sowie aus Aufgaben, die an IMO und deren Longlist angelehnt sind.

Als besondere Schwierigkeiten formaler Mathematik nennen die Autoren den praktisch unbeschränkten Aktionsraum – weil Taktiken und ihre mathematischen Argumente erzeugt werden müssen – und das Fehlen eines direkten Selbstspielmechanismus. Ihr Ansatz verwendet dafür die Sprachmodellvorschläge und ein Hilfsrepertoire an Problemen verschiedener Schwierigkeitsgrade. Nach Darstellung des Berichts zeigen die Ergebnisse, dass lernende Modelle in Verbindung mit einem formalen System nichttriviale mathematische Schlussfolgerungen ausführen können.

Die Autoren begrenzen ihre Aussage ausdrücklich: Das System erreiche noch lange nicht das Niveau der besten Schülerinnen und Schüler bei Wettbewerben und löse schwierige Olympiadeaufgaben nur gelegentlich, nicht zuverlässig. Sie sehen die Arbeit als Anstoß für weitere Forschung, unter anderem im Umfeld der IMO Grand Challenge. Der Bericht präsentiert damit ermutigende Benchmark- und Beispielergebnisse, behauptet aber keine durchgängige Fähigkeit, schwierige Wettbewerbsaufgaben zu lösen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Der Bericht ist ein OpenAI-Beitrag von 2022 zu formalen Beweisen in Lean und behandelt Selbstverbesserung nur im engen Sinn eines iterativen Trainings. Governance, Aufsicht und Verantwortlichkeiten kommen darin nicht vor, daher sind die Einordnungen zu den Teilfragen niedrig.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Aussagen für das Curriculum werden manuell gesammelt, und die schwersten davon ähneln dem Zielbenchmark miniF2F.
  • Der Bericht zeigt Beispiele generierter Beweise in Lean, die Luna nicht konkret benennt.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 51 %einzelne zitierbare Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 57 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege
Offenlegung und Rechenschaft

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →