Solving (some) formal math olympiad problems
Zusammenfassung
Kurz
Der Bericht beschreibt ein Lean-Beweissystem, das mithilfe eines Sprachmodells und eines abgestuften Trainingsverfahrens mathematische Olympiadeaufgaben formal beweisen soll. Die Autoren berichten 41,2 Prozent auf miniF2F und Beispiele gelöster Aufgaben, betonen aber, dass das System schwierige Wettbewerbsprobleme bislang nur gelegentlich und weit unter dem Niveau der besten Schülerinnen und Schüler löst.
Mittel
Der Bericht stellt ein neuronales Beweissystem für Lean vor, das laut seinen Autoren schwierige Aufgaben auf Schulolympiaden-Niveau lösen kann. Es habe unter anderem AMC12- und AIME-Aufgaben sowie zwei an IMO-Aufgaben angelehnte Probleme bewältigt. Auf dem Benchmark miniF2F berichten die Autoren 41,2 Prozent gegenüber zuvor 29,3 Prozent.
Ihr Ansatz, „statement curriculum learning“, nutzt mathematische Aussagen verschiedener Schwierigkeitsgrade, zunächst ohne Beweise. Das System sucht Beweise und trainiert anschließend mit den neu gefundenen Lösungen weiter. Nach acht Wiederholungen sei es deutlich leistungsfähiger gewesen. Ein Sprachmodell erzeugt dabei sowohl Lean-Taktiken als auch benötigte mathematische Ausdrücke, etwa Kandidaten oder Hilfsaussagen; Lean prüft die Beweise formal.
Der Bericht erläutert dies anhand von Beispielen aus Wettbewerben und Mathematik-Datensätzen. Als Herausforderungen nennt er den großen, teils unbeschränkten Suchraum und das Fehlen eines Selbstspiel-Gegenübers, das schrittweise schwierigere Aufgaben liefern könnte. Die Autoren betonen zugleich die Grenzen: Das System liege weit unter der Leistung der besten Wettbewerbsteilnehmenden und löse schwierige Olympiadeaufgaben nur gelegentlich statt zuverlässig.
Ausführlich lesen
Der Bericht beschreibt ein von Stanislas Polu, Jesse Michael Han und Ilya Sutskever vorgestelltes neuronales Beweissystem für Lean. Es soll formale Beweise für anspruchsvolle Mathematikaufgaben auf Schulolympiaden-Niveau finden. Die Autoren berichten, dass ihr System Aufgaben aus AMC12 und AIME sowie zwei an IMO-Aufgaben angelehnte Probleme lösen konnte. Als zentrale Messzahl nennen sie 41,2 Prozent auf dem miniF2F-Benchmark gegenüber zuvor 29,3 Prozent.
Das Verfahren heißt „statement curriculum learning“. Dafür sammelten die Autoren mathematische Aussagen unterschiedlicher Schwierigkeit, zunächst ohne Beweise. Das System suchte Beweise für diese Aussagen; neu gefundene Beweise dienten anschließend als zusätzliche Trainingsdaten. Nach acht solchen Trainings- und Suchrunden sei das System bei miniF2F deutlich leistungsfähiger gewesen. Die Autoren verstehen die Sammlung abgestufter Aussagen als Ersatz für ein selbst erzeugtes Lernprogramm: Anders als bei Spielen gibt es beim Beweisen keinen Gegner, gegen den sich ein System im Selbstspiel steigern könnte.
Lean prüft, ob ein erzeugter Beweis formal gültig ist. Ein Sprachmodell schlägt während der Suche sowohl Taktikaufrufe als auch mathematische Ausdrücke vor, die als Zeugen, Zwischenschritte oder Hilfsaussagen benötigt werden können. Anhand mehrerer Beispiele erläutert der Bericht diese Fähigkeiten: Das System schlägt etwa einen Kandidaten für eine gesuchte Zahl vor, führt einen Beweis durch Fallumformungen und Widerspruchsführung oder ergänzt bei Ungleichungen geeignete Hilfsaussagen und nutzt anschließend Lean-Taktiken zur Prüfung. Die Beispiele stammen unter anderem aus AMC12, AIME, einem Mathematik-Datensatz sowie aus Aufgaben, die an IMO und deren Longlist angelehnt sind.
Als besondere Schwierigkeiten formaler Mathematik nennen die Autoren den praktisch unbeschränkten Aktionsraum – weil Taktiken und ihre mathematischen Argumente erzeugt werden müssen – und das Fehlen eines direkten Selbstspielmechanismus. Ihr Ansatz verwendet dafür die Sprachmodellvorschläge und ein Hilfsrepertoire an Problemen verschiedener Schwierigkeitsgrade. Nach Darstellung des Berichts zeigen die Ergebnisse, dass lernende Modelle in Verbindung mit einem formalen System nichttriviale mathematische Schlussfolgerungen ausführen können.
Die Autoren begrenzen ihre Aussage ausdrücklich: Das System erreiche noch lange nicht das Niveau der besten Schülerinnen und Schüler bei Wettbewerben und löse schwierige Olympiadeaufgaben nur gelegentlich, nicht zuverlässig. Sie sehen die Arbeit als Anstoß für weitere Forschung, unter anderem im Umfeld der IMO Grand Challenge. Der Bericht präsentiert damit ermutigende Benchmark- und Beispielergebnisse, behauptet aber keine durchgängige Fähigkeit, schwierige Wettbewerbsaufgaben zu lösen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht ist ein OpenAI-Beitrag von 2022 zu formalen Beweisen in Lean und behandelt Selbstverbesserung nur im engen Sinn eines iterativen Trainings. Governance, Aufsicht und Verantwortlichkeiten kommen darin nicht vor, daher sind die Einordnungen zu den Teilfragen niedrig.
Im Bericht, aber nicht in der Zusammenfassung
- Die Aussagen für das Curriculum werden manuell gesammelt, und die schwersten davon ähneln dem Zielbenchmark miniF2F.
- Der Bericht zeigt Beispiele generierter Beweise in Lean, die Luna nicht konkret benennt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 51 %einzelne zitierbare Belege
- JEV 50 %einzelne zitierbare Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
Vertrauen in Modelle
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 57 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 46 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv