AI achieves silver-medal standard solving International Mathematical Olympiad problems
Zusammenfassung
Kurz
DeepMind zufolge lösten AlphaProof und AlphaGeometry 2 bei der IMO 2024 vier von sechs Aufgaben und erreichten mit 28 Punkten Silbermedaillenniveau; beide Kombinatorik-Aufgaben blieben ungelöst. Die Aufgaben wurden zuvor manuell formalisiert, und die Bearbeitung dauerte teils bis zu drei Tage. Ein weiterer Ansatz für mathematisches Schlussfolgern in natürlicher Sprache wird als vielversprechend beschrieben, aber nicht konkret ausgewertet.
Mittel
Google DeepMind berichtet, dass AlphaProof und AlphaGeometry 2 bei der IMO 2024 vier von sechs Aufgaben lösten und 28 von 42 Punkten erzielten. Das entspricht laut Beitrag dem oberen Silbermedaillenbereich; für Gold waren mindestens 29 Punkte nötig. Die beiden Kombinatorik-Aufgaben blieben ungelöst. Eine gelöste Aufgabe war die schwierigste des Wettbewerbs und wurde dort nur von fünf Teilnehmenden gelöst.
Vor der Bearbeitung übersetzten Menschen die Aufgaben in formale mathematische Aussagen. Eine Aufgabe löste das System in Minuten, für andere brauchte es bis zu drei Tage. AlphaProof sucht mithilfe bestärkenden Lernens nach formal überprüfbaren Beweisen in Lean. AlphaGeometry 2 kombiniert ein Sprachmodell mit symbolischer Suche und löste die formalisierte Geometrieaufgabe 4 laut Beitrag in 19 Sekunden. DeepMind gibt an, dass es 83 Prozent der Geometrieaufgaben früherer IMOs aus 25 Jahren lösen konnte.
Die Ergebnisse zeigen eine starke Leistung bei diesen Aufgaben, sind aber durch die manuelle Formalisierung und die verfügbare Rechenzeit einzuordnen. Ein zusätzlich getesteter Ansatz für natürlichsprachliches Schlussfolgern wird als vielversprechend bezeichnet, jedoch ohne konkrete Zahlen beschrieben.
Ausführlich lesen
Der Blogbeitrag von Google DeepMind beschreibt den Einsatz von AlphaProof und AlphaGeometry 2 bei den Aufgaben der Internationalen Mathematik-Olympiade (IMO) 2024. Das kombinierte System löste laut Beitrag vier der sechs Aufgaben und erreichte 28 von maximal 42 Punkten. Damit lag es im oberen Bereich der Silbermedaillen-Kategorie; die Goldgrenze begann 2024 bei 29 Punkten. Für jede gelöste Aufgabe erzielte das System die volle Punktzahl. Eine der gelösten Aufgaben galt als besonders schwierig: Bei der IMO lösten sie nur fünf Teilnehmende. Die beiden Kombinatorik-Aufgaben blieben ungelöst.
Die Aufgaben wurden zunächst von Menschen in eine formale mathematische Sprache übertragen. Danach bearbeiteten die Systeme sie: Eine Aufgabe löste das System innerhalb weniger Minuten, für die übrigen benötigte es laut Beitrag bis zu drei Tage. Die Bewertungen nach den offiziellen Punktregeln übernahmen zwei Mathematiker mit Erfahrung als IMO-Goldmedaillengewinner; der Beitrag nennt sie als Prüfer der Lösungen.
AlphaProof ist auf Beweise in Lean ausgelegt. Es verbindet ein vortrainiertes Sprachmodell mit bestärkendem Lernen nach dem AlphaZero-Verfahren. Das System erzeugt Lösungskandidaten und sucht in Lean nach Beweisen oder Gegenbeweisen. Formal verifizierte Beweise fließen laut Beitrag in weiteres Training ein. Zur Vorbereitung habe das Team über mehrere Wochen Millionen Aufgaben erzeugt, bewiesen oder widerlegt und das Training auch während des Wettbewerbs mit abgewandelten Aufgaben fortgesetzt. Ein Gemini-Modell half dabei, natürlichsprachliche Aufgabenstellungen in formale Aussagen zu übersetzen.
AlphaGeometry 2 ist ein neuro-symbolisches Geometriesystem. Laut DeepMind wurde sein Sprachmodell mit deutlich mehr synthetischen Daten trainiert als das Vorgängermodell; außerdem sei die symbolische Suchkomponente erheblich schneller. Vor dem Wettbewerb habe das System 83 Prozent der Geometrieaufgaben früherer IMOs aus 25 Jahren lösen können, gegenüber 53 Prozent beim Vorgänger. Die formalisierte IMO-Aufgabe 4 löste es dem Beitrag zufolge in 19 Sekunden.
Der Beitrag berichtet außerdem von einem getesteten Ansatz für natürlichsprachliches mathematisches Schlussfolgern, der keine vorherige Formalisierung der Aufgaben benötige. Die Ergebnisse seien vielversprechend gewesen, werden hier aber nicht mit konkreten Messwerten ausgeführt. Die Hauptleistung ist zudem unter der Einschränkung zu verstehen, dass die Aufgaben manuell formalisiert wurden und die Systeme für manche Lösungen bis zu drei Tage rechnen durften. Der Beitrag stellt die Systeme als Fortschritt im mathematischen Schlussfolgern dar, belegt aber keinen allgemeinen mathematischen Problemlöser. Methodische Details zu AlphaProof verweist DeepMind auf eine 2025 veröffentlichte Nature-Arbeit.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas kurze und mittlere Zusammenfassung sind inhaltlich korrekt. Die Formulierung „verfügbare Rechenzeit“ in der mittleren Fassung ist eine Deutung und steht so nicht im Bericht. Die Anteilsangaben in Lunas Einordnung wurden nicht übernommen, weil nur die Skala 0 bis 7 gilt. Der Bericht ist eine Mathematik-Fallstudie und deckt die Sammelfragen nur am Rande ab.
Im Bericht, aber nicht in der Zusammenfassung
- Bewertung der Lösungen durch Gowers und Myers nach den IMO-Punkteregeln
- Trainingsschleife mit Millionen formalisierter Probleme und Gemini als Übersetzer für Trainingsaufgaben
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %umfangreiche Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 37 %gleiches Oberthema, hilft nicht
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 52 %einzelne zitierbare Belege
- JEV 46 %einzelne zitierbare Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 61 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %gleiches Oberthema, hilft nicht
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 44 %einzelne zitierbare Belege
- JEV 33 %einzelne zitierbare Belege
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 41 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv