Is AI already superhuman on FrontierMath?
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Bericht ist ein Auszug; Abschnitt 2 fehlt. Im beschriebenen FrontierMath-Wettbewerb erzielte o4-mini-medium 22 Prozent, gegenüber 19 Prozent im Teamdurchschnitt und 35 Prozent bei gemeinsamer Wertung aller Teams. Anson Ho hält den Vergleich wegen der kleinen, nicht repräsentativen Stichprobe, fehlender Fachkenntnisse und unsicherer Hochrechnung für mehrdeutig; seine Schätzung der menschlichen Leistung im Gesamtbenchmark liegt bei etwa 30 bis 50 Prozent.
Mittel
Der bereitgestellte Bericht ist ein Auszug: Abschnitt 2 fehlt zwischen den nummerierten Abschnitten 1 und 3. Anson Ho von Epoch AI vergleicht darin menschliche Leistungen mit dem KI-Modell o4-mini-medium auf FrontierMath. Bei einem MIT-Wettbewerb bearbeiteten acht Teams aus rund 40 leistungsstarken Studierenden und Fachexperten 23 Aufgaben in viereinhalb Stunden. Die KI erreichte 22 Prozent, gegenüber durchschnittlich 19 Prozent pro Team. Zählt man jede Aufgabe, die mindestens ein Team löste, steigt der menschliche Wert auf 35 Prozent.
Ho hält diesen Vergleich für uneindeutig: Die Stichprobe war klein und nicht repräsentativ, und den Teams fehlten Fachleute für manche Gebiete. Der Teamdurchschnitt könnte Menschen unterschätzen, während das Zusammenzählen aller Teams ihnen mehrere Lösungsversuche einräumt. Für den Wettbewerb veranschlagt er die menschliche Leistung daher auf etwa 20 bis 30 Prozent. Wegen einer anderen Schwierigkeitsverteilung im Gesamtbenchmark ergibt eine Hochrechnung etwa 30 bis 52 Prozent, doch Ho hält diese Methode für unsicher. Seine vorsichtige Einschätzung für den Benchmark liegt bei 30 bis 50 Prozent. Er meint, KI werde diese Schwelle wahrscheinlich bald überschreiten, räumt aber ein, dass Menschen mit mehr Zeit besser abschneiden könnten und FrontierMath keine direkte Abbildung echter Forschungsarbeit ist.
Ausführlich lesen
Der bereitgestellte Bericht ist ein Auszug: In der Nummerierung folgt auf Abschnitt 1 direkt Abschnitt 3, Abschnitt 2 fehlt. Anson Ho von Epoch AI erörtert darin, wie die Leistungen von Menschen und KI auf dem Mathematik-Benchmark FrontierMath einzuordnen sind. Der Beitrag gibt ausdrücklich die persönliche Einschätzung des Autors wieder, nicht notwendigerweise die Position von Epoch AI insgesamt.
Für einen menschlichen Vergleich veranstaltete Epoch AI am MIT einen Wettbewerb mit rund 40 leistungsstarken Mathematikstudierenden und Fachexperten. Acht Teams bearbeiteten 23 Aufgaben in viereinhalb Stunden. Sie durften das Internet und selbst geschriebenen Code nutzen, aber keine generativen KI-Werkzeuge. Die Aufgaben waren nur eine kleine, nicht repräsentative Auswahl aus FrontierMath. Laut Bericht löste das KI-Modell o4-mini-medium 22 Prozent der Wettbewerbsaufgaben. Damit lag es über dem Teamdurchschnitt von 19 Prozent, aber unter dem kombinierten Ergebnis: Insgesamt hatte mindestens ein Team 35 Prozent der Aufgaben gelöst. Das Modell löste dabei nur Aufgaben, die auch mindestens einem menschlichen Team gelungen waren.
Ho betont, dass der menschliche Vergleich mehrdeutig ist. Die Teams hatten nicht für alle fortgeschrittenen Gebiete passende Fachleute; außerdem stammten die Teilnehmenden überwiegend aus dem lokalen Mathematikumfeld in Boston, in dem Fachwissen zur Analysis laut Autor begrenzt vertreten war. Den Durchschnitt der Teams hält er deshalb für eine mögliche Unterschätzung. Das Zusammenzählen aller Aufgaben, die irgendein Team löste, kann seiner Ansicht nach umgekehrt zu optimistisch sein: Es gibt den Menschen mehrere Lösungsversuche pro Aufgabe, während das Modell einzeln bewertet wurde. Für den Wettbewerb schätzt er die menschliche Leistung daher auf etwa 20 bis 30 Prozent.
Auch die Aufgabenauswahl unterscheidet sich vom vollständigen Benchmark. Im Wettbewerb entfielen 17 Prozent der Aufgaben auf Stufe 1, 13 Prozent auf Stufe 2 und 70 Prozent auf Stufe 3; im gesamten Benchmark sind es laut Tabelle 20, 40 und 40 Prozent. Eine Hochrechnung mit dieser Verteilung ergibt für die Menschen je nach Berechnung etwa 30 beziehungsweise 52 Prozent. Ho hält die Methode jedoch für unsicher: Dieselbe Gewichtung würde o4-mini-medium rund 37 Prozent zuschreiben, gegenüber 19 Prozent in den vollständigen Benchmark-Auswertungen. Möglicherweise waren die Aufgaben der Stufen 1 und 2 im Wettbewerb leichter als typische Aufgaben derselben Stufen im Gesamtdatensatz; nachträglich lasse sich das schwer korrigieren.
Der Autor fasst die menschliche Vergleichsleistung für den Gesamtbenchmark vorsichtig mit einer Spanne von etwa 30 bis 50 Prozent. Daraus folgert er, dass KI noch nicht eindeutig übermenschlich auf FrontierMath sei, diese Schwelle aber seiner Einschätzung nach bald überschreiten könnte. Als Einschränkung nennt er, dass Menschen bei mehr Zeit besser abschneiden könnten: Die KI benötigte laut Beitrag etwa 5 bis 20 Minuten je Aufgabe, während befragte Teilnehmende im Mittel rund 40 Minuten an ihrer Lieblingsaufgabe arbeiteten. Zudem seien FrontierMath-Aufgaben keine direkte Abbildung tatsächlicher mathematischer Forschung. Der Beitrag untersucht nicht, wie die Modelle zu ihren Lösungen gelangen; dazu kündigt Ho weitere Arbeit an.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 27 %einzelne zitierbare Belege
- amos 29 %Hintergrund, keine Belege
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 38 %einzelne zitierbare Belege
- JEV 38 %umfangreiche Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 42 %einzelne zitierbare Belege
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 31 %gleiches Oberthema, hilft nicht
- JEV 30 %Hintergrund, keine Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv