Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch23. Mai 2025 · Q006720

Is AI already superhuman on FrontierMath?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist ein Auszug; Abschnitt 2 fehlt. Im beschriebenen FrontierMath-Wettbewerb erzielte o4-mini-medium 22 Prozent, gegenüber 19 Prozent im Teamdurchschnitt und 35 Prozent bei gemeinsamer Wertung aller Teams. Anson Ho hält den Vergleich wegen der kleinen, nicht repräsentativen Stichprobe, fehlender Fachkenntnisse und unsicherer Hochrechnung für mehrdeutig; seine Schätzung der menschlichen Leistung im Gesamtbenchmark liegt bei etwa 30 bis 50 Prozent.

Mittel

Der bereitgestellte Bericht ist ein Auszug: Abschnitt 2 fehlt zwischen den nummerierten Abschnitten 1 und 3. Anson Ho von Epoch AI vergleicht darin menschliche Leistungen mit dem KI-Modell o4-mini-medium auf FrontierMath. Bei einem MIT-Wettbewerb bearbeiteten acht Teams aus rund 40 leistungsstarken Studierenden und Fachexperten 23 Aufgaben in viereinhalb Stunden. Die KI erreichte 22 Prozent, gegenüber durchschnittlich 19 Prozent pro Team. Zählt man jede Aufgabe, die mindestens ein Team löste, steigt der menschliche Wert auf 35 Prozent.

Ho hält diesen Vergleich für uneindeutig: Die Stichprobe war klein und nicht repräsentativ, und den Teams fehlten Fachleute für manche Gebiete. Der Teamdurchschnitt könnte Menschen unterschätzen, während das Zusammenzählen aller Teams ihnen mehrere Lösungsversuche einräumt. Für den Wettbewerb veranschlagt er die menschliche Leistung daher auf etwa 20 bis 30 Prozent. Wegen einer anderen Schwierigkeitsverteilung im Gesamtbenchmark ergibt eine Hochrechnung etwa 30 bis 52 Prozent, doch Ho hält diese Methode für unsicher. Seine vorsichtige Einschätzung für den Benchmark liegt bei 30 bis 50 Prozent. Er meint, KI werde diese Schwelle wahrscheinlich bald überschreiten, räumt aber ein, dass Menschen mit mehr Zeit besser abschneiden könnten und FrontierMath keine direkte Abbildung echter Forschungsarbeit ist.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug: In der Nummerierung folgt auf Abschnitt 1 direkt Abschnitt 3, Abschnitt 2 fehlt. Anson Ho von Epoch AI erörtert darin, wie die Leistungen von Menschen und KI auf dem Mathematik-Benchmark FrontierMath einzuordnen sind. Der Beitrag gibt ausdrücklich die persönliche Einschätzung des Autors wieder, nicht notwendigerweise die Position von Epoch AI insgesamt.

Für einen menschlichen Vergleich veranstaltete Epoch AI am MIT einen Wettbewerb mit rund 40 leistungsstarken Mathematikstudierenden und Fachexperten. Acht Teams bearbeiteten 23 Aufgaben in viereinhalb Stunden. Sie durften das Internet und selbst geschriebenen Code nutzen, aber keine generativen KI-Werkzeuge. Die Aufgaben waren nur eine kleine, nicht repräsentative Auswahl aus FrontierMath. Laut Bericht löste das KI-Modell o4-mini-medium 22 Prozent der Wettbewerbsaufgaben. Damit lag es über dem Teamdurchschnitt von 19 Prozent, aber unter dem kombinierten Ergebnis: Insgesamt hatte mindestens ein Team 35 Prozent der Aufgaben gelöst. Das Modell löste dabei nur Aufgaben, die auch mindestens einem menschlichen Team gelungen waren.

Ho betont, dass der menschliche Vergleich mehrdeutig ist. Die Teams hatten nicht für alle fortgeschrittenen Gebiete passende Fachleute; außerdem stammten die Teilnehmenden überwiegend aus dem lokalen Mathematikumfeld in Boston, in dem Fachwissen zur Analysis laut Autor begrenzt vertreten war. Den Durchschnitt der Teams hält er deshalb für eine mögliche Unterschätzung. Das Zusammenzählen aller Aufgaben, die irgendein Team löste, kann seiner Ansicht nach umgekehrt zu optimistisch sein: Es gibt den Menschen mehrere Lösungsversuche pro Aufgabe, während das Modell einzeln bewertet wurde. Für den Wettbewerb schätzt er die menschliche Leistung daher auf etwa 20 bis 30 Prozent.

Auch die Aufgabenauswahl unterscheidet sich vom vollständigen Benchmark. Im Wettbewerb entfielen 17 Prozent der Aufgaben auf Stufe 1, 13 Prozent auf Stufe 2 und 70 Prozent auf Stufe 3; im gesamten Benchmark sind es laut Tabelle 20, 40 und 40 Prozent. Eine Hochrechnung mit dieser Verteilung ergibt für die Menschen je nach Berechnung etwa 30 beziehungsweise 52 Prozent. Ho hält die Methode jedoch für unsicher: Dieselbe Gewichtung würde o4-mini-medium rund 37 Prozent zuschreiben, gegenüber 19 Prozent in den vollständigen Benchmark-Auswertungen. Möglicherweise waren die Aufgaben der Stufen 1 und 2 im Wettbewerb leichter als typische Aufgaben derselben Stufen im Gesamtdatensatz; nachträglich lasse sich das schwer korrigieren.

Der Autor fasst die menschliche Vergleichsleistung für den Gesamtbenchmark vorsichtig mit einer Spanne von etwa 30 bis 50 Prozent. Daraus folgert er, dass KI noch nicht eindeutig übermenschlich auf FrontierMath sei, diese Schwelle aber seiner Einschätzung nach bald überschreiten könnte. Als Einschränkung nennt er, dass Menschen bei mehr Zeit besser abschneiden könnten: Die KI benötigte laut Beitrag etwa 5 bis 20 Minuten je Aufgabe, während befragte Teilnehmende im Mittel rund 40 Minuten an ihrer Lieblingsaufgabe arbeiteten. Zudem seien FrontierMath-Aufgaben keine direkte Abbildung tatsächlicher mathematischer Forschung. Der Beitrag untersucht nicht, wie die Modelle zu ihren Lösungen gelangen; dazu kündigt Ho weitere Arbeit an.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 38 %einzelne zitierbare Belege
    • JEV 38 %umfangreiche Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 31 %gleiches Oberthema, hilft nicht
    • JEV 30 %Hintergrund, keine Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →