RIP classic reasoning benchmarks. What's next?
Zusammenfassung
Kurz
Greg Burnham meint, klassische Reasoning-Benchmarks seien zunehmend ausgereizt, aber weiterhin nützlich, um Schwächen von KI zu untersuchen. Künftige Tests sollten etwa multimodale, langwierige, schwer automatisch bewertbare oder für Menschen ungelöste Aufgaben einbeziehen; dies sind Vorschläge des Autors, keine systematische Auswertung.
Mittel
Greg Burnham argumentiert, klassische Reasoning-Benchmarks wie GPQA seien zunehmend gesättigt: Sie bestehen meist aus textbasierten, kurzzeitigen und leicht auswertbaren Aufgaben, bei denen menschliche Fachleute besser abschneiden. Reasoning-Tests blieben dennoch wichtig, weil sie mögliche Ursachen für das Scheitern von KI bei realen Aufgaben sichtbar machen können. Für neue Benchmarks empfiehlt er, mindestens eine klassische Eigenschaft aufzugeben.
Mögliche Richtungen seien multimodale Aufgaben, längere Projekte oder Spielserien, schwer automatisch bewertbare Arbeiten sowie Probleme jenseits menschlicher Fachkompetenz. Als Beispiele nennt er einen Test mit IKEA-Bauteilen, langwierige Softwareentwicklung, reale Bewertungen durch Fachleute wie bei der Mathematik-Olympiade 2025 und programmatisch prüfbare offene Mathematikprobleme. Auch Optimierungsaufgaben könnten aussagekräftig bleiben, selbst wenn KI menschliche Vergleichswerte übertrifft.
Alltags-Fangfragen hält Burnham für nützlich, um überzogene Behauptungen zur Unfehlbarkeit zu relativieren, aber für begrenzt praxisrelevant. Seine Vorschläge sind persönliche Einschätzungen; der Beitrag illustriert sie mit Beispielen, statt sie als systematische Vergleichsstudie zu belegen.
Ausführlich lesen
Der Beitrag von Greg Burnham, Leiter des Benchmark-Teams bei Epoch AI, vertritt die Einschätzung, dass klassische Reasoning-Benchmarks an Aussagekraft verlieren, sobald leistungsfähige KI-Systeme sie weitgehend lösen. Das bisher verbreitete Format – reine Textaufgaben, leicht überprüfbare Antworten, kurze Bearbeitungszeit und eine klare Überlegenheit von Fachleuten gegenüber KI – sei etwa bei GPQA, einem Benchmark mit Fragen auf wissenschaftlichem Graduiertenniveau, inzwischen ausgereizt. Burnham hält Reasoning-Benchmarks dennoch für wichtig: Sie können helfen zu verstehen, warum KI bei umfassenderen Aufgaben scheitert. Seine Empfehlung lautet, bei neuen Benchmarks mindestens eine der vier klassischen Eigenschaften aufzugeben. Das könne mehr Aufwand und Kosten bedeuten, eröffne aber neue Möglichkeiten.
Als ersten Ansatz nennt Burnham multimodale Aufgaben. Bei einem internen Versuch sollten KI-Systeme anhand von IKEA-Bauteilen und einer Montageanleitung bestimmen, in welchem Schritt jedes Teil erstmals gebraucht wird. Die besten Modelle erreichten laut Beitrag etwa 40 Prozent. Der Autor merkt an, dass es dafür keinen belastbaren Vergleichswert mit Menschen gebe; erste Versuche deuteten aber darauf hin, dass Menschen die Aufgabe in deutlich unter einer halben Stunde bewältigen. Solche Aufgaben seien relativ leicht auszuwerten und könnten Fähigkeiten prüfen, die für praktischere Tätigkeiten relevant sind.
Ein zweiter Ansatz sind längere Aufgaben und längere Zeiträume. Frühere Langkontext-Benchmarks prüften, ob Modelle große Datenmengen und viele Zusammenhänge zugleich verarbeiten können. Für einen Benchmark, zu dem Anthropic Ergebnisse veröffentlicht habe, sei Claude Mythos jedoch auf 80 Prozent gekommen, nachdem frühere Werte unter 40 Prozent gelegen hätten. Burnham vermutet deshalb, dass diese spezielle Aufgabenform an Nutzen verliert. Weiteres Potenzial sieht er bei aufeinanderfolgenden Spielen, in denen ein System über mehrere Partien hinweg dazulernen muss, sowie bei langwierigen Softwareprojekten. Ob KI etwa einen leistungsfähigen C-Compiler entwickeln kann, sei eine offene, überprüfbare Frage.
Drittens plädiert Burnham für Aufgaben, deren Ergebnisse schwer automatisch zu bewerten sind. Dazu zählt er etwa das Nachbilden komplexer interaktiver Webseiten oder das Analysieren von Daten und Verfassen eines veröffentlichungswürdigen Artikels. Die Zusammenarbeit von CRUX an Bewertungen in realen Umgebungen sei aus seiner Sicht ein hilfreicher Schritt. Als Vorbild nennt er die Mathematik-Olympiade 2025, bei der dieselben menschlichen Jurys und Kriterien zur Bewertung von KI-Lösungen verwendet wurden. Allgemein könnten etablierte Bewertungsverfahren aus Wissenschaft, Recht, Journalismus und Unterhaltung systematisch für KI-Benchmarks genutzt werden.
Viertens sollten Benchmarks Aufgaben einschließen, die selbst menschliche Fachleute noch nicht gelöst haben. Burnham verweist auf offene Mathematikprobleme, deren Lösungen sich programmatisch prüfen lassen, und auf Optimierungsbenchmarks, etwa für das Nachtrainieren von Modellen oder die Beschleunigung numerischer Programme. Eine menschliche Ausgangsleistung müsse dabei keine Obergrenze bilden.
Bei einfachen Alltags- und Fangfragen sieht Burnham zwar weiterhin Fehler von KI, aber auch Fortschritte in Richtung menschlichen Durchschnitts. Solche Tests könnten übertriebene Behauptungen über die Unfehlbarkeit von KI relativieren; ihre praktische Bedeutung hält er für begrenzt, weil Systeme Fehler bei größeren Aufgaben womöglich selbst korrigieren. Insgesamt ist dies ausdrücklich die persönliche Einschätzung des Autors und nicht notwendigerweise die Position von Epoch AI. Der Beitrag liefert Vorschläge und Beispiele, aber keine systematische Auswertung aller Benchmark-Kategorien.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Bewertung orientiert sich allein am Bericht; Lunas Stufen und Anteilswerte wurden nicht übernommen. Die beiden Zusammenfassungen von Luna sind inhaltlich zutreffend, lassen aber mehrere belegte Einzelbefunde aus.
Im Bericht, aber nicht in der Zusammenfassung
- Der Sprung von Claude Mythos auf 80 % bei einem Langkontext-Benchmark (GraphWalks), nach zuvor unter 40 %
- Die Beobachtung, dass multimodales und räumliches Schlussfolgern hinter reinem Text zurückliegt, belegt mit dem IKEA-Test (Top-Modelle etwa 40 %)
- Die Initiative CRUX für Bewertungen in realen Umgebungen ohne eindeutige Lösung
- FrontierMath: Open Problems als Benchmark mit bislang ungelösten, programmatisch prüfbaren Mathematikproblemen
- SimpleBench, dessen Ergebnisse sich der menschlichen Baseline annähern
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 25 %Hintergrund, keine Belege
- Luna 38 %Hintergrund, keine Belege
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 34 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 39 %einzelne zitierbare Belege
- JEV 32 %Hintergrund, keine Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 35 %gleiches Oberthema, hilft nicht
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 61 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 27 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %einzelne zitierbare Belege
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 64 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv