Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch5. Mai 2026 · Q006794

RIP classic reasoning benchmarks. What's next?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Greg Burnham meint, klassische Reasoning-Benchmarks seien zunehmend ausgereizt, aber weiterhin nützlich, um Schwächen von KI zu untersuchen. Künftige Tests sollten etwa multimodale, langwierige, schwer automatisch bewertbare oder für Menschen ungelöste Aufgaben einbeziehen; dies sind Vorschläge des Autors, keine systematische Auswertung.

Mittel

Greg Burnham argumentiert, klassische Reasoning-Benchmarks wie GPQA seien zunehmend gesättigt: Sie bestehen meist aus textbasierten, kurzzeitigen und leicht auswertbaren Aufgaben, bei denen menschliche Fachleute besser abschneiden. Reasoning-Tests blieben dennoch wichtig, weil sie mögliche Ursachen für das Scheitern von KI bei realen Aufgaben sichtbar machen können. Für neue Benchmarks empfiehlt er, mindestens eine klassische Eigenschaft aufzugeben.

Mögliche Richtungen seien multimodale Aufgaben, längere Projekte oder Spielserien, schwer automatisch bewertbare Arbeiten sowie Probleme jenseits menschlicher Fachkompetenz. Als Beispiele nennt er einen Test mit IKEA-Bauteilen, langwierige Softwareentwicklung, reale Bewertungen durch Fachleute wie bei der Mathematik-Olympiade 2025 und programmatisch prüfbare offene Mathematikprobleme. Auch Optimierungsaufgaben könnten aussagekräftig bleiben, selbst wenn KI menschliche Vergleichswerte übertrifft.

Alltags-Fangfragen hält Burnham für nützlich, um überzogene Behauptungen zur Unfehlbarkeit zu relativieren, aber für begrenzt praxisrelevant. Seine Vorschläge sind persönliche Einschätzungen; der Beitrag illustriert sie mit Beispielen, statt sie als systematische Vergleichsstudie zu belegen.

Ausführlich lesen

Der Beitrag von Greg Burnham, Leiter des Benchmark-Teams bei Epoch AI, vertritt die Einschätzung, dass klassische Reasoning-Benchmarks an Aussagekraft verlieren, sobald leistungsfähige KI-Systeme sie weitgehend lösen. Das bisher verbreitete Format – reine Textaufgaben, leicht überprüfbare Antworten, kurze Bearbeitungszeit und eine klare Überlegenheit von Fachleuten gegenüber KI – sei etwa bei GPQA, einem Benchmark mit Fragen auf wissenschaftlichem Graduiertenniveau, inzwischen ausgereizt. Burnham hält Reasoning-Benchmarks dennoch für wichtig: Sie können helfen zu verstehen, warum KI bei umfassenderen Aufgaben scheitert. Seine Empfehlung lautet, bei neuen Benchmarks mindestens eine der vier klassischen Eigenschaften aufzugeben. Das könne mehr Aufwand und Kosten bedeuten, eröffne aber neue Möglichkeiten.

Als ersten Ansatz nennt Burnham multimodale Aufgaben. Bei einem internen Versuch sollten KI-Systeme anhand von IKEA-Bauteilen und einer Montageanleitung bestimmen, in welchem Schritt jedes Teil erstmals gebraucht wird. Die besten Modelle erreichten laut Beitrag etwa 40 Prozent. Der Autor merkt an, dass es dafür keinen belastbaren Vergleichswert mit Menschen gebe; erste Versuche deuteten aber darauf hin, dass Menschen die Aufgabe in deutlich unter einer halben Stunde bewältigen. Solche Aufgaben seien relativ leicht auszuwerten und könnten Fähigkeiten prüfen, die für praktischere Tätigkeiten relevant sind.

Ein zweiter Ansatz sind längere Aufgaben und längere Zeiträume. Frühere Langkontext-Benchmarks prüften, ob Modelle große Datenmengen und viele Zusammenhänge zugleich verarbeiten können. Für einen Benchmark, zu dem Anthropic Ergebnisse veröffentlicht habe, sei Claude Mythos jedoch auf 80 Prozent gekommen, nachdem frühere Werte unter 40 Prozent gelegen hätten. Burnham vermutet deshalb, dass diese spezielle Aufgabenform an Nutzen verliert. Weiteres Potenzial sieht er bei aufeinanderfolgenden Spielen, in denen ein System über mehrere Partien hinweg dazulernen muss, sowie bei langwierigen Softwareprojekten. Ob KI etwa einen leistungsfähigen C-Compiler entwickeln kann, sei eine offene, überprüfbare Frage.

Drittens plädiert Burnham für Aufgaben, deren Ergebnisse schwer automatisch zu bewerten sind. Dazu zählt er etwa das Nachbilden komplexer interaktiver Webseiten oder das Analysieren von Daten und Verfassen eines veröffentlichungswürdigen Artikels. Die Zusammenarbeit von CRUX an Bewertungen in realen Umgebungen sei aus seiner Sicht ein hilfreicher Schritt. Als Vorbild nennt er die Mathematik-Olympiade 2025, bei der dieselben menschlichen Jurys und Kriterien zur Bewertung von KI-Lösungen verwendet wurden. Allgemein könnten etablierte Bewertungsverfahren aus Wissenschaft, Recht, Journalismus und Unterhaltung systematisch für KI-Benchmarks genutzt werden.

Viertens sollten Benchmarks Aufgaben einschließen, die selbst menschliche Fachleute noch nicht gelöst haben. Burnham verweist auf offene Mathematikprobleme, deren Lösungen sich programmatisch prüfen lassen, und auf Optimierungsbenchmarks, etwa für das Nachtrainieren von Modellen oder die Beschleunigung numerischer Programme. Eine menschliche Ausgangsleistung müsse dabei keine Obergrenze bilden.

Bei einfachen Alltags- und Fangfragen sieht Burnham zwar weiterhin Fehler von KI, aber auch Fortschritte in Richtung menschlichen Durchschnitts. Solche Tests könnten übertriebene Behauptungen über die Unfehlbarkeit von KI relativieren; ihre praktische Bedeutung hält er für begrenzt, weil Systeme Fehler bei größeren Aufgaben womöglich selbst korrigieren. Insgesamt ist dies ausdrücklich die persönliche Einschätzung des Autors und nicht notwendigerweise die Position von Epoch AI. Der Beitrag liefert Vorschläge und Beispiele, aber keine systematische Auswertung aller Benchmark-Kategorien.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Bewertung orientiert sich allein am Bericht; Lunas Stufen und Anteilswerte wurden nicht übernommen. Die beiden Zusammenfassungen von Luna sind inhaltlich zutreffend, lassen aber mehrere belegte Einzelbefunde aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Sprung von Claude Mythos auf 80 % bei einem Langkontext-Benchmark (GraphWalks), nach zuvor unter 40 %
  • Die Beobachtung, dass multimodales und räumliches Schlussfolgern hinter reinem Text zurückliegt, belegt mit dem IKEA-Test (Top-Modelle etwa 40 %)
  • Die Initiative CRUX für Bewertungen in realen Umgebungen ohne eindeutige Lösung
  • FrontierMath: Open Problems als Benchmark mit bislang ungelösten, programmatisch prüfbaren Mathematikproblemen
  • SimpleBench, dessen Ergebnisse sich der menschlichen Baseline annähern

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 38 %Hintergrund, keine Belege
    • JEV 37 %gleiches Oberthema, hilft nicht
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 39 %einzelne zitierbare Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 41 %einzelne zitierbare Belege
    • amos 53 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 28 %gleiches Oberthema, hilft nicht
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →