The real reason AI benchmarks haven’t reflected economic impacts
Zusammenfassung
Kurz
Die Autoren meinen, dass KI-Benchmarks lange vor allem Modelle vergleichen und Verbesserungen unterstützen sollten, statt wirtschaftliche Auswirkungen realistisch zu messen. Neuere realitätsnahe Tests zeigen Fortschritte, bleiben aber mit praktischen Problemen verbunden; ob künftig der Anreiz zu realistischen Benchmarks oder deren Umsetzungsaufwand überwiegt, ist offen.
Mittel
Der Bericht fragt, warum KI-Benchmarks den wirtschaftlichen Einfluss von KI oft nur unzureichend erfassen. Die Autoren argumentieren, dass Realitätsnähe lange nicht das Hauptziel war: Benchmarks sollten vor allem Modelle vergleichen und als Trainingssignal dienen. Deshalb orientierten sich die Aufgaben häufig daran, was aktuelle Systeme gerade bewältigen konnten. Auf kurze Tests wie Bildklassifikation folgten Multiple-Choice-Fragen und einfache Textaufgaben; erst jüngere Benchmarks wie SWE-Bench greifen realistischere Aufgaben auf, bleiben aber meist begrenzt.
Als weitere Gründe nennen die Autoren eine mögliche Unterschätzung des KI-Fortschritts und die Auswahl von Aufgaben, die für Menschen schwierig sind, aber nicht unbedingt für KI oder wirtschaftlich aussagekräftig. Sie halten mangelnde Realitätsnähe historischer Tests eher für eine Frage der Priorität als für eine unvermeidbare technische Grenze. Zugleich seien realistische Benchmarks schwer zu bauen: Bei RE-Bench würden Aufgaben vereinfacht, um Leistungen zuverlässig prüfen zu können.
Für die Zukunft erwarten die Autoren sowohl stärkere Anreize für wirtschaftlich relevante Tests als auch größere Umsetzungsprobleme. Welche Entwicklung überwiegt, bleibt laut Bericht offen. Die Aussagen geben die Sicht der Autoren wieder, nicht zwingend die Position von Epoch AI insgesamt.
Ausführlich lesen
Der Bericht untersucht, warum KI-Benchmarks den wirtschaftlichen Einfluss von KI-Systemen bislang oft schlecht abbilden. Die Autoren argumentieren, dass die häufige Kritik an der mangelnden Realitätsnähe zwar zutrifft, aber noch nicht erklärt, warum Benchmarks so gestaltet wurden. Ihre zentrale These lautet: Über lange Zeit war es meist nicht das Ziel, die Auswirkungen von KI auf reale Arbeit oder die Wirtschaft zu messen. Stattdessen sollten Benchmarks vor allem Modelle vergleichen und Verbesserungen ermöglichen.
Die Autoren beschreiben einen Wandel der Aufgaben: Vor 2017 dominierten kurze, klar umrissene Tests wie Bildklassifikation und Stimmungsanalyse. Ab etwa 2018 wurden Multiple-Choice-Fragen und einfache Textaufgaben in Bereichen wie Mathematik und Programmierung populär. Erst in jüngerer Zeit kamen Tests mit realistischeren Szenarien auf, etwa SWE-Bench mit tatsächlichen GitHub-Problemen. Auch solche neueren Benchmarks bilden nach Ansicht der Autoren meist nur relativ kurze Aufgaben ab, keine komplexen wirtschaftlichen Tätigkeiten. Die Entwicklung der Tests habe sich eng daran orientiert, was die jeweils verfügbaren KI-Systeme gerade bewältigen konnten.
Als praktischen Grund nennen die Autoren den Nutzen von Benchmarks als Trainingssignal: Aufgaben, die für Modelle weder zu leicht noch zu schwer sind, können deren Weiterentwicklung unterstützen. Für den relativen Vergleich von Modellen müssen Aufgaben zudem nicht zwingend realitätsgetreu sein, sofern Leistungsunterschiede mit breiteren Fähigkeiten zusammenhängen. Als Hinweis führen sie SWE-Bench an: Der Test galt anfangs manchen als zu schwierig; nach der Veröffentlichung von SWE-agent, der dort mehr als zehn Prozent erreichte, folgten laut Bericht rasch weitere Fortschritte.
Eine weitere mögliche Erklärung sei, dass Forschende den Fortschritt unterschätzten. 2016 hätten manche die Vorstellung zurückgewiesen, autoregressive Sprachmodelle könnten wirtschaftlich nützliche Aufgaben ausführen. Außerdem würden Benchmarks mitunter danach ausgewählt, was für Menschen anspruchsvoll ist, etwa Go oder naturwissenschaftliche Fragen. Der Bericht betont, dass menschliche Schwierigkeit nicht unbedingt mit der Schwierigkeit für KI oder mit wirtschaftlicher Bedeutung übereinstimmt.
Die Autoren halten praktische oder grundsätzliche Hindernisse nicht für den Hauptgrund der früher geringen Realitätsnähe. Sie verweisen auf HumanEval aus dem Jahr 2021: Der Test mit kurzen, in sich geschlossenen Programmieraufgaben hätte durch realistischere Aufgaben ersetzt werden können, etwa durch solche wie in SWE-Bench. Diese wären für damalige Spitzenmodelle allerdings vermutlich außer Reichweite gewesen. Realitätsnähe sei demnach eher keine Priorität gewesen. Zugleich räumen die Autoren ein, dass realistische Tests tatsächlich schwer umzusetzen sind: Bei RE-Bench seien Forschungsumgebungen vereinfacht worden, damit Ergebnisse leichter überprüfbar sind. Dadurch gingen Merkmale realer Forschung verloren, etwa lange Rückmeldeschleifen und unklare Aufgabenstellungen.
Für die Zukunft sehen die Autoren einen offenen Konflikt: Mit leistungsfähigeren und breiter eingesetzten KI-Systemen wächst der Anreiz, wirtschaftlich relevante Benchmarks zu entwickeln. Gleichzeitig nehmen die praktischen und grundlegenden Schwierigkeiten solcher Tests zu. Welche Kraft überwiegt, bleibe offen. Die Autoren betonen, dass die Antwort wichtig dafür sei, KI-Fortschritt einzuschätzen und sich auf mögliche Folgen vorzubereiten. Der Text ist ausdrücklich als die Sicht der Autoren gekennzeichnet und nicht notwendigerweise als Position von Epoch AI insgesamt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Sammelfragen SF-P3, SF-T3 und SF-F1 werden nur am Rande oder als Hintergrund beantwortet; es gab keine Teilfragen. Lunas Zusammenfassung ist im Kern treu, verschiebt aber an einer Stelle das Normative (Benchmarks ‚sollten‘ vergleichen) und lässt einige zentrale Belege aus.
Im Bericht, aber nicht in der Zusammenfassung
- Ausgangspunkt der Autoren: die Debatte um GPT-4 und den Rechtsberuf sowie die Kritik von Narayanan und Kapoor
- Die Schwerpunkte der Benchmarks verliefen parallel zu den Fähigkeiten der KI-Systeme
- Das SWE-Bench-Beispiel: Nach SWE-agent folgten rasche Leistungssteigerungen, was auf Aufgaben knapp in Reichweite hindeutet
- Vergleichbarkeit als Grund: Wenn Score-Unterschiede mit breiteren Fähigkeiten korrelieren, braucht es keine realistischen Aufgaben
- Das HumanEval-Beispiel: Realitätsnähe war kein technischer Engpass, sondern nicht die Priorität
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 25 %Hintergrund, keine Belege
- Luna 54 %Hintergrund, keine Belege
- JEV 44 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 40 %gleiches Oberthema, hilft nicht
- drex 30 %gleiches Oberthema, hilft nicht
- d3-ultra 64 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %Hintergrund, keine Belege
- amos 29 %Hintergrund, keine Belege
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 22 %gleiches Oberthema, hilft nicht
- Luna 73 %Hintergrund, keine Belege
- JEV 37 %Hintergrund, keine Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 63 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 40 %Hintergrund, keine Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 68 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 66 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv