Benchmark scores are well correlated, even across domains
Zusammenfassung
Kurz
Epoch AI berichtet, dass Modellrangfolgen über viele KI-Benchmarks hinweg stark korrelieren; für 17 Benchmarks liegt der Median laut Bericht bei 0,73. Die Autor:innen sehen darin einen Hinweis auf einen gemeinsamen Fähigkeitsfaktor, betonen aber, dass wechselnde Stichprobengrößen, Unsicherheit und unterschiedliche Veröffentlichungszeiträume der Modelle die Korrelationen beeinflussen können.
Mittel
Epoch AI vergleicht die Rangfolgen von KI-Modellen in verschiedenen Benchmarks mithilfe von Spearman-Rangkorrelationen. Für 17 Benchmarks, bei denen jeweils mindestens fünf Modelle mit anderen Benchmarks überlappen, beträgt die mediane Korrelation laut Bericht 0,73. Eine einleitende Angabe zu 15 Benchmarks nennt Mediane von 0,68 zwischen verschiedenen Kategorien und 0,79 innerhalb derselben Kategorie. Epoch AI deutet die starke Übereinstimmung als Hinweis auf einen gemeinsamen Fähigkeitsfaktor und als Motivation für den Epoch Capabilities Index (ECI), der ebenfalls stark mit Einzelbenchmarks korreliere.
Die einzelnen Werte fallen unterschiedlich aus: Einige Benchmark-Paare korrelieren sehr stark, andere deutlich schwächer. Die Zahl der verglichenen Modelle variiert, und manche Konfidenzintervalle sind breit oder schließen negative Werte ein. Der Bericht warnt zudem vor Stichprobenrauschen: Da später veröffentlichte Modelle häufig über viele Aufgaben hinweg besser abschneiden, können Benchmarks mit weit auseinanderliegenden Modellzeiträumen künstlich stärker zusammenhängen. Die Korrelationen belegen daher nicht allein, dass alle Benchmarks dieselbe Fähigkeit messen.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, wie ähnlich Modelle in verschiedenen KI-Benchmarks abschneiden. Die Autor:innen vergleichen Benchmark-Ergebnisse anhand von Spearman-Rangkorrelationen und stellen die paarweisen Werte in einer Korrelationsmatrix dar. Die zentrale Aussage lautet, dass die Rangfolgen der Modelle über viele Benchmarks hinweg deutlich übereinstimmen, auch wenn die Benchmarks unterschiedliche Bereiche prüfen.
Für 17 Benchmarks, bei denen jeweils mindestens fünf Modelle auch in den anderen Benchmarks bewertet wurden, nennt der Bericht eine mediane Rangkorrelation von 0,73. Eine einleitende Zusammenfassung bezieht sich auf 15 Benchmarks mit mindestens fünf Überschneidungen und berichtet für Benchmarks verschiedener Kategorien einen Median von 0,68 und innerhalb derselben Kategorie einen Median von 0,79. Diese Angaben sprechen laut Epoch AI dafür, dass die Übereinstimmung zwischen Kategorien fast so hoch ist wie innerhalb einer Kategorie. Die Autor:innen sehen darin einen Hinweis auf einen gemeinsamen Fähigkeitsfaktor, der mit wachsender Modellgröße zunimmt. Diese Idee liege dem Epoch Capabilities Index (ECI) zugrunde; der Bericht sagt zudem, dass der ECI erwartungsgemäß gut mit den einzelnen Benchmarks korreliert.
Die Tabelle zeigt jedoch auch Unterschiede zwischen den Benchmark-Paaren. Manche Korrelationen sind sehr hoch, etwa 0,97 zwischen GPQA Diamond und dem ECI oder 0,98 zwischen dem AIME-Mock-Benchmark und Math Level 5. Andere Werte sind deutlich niedriger. Bei einigen Paaren reichen die angegebenen Konfidenzintervalle bis in den negativen Bereich, darunter die Korrelation von GeoBench mit dem METR-Benchmark zu Zeithorizonten. Die Zahl der jeweils überlappenden Modelle variiert stark; in der Tabelle reicht sie von nur wenigen Fällen bis über hundert. Die Schätzungen sind daher nicht für alle Paare gleich präzise.
Epoch AI weist ausdrücklich auf eine wichtige Einschränkung hin: Die Korrelationen unterliegen Stichprobenrauschen. Modelle, die mehrere Jahre auseinander veröffentlicht wurden, unterscheiden sich häufig in ihrer Leistung über viele Aufgaben hinweg. Benchmarks, deren Daten Modelle aus weit auseinanderliegenden Zeiträumen umfassen, können deshalb stärker miteinander korrelieren. Die beobachtete Übereinstimmung beweist somit nicht, dass alle Benchmarks dieselbe Fähigkeit messen; zeitliche Unterschiede und die Zusammensetzung der verglichenen Modellstichproben können ebenfalls eine Rolle spielen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Tabelle mit den Korrelationen ist im Bericht zweimal vollständig abgedruckt; für die Bewertung der Zusammenfassung ist das ohne Belang. Die Kurzfassung ist sachlich korrekt, aber unvollständiger als die mittlere Fassung.
Im Bericht, aber nicht in der Zusammenfassung
- In der Kurzfassung fehlen die Mediane 0,68 (verschiedene Kategorien) und 0,79 (gleiche Kategorie)
- In der Kurzfassung fehlt der Bezug zum Epoch Capabilities Index als Motivation für den gemeinsamen Fähigkeitsfaktor
- In der mittleren Fassung fehlt, dass der gemeinsame Fähigkeitsfaktor mit der Skalierung zunimmt
- Beide Fassungen erwähnen nicht, dass die Korrelationen Spearman-Rangkorrelationen sind (die mittlere Fassung nennt es nur beiläufig)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 25 %Hintergrund, keine Belege
- Luna 41 %Hintergrund, keine Belege
- JEV 35 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %Hintergrund, keine Belege
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 52 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 36 %einzelne zitierbare Belege
- amos 29 %Hintergrund, keine Belege
- SubQ 37 %gleiches Oberthema, hilft nicht
- drex 31 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %Hintergrund, keine Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %Hintergrund, keine Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 57 %gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv