Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch23. Januar 2026 · Q005896

Benchmark scores are well correlated, even across domains

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI berichtet, dass Modellrangfolgen über viele KI-Benchmarks hinweg stark korrelieren; für 17 Benchmarks liegt der Median laut Bericht bei 0,73. Die Autor:innen sehen darin einen Hinweis auf einen gemeinsamen Fähigkeitsfaktor, betonen aber, dass wechselnde Stichprobengrößen, Unsicherheit und unterschiedliche Veröffentlichungszeiträume der Modelle die Korrelationen beeinflussen können.

Mittel

Epoch AI vergleicht die Rangfolgen von KI-Modellen in verschiedenen Benchmarks mithilfe von Spearman-Rangkorrelationen. Für 17 Benchmarks, bei denen jeweils mindestens fünf Modelle mit anderen Benchmarks überlappen, beträgt die mediane Korrelation laut Bericht 0,73. Eine einleitende Angabe zu 15 Benchmarks nennt Mediane von 0,68 zwischen verschiedenen Kategorien und 0,79 innerhalb derselben Kategorie. Epoch AI deutet die starke Übereinstimmung als Hinweis auf einen gemeinsamen Fähigkeitsfaktor und als Motivation für den Epoch Capabilities Index (ECI), der ebenfalls stark mit Einzelbenchmarks korreliere.

Die einzelnen Werte fallen unterschiedlich aus: Einige Benchmark-Paare korrelieren sehr stark, andere deutlich schwächer. Die Zahl der verglichenen Modelle variiert, und manche Konfidenzintervalle sind breit oder schließen negative Werte ein. Der Bericht warnt zudem vor Stichprobenrauschen: Da später veröffentlichte Modelle häufig über viele Aufgaben hinweg besser abschneiden, können Benchmarks mit weit auseinanderliegenden Modellzeiträumen künstlich stärker zusammenhängen. Die Korrelationen belegen daher nicht allein, dass alle Benchmarks dieselbe Fähigkeit messen.

Ausführlich lesen

Der Bericht von Epoch AI untersucht, wie ähnlich Modelle in verschiedenen KI-Benchmarks abschneiden. Die Autor:innen vergleichen Benchmark-Ergebnisse anhand von Spearman-Rangkorrelationen und stellen die paarweisen Werte in einer Korrelationsmatrix dar. Die zentrale Aussage lautet, dass die Rangfolgen der Modelle über viele Benchmarks hinweg deutlich übereinstimmen, auch wenn die Benchmarks unterschiedliche Bereiche prüfen.

Für 17 Benchmarks, bei denen jeweils mindestens fünf Modelle auch in den anderen Benchmarks bewertet wurden, nennt der Bericht eine mediane Rangkorrelation von 0,73. Eine einleitende Zusammenfassung bezieht sich auf 15 Benchmarks mit mindestens fünf Überschneidungen und berichtet für Benchmarks verschiedener Kategorien einen Median von 0,68 und innerhalb derselben Kategorie einen Median von 0,79. Diese Angaben sprechen laut Epoch AI dafür, dass die Übereinstimmung zwischen Kategorien fast so hoch ist wie innerhalb einer Kategorie. Die Autor:innen sehen darin einen Hinweis auf einen gemeinsamen Fähigkeitsfaktor, der mit wachsender Modellgröße zunimmt. Diese Idee liege dem Epoch Capabilities Index (ECI) zugrunde; der Bericht sagt zudem, dass der ECI erwartungsgemäß gut mit den einzelnen Benchmarks korreliert.

Die Tabelle zeigt jedoch auch Unterschiede zwischen den Benchmark-Paaren. Manche Korrelationen sind sehr hoch, etwa 0,97 zwischen GPQA Diamond und dem ECI oder 0,98 zwischen dem AIME-Mock-Benchmark und Math Level 5. Andere Werte sind deutlich niedriger. Bei einigen Paaren reichen die angegebenen Konfidenzintervalle bis in den negativen Bereich, darunter die Korrelation von GeoBench mit dem METR-Benchmark zu Zeithorizonten. Die Zahl der jeweils überlappenden Modelle variiert stark; in der Tabelle reicht sie von nur wenigen Fällen bis über hundert. Die Schätzungen sind daher nicht für alle Paare gleich präzise.

Epoch AI weist ausdrücklich auf eine wichtige Einschränkung hin: Die Korrelationen unterliegen Stichprobenrauschen. Modelle, die mehrere Jahre auseinander veröffentlicht wurden, unterscheiden sich häufig in ihrer Leistung über viele Aufgaben hinweg. Benchmarks, deren Daten Modelle aus weit auseinanderliegenden Zeiträumen umfassen, können deshalb stärker miteinander korrelieren. Die beobachtete Übereinstimmung beweist somit nicht, dass alle Benchmarks dieselbe Fähigkeit messen; zeitliche Unterschiede und die Zusammensetzung der verglichenen Modellstichproben können ebenfalls eine Rolle spielen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Tabelle mit den Korrelationen ist im Bericht zweimal vollständig abgedruckt; für die Bewertung der Zusammenfassung ist das ohne Belang. Die Kurzfassung ist sachlich korrekt, aber unvollständiger als die mittlere Fassung.

Im Bericht, aber nicht in der Zusammenfassung

  • In der Kurzfassung fehlen die Mediane 0,68 (verschiedene Kategorien) und 0,79 (gleiche Kategorie)
  • In der Kurzfassung fehlt der Bezug zum Epoch Capabilities Index als Motivation für den gemeinsamen Fähigkeitsfaktor
  • In der mittleren Fassung fehlt, dass der gemeinsame Fähigkeitsfaktor mit der Skalierung zunimmt
  • Beide Fassungen erwähnen nicht, dass die Korrelationen Spearman-Rangkorrelationen sind (die mittlere Fassung nennt es nur beiläufig)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 41 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %Hintergrund, keine Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 31 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %Hintergrund, keine Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →