Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch6. November 2025 · Q006187

Epoch’s Capabilities Index stitches together benchmarks across a wide range of difficulties

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch zufolge fasst der Capabilities Index Ergebnisse verschiedener Benchmarks auf einer gemeinsamen Skala zusammen, weil einzelne Tests oft nach ein bis drei Jahren an Aussagekraft verlieren. Eine Grafik verknüpft ECI-Werte mit erwarteten Leistungen bei GSM8K, OTIS Mock AIME und FrontierMath; die genaue Berechnung und Gewichtung des Index erläutert der Bericht nicht.

Mittel

Epoch beschreibt den Capabilities Index (ECI) als eine gemeinsame Skala, die Leistungsvergleiche über unterschiedlich schwierige KI-Benchmarks hinweg ermöglichen soll. Der Hintergrund: Einzelne Benchmarks erreichen Epoch zufolge häufig nach ein bis drei Jahren eine Sättigung und bilden weitere Fortschritte dann nur eingeschränkt ab.

Da der ECI abstrakt ist, zeigt Epoch, wie sich aus einem Indexwert die erwartete Leistung bei konkreten Tests ablesen lässt. Die Grafik umfasst GSM8K, OTIS Mock AIME 2024–2025 und FrontierMath Tier 1–3 und markiert 90-prozentige Konfidenzintervalle. Die Datentabelle führt zahlreiche Modellversionen mit ihren Indexwerten und Benchmarkleistungen auf. So steht GPT-5 (mittlere Einstellung) bei ECI 150 etwa für 0,87 Leistung bei OTIS Mock AIME und 0,25 bei FrontierMath.

Die Beispiele machen sichtbar, dass die Ergebnisse je nach Schwierigkeit des Benchmarks auseinanderliegen können. Der Text beschreibt aber weder die genaue Berechnung des ECI noch die Auswahl und Gewichtung der Benchmarks. Seine Bewertung des Index ist daher Epochs eigene Darstellung.

Ausführlich lesen

Der Bericht stellt den Epoch Capabilities Index (ECI) als Möglichkeit vor, den Fortschritt von KI-Modellen über einen größeren Schwierigkeitsbereich hinweg zu vergleichen. Als Begründung führt Epoch an, dass einzelne Benchmarks oft schon nach ein bis drei Jahren an ihre Leistungsgrenze stoßen und dann weitere Verbesserungen nur schlecht abbilden. Der ECI soll dieses Problem angehen, indem er Ergebnisse aus mehreren Benchmarks zusammenführt.

Der Index ist eine abstrakte Skala. Epoch schlägt vor, einen ECI-Wert verständlicher zu machen, indem man daraus die erwartete Leistung bei einzelnen Benchmarks ableitet. Die dargestellte Grafik vergleicht diesen Zusammenhang für GSM8K, OTIS Mock AIME 2024–2025 und FrontierMath Tier 1–3. Diese Tests unterscheiden sich laut Bericht deutlich im Schwierigkeitsgrad; schattierte Bereiche zeigen 90-prozentige Konfidenzintervalle.

Die beigefügte Datentabelle enthält ECI-Werte und Benchmarkleistungen zahlreicher Modellversionen. Sie veranschaulicht, dass ein ähnlicher Indexwert je nach Benchmark mit sehr unterschiedlichen Erfolgsraten einhergehen kann. Beispielsweise wird GPT-5 mit mittlerer Einstellung bei ECI 150 mit 0,87 für OTIS Mock AIME und 0,25 für FrontierMath aufgeführt. Der Index soll demnach einen gemeinsamen Vergleich ermöglichen, während die benchmarkspezifischen Werte zeigen, was die Modelle in konkreten Aufgaben erreichen.

Der bereitgestellte Bericht erläutert jedoch weder die Berechnung des ECI noch die Auswahl und Gewichtung der zusammengeführten Benchmarks. Auch die zugrunde liegende statistische Methode und die Bedeutung der Konfidenzintervalle werden nicht näher ausgeführt. Die Aussagen zur Nützlichkeit des Index sind daher als Darstellung von Epoch zu verstehen; der Text allein reicht nicht aus, um die Konstruktion oder Aussagekraft des Index unabhängig zu bewerten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: ok

Lunas Zusammenfassungen geben den Bericht korrekt wieder; die Zahlen zu GPT-5 stimmen mit der Tabelle überein. Die Einordnung mit einheitlich Stufe 3 und den Anteilsangaben (42 %, 39 %, 38 %) lässt sich aus dem Bericht nicht ableiten, weil der Text die Sammelfragen kaum berührt. Teilfragen wurden nicht angegeben.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 29 %Hintergrund, keine Belege
    • Luna 28 %Hintergrund, keine Belege
    • JEV 36 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %Hintergrund, keine Belege
    • Luna 32 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 32 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 28 %Hintergrund, keine Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
Modelle teilen und schützen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →