Epoch’s Capabilities Index stitches together benchmarks across a wide range of difficulties
Zusammenfassung
Kurz
Epoch zufolge fasst der Capabilities Index Ergebnisse verschiedener Benchmarks auf einer gemeinsamen Skala zusammen, weil einzelne Tests oft nach ein bis drei Jahren an Aussagekraft verlieren. Eine Grafik verknüpft ECI-Werte mit erwarteten Leistungen bei GSM8K, OTIS Mock AIME und FrontierMath; die genaue Berechnung und Gewichtung des Index erläutert der Bericht nicht.
Mittel
Epoch beschreibt den Capabilities Index (ECI) als eine gemeinsame Skala, die Leistungsvergleiche über unterschiedlich schwierige KI-Benchmarks hinweg ermöglichen soll. Der Hintergrund: Einzelne Benchmarks erreichen Epoch zufolge häufig nach ein bis drei Jahren eine Sättigung und bilden weitere Fortschritte dann nur eingeschränkt ab.
Da der ECI abstrakt ist, zeigt Epoch, wie sich aus einem Indexwert die erwartete Leistung bei konkreten Tests ablesen lässt. Die Grafik umfasst GSM8K, OTIS Mock AIME 2024–2025 und FrontierMath Tier 1–3 und markiert 90-prozentige Konfidenzintervalle. Die Datentabelle führt zahlreiche Modellversionen mit ihren Indexwerten und Benchmarkleistungen auf. So steht GPT-5 (mittlere Einstellung) bei ECI 150 etwa für 0,87 Leistung bei OTIS Mock AIME und 0,25 bei FrontierMath.
Die Beispiele machen sichtbar, dass die Ergebnisse je nach Schwierigkeit des Benchmarks auseinanderliegen können. Der Text beschreibt aber weder die genaue Berechnung des ECI noch die Auswahl und Gewichtung der Benchmarks. Seine Bewertung des Index ist daher Epochs eigene Darstellung.
Ausführlich lesen
Der Bericht stellt den Epoch Capabilities Index (ECI) als Möglichkeit vor, den Fortschritt von KI-Modellen über einen größeren Schwierigkeitsbereich hinweg zu vergleichen. Als Begründung führt Epoch an, dass einzelne Benchmarks oft schon nach ein bis drei Jahren an ihre Leistungsgrenze stoßen und dann weitere Verbesserungen nur schlecht abbilden. Der ECI soll dieses Problem angehen, indem er Ergebnisse aus mehreren Benchmarks zusammenführt.
Der Index ist eine abstrakte Skala. Epoch schlägt vor, einen ECI-Wert verständlicher zu machen, indem man daraus die erwartete Leistung bei einzelnen Benchmarks ableitet. Die dargestellte Grafik vergleicht diesen Zusammenhang für GSM8K, OTIS Mock AIME 2024–2025 und FrontierMath Tier 1–3. Diese Tests unterscheiden sich laut Bericht deutlich im Schwierigkeitsgrad; schattierte Bereiche zeigen 90-prozentige Konfidenzintervalle.
Die beigefügte Datentabelle enthält ECI-Werte und Benchmarkleistungen zahlreicher Modellversionen. Sie veranschaulicht, dass ein ähnlicher Indexwert je nach Benchmark mit sehr unterschiedlichen Erfolgsraten einhergehen kann. Beispielsweise wird GPT-5 mit mittlerer Einstellung bei ECI 150 mit 0,87 für OTIS Mock AIME und 0,25 für FrontierMath aufgeführt. Der Index soll demnach einen gemeinsamen Vergleich ermöglichen, während die benchmarkspezifischen Werte zeigen, was die Modelle in konkreten Aufgaben erreichen.
Der bereitgestellte Bericht erläutert jedoch weder die Berechnung des ECI noch die Auswahl und Gewichtung der zusammengeführten Benchmarks. Auch die zugrunde liegende statistische Methode und die Bedeutung der Konfidenzintervalle werden nicht näher ausgeführt. Die Aussagen zur Nützlichkeit des Index sind daher als Darstellung von Epoch zu verstehen; der Text allein reicht nicht aus, um die Konstruktion oder Aussagekraft des Index unabhängig zu bewerten.
Gegengeprüft von Claude Haiku 5.5: ok
Lunas Zusammenfassungen geben den Bericht korrekt wieder; die Zahlen zu GPT-5 stimmen mit der Tabelle überein. Die Einordnung mit einheitlich Stufe 3 und den Anteilsangaben (42 %, 39 %, 38 %) lässt sich aus dem Bericht nicht ableiten, weil der Text die Sammelfragen kaum berührt. Teilfragen wurden nicht angegeben.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 29 %Hintergrund, keine Belege
- Luna 28 %Hintergrund, keine Belege
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 36 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 21 %Hintergrund, keine Belege
- Luna 32 %Hintergrund, keine Belege
- JEV 32 %Hintergrund, keine Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 28 %Hintergrund, keine Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv