Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch4. November 2026 · Q006953

Updating the ECI methodology to use a Bayesian model

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der unvollständige Berichtsauszug beschreibt Epoch AIs Wechsel beim ECI zu einem Bayes-Modell, das Unsicherheit über Verteilungen schätzt und Benchmark-spezifisches Rauschen berücksichtigt. Laut den gezeigten Ergebnissen bleiben Frontier-Schätzungen ähnlich, während schwächere Modelle meist niedrigere Werte erhalten; die Modellprüfung ist gemischt und Teile für eine Gesamtbewertung fehlen.

Mittel

Der bereitgestellte Bericht ist ein unvollständiger Auszug; mehrere referenzierte Abschnitte und Abbildungen fehlen. Er beschreibt Epoch AIs Wechsel beim Epoch Capabilities Index (ECI) von einem frequentistischen Verfahren zu einem Bayes-Modell. Beide Ansätze nutzen eine Variante der Item-Response-Theorie, um Benchmark-Ergebnisse anhand einer gemeinsamen Modellfähigkeit sowie Benchmark-Schwierigkeit und -Steigung einzuordnen.

Das alte Verfahren schätzte Unsicherheit per Bootstrap. Weil Modelle laut Beitrag oft nur vier bis zehn Benchmarkwerte haben, hält Epoch diese Unsicherheitsschätzung für wenig verlässlich. Das neue Modell verwendet MCMC-Stichproben, eine Beta-Verteilung für auf 0 bis 1 begrenzte Werte und eigene Rauschparameter je Benchmark. Es liefert Fähigkeitsverteilungen und 90-Prozent-Intervalle und ermöglicht gemeinsame Vergleiche zwischen Modellen. Die Skala wird an Claude 3.5 Sonnet (130) und GPT-5 (150) verankert.

Laut den dargestellten Ergebnissen ändern sich Frontier-Schätzungen nur wenig; schwächere Modelle erhalten meist niedrigere ECI-Werte. Die jährlichen Frontier-Trends steigen leicht: von 6,2 auf 8,0 Punkte vor und von 15,7 auf 16,6 Punkte seit Beginn der Reasoning-Ära. Die Leave-one-out-Ergebnisse sind gemischt: Der Bayesianische RMSE ist etwas niedriger, die Intervallabdeckung bei sehr niedrigen Werten aber deutlich unter dem 90-Prozent-Ziel. Wegen der fehlenden Berichtsteile ist keine vollständige Bewertung möglich.

Ausführlich lesen

Der bereitgestellte Bericht ist ein unvollständiger Auszug: Er erläutert die neue Methode und einige Ergebnisse, verweist aber auch auf ausgelassene Abschnitte und Abbildungen. Die Zusammenfassung kann deshalb nicht alle Modellierungsentscheidungen oder Resultate des vollständigen Beitrags abdecken.

Epoch AI beschreibt eine Überarbeitung des Epoch Capabilities Index (ECI), der anhand von Benchmark-Ergebnissen die Fähigkeiten von KI-Modellen schätzt. Die Autoren begründen den Wechsel mit verlässlicheren Unsicherheitsschätzungen und der Möglichkeit, Wahrscheinlichkeiten für Fähigkeitsunterschiede zwischen Modellen zu berechnen. Beide Ansätze beruhen auf einer Variante der Item-Response-Theorie: Benchmark-Ergebnisse werden über eine gemeinsame Fähigkeitsdimension sowie benchmarkabhängige Schwierigkeit und Steigung modelliert. Die Werte werden dabei auf den Bereich zwischen Zufallsniveau und erreichbarer Höchstleistung skaliert.

Im bisherigen frequentistischen Modell wurden Parameter durch Minimierung quadratischer Fehler bestimmt. Unsicherheit wurde aus 500 Bootstrap-Stichproben abgeleitet. Laut Bericht haben Modelle im Median nur zehn Benchmark-Ergebnisse, teils lediglich vier. Bei so wenigen Beobachtungen könne das Resampling Ergebnisse stark verschieben; die daraus abgeleiteten Intervalle seien deshalb keine verlässliche Unsicherheitsschätzung.

Das neue Bayes-Modell zieht mit MCMC Stichproben aus einer gemeinsamen Posterior-Verteilung der Modellfähigkeiten und Benchmark-Parameter. ECI-Schätzungen werden daraus als Mittelwerte und 90-prozentige glaubwürdige Intervalle berechnet. Die Autoren verwenden eine Beta-Verteilung für Benchmarkwerte: Sie bleibt zwischen null und eins und bildet ab, dass die Streuung nahe den Grenzen kleiner wird. Zusätzlich erhält jeder Benchmark ein eigenes Rauschniveau. Für Fähigkeiten und Schwierigkeiten werden breite, flache Priors verwendet; Steigungen und Rauschen erhalten hierarchische Priors. Die Rohskala wird anhand der Gesamtheit der Benchmarks festgelegt. Zur Vergleichbarkeit werden die Ergebnisse anschließend so skaliert, dass Claude 3.5 Sonnet bei 130 und GPT-5 bei 150 liegt; diese Anker haben im Modell keine Unsicherheit.

Den berichteten Vergleichen zufolge bleiben die Schätzungen für starke Modelle weitgehend ähnlich, während schwächere Modelle meist niedrigere ECI-Werte erhalten. Eine im Auszug enthaltene Tabelle zeigt für 176 Modelle mit vorherigem ECI ab 125 eine mittlere Änderung von −0,1 Punkten; für 76 Modelle darunter beträgt die mittlere Änderung −13,7 Punkte und die durchschnittliche Intervallbreite steigt um 33 Prozent. Für die Frontier-Trends nennt Epoch vor der Ära der Reasoning-Modelle 8,0 statt zuvor 6,2 ECI-Punkte pro Jahr und seit deren Beginn 16,6 statt 15,7. Die Autoren bewerten die Unterschiede als klein gegenüber der Unsicherheit; die neuen Schätzungen der 26 zum Veröffentlichungszeitpunkt führenden Modelle lägen jeweils innerhalb ihrer früheren 90-Prozent-Intervalle.

Die im Auszug wiedergegebene Modellprüfung fällt gemischt aus: Beim Bayesianischen Modell ist der Leave-one-out-RMSE mit 0,092 etwas niedriger als der frequentistische Wert von 0,094. Die Abdeckung der 90-Prozent-Intervalle für sehr niedrige Werte ist im Bayesianischen Leave-one-out-Vergleich jedoch mit 80,5 Prozent geringer als das 90-Prozent-Ziel und geringer als die 94,5 Prozent des alten Modells. Da weitere Abschnitte, darunter Teile zur Modellbewertung und zum direkten Modellvergleich, im bereitgestellten Text fehlen, erlaubt dieser Auszug keine vollständige Beurteilung der Methode.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 47 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 33 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 41 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 22 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
Frieden und Sicherheit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →