Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch2. Dezember 2025 · Q003657

A Rosetta Stone for AI benchmarks

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI führt rund 40 Benchmarks in einem statistischen Modell zusammen, das Modellfähigkeiten, Benchmark-Schwierigkeiten und Sättigung auf einer gemeinsamen Skala schätzt. Der Bericht leitet daraus unter anderem einen jährlichen Fähigkeitszuwachs von etwa 0,6 Einheiten und eine ungefähr sechsfache jährliche Verringerung des nötigen Trainingsaufwands für dieselbe Fähigkeit ab; die Ein-Zahl-Annahme ist stark vereinfachend, die Daten enden am 17. November 2025 und die Erkennung beschleunigten Fortschritts wurde in synthetischen Simulationen untersucht.

Mittel

Der Bericht beschreibt ein statistisches Verfahren, das Ergebnisse verschiedener KI-Benchmarks auf einer gemeinsamen Skala zusammenführt. Einzelne Tests verlieren an Aussagekraft, wenn Modelle nahe null oder nahe 100 Prozent liegen; schnelle Fortschritte verkürzen zudem die Zeit, in der Benchmarks Unterschiede gut abbilden. Das Modell weist jedem Modell eine latente Fähigkeitszahl und jedem Benchmark eine Schwierigkeit sowie eine Sättigungssteigung zu. Die Beziehung zwischen Fähigkeit und Ergebnis wird als S-Kurve dargestellt.

Epoch AI zufolge wurden rund 40 Benchmarks kombiniert, um Fähigkeiten von etwa 200 Modellen zu schätzen. Das Verfahren nutzt bestehende Daten und erfordert weder neue Tests noch Nutzerabstimmungen. Die resultierenden Rangfolgen erschienen den Autoren plausibel; GPT-5.1 und Gemini 2.5 Pro lagen nahe an der Spitze. Die Daten reichen jedoch nur bis zum 17. November 2025. Der Bericht schätzt den jährlichen Fähigkeitszuwachs an der Spitze auf rund 0,6 Einheiten und folgert aus einer Analyse von Trainingsaufwand und Fähigkeiten, dass jährlich etwa sechsmal weniger Rechenleistung nötig werde, um dieselbe Fähigkeit zu erreichen. In synthetischen Simulationen habe eine Verdopplung des Fortschrittstempos binnen zwei bis drei Monaten erkannt werden können. Grenzen sind die vereinfachende Annahme einer einzigen Fähigkeitszahl, der Datenstichtag und der Umstand, dass Simulationsergebnisse keine reale Beschleunigung belegen.

Ausführlich lesen

Der Bericht stellt ein Verfahren vor, mit dem sich Ergebnisse verschiedener KI-Benchmarks zusammenführen lassen. Ausgangspunkt ist die Einschränkung, dass einzelne Benchmarks nur begrenzte Vergleichssignale liefern: Sehr schwache Modelle können am unteren Rand ähnlich abschneiden, und sehr leistungsfähige Modelle können bei nahezu 100 Prozent landen. In beiden Bereichen lassen sich Unterschiede kaum erkennen. Weil sich Modelle schnell verbessern, durchlaufen sie zudem laut Bericht nur kurz den aussagekräftigen mittleren Bereich eines Benchmarks. Das erschwere es, langfristig zu beurteilen, ob der KI-Fortschritt schneller wird, sich verlangsamt oder an Grenzen stößt.

Epoch AI schlägt deshalb ein statistisches Modell vor, das Benchmarks unterschiedlicher Schwierigkeit zu einer gemeinsamen Skala verbindet. Es nimmt für jedes Modell eine einzelne latente Fähigkeitszahl an, vergleichbar mit einer Elo-Zahl im Schach. Jeder Benchmark erhält eine Schwierigkeit und eine Steigung, die beschreibt, wie schnell seine Ergebnisse mit wachsender Fähigkeit ansteigen und schließlich sättigen. Die Zuordnung zwischen Fähigkeit und gemessener Leistung wird als S-Kurve beschrieben: Bei Fähigkeiten deutlich unter der Benchmark-Schwierigkeit liegt die Leistung laut Modell nahe am Zufallsniveau; im mittleren Bereich wächst sie mit der Fähigkeit; bei deutlich höherer Fähigkeit nähert sie sich der Obergrenze von 100 Prozent. Die Zufallsbasis kann je nach Test von null abweichen, etwa bei Multiple-Choice-Fragen.

Für die Schätzung kombiniert das Team vorhandene Daten aus seinem Benchmarking-Angebot. Nach eigener Darstellung umfasst die Auswertung ungefähr 40 Benchmarks und schätzt Fähigkeiten für rund 200 Modelle. Das Verfahren benötigt demnach weder neue Modelltests noch Abstimmungen von Nutzern über Antworten, sondern nutzt bereits erhobene Ergebnisse. Der Bericht bezeichnet die daraus entstehenden Rangfolgen von Modellfähigkeiten und Benchmark-Schwierigkeiten als plausibel. GPT-5.1 und Gemini 2.5 Pro lägen nahe an der Spitze; die Daten reichen allerdings nur bis zum 17. November 2025 und schließen später veröffentlichte Modelle wie Gemini 3 Pro und Claude Opus 4.5 nicht ein.

Mit der gemeinsamen Skala untersucht der Bericht auch zeitliche Trends. Für Modelle, die jeweils den Fähigkeitsstand an der Spitze prägen, beziffert er den durchschnittlichen jährlichen Zuwachs auf etwa 0,6 Einheiten und vergleicht dessen Größenordnung mit dem Fortschritt von GPT-4.5 zu GPT-5. Eine Fortschreibung dieses Trends wird ausdrücklich als naive Prognose bezeichnet. Außerdem verbindet das Team die Fähigkeitsentwicklung mit Angaben zum Trainingsaufwand. Seine Analyse der Frontier-Modelle legt dem Bericht zufolge nahe, dass pro Jahr etwa sechsmal weniger Trainings-Rechenleistung nötig wird, um dieselbe Fähigkeit zu erreichen; der Beitrag führt diesen Zugewinn auf verbesserte Softwareeffizienz zurück.

Schließlich erörtert der Bericht eine mögliche Anwendung als Frühindikator für eine Beschleunigung: Ein schnellerer Anstieg der Fähigkeitswerte könnte auf raschere Fortschritte hinweisen. In Simulationen mit synthetischen Daten habe das Verfahren eine Verdopplung der Fortschrittsgeschwindigkeit innerhalb von zwei bis drei Monaten zuverlässig erkannt. Das ist ein Simulationsergebnis und kein Nachweis, dass eine solche Beschleunigung in der realen Entwicklung bereits stattfindet oder künftig sicher erkannt würde.

Als zentrale Einschränkung räumt der Bericht ein, dass die Annahme einer einzigen Zahl für die Fähigkeiten eines Modells stark vereinfachend ist. Die Ergebnisse hängen außerdem von den verfügbaren Benchmarkdaten und dem genannten Datenstichtag ab. Das Verfahren bietet demnach einen kostengünstigen Weg, bestehende Messungen vergleichbar zu machen und Trends zu untersuchen, doch seine Skala und Prognosen sind an diese Annahmen und Daten gebunden.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Beide Zusammenfassungen Lunas sind inhaltlich treu; die Schlussfolgerung, Simulationsergebnisse belegten keine reale Beschleunigung, ist eine plausible Deutung und steht so nicht im Bericht. Bei der Einordnung hat Luna SF-T2 (4 statt 2) und SF-F2 (3 statt 1) deutlich zu hoch bewertet, weil der Bericht dort keinen inhaltlichen Bezug hat; SF-T3-T05 und SF-T3 sind dagegen eher unterschätzt.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Zweck des Verfahrens als frühes Warnsignal für eine Beschleunigung durch automatisierte KI-Forschung fehlt in beiden Zusammenfassungen
  • Die Einordnung, dass der jährliche Fähigkeitszuwachs von etwa 0,6 Einheiten dem Sprung von GPT-4.5 zu GPT-5 entspricht, fehlt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 36 %Hintergrund, keine Belege
    • Luna 46 %Hintergrund, keine Belege
    • JEV 37 %Hintergrund, keine Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 42 %gleiches Oberthema, hilft nicht

  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 27 %Hintergrund, keine Belege
    • Luna 74 %Hintergrund, keine Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 33 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 26 %Hintergrund, keine Belege
    • Luna 62 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 27 %Hintergrund, keine Belege
    • d3-ultra 40 %gleiches Oberthema, hilft nicht

  3. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 26 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 33 %Hintergrund, keine Belege
    • Luna 72 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra 39 %gleiches Oberthema, hilft nicht

    • SF-T1-T01 Welche messbaren, maschinell prüfbaren Fähigkeitsschwellen sollen Labore veröffentlichen, die vor dem Einsatz von Agentensystemen eine verpflichtende Pause und eine Prüfung von außen auslösen, abgestimmt über alle Labore hinweg? Wer führt das Register, und wo soll die Gesellschaft die verbindliche Sicherheitsgrenze für weitere Steigerungen der Fähigkeiten ziehen? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 26 %Hintergrund, keine Belege
    • Luna 57 %einzelne zitierbare Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra 39 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 19 %Hintergrund, keine Belege
    • Luna 49 %einzelne zitierbare Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 35 %einzelne zitierbare Belege
    • SubQ 31 %einzelne zitierbare Belege
    • drex 41 %einzelne zitierbare Belege
    • d3-ultra 44 %beantwortet teilweise oder widerspricht
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

    • SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 22 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 31 %Hintergrund, keine Belege
    • Luna 52 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 66 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 53 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →