Have AI capabilities accelerated?
Zusammenfassung
Kurz
Laut Epoch AI zeigen drei von vier untersuchten KI-Kennzahlen – zu allgemeinen Fähigkeiten, Mathematik und Programmierzeithorizonten – Hinweise auf beschleunigten Fortschritt; getrennte Trends für Reasoning- und andere Modelle passten am besten. Bei WeirdML V2 zeigte sich keine Beschleunigung. Die Ergebnisse sind nur eingeschränkt verallgemeinerbar, da die beschleunigten Messreihen vor allem Mathematik und Programmieren betreffen und die Analyse weder eine genaue Wachstumsrate noch eine einzelne Ursache belegt.
Mittel
Epoch AI vergleicht vier Kennzahlen für KI-Fähigkeiten anhand verschiedener Kurvenmodelle und prüft deren Vorhersagen mit erweiternder Fenster-Kreuzvalidierung. Drei Reihen – ECI, der logarithmierte METR-Zeithorizont und ein kombinierter Mathematikindex – zeigen laut Bericht deutliche Hinweise auf eine Beschleunigung gegenüber einem globalen linearen Trend ab 2023. Am besten passten getrennte lineare Trends für Reasoning- und andere Modelle. Für Reasoning-Modelle beschreibt die Studie einen einmaligen Leistungssprung und einen ungefähr zwei- bis dreimal schnelleren Trend. Eine genaue Wachstumsrate lässt sich laut Autor:innen nicht bestimmen, weil auch andere überlineare Kurven teils gut passen.
Der vierte Indikator, WeirdML V2, zeigte keine Beschleunigung; hier passte ein globaler linearer Trend am besten. Mögliche Erklärungen sind die ressourcenbeschränkte Testumgebung und die kurze Datenreihe vor dem Aufkommen von Reasoning-Modellen. Die Aussagekraft ist zudem begrenzt: Die drei beschleunigten Kennzahlen betreffen Mathematik und Programmieren, bei denen Korrektheit leicht automatisch prüfbar ist. Andere Aufgaben müssen denselben Fortschritt nicht zeigen. Die Studie kann außerdem die zeitgleiche Einführung von Reasoning-Modellen, mehr Inferenz-Rechenaufwand und Veränderungen im Nachtraining nicht als einzelne Ursache auseinanderhalten. Ihre Rangfolgenanalyse ist eine Näherung, kein formaler statistischer Test.
Ausführlich lesen
Epoch AI untersucht, ob sich die Fortschritte bei KI-Fähigkeiten zuletzt beschleunigt haben. Dafür wertet der Bericht vier Kennzahlen aus: den Epoch Capabilities Index (ECI), den natürlichen Logarithmus des METR-Zeithorizonts, einen aus mehreren Mathematikbenchmarks erstellten kombinierten Index sowie einen Index auf Basis von WeirdML V2. Verschiedene Kurvenmodelle sollen nicht nur historische Daten beschreiben, sondern auch spätere Werte vorhersagen.
Bei drei Kennzahlen – ECI, METR-Zeithorizont und Mathematikindex – sprechen die Ergebnisse laut Bericht deutlich für schnelleren Fortschritt als bei einem globalen linearen Trend, der Daten ab 2023 zugrunde legt. Am besten schnitt bei diesen drei Reihen ein Modell mit zwei getrennten linearen Trends ab: einem für sogenannte Reasoning-Modelle und einem für andere Modelle. Demnach gab es bei Reasoning-Modellen sowohl einen einmaligen Leistungssprung als auch einen ungefähr zwei- bis dreimal schnelleren Trend. Der Bericht betont jedoch, dass bei den einzelnen Kennzahlen auch andere überlineare Modelle gut abschneiden; eine genaue Wachstumsrate lasse sich daher nicht festlegen.
Für WeirdML V2 fand die Analyse keine entsprechende Beschleunigung: Ein gemeinsamer linearer Trend sagte die Ergebnisse am besten voraus. Als mögliche Erklärung nennt Epoch die stark beschränkte Testumgebung – Modelle dürfen nur fünfmal Code einreichen und keine externen Werkzeuge nutzen –, die weniger im Mittelpunkt des jüngeren Reinforcement-Learning-Trainings gestanden haben könnte. Zugleich reichen die WeirdML-Daten nur etwa ein Jahr vor den Reasoning-Modellen zurück, was die statistische Aussagekraft für einen möglichen Wendepunkt begrenzt.
Methodisch vergleicht die Studie acht Kurvenmodelle mit erweiternder Fenster-Kreuzvalidierung und einer vorab gewählten Prognosedauer von sechs Monaten. Sie prüft mehrere Aufbereitungen der Veröffentlichungsdaten und zwei Arten der Fehlerbewertung. Die Fähigkeiten werden teils aus vorhandenen Benchmarks übernommen, teils mithilfe von Item-Response-Modellen zu gemeinsamen Indizes zusammengeführt. Die Robustheit der Rangfolge wird durch Weglassen einzelner Beobachtungen beziehungsweise zusammenhängender Datenblöcke abgeschätzt. Diese Stabilitätsanalyse ist laut Bericht eine Näherung und kein formaler statistischer Test oder Konfidenzintervall.
Die Übertragbarkeit der Beschleunigung ist eingeschränkt: Drei der vier Kennzahlen betreffen Mathematik und Programmieren, Bereiche, die Labore gezielt verbessern und in denen sich Korrektheit leicht automatisch prüfen lässt. Aufgaben mit schwerer überprüfbarer Korrektheit müssen nicht denselben Trend zeigen. Als weitere Grenze nennt Epoch die begrenzte Verfügbarkeit geeigneter Benchmarks über viele Modellveröffentlichungen hinweg. Der Bericht deutet die Beschleunigung als zeitlich mit dem Aufkommen von Reasoning-Modellen im Jahr 2024 zusammenfallend; mehrere gleichzeitige Veränderungen – darunter mehr Inferenz-Rechenaufwand und stärkerer Einsatz von Reinforcement Learning im Nachtraining – erschweren jedoch, den Ausschlag einem einzelnen Faktor zuzuschreiben.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen sind im Kern korrekt und erfinden nichts. Ihnen fehlen aber der Robustheitsbefund, der zeitliche Bezug zu 2024 und das Hauptmaß des 6-Monats-Horizonts. Bei der Einordnung ist Stufe 4 für SF-T2 überhöht, weil der Bericht nichts zum Bremsen von Laboren enthält. Die Stufen für SF-T3 und SF-P3 sind ebenfalls zu hoch angesetzt.
Im Bericht, aber nicht in der Zusammenfassung
- Die Ergebnisse sind laut Bericht über alle vier Datenaufbereitungsmodi robust
- Die Beschleunigung fällt zeitlich auf etwa 2024 und wird mit der Einführung von Reasoning-Modellen in Verbindung gebracht
- Der 6-Monats-Prognosehorizont ist das vorab festgelegte Hauptmaß der Kreuzvalidierung
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 29 %Hintergrund, keine Belege
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %gleiches Oberthema, hilft nicht
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 44 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 47 %einzelne zitierbare Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 34 %Hintergrund, keine Belege
- Luna 67 %Hintergrund, keine Belege
- JEV 45 %gleiches Oberthema, hilft nicht
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 42 %gleiches Oberthema, hilft nicht
- JEV 32 %Hintergrund, keine Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 58 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 42 %gleiches Oberthema, hilft nicht
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv