AI capabilities have steadily improved over the past year
Zusammenfassung
Kurz
Epoch AI zufolge sind KI-Ergebnisse in Benchmarks für Mathematik, Wissenschaft, Programmieren, Alltagsverstand und physikalisches Verständnis im Jahresverlauf überwiegend gestiegen. Der Bericht deutet dies als zunehmenden Nutzen ohne erkennbare Verlangsamung, betont aber, dass die Tests nicht alle für wirtschaftlich wertvolle Aufgaben erforderlichen Fähigkeiten abbilden.
Mittel
Epoch AI berichtet von stetigen Verbesserungen bei KI-Benchmarks über die zwölf Monate vor Veröffentlichung des Beitrags. Die Auswahl deckt Mathematik auf Forschungsniveau (FrontierMath), wissenschaftliche Fragen (GPQA Diamond), Programmieren (Aider Polyglot), Alltagsverstand (SimpleBench) und physikalisches Verständnis (VPCT) ab. Die aufgeführten Ergebnisse zeigen deutliche Zuwächse in einigen Bereichen: etwa Werte bis 0,87 bei GPQA Diamond und über 80 bei Aider Polyglot. Bei FrontierMath bleiben die Werte hingegen niedrig; der höchste gelistete beträgt 0,25. Für einzelne Modelle erscheinen teils mehrere Ergebnisse.
Der Bericht wertet die allgemeinen Aufwärtstrends als Hinweis auf einen wachsenden praktischen Nutzen und sieht keine Anzeichen, dass sich das Wachstum verlangsamt. Das ist seine Einschätzung. Zugleich räumt er ein, dass die Benchmarks nicht alle Fähigkeiten erfassen, die für wirtschaftlich wertvolle Aufgaben nötig sind. Die Ergebnisse zeigen daher Fortschritte bei den getesteten Aufgaben, belegen aber weder umfassende Leistungsverbesserungen noch konkreten wirtschaftlichen Nutzen.
Ausführlich lesen
Der Bericht von Epoch AI beschreibt einen stetigen Anstieg der KI-Leistungen im Laufe der zwölf Monate vor seiner Veröffentlichung. Als Beleg führt er Ergebnisse aus einer Auswahl von Benchmarks an, die verschiedene Fähigkeiten abdecken: FrontierMath prüft anspruchsvolle Mathematik auf Forschungsniveau, GPQA Diamond wissenschaftliche Fragen aus Biologie, Physik und Chemie, Aider Polyglot schwierige Programmieraufgaben, SimpleBench Schlussfolgerungen im Alltagsverstand und der Visual Physics Comprehension Test (VPCT) das Verständnis einfacher physikalischer Situationen.
Die beigefügten Tabellen listen Modelle, Veröffentlichungsdaten und Benchmarkwerte auf. Sie zeigen deutliche Fortschritte in einzelnen Bereichen: Bei GPQA Diamond erreichen spätere Modelle Werte bis 0,87, während ältere Einträge teils deutlich niedriger liegen. Bei Aider Polyglot liegen einige der späteren Werte über 80; bei VPCT steigen einzelne Werte auf etwa 0,66. Auch bei SimpleBench sind spätere Ergebnisse höher als viele frühere. Die Werte für FrontierMath bleiben dagegen selbst bei neueren Modellen vergleichsweise niedrig: Der höchste aufgeführte Wert beträgt 0,25. Die Tabellen enthalten mehrere Einträge je Modell und teilweise unterschiedliche Ergebnisse, sodass sie keinen einzelnen, einheitlichen Messwert pro Modell darstellen.
Epoch AI deutet die übergreifenden Aufwärtstrends als echte Verbesserungen des praktischen Nutzens von KI und erklärt, dass das Wachstum bislang keine Anzeichen einer Verlangsamung zeige. Das ist die Einschätzung des Berichts. Seine Einschränkung: Die ausgewählten Benchmarks bilden nicht alle vielschichtigen Fähigkeiten ab, die für wirtschaftlich wertvolle Aufgaben erforderlich sind. Die dargestellten Testergebnisse belegen daher Fortschritte in den jeweils geprüften Aufgaben, aber für sich genommen weder eine umfassende Verbesserung in allen Fähigkeiten noch den tatsächlichen wirtschaftlichen Nutzen. Der Text erläutert die Auswahl und den Zweck der Benchmarks, beschreibt jedoch keine detaillierte statistische Auswertung oder ein Verfahren, mit dem sich die behauptete Geschwindigkeit des Gesamtfortschritts bestimmen ließe.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung stützt sich nur auf den Berichtstext und die Tabellen. Die Stufen von Luna wurden nicht übernommen. Der Bericht sagt ausdrücklich, dass die Benchmarks nicht alle für wirtschaftlich wertvolle Aufgaben nötigen Fähigkeiten erfassen.
Im Bericht, aber nicht in der Zusammenfassung
- Der Kernbefund, dass die Fähigkeiten über die letzten zwölf Monate schnell und konsistent gewachsen sind
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die Ergebnisse belegten weder umfassende Leistungsverbesserungen noch konkreten wirtschaftlichen Nutzen, steht so nicht im Bericht; der Bericht sieht vielmehr echte Verbesserungen des Nutzens
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 25 %Hintergrund, keine Belege
- Luna 43 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %einzelne zitierbare Belege
- amos 30 %Hintergrund, keine Belege
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 25 %gleiches Oberthema, hilft nicht
- Luna 45 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 32 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 67 %Hintergrund, keine Belege
- JEV 51 %gleiches Oberthema, hilft nicht
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 70 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 34 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 39 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 29 %gleiches Oberthema, hilft nicht
- Luna 51 %Hintergrund, keine Belege
- JEV 45 %Hintergrund, keine Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 67 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 31 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv