GPT-6 Astra leads on math benchmarks, but not on software engineering
Zusammenfassung
Kurz
Laut Epoch AI führt GPT-6 Astra nach Punktschätzung den allgemeinen ECI und den Mathematik-Index an, während Claude Fable 5.1 im Software-Engineering-Index vorn liegt. Die Konfidenzintervalle überschneiden sich, und die Domänenwerte basieren auf wenigen Benchmarks; Astras allgemeiner Wert wurde nach zusätzlichen Ergebnissen gegenüber der Startschätzung nach unten angepasst.
Mittel
Epoch AI vergleicht vier Modelle mit dem allgemeinen Epoch Capabilities Index (ECI) und zwei domänenspezifischen Varianten. Nach Punktschätzung führt GPT-6 Astra im allgemeinen Index mit 166,31 vor Claude Fable 5.1 (164,47), GPT-5.6 Sol (161,81) und Kimi K3 (157,63). Beim Mathematik-ECI liegt Astra ebenfalls vorn (169,83). Im Software-Engineering-ECI erreicht dagegen Fable mit 167,44 den höchsten Wert; Astra kommt auf 163,58.
Die Schätzungen beruhen auf unterschiedlich vielen Benchmarks: vier für Astras Mathematikwert, drei bis vier für die SWE-Werte von Fable und Astra. Die 90-Prozent-Konfidenzintervalle der beiden Spitzenmodelle überschneiden sich in den genannten Vergleichen. Der Bericht erklärt, dass domänenspezifische Werte mit beibehaltenen Benchmark-Schwierigkeitsparametern aus Teilmengen neu geschätzt werden.
Astras allgemeiner ECI sank gegenüber der Startschätzung von 169,23 auf 166,31, nachdem zusätzliche Benchmark-Ergebnisse einbezogen wurden; Fables Wert stieg von 162,88 auf 164,47. Das sind Indexvergleiche und keine Aussage über alle praktischen Aufgaben. Die Grafik nennt den 13. September 2026 als Datenstand, die Snapshot-Tabelle den 15. September.
Ausführlich lesen
Der Bericht von Epoch AI vergleicht GPT-6 Astra, Claude Fable 5.1, GPT-5.6 Sol und Kimi K3 anhand des Epoch Capabilities Index (ECI) sowie zweier domänenspezifischer Varianten für Mathematik und Softwareentwicklung. Die Werte sollen laut Bericht Modellfähigkeiten anhand ausgewählter Benchmarks vergleichbar machen; sie sind keine direkten Aussagen über jede praktische Aufgabe.
Im allgemeinen ECI liegt GPT-6 Astra mit 166,31 an erster Stelle. Es folgen Claude Fable 5.1 mit 164,47, GPT-5.6 Sol mit 161,81 und Kimi K3 mit 157,63. Die angegebenen 90-Prozent-Konfidenzintervalle für Astra (163,00–171,88) und Fable (161,36–168,28) überschneiden sich. Der Bericht stellt daher zwar Astra als Spitzenreiter nach Punktschätzung dar, die Unsicherheit der Schätzungen bleibt jedoch relevant.
Beim Mathematik-ECI erzielt Astra mit 169,83 den höchsten Wert unter den vier Modellen. Fable folgt mit 165,73, Sol mit 162,76 und Kimi mit 158,39. Diese Schätzungen beruhen jeweils auf vier Mathematik-Benchmarks. Im Software-Engineering-ECI liegt dagegen Fable mit 167,44 vor Astra mit 163,58. Die Schätzungen beruhen dort auf drei Benchmarks für Fable und vier für Astra. Auch diese 90-Prozent-Konfidenzintervalle überschneiden sich: Fable liegt bei 161,95–178,53, Astra bei 160,42–169,82. Sol erreicht 160,47, Kimi 161,54. Der Titel fasst somit die Rangfolge der Punktschätzungen zusammen: Astra führt in Mathematik und im allgemeinen Index, Fable im Software-Engineering-Index.
Epoch erklärt, dass die domänenspezifischen ECIs die Schwierigkeitsparameter der Benchmarks aus der allgemeinen ECI-Anpassung beibehalten und die Modellfähigkeit jeweils nur anhand der Benchmarks der betreffenden Domäne neu schätzen. Dadurch sollen die domänenspezifischen Werte mit dem allgemeinen Index vergleichbar sein. Die Fachwerte stützen sich allerdings auf wenige Benchmarks.
Der Bericht beschreibt außerdem eine Änderung gegenüber der Einschätzung zum Start: Astra erhielt zunächst einen allgemeinen ECI von 169,23, berechnet mit neun Benchmarks und nur einem SWE-Benchmark. Mit zusätzlichen Ergebnissen sank die Punktschätzung auf 166,31; die aktuelle Berechnung berücksichtigt 16 Benchmarks, darunter vier für Softwareentwicklung. Fables ECI stieg im selben Tabellenvergleich von 162,88 auf 164,47, während die Zahl der berücksichtigten Benchmarks von zwölf auf 15 zunahm. Als aktuelle Snapshot-Daten nennt die Tabelle den 15. September 2026; die Grafikbeschreibung bezeichnet die Daten als Stand vom 13. September. Der Bericht liefert Benchmarks, Punktschätzungen und Konfidenzintervalle, aber keine Grundlage dafür, daraus eine allgemeine Rangfolge für sämtliche Einsatzbereiche abzuleiten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Einordnung nennt zusätzlich einen Anteil von 42 %, der auf der angegebenen Skala nicht vorgesehen ist; bewertet wurde nur die Stufe, und die Stufe ist unabhängig von der Begründung.
Im Bericht, aber nicht in der Zusammenfassung
- Der Bericht stützt Astras ursprünglichen Wert von 169 auf Vorab-Evaluationen vor dem Start; das wird nicht genannt.
- Die Modelle Kimi K3 und GPT-5.6 Sol werden in den Domänenwerten nicht eingeordnet; der Bericht hebt ihre SWE-Ergebnisse (160,47 bzw. 161,54) nicht hervor.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, dass es sich um Indexvergleiche und keine Aussage über alle praktischen Aufgaben handelt, steht so nicht im Bericht; sie ist eine eigene Einschränkung von Luna.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 23 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 30 %gleiches Oberthema, hilft nicht
- drex 30 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 30 %Hintergrund, keine Belege
- SubQ 37 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 42 %einzelne zitierbare Belege
- amos 31 %Hintergrund, keine Belege
- SubQ 34 %gleiches Oberthema, hilft nicht
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 68 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv