Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch16. September 2026 · Q005879

GPT-6 Astra leads on math benchmarks, but not on software engineering

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Laut Epoch AI führt GPT-6 Astra nach Punktschätzung den allgemeinen ECI und den Mathematik-Index an, während Claude Fable 5.1 im Software-Engineering-Index vorn liegt. Die Konfidenzintervalle überschneiden sich, und die Domänenwerte basieren auf wenigen Benchmarks; Astras allgemeiner Wert wurde nach zusätzlichen Ergebnissen gegenüber der Startschätzung nach unten angepasst.

Mittel

Epoch AI vergleicht vier Modelle mit dem allgemeinen Epoch Capabilities Index (ECI) und zwei domänenspezifischen Varianten. Nach Punktschätzung führt GPT-6 Astra im allgemeinen Index mit 166,31 vor Claude Fable 5.1 (164,47), GPT-5.6 Sol (161,81) und Kimi K3 (157,63). Beim Mathematik-ECI liegt Astra ebenfalls vorn (169,83). Im Software-Engineering-ECI erreicht dagegen Fable mit 167,44 den höchsten Wert; Astra kommt auf 163,58.

Die Schätzungen beruhen auf unterschiedlich vielen Benchmarks: vier für Astras Mathematikwert, drei bis vier für die SWE-Werte von Fable und Astra. Die 90-Prozent-Konfidenzintervalle der beiden Spitzenmodelle überschneiden sich in den genannten Vergleichen. Der Bericht erklärt, dass domänenspezifische Werte mit beibehaltenen Benchmark-Schwierigkeitsparametern aus Teilmengen neu geschätzt werden.

Astras allgemeiner ECI sank gegenüber der Startschätzung von 169,23 auf 166,31, nachdem zusätzliche Benchmark-Ergebnisse einbezogen wurden; Fables Wert stieg von 162,88 auf 164,47. Das sind Indexvergleiche und keine Aussage über alle praktischen Aufgaben. Die Grafik nennt den 13. September 2026 als Datenstand, die Snapshot-Tabelle den 15. September.

Ausführlich lesen

Der Bericht von Epoch AI vergleicht GPT-6 Astra, Claude Fable 5.1, GPT-5.6 Sol und Kimi K3 anhand des Epoch Capabilities Index (ECI) sowie zweier domänenspezifischer Varianten für Mathematik und Softwareentwicklung. Die Werte sollen laut Bericht Modellfähigkeiten anhand ausgewählter Benchmarks vergleichbar machen; sie sind keine direkten Aussagen über jede praktische Aufgabe.

Im allgemeinen ECI liegt GPT-6 Astra mit 166,31 an erster Stelle. Es folgen Claude Fable 5.1 mit 164,47, GPT-5.6 Sol mit 161,81 und Kimi K3 mit 157,63. Die angegebenen 90-Prozent-Konfidenzintervalle für Astra (163,00–171,88) und Fable (161,36–168,28) überschneiden sich. Der Bericht stellt daher zwar Astra als Spitzenreiter nach Punktschätzung dar, die Unsicherheit der Schätzungen bleibt jedoch relevant.

Beim Mathematik-ECI erzielt Astra mit 169,83 den höchsten Wert unter den vier Modellen. Fable folgt mit 165,73, Sol mit 162,76 und Kimi mit 158,39. Diese Schätzungen beruhen jeweils auf vier Mathematik-Benchmarks. Im Software-Engineering-ECI liegt dagegen Fable mit 167,44 vor Astra mit 163,58. Die Schätzungen beruhen dort auf drei Benchmarks für Fable und vier für Astra. Auch diese 90-Prozent-Konfidenzintervalle überschneiden sich: Fable liegt bei 161,95–178,53, Astra bei 160,42–169,82. Sol erreicht 160,47, Kimi 161,54. Der Titel fasst somit die Rangfolge der Punktschätzungen zusammen: Astra führt in Mathematik und im allgemeinen Index, Fable im Software-Engineering-Index.

Epoch erklärt, dass die domänenspezifischen ECIs die Schwierigkeitsparameter der Benchmarks aus der allgemeinen ECI-Anpassung beibehalten und die Modellfähigkeit jeweils nur anhand der Benchmarks der betreffenden Domäne neu schätzen. Dadurch sollen die domänenspezifischen Werte mit dem allgemeinen Index vergleichbar sein. Die Fachwerte stützen sich allerdings auf wenige Benchmarks.

Der Bericht beschreibt außerdem eine Änderung gegenüber der Einschätzung zum Start: Astra erhielt zunächst einen allgemeinen ECI von 169,23, berechnet mit neun Benchmarks und nur einem SWE-Benchmark. Mit zusätzlichen Ergebnissen sank die Punktschätzung auf 166,31; die aktuelle Berechnung berücksichtigt 16 Benchmarks, darunter vier für Softwareentwicklung. Fables ECI stieg im selben Tabellenvergleich von 162,88 auf 164,47, während die Zahl der berücksichtigten Benchmarks von zwölf auf 15 zunahm. Als aktuelle Snapshot-Daten nennt die Tabelle den 15. September 2026; die Grafikbeschreibung bezeichnet die Daten als Stand vom 13. September. Der Bericht liefert Benchmarks, Punktschätzungen und Konfidenzintervalle, aber keine Grundlage dafür, daraus eine allgemeine Rangfolge für sämtliche Einsatzbereiche abzuleiten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Einordnung nennt zusätzlich einen Anteil von 42 %, der auf der angegebenen Skala nicht vorgesehen ist; bewertet wurde nur die Stufe, und die Stufe ist unabhängig von der Begründung.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Bericht stützt Astras ursprünglichen Wert von 169 auf Vorab-Evaluationen vor dem Start; das wird nicht genannt.
  • Die Modelle Kimi K3 und GPT-5.6 Sol werden in den Domänenwerten nicht eingeordnet; der Bericht hebt ihre SWE-Ergebnisse (160,47 bzw. 161,54) nicht hervor.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, dass es sich um Indexvergleiche und keine Aussage über alle praktischen Aufgaben handelt, steht so nicht im Bericht; sie ist eine eigene Einschränkung von Luna.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →