Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com27. Oktober 2026 · Q010860

GPT-6 Astra vs Fable 5.1: OpenAI Won the Wrong Benchmark

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der vollständige Bericht sieht GPT-6 Astra laut den herangezogenen Tests bei Mathematik, Wissenschaft, Cybersecurity und Computersteuerung vorn, Claude Fable 5.1 dagegen bei allgemeinen Fähigkeiten, größeren Programmierprojekten, Antwortbeginn und bestimmten Kosten. Da die Praxisergebnisse auf einer Woche eigener Tests beruhen und Benchmarks nur bestimmte Aufgaben abbilden, empfiehlt der Autor, beide Modelle mit den eigenen Arbeitsabläufen zu vergleichen.

Mittel

Der vollständige Bericht vergleicht GPT-6 Astra und Claude Fable 5.1 anhand unabhängiger Benchmarks und einer Woche eigener Praxistests. Laut Autor liegen die Listenpreise gleichauf; die Unternehmen hätten ihre Modelle in den Startvergleichen jedoch nicht direkt gegeneinander getestet.

Astra schneide in den berichteten Tests besonders bei ForschungsMathematik, Naturwissenschaft, Cybersecurity und Computersteuerung besser ab. Auch eine niedrigere Halluzinationsrate gegenüber älteren OpenAI-Modellen hebt der Autor als wichtig für handelnde Agenten hervor. Fable führe dagegen bei unabhängigen Indizes für allgemeine Intelligenz und Programmieragenten sowie bei einem Test mit Werkzeugnutzung. In größeren App-Aufgaben habe Fable konsistentere Ergebnisse geliefert. Der Autor nennt für seinen Praxistest Tokenkosten von etwa 198 Dollar für Astra und 113 Dollar für Fable.

Bei maximalem Denkaufwand antworte Fable schneller; Astra könne im optionalen Fast-Modus schneller laufen, der laut Bericht doppelt kostet. Fables günstigeres Lesen zwischengespeicherter Eingaben sei vor allem bei umfangreicher Automatisierung bedeutsam. Der Autor empfiehlt Astra für spezialisierte Forschungs- und Automatisierungsaufgaben, Fable als Alltagsmodell für Schlussfolgern und Programmieren. Die praktischen Ergebnisse stammen aus einer Woche Tests und belegen keine allgemeingültige Rangfolge. Er rät, beide anhand eigener Aufgaben, Qualität und tatsächlicher Kosten zu vergleichen.

Ausführlich lesen

Der vollständige Bericht vergleicht GPT-6 Astra von OpenAI und Claude Fable 5.1 von Anthropic, die laut Autor im September 2026 im Abstand von zwei Tagen erschienen. Beide Modelle hätten denselben Listenpreis für Ein- und Ausgabetokens sowie ein Kontextfenster von ungefähr einer Million Tokens. Da die Unternehmen ihre Modelle jeweils vor allem mit eigenen älteren Modellen verglichen hätten, stützt der Autor sein Urteil auf unabhängige Benchmarks und eine Woche eigener Tests mit praktischen Aufgaben. Seine zentrale These: Astra gewinne mehrere spezialisierte Tests, Fable liege aber bei allgemeinen Fähigkeiten und alltäglicher Programmierarbeit vorn.

Als Astra-Stärken nennt der Autor Mathematik, Naturwissenschaft, Cybersecurity und Computersteuerung. Er berichtet unter anderem von 97,6 gegenüber 87,8 Prozent bei FrontierMath Tier 4, 96,0 gegenüber 93,7 Prozent bei GPQA Diamond sowie einem Vorsprung bei Terminal-Bench Science. Auch bei Tests zum Auffinden von Bedienelementen auf dem Bildschirm und zum Ausführen mehrstufiger Aktionen habe Astra höhere Werte erzielt. Außerdem sei die Halluzinationsrate in einem direkten Vergleich laut Bericht von rund 9,4 auf 2 Prozent gesunken. Der Autor wertet das als besonders relevant für Agenten, die durch falsche Angaben konkrete Aktionen auslösen können.

Bei unabhängigen Gesamt- und Coding-Indizes drehe sich das Bild laut Artikel um: Artificial Analysis habe Fable mit 66 gegenüber 61 Punkten im Intelligence Index bewertet; im Coding Agent Index liege Fable mit 70 zu 67 vorn. Auch bei Humanity’s Last Exam mit Werkzeugen führe Fable. In praktischen Tests mit vier größeren Anwendungen habe Fable zwei Projekte erfolgreich umgesetzt, während Astra laut Autor bei einem Film-Tracker eine fehlerhafte Datenanbindung und eine flackernde Oberfläche sowie bei einer Notiz-App eine nicht funktionierende Kernfunktion geliefert habe. Kleine isolierte Programmieraufgaben seien dagegen nahezu ausgeglichen gewesen. Der Testlauf habe ungefähr 198 US-Dollar an Tokenkosten für Astra und 113 Dollar für Fable verursacht. Der Autor beschreibt Fable daher als geeigneter für große, zusammenhängende Codebasen und Astra als stark bei visuellen Prototypen und eigenständigen Werkzeugabläufen.

Auch Geschwindigkeit und Kosten fielen je nach Nutzung unterschiedlich aus: Bei maximalem Denkaufwand beginne Fable laut Bericht schneller zu antworten. Astra biete einen optionalen Fast-Modus mit bis zu 2,5-facher Geschwindigkeit zum doppelten Preis und sei bei Computersteuerungs-Schleifen besonders schnell. Diese Latenzangaben bezögen sich auf maximalen Denkaufwand; bei niedrigerer Einstellung würden beide schneller wirken. Für wiederholt verwendete Eingaben koste Fables Cache-Lesen laut Artikel ein Viertel von Astras Preis. Das sei vor allem bei umfangreicher Automatisierung relevant, nicht beim gelegentlichen Chat.

Der Autor empfiehlt Astra für Forschung, Mathematik, Sicherheit und umfangreiche Automatisierung, Fable für allgemeines Schlussfolgern, alltägliches Programmieren und größere Projekte. Seine Grenzen: Die praktischen Befunde beruhen auf einer Woche eigener Tests; Benchmarkwerte hängen von den jeweiligen Prüfungen ab, und eine universelle Rangfolge lasse sich daraus nicht ableiten. Leser sollten deshalb eigene typische Aufgaben mit beiden Modellen vergleichen und dabei Qualität, erforderliche Anleitung und tatsächliche Kosten beobachten. Der Bericht bewirbt außerdem den Newsletter des Autors und ein kostenpflichtiges Testhandbuch.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich allein auf einen Medium-Vergleichsbeitrag zu Modellleistung und Kosten, nicht auf einen Sicherheitsbericht. Lunas zwei Fassungen wurden gemeinsam bewertet; die Zusammenfassung ist im Kern treu, lässt aber zentrale Zahlen aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Artificial-Analysis-Index: Fable 5.1 erreicht 66, Astra 61, und 66 ist laut Bericht der höchste je gemessene Wert
  • Halluzinationsrate sinkt laut Bericht von rund 9,4 % auf 2 %, in beiden Fassungen nicht genannt
  • Astra ist bei Computersteuerung laut Bericht etwa 1,9-mal so schnell wie der Vorgänger Sol
  • Coding-Index 70 zu 67 und Humanity's Last Exam mit Werkzeugen 65,0 % zu 57,2 % zugunsten Fables fehlen als Zahlen

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %nur am Rande erwähnt
    • Luna 41 %nur am Rande erwähnt
    • JEV 59 %einzelne zitierbare Belege
    • amos 24 %Hintergrund, keine Belege
    • SubQ 29 %gleiches Oberthema, hilft nicht
    • drex 25 %einzelne zitierbare Belege
    • d3-ultra 40 %gleiches Oberthema, hilft nicht

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 4 · 28 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 33 %nur am Rande erwähnt
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 25 %gleiches Oberthema, hilft nicht
    • Luna 71 %einzelne zitierbare Belege
    • JEV 49 %beantwortet teilweise oder widerspricht
    • amos 26 %einzelne zitierbare Belege
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 30 %einzelne zitierbare Belege
    • d3-ultra 31 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 6 · 27 % · beantwortet teilweise oder widerspricht · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 68 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 39 %einzelne zitierbare Belege
    • amos 57 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 32 %umfangreiche Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 67 %gleiches Oberthema, hilft nicht
    • JEV 27 %einzelne zitierbare Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %einzelne zitierbare Belege
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 65 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →