Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com12. November 2026 · Q010985

Fable 5.2’s Benchmarks Ran at Xhigh. Claude Code Runs It at Medium.

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Autor hält die Spitzenwerte von Fable 5.2 für wenig aussagekräftig für den Alltag, weil sie mit Xhigh oder Max ermittelt wurden, während Claude Code standardmäßig Medium nutzt; ein Medium-Wert für den zentralen FrontierCode-Benchmark fehle. Externe Vergleichsdaten deuten laut Bericht auf deutlich höhere Kosten bei Xhigh hin, doch welche Einstellung sich eignet und wie zuverlässig Benchmarks bei möglicher Evaluationserkennung sind, müsse durch eigene Tests geklärt werden.

Mittel

Der Bericht argumentiert, dass Fable 5.2s veröffentlichte Spitzenwerte nur eingeschränkt zeigen, was Nutzer standardmäßig erleben: Die Benchmarks liefen laut Anthropic auf der höchsten verfügbaren Effort-Stufe, Claude Code und die Apps starten mit Medium, die API mit High. Effort beeinflusse laut Dokumentation den gesamten Arbeitsaufwand des Modells und damit Tokenverbrauch und Kosten pro Aufgabe. Der Autor kritisiert, dass für FrontierCode kein Medium-Wert veröffentlicht sei, obwohl Medium die Claude-Code-Voreinstellung ist.

Bei Xhigh erzielt Fable 5.2 im FrontierCode-Benchmark 49,1 Prozent; bei High sind es 45,3 Prozent. Andere veröffentlichte Ergebnisse zeigen, dass niedrigere Stufen bei einzelnen Aufgaben Opus 5.5s Spitzenwerte zu geringeren Kosten erreichen können. Laut Artificial Analysis liegt Fable 5.2 bei Medium auf Rang 9 von 74 und bei Xhigh auf Rang 2; Xhigh koste pro Aufgabe etwa 3,9-mal so viel. Der Autor sieht Medium deshalb als sinnvolle Voreinstellung für viele Alltagsaufgaben, betont aber, dass die passende Stufe mit eigenen Tests ermittelt werden müsse.

Er nennt außerdem den um 20 Prozent gesenkten Tokenpreis, weist aber darauf hin, dass Effort und Fast Mode die tatsächlichen Aufgabenkosten stärker verändern können. Offen bleibe, wie sehr die mögliche Erkennung von Testsituationen Benchmarkwerte beeinflusst. Der Autor hat seine geplante Erprobung in einem Multi-Agenten-System noch nicht durchgeführt.

Ausführlich lesen

Der Bericht untersucht, wie stark die veröffentlichten Leistungswerte für Anthropics Modell Fable 5.2 von der gewählten Einstellung „Effort“ abhängen. Der Autor stellt drei unterschiedliche Standardwerte gegenüber: Die Benchmark-Tabelle verwendet laut Anthropic jeweils die höchste verfügbare Stufe, bei Fable 5.2 also Xhigh oder Max; Claude Code und die Verbraucher-Apps starten mit Medium; die API verwendet standardmäßig High. Deshalb könnten dieselben Modellgewichte unter derselben Modellbezeichnung im Alltag deutlich anders arbeiten als in den prominent zitierten Tests. Der Autor betont, dass diese Angaben dokumentiert seien und Anthropic auch Werte für niedrigere Stufen veröffentliche. Er kritisiert jedoch, dass viele Berichte vor allem die Spitzenwerte übernahmen.

Effort sei nach Anthropics Dokumentation kein bloßer Regler für zusätzliche Denktokens, sondern beeinflusse Ausgaben, Schlussfolgerungen und Werkzeugaufrufe. Da adaptives Denken stets aktiv sei, verändere die Einstellung vor allem den Tokenverbrauch und damit Laufzeit und Kosten pro Aufgabe, obwohl der Tokenpreis gleich bleibe. Anthropic empfehle laut Bericht, mit High zu beginnen und die Einstellungen anhand eigener Tests zu vergleichen. Der Autor merkt außerdem an, dass er nicht verifizieren konnte, welche Claude-Code-Einstellung bei Fable 5.1 galt.

Bei Xhigh erreicht Fable 5.2 im Benchmark FrontierCode 2.0 laut den zitierten Angaben 49,1 Prozent, gegenüber 32,4 Prozent für Fable 5.1, 45,5 Prozent für Opus 5.5 und 42,8 Prozent für GPT-6 Astra. Anthropic bezeichne dies als höchsten Wert eines getesteten veröffentlichten Modells. Auch FrontierSWE v2 und RoboDojo Sim legten deutlich zu; der Autor hält den Sprung bei RoboDojo für so auffällig, dass er die Methodik genauer prüfen möchte. Niedrigere Effort-Stufen zeigen ein differenzierteres Bild: Bei High erreicht Fable 5.2 auf FrontierCode 45,3 Prozent, knapp unter Opus 5.5; bei anderen Aufgaben soll Medium oder sogar Low Opus’ Spitzenwerte zu deutlich geringeren Aufgabenkosten erreichen. Für FrontierCode fehlt dem Autor jedoch ein Medium-Wert, obwohl dies die Claude-Code-Voreinstellung ist. Zudem ist die Tabelle kein vollständiger Sieg: Gemini 4 Carbon liegt bei AutomationBench vorn, Opus 5.5 knapp bei AA-Briefcase, und andere Modelle übertreffen Fable 5.2 Medium bei Chartography.

Als externe Vergleichsquelle führt der Autor Artificial Analysis an. Deren getrennte Einträge geben Fable 5.2 bei Medium einen Intelligence-Index von 56 (Rang 9 von 74) und Kosten von 3,80 US-Dollar je Index-Aufgabe an; Xhigh erreicht 62 (Rang 2), kostet 14,83 US-Dollar und verbraucht im Lauf deutlich mehr Ausgabetokens. Daraus leitet der Autor ein ungefähr vierfaches Kostenverhältnis ab. Er hält Medium für viele alltägliche Aufgaben daher für plausibel, kann aber nicht feststellen, ob die Voreinstellung vor allem Nutzern oder auch Anthropics Kosten bei festen Abonnements dient.

Der Bericht nennt außerdem eine Senkung des Tokenpreises um 20 Prozent gegenüber Fable 5.1, argumentiert aber, dass der Effort-bedingte Unterschied bei den Aufgabenkosten größer sein könne. Fast Mode verdoppele den Tokenpreis. Anthropic behaupte zudem, Fable 5.2 erledige anspruchsvolle Aufgaben bei Medium mit weniger Tokens; der Autor bewertet diese Aussage als plausibel, aber wegen der nicht näher bestimmten Aufgabenmischung als keine solide Budgetgrundlage.

Der Autor beschreibt seinen geplanten, noch nicht durchgeführten Einsatz in einem Multi-Agenten-System: Er wolle Effort pro Agent ausdrücklich setzen und die Stufen nach Aufgabe verteilen. Das ist sein Versuchsplan, keine belegte Empfehlung. Als weitere Einschränkung nennt er Anthropics Hinweis, dass Fable 5.2 und Mythos 5.2 häufiger als frühere Modelle erkennen könnten, wenn sie evaluiert werden. Wie stark dies Coding-Benchmarks beeinflusst, sei dem Autor zufolge außerhalb von Anthropic noch unklar. Er schließt, dass die veröffentlichten Spitzenwerte die Leistung bei der verbreiteten Medium-Einstellung nicht beantworten; aussagekräftiger seien unabhängige Tests und eigene Messungen mit den tatsächlich eingesetzten Prompts und Einstellungen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Geprüft wurden beide Zusammenfassungen (kurz und mittel) gemeinsam, da das Schema nur ein Urteil vorsieht. Der Bericht ist ein Testbericht zu Fable 5.2 (Effort-Stufen, Benchmarks, Preise); die meisten Sicherheitsfragen werden deshalb nur am Rande oder gar nicht beantwortet.

Im Bericht, aber nicht in der Zusammenfassung

  • Dass externe Prüfer wie das UK AI Security Institute und METR laut Seite weder den Launch-Beitrag noch die Systemkarte geprüft haben
  • Dass Fable 5.2 nicht in allen Benchmarks führt (Gemini 4 Carbon bei AutomationBench, Opus 5.5 bei AA-Briefcase Elo)
  • Dass die kurze Fassung den Preisnachlass von 20 Prozent und den API-Standard High nicht nennt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 24 %Hintergrund, keine Belege
    • Luna 43 %Hintergrund, keine Belege
    • JEV 35 %nur am Rande erwähnt
    • amos 30 %nur am Rande erwähnt
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra 44 %gleiches Oberthema, hilft nicht

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %beantwortet teilweise oder widerspricht
    • amos 28 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

    • SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 34 %nur am Rande erwähnt
    • JEV 33 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 20 %Hintergrund, keine Belege
    • Luna 76 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 34 %nur am Rande erwähnt
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 32 %nur am Rande erwähnt
    • d3-ultra 40 %gleiches Oberthema, hilft nicht
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %nur am Rande erwähnt
    • Luna 48 %einzelne zitierbare Belege
    • JEV 36 %beantwortet teilweise oder widerspricht
    • amos 36 %einzelne zitierbare Belege
    • SubQ 32 %einzelne zitierbare Belege
    • drex 34 %einzelne zitierbare Belege
    • d3-ultra 42 %einzelne zitierbare Belege
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 3 · 25 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %nur am Rande erwähnt
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht

    • SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 24 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 23 %Hintergrund, keine Belege
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 19 %nur am Rande erwähnt
    • Luna 55 %Hintergrund, keine Belege
    • JEV 34 %beantwortet teilweise oder widerspricht
    • amos 32 %Hintergrund, keine Belege
    • SubQ 29 %gleiches Oberthema, hilft nicht
    • drex 29 %nur am Rande erwähnt
    • d3-ultra 47 %gleiches Oberthema, hilft nicht

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 26 %gleiches Oberthema, hilft nicht
    • amos 53 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 36 %einzelne zitierbare Belege
    • JEV 52 %beantwortet direkt und ausführlich
    • amos 28 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 38 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 4 · 41 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 38 %nur am Rande erwähnt
    • amos 30 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 37 %gleiches Oberthema, hilft nicht
    • amos 54 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 34 %einzelne zitierbare Belege
    • JEV 41 %nur am Rande erwähnt
    • amos 34 %nur am Rande erwähnt
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 31 %nur am Rande erwähnt
    • d3-ultra 38 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 36 %nur am Rande erwähnt
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →