Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch15. Mai 2026 · Q005925

Claude overperforms at software engineering and underperforms at math

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Laut Epoch AI liegen Claude-Modelle im Schnitt beim Softwareentwicklungs-ECI 2,7 Punkte über ihrem allgemeinen ECI und beim Mathematik-ECI 1,8 Punkte darunter. Bei Opus 4.6 und 4.7 ist der Mathematikwert jedoch weniger als einen Punkt niedriger. Der ECI vergleicht Modelle untereinander und misst laut Bericht Aufgabenschwierigkeit für KI, nicht für Menschen.

Mittel

Der Bericht vergleicht Claude-Modelle in Mathematik und Softwareentwicklung mit ihrem allgemeinen Epoch Capabilities Index (ECI). Im Durchschnitt liegt der SWE-ECI laut Epoch AI 2,7 Punkte über dem allgemeinen Wert, der Math-ECI 1,8 Punkte darunter. Der Softwareentwicklungsvorsprung sei über die meisten Modellgenerationen hinweg sichtbar und bestehe bei neueren Modellen fort. Zugleich könnte sich der Abstand in Mathematik verkleinern: Opus 4.6 und 4.7 liegen dort jeweils weniger als einen Punkt unter ihrem allgemeinen ECI.

Die Auswertung vergleicht allgemeine und domänenspezifische ECI-Werte. Einbezogen werden Anthropic-Modelle mit mindestens zwei Mathematik- und zwei Softwareentwicklungs-Benchmarks aus der ECI-Auswahl. Die zentrale Einschränkung: ECI-Werte messen die Leistung im Vergleich zu anderen großen Sprachmodellen und spiegeln laut Bericht die durchschnittliche Schwierigkeit für KI wider, nicht für Menschen. Die Ergebnisse gelten daher für diese relative Messung und die ausgewählten Benchmarks.

Ausführlich lesen

Der Bericht vergleicht die Leistungen von Anthropics Claude-Modellen in Mathematik und Softwareentwicklung mit ihrem allgemeinen Epoch Capabilities Index (ECI). Nach der dargestellten Auswertung liegen Claude-Modelle bei Aufgaben der Softwareentwicklung meist über ihrem allgemeinen ECI; in Mathematik liegen sie im Schnitt darunter. Der Bericht beziffert die durchschnittliche Abweichung auf +2,7 Punkte beim SWE-ECI und −1,8 Punkte beim Math-ECI. Die überdurchschnittliche Leistung in Softwareentwicklung zeige sich über die meisten Modellgenerationen hinweg und bestehe auch bei neueren Modellen fort. Die mathematische Lücke könne sich dagegen verringern: Opus 4.6 und Opus 4.7 lägen beim Math-ECI jeweils weniger als einen Punkt vom allgemeinen ECI entfernt, während frühere Modelle größere Abstände aufwiesen.

Als Vorgehen vergleicht Epoch AI anhand des Domain-specific ECI Explorers die allgemeinen ECIs mit den ECIs für Mathematik und Softwareentwicklung. Berücksichtigt werden laut Beschreibung nur Anthropic-Modelle, für die mindestens zwei Mathematik- und zwei Softwareentwicklungs-Benchmarks aus der verwendeten ECI-Auswahl vorliegen. Die beigefügten Tabellen führen für 14 Claude-Modelle jeweils allgemeine und domänenspezifische Werte sowie, sofern angegeben, untere und obere Grenzen auf. Beispiele verdeutlichen das Muster: Für Opus 4.7 beträgt der allgemeine ECI 155,97, der Mathematik-ECI 155,59 und der SWE-ECI 159,56. Bei Claude 3 Opus stehen 127,01 allgemein einem Mathematikwert von 125,50 und einem SWE-Wert von 132,89 gegenüber.

Der Bericht schränkt die Aussagekraft der Kennzahlen ein: Der ECI misst die Leistung relativ zu anderen großen Sprachmodellen. Er soll daher abbilden, wie schwierig Aufgaben für KI-Systeme im Durchschnitt sind, nicht wie schwierig sie für Menschen sind. Die dargestellten Vergleiche belegen somit relative Unterschiede innerhalb dieser Messmethode; sie sind keine direkte Aussage über menschliche Schwierigkeit oder über sämtliche denkbaren Mathematik- und Programmieraufgaben. Zudem wird die mögliche Annäherung in Mathematik vorsichtig als Trend beschrieben. Die Datentabellen erscheinen im bereitgestellten Quelltext zweimal; beide Fassungen enthalten dieselben Werte.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassungen entsprechen dem Bericht; die Kurzfassung lässt den Befund zum SWE-Vorsprung über Generationen weg. Die Sammelfrage SF-P3 ist vom Bericht kaum abgedeckt.

Im Bericht, aber nicht in der Zusammenfassung

  • Der SWE-Vorsprung zeigt sich über die meisten Modellgenerationen hinweg und besteht bei neueren Modellen fort (fehlt in der Kurzfassung)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →