Claude overperforms at software engineering and underperforms at math
Zusammenfassung
Kurz
Laut Epoch AI liegen Claude-Modelle im Schnitt beim Softwareentwicklungs-ECI 2,7 Punkte über ihrem allgemeinen ECI und beim Mathematik-ECI 1,8 Punkte darunter. Bei Opus 4.6 und 4.7 ist der Mathematikwert jedoch weniger als einen Punkt niedriger. Der ECI vergleicht Modelle untereinander und misst laut Bericht Aufgabenschwierigkeit für KI, nicht für Menschen.
Mittel
Der Bericht vergleicht Claude-Modelle in Mathematik und Softwareentwicklung mit ihrem allgemeinen Epoch Capabilities Index (ECI). Im Durchschnitt liegt der SWE-ECI laut Epoch AI 2,7 Punkte über dem allgemeinen Wert, der Math-ECI 1,8 Punkte darunter. Der Softwareentwicklungsvorsprung sei über die meisten Modellgenerationen hinweg sichtbar und bestehe bei neueren Modellen fort. Zugleich könnte sich der Abstand in Mathematik verkleinern: Opus 4.6 und 4.7 liegen dort jeweils weniger als einen Punkt unter ihrem allgemeinen ECI.
Die Auswertung vergleicht allgemeine und domänenspezifische ECI-Werte. Einbezogen werden Anthropic-Modelle mit mindestens zwei Mathematik- und zwei Softwareentwicklungs-Benchmarks aus der ECI-Auswahl. Die zentrale Einschränkung: ECI-Werte messen die Leistung im Vergleich zu anderen großen Sprachmodellen und spiegeln laut Bericht die durchschnittliche Schwierigkeit für KI wider, nicht für Menschen. Die Ergebnisse gelten daher für diese relative Messung und die ausgewählten Benchmarks.
Ausführlich lesen
Der Bericht vergleicht die Leistungen von Anthropics Claude-Modellen in Mathematik und Softwareentwicklung mit ihrem allgemeinen Epoch Capabilities Index (ECI). Nach der dargestellten Auswertung liegen Claude-Modelle bei Aufgaben der Softwareentwicklung meist über ihrem allgemeinen ECI; in Mathematik liegen sie im Schnitt darunter. Der Bericht beziffert die durchschnittliche Abweichung auf +2,7 Punkte beim SWE-ECI und −1,8 Punkte beim Math-ECI. Die überdurchschnittliche Leistung in Softwareentwicklung zeige sich über die meisten Modellgenerationen hinweg und bestehe auch bei neueren Modellen fort. Die mathematische Lücke könne sich dagegen verringern: Opus 4.6 und Opus 4.7 lägen beim Math-ECI jeweils weniger als einen Punkt vom allgemeinen ECI entfernt, während frühere Modelle größere Abstände aufwiesen.
Als Vorgehen vergleicht Epoch AI anhand des Domain-specific ECI Explorers die allgemeinen ECIs mit den ECIs für Mathematik und Softwareentwicklung. Berücksichtigt werden laut Beschreibung nur Anthropic-Modelle, für die mindestens zwei Mathematik- und zwei Softwareentwicklungs-Benchmarks aus der verwendeten ECI-Auswahl vorliegen. Die beigefügten Tabellen führen für 14 Claude-Modelle jeweils allgemeine und domänenspezifische Werte sowie, sofern angegeben, untere und obere Grenzen auf. Beispiele verdeutlichen das Muster: Für Opus 4.7 beträgt der allgemeine ECI 155,97, der Mathematik-ECI 155,59 und der SWE-ECI 159,56. Bei Claude 3 Opus stehen 127,01 allgemein einem Mathematikwert von 125,50 und einem SWE-Wert von 132,89 gegenüber.
Der Bericht schränkt die Aussagekraft der Kennzahlen ein: Der ECI misst die Leistung relativ zu anderen großen Sprachmodellen. Er soll daher abbilden, wie schwierig Aufgaben für KI-Systeme im Durchschnitt sind, nicht wie schwierig sie für Menschen sind. Die dargestellten Vergleiche belegen somit relative Unterschiede innerhalb dieser Messmethode; sie sind keine direkte Aussage über menschliche Schwierigkeit oder über sämtliche denkbaren Mathematik- und Programmieraufgaben. Zudem wird die mögliche Annäherung in Mathematik vorsichtig als Trend beschrieben. Die Datentabellen erscheinen im bereitgestellten Quelltext zweimal; beide Fassungen enthalten dieselben Werte.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen entsprechen dem Bericht; die Kurzfassung lässt den Befund zum SWE-Vorsprung über Generationen weg. Die Sammelfrage SF-P3 ist vom Bericht kaum abgedeckt.
Im Bericht, aber nicht in der Zusammenfassung
- Der SWE-Vorsprung zeigt sich über die meisten Modellgenerationen hinweg und besteht bei neueren Modellen fort (fehlt in der Kurzfassung)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 32 %Hintergrund, keine Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 62 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 62 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 72 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 59 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Alle Berichte im Archiv