Benchmark scores = general capability + Claudiness
Zusammenfassung
Kurz
Laut Greg Burnham werden Benchmark-Ergebnisse vor allem von einer allgemeinen Fähigkeitsdimension geprägt; eine schwächere zweite Komponente, „Claudiness“, könnte unterschiedliche Modellschwerpunkte widerspiegeln. Das ist für ihn ein begrenzter Hinweis darauf, dass Fortschritte nicht immer automatisch zwischen Aufgaben generalisieren, aber kein Beweis: Die Analyse lässt beide Erklärungen offen und betont den Bedarf an besseren, ungewöhnlichen Benchmarks.
Mittel
Greg Burnham argumentiert, dass Benchmark-Ergebnisse moderner Modelle überwiegend von einer gemeinsamen Dimension geprägt sind, die er als allgemeine Fähigkeit deutet. Eine PCA der ECI-Daten ordne etwa die Hälfte der Varianz einer ersten Komponente zu; eine zweite, deutlich schwächere Komponente bezeichnet er als „Claudiness“. In ihr schneiden mehrere Claude-Modelle bei agentischen Aufgaben relativ gut ab, während manche visuelle und mathematische Benchmarks negativ gewichtet sind. Burnham sieht darin einen möglichen Hinweis darauf, dass gezielte Fortschritte in einer Fähigkeit nicht automatisch auf alle Aufgaben übergehen. Er beschreibt zwei Erklärungen: eine gemeinsame, tief liegende Fähigkeit oder mehrere weitgehend unabhängige Fähigkeiten, die gesonderte Investitionen erfordern. Die zweite Komponente belege die zweite Erklärung jedoch nicht; sie sei statistisch nur grenzwertig aussagekräftig. Auch spezialisierte Trainingsdaten könnten mit guter Generalisierung einhergehen. Als mögliche Prüfung schlägt der Autor ungewöhnliche, nicht kontaminierte Benchmarks vor, räumt aber Schwierigkeiten bei ihrer Auswahl und mögliche Aufmerksamkeitseffekte ein. Sein Fazit: Breite Fortschritte könnten anhalten, wenn Daten, Rechenleistung und Investitionen weiter wachsen; bei stärker aufgabenspezifischen Fähigkeiten müsste jede Verbesserung eigens erarbeitet werden.
Ausführlich lesen
Greg Burnham untersucht, warum Modelle auf vielen unterschiedlichen Benchmarks zugleich gute Ergebnisse erzielen und was sich daraus über ihre Fähigkeiten ableiten lässt. Der Beitrag gibt ausdrücklich die persönliche Einschätzung des Autors wieder, nicht notwendigerweise die Position von Epoch AI insgesamt.
Ausgangspunkt ist die Beobachtung, dass Benchmarkwerte trotz der unterschiedlichen Aufgaben stark durch eine gemeinsame Dimension geprägt sind. Burnham verweist auf den Epoch Capabilities Index (ECI), der 39 Benchmarks zu einem Fähigkeitswert zusammenfasst: Dieser sage die einzelnen Benchmark-Ergebnisse vergleichsweise gut voraus. Eine Hauptkomponentenanalyse (PCA) der zugrunde liegenden Daten erklärt dem Beitrag zufolge mit ihrer ersten Komponente etwa die Hälfte der Gesamtvarianz. Die Gewichte dieser Komponente sind für zahlreiche Benchmarks positiv und ähnlich groß; der Autor deutet sie daher als allgemeine Fähigkeit. Eine Parallel-Analyse zeigt laut Beitrag eine große erste Komponente, eine statistisch grenzwertige zweite und danach kleine Komponenten, die mit Rauschen vereinbar seien.
Die zweite Komponente nennt Burnham scherzhaft „Claudiness“. Sie gewichtet unter anderem Ergebnisse bei agentischen Aufgaben positiv, während VideoMME, VPCT und FrontierMath Tier 4 negative Gewichte erhalten. In dieser Dimension liegen mehrere Claude-Modelle weit oben und GPT-5 sowie einige GPT-4-Modelle weit unten. Burnham interpretiert das als mögliches Muster unterschiedlicher Modellschwerpunkte: Claude erscheine stark bei agentischen Aufgaben, aber nicht gleichermaßen bei visuellen und fortgeschrittenen mathematischen Aufgaben. Er betont allerdings, dass diese zweite Komponente statistisch nicht besonders aussagekräftig sei und die Daten damit weiterhin überwiegend als allgemeine Fähigkeit plus Rauschen beschrieben werden könnten.
Daraus entwickelt der Autor die Frage, ob die gemeinsame Fähigkeitsdimension „tief“ oder „kontingent“ ist. Im tiefen Szenario hängt Leistung in verschiedenen Aufgaben an einer gemeinsamen Fähigkeit, die sich insgesamt steigern lässt. Im kontingenten Szenario gibt es mehrere weitgehend unabhängige Fähigkeiten, für die Entwickler jeweils gezielt arbeiten müssen. Die „Claudiness“-Komponente erscheint Burnham als begrenzter Hinweis auf das kontingente Szenario: gezielte Investitionen in agentisches Programmieren würden demnach nicht automatisch Spitzenleistungen in fortgeschrittener Mathematik erzeugen. Er stellt das als Deutung dar, nicht als Nachweis.
Als stärkere mögliche Hinweise auf Spezialisierung nennt der Beitrag Investitionen in eigens gesammelte Daten und RL-Umgebungen für bestimmte Branchen. Zugleich könnten solche Trainingsverfahren gut auf andere Aufgaben generalisieren. Burnham schlägt vor, ungewöhnliche, nicht durch Trainingsdaten kontaminierte Benchmarks daraufhin zu untersuchen, ob ihre Ergebnisse mit der allgemeinen Fähigkeitsdimension korrelieren. Er räumt ein, dass sich „ungewöhnlich“ mangels Kenntnis der Trainingsdaten schwer bestimmen lässt und dass Benchmarks, bei denen Spitzenmodelle schlecht abschneiden, möglicherweise besonders viel Aufmerksamkeit erhalten.
Die praktische Schlussfolgerung des Autors lautet: Fähigkeiten könnten weiterhin breit steigen, sofern genügend Daten, Rechenleistung und Investitionen verfügbar sind. Falls das kontingente Szenario zutrifft, sollte man jedoch keinen großen zusätzlichen Schub durch Generalisierung voraussetzen; Verbesserungen auf einzelnen Benchmarks müssten dann jeweils erarbeitet und finanziert werden. Die Analyse beweist nicht, welches Szenario zutrifft, und die zweite Komponente liefert laut Autor nur schwache Evidenz. Die Fußnote nennt zudem Datenfilter, die Zusammenführung von Reasoning-Einstellungen, eine Imputation fehlender Werte per k-NN und die anschließende PCA als Vorgehen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen; bewertet wurde die mittlere, da sie die Kernaussagen (PCA, Claudiness, Erklärungsalternativen, Benchmark-Vorschlag) vollständig und ohne Erfindungen wiedergibt. Die kurze Fassung ist zu allgemein und nennt keine Befunde zur Komponente, dazu fehlt die Hälfte der Varianz bei der ersten Komponente.
Im Bericht, aber nicht in der Zusammenfassung
- Burnham sieht Claudiness als Übereinstimmung mit dem öffentlichen Bild von Anthropics bewussten Schwerpunkten
- Burnham hält es nicht für prinzipiell ausgeschlossen, alles in die Verteilung zu bringen, betont aber, dass dann jede Verbesserung bezahlt werden muss
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %gleiches Oberthema, hilft nicht
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 28 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %Hintergrund, keine Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 28 %Hintergrund, keine Belege
- amos 29 %Hintergrund, keine Belege
- SubQ 38 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 40 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 44 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 37 %Hintergrund, keine Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %nur am Rande erwähnt
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 61 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 37 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %Hintergrund, keine Belege
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv