Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch20. November 2025 · Q006503

Benchmark scores = general capability + Claudiness

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Laut Greg Burnham werden Benchmark-Ergebnisse vor allem von einer allgemeinen Fähigkeitsdimension geprägt; eine schwächere zweite Komponente, „Claudiness“, könnte unterschiedliche Modellschwerpunkte widerspiegeln. Das ist für ihn ein begrenzter Hinweis darauf, dass Fortschritte nicht immer automatisch zwischen Aufgaben generalisieren, aber kein Beweis: Die Analyse lässt beide Erklärungen offen und betont den Bedarf an besseren, ungewöhnlichen Benchmarks.

Mittel

Greg Burnham argumentiert, dass Benchmark-Ergebnisse moderner Modelle überwiegend von einer gemeinsamen Dimension geprägt sind, die er als allgemeine Fähigkeit deutet. Eine PCA der ECI-Daten ordne etwa die Hälfte der Varianz einer ersten Komponente zu; eine zweite, deutlich schwächere Komponente bezeichnet er als „Claudiness“. In ihr schneiden mehrere Claude-Modelle bei agentischen Aufgaben relativ gut ab, während manche visuelle und mathematische Benchmarks negativ gewichtet sind. Burnham sieht darin einen möglichen Hinweis darauf, dass gezielte Fortschritte in einer Fähigkeit nicht automatisch auf alle Aufgaben übergehen. Er beschreibt zwei Erklärungen: eine gemeinsame, tief liegende Fähigkeit oder mehrere weitgehend unabhängige Fähigkeiten, die gesonderte Investitionen erfordern. Die zweite Komponente belege die zweite Erklärung jedoch nicht; sie sei statistisch nur grenzwertig aussagekräftig. Auch spezialisierte Trainingsdaten könnten mit guter Generalisierung einhergehen. Als mögliche Prüfung schlägt der Autor ungewöhnliche, nicht kontaminierte Benchmarks vor, räumt aber Schwierigkeiten bei ihrer Auswahl und mögliche Aufmerksamkeitseffekte ein. Sein Fazit: Breite Fortschritte könnten anhalten, wenn Daten, Rechenleistung und Investitionen weiter wachsen; bei stärker aufgabenspezifischen Fähigkeiten müsste jede Verbesserung eigens erarbeitet werden.

Ausführlich lesen

Greg Burnham untersucht, warum Modelle auf vielen unterschiedlichen Benchmarks zugleich gute Ergebnisse erzielen und was sich daraus über ihre Fähigkeiten ableiten lässt. Der Beitrag gibt ausdrücklich die persönliche Einschätzung des Autors wieder, nicht notwendigerweise die Position von Epoch AI insgesamt.

Ausgangspunkt ist die Beobachtung, dass Benchmarkwerte trotz der unterschiedlichen Aufgaben stark durch eine gemeinsame Dimension geprägt sind. Burnham verweist auf den Epoch Capabilities Index (ECI), der 39 Benchmarks zu einem Fähigkeitswert zusammenfasst: Dieser sage die einzelnen Benchmark-Ergebnisse vergleichsweise gut voraus. Eine Hauptkomponentenanalyse (PCA) der zugrunde liegenden Daten erklärt dem Beitrag zufolge mit ihrer ersten Komponente etwa die Hälfte der Gesamtvarianz. Die Gewichte dieser Komponente sind für zahlreiche Benchmarks positiv und ähnlich groß; der Autor deutet sie daher als allgemeine Fähigkeit. Eine Parallel-Analyse zeigt laut Beitrag eine große erste Komponente, eine statistisch grenzwertige zweite und danach kleine Komponenten, die mit Rauschen vereinbar seien.

Die zweite Komponente nennt Burnham scherzhaft „Claudiness“. Sie gewichtet unter anderem Ergebnisse bei agentischen Aufgaben positiv, während VideoMME, VPCT und FrontierMath Tier 4 negative Gewichte erhalten. In dieser Dimension liegen mehrere Claude-Modelle weit oben und GPT-5 sowie einige GPT-4-Modelle weit unten. Burnham interpretiert das als mögliches Muster unterschiedlicher Modellschwerpunkte: Claude erscheine stark bei agentischen Aufgaben, aber nicht gleichermaßen bei visuellen und fortgeschrittenen mathematischen Aufgaben. Er betont allerdings, dass diese zweite Komponente statistisch nicht besonders aussagekräftig sei und die Daten damit weiterhin überwiegend als allgemeine Fähigkeit plus Rauschen beschrieben werden könnten.

Daraus entwickelt der Autor die Frage, ob die gemeinsame Fähigkeitsdimension „tief“ oder „kontingent“ ist. Im tiefen Szenario hängt Leistung in verschiedenen Aufgaben an einer gemeinsamen Fähigkeit, die sich insgesamt steigern lässt. Im kontingenten Szenario gibt es mehrere weitgehend unabhängige Fähigkeiten, für die Entwickler jeweils gezielt arbeiten müssen. Die „Claudiness“-Komponente erscheint Burnham als begrenzter Hinweis auf das kontingente Szenario: gezielte Investitionen in agentisches Programmieren würden demnach nicht automatisch Spitzenleistungen in fortgeschrittener Mathematik erzeugen. Er stellt das als Deutung dar, nicht als Nachweis.

Als stärkere mögliche Hinweise auf Spezialisierung nennt der Beitrag Investitionen in eigens gesammelte Daten und RL-Umgebungen für bestimmte Branchen. Zugleich könnten solche Trainingsverfahren gut auf andere Aufgaben generalisieren. Burnham schlägt vor, ungewöhnliche, nicht durch Trainingsdaten kontaminierte Benchmarks daraufhin zu untersuchen, ob ihre Ergebnisse mit der allgemeinen Fähigkeitsdimension korrelieren. Er räumt ein, dass sich „ungewöhnlich“ mangels Kenntnis der Trainingsdaten schwer bestimmen lässt und dass Benchmarks, bei denen Spitzenmodelle schlecht abschneiden, möglicherweise besonders viel Aufmerksamkeit erhalten.

Die praktische Schlussfolgerung des Autors lautet: Fähigkeiten könnten weiterhin breit steigen, sofern genügend Daten, Rechenleistung und Investitionen verfügbar sind. Falls das kontingente Szenario zutrifft, sollte man jedoch keinen großen zusätzlichen Schub durch Generalisierung voraussetzen; Verbesserungen auf einzelnen Benchmarks müssten dann jeweils erarbeitet und finanziert werden. Die Analyse beweist nicht, welches Szenario zutrifft, und die zweite Komponente liefert laut Autor nur schwache Evidenz. Die Fußnote nennt zudem Datenfilter, die Zusammenführung von Reasoning-Einstellungen, eine Imputation fehlender Werte per k-NN und die anschließende PCA als Vorgehen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen; bewertet wurde die mittlere, da sie die Kernaussagen (PCA, Claudiness, Erklärungsalternativen, Benchmark-Vorschlag) vollständig und ohne Erfindungen wiedergibt. Die kurze Fassung ist zu allgemein und nennt keine Befunde zur Komponente, dazu fehlt die Hälfte der Varianz bei der ersten Komponente.

Im Bericht, aber nicht in der Zusammenfassung

  • Burnham sieht Claudiness als Übereinstimmung mit dem öffentlichen Bild von Anthropics bewussten Schwerpunkten
  • Burnham hält es nicht für prinzipiell ausgeschlossen, alles in die Verteilung zu bringen, betont aber, dass dann jede Verbesserung bezahlt werden muss

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %Hintergrund, keine Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 28 %Hintergrund, keine Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 37 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %Hintergrund, keine Belege
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →