AI developers accurately report GPQA Diamond scores for recent models
Zusammenfassung
Kurz
Epoch AI berichtet, dass die GPQA-Diamond-Angaben der untersuchten KI-Entwickler mit unabhängigen Messungen übereinstimmen: Alle aufgeführten Werte liegen innerhalb der 90-Prozent-Konfidenzintervalle. Die Aussage gilt für die dargestellten Modelle und diesen Benchmark; der Mistral-Eintrag ist in seiner Quellenanmerkung uneindeutig.
Mittel
Epoch AI vergleicht veröffentlichte GPQA-Diamond-Werte führender KI-Entwickler mit eigenen standardisierten Tests. Der Benchmark prüft Modelle anhand fachlicher Wissenschaftsfragen. Weil Antworten bei Wiederholungen schwanken können, testet Epoch die Modelle mehrfach und aggregiert die Ergebnisse. Das Unternehmen schätzt die Leistung häufig auf etwa 4 bis 6 Prozentpunkte genau mit 90-prozentiger Konfidenz.
Bei den sieben Modellen mit Selbstangaben liegen die Abstände zwischen veröffentlichter Zahl und Epoch-Messung zwischen 0,2 und 2,8 Prozentpunkten. Alle Werte liegen laut Tabelle innerhalb der jeweiligen 90-Prozent-Intervalle. Epoch folgert daraus, dass systematische Überschätzungen selten seien. Eine zusätzliche Zeile zu Mistral Large 2407 zeigt ebenfalls einen Wert innerhalb des Intervalls; ihre Anmerkung ist aber uneindeutig, denn sie nennt zugleich keine verfügbare Selbstangabe und eine von Mistral unterstützte externe Messung.
Die Ergebnisse beziehen sich auf GPQA Diamond und die aufgeführten Modelle. Die Intervalle spiegeln Messunsicherheit wider; sie belegen keine generelle Genauigkeit bei anderen Benchmarks oder Leistungsarten.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, ob führende KI-Entwickler die GPQA-Diamond-Ergebnisse ihrer neueren Modelle zutreffend angeben. Der Benchmark prüft Modelle mit fachlichen Wissenschaftsfragen. Epoch vergleicht dafür veröffentlichte Werte aus Modellpapieren, Blogbeiträgen oder Dokumentationen mit eigenen, standardisierten Auswertungen. Die zentrale Aussage des Berichts lautet: Obwohl Entwickler einen Anreiz zur Übertreibung haben könnten, stimmen ihre Angaben in den untersuchten Fällen mit Epochs unabhängigen Messungen überein; systematische Überschätzungen seien selten.
Epoch weist darauf hin, dass die Ergebnisse von Sprachmodellen bei wiederholten Antworten auf dieselbe Frage schwanken können. Das Unternehmen testet die Modelle daher mehrfach und fasst die Resultate zusammen. Epoch schätzt, die tatsächliche Leistung auf diese Weise oft auf etwa 4 bis 6 Prozentpunkte genau mit 90-prozentiger Konfidenz bestimmen zu können. Die im Bericht aufgeführten 90-Prozent-Intervalle bilden diese Unsicherheit ab. Epoch behandelt seine Messungen als starke Schätzung der Modellgenauigkeit und der natürlichen Schwankung, nicht als fehlerfreie Bestimmung.
Die Tabelle zeigt für sieben Modelle sowohl Selbstangaben als auch Epoch-Messwerte. Bei GPT-5 stehen 85,7 Prozent gegenüber 84,5 Prozent, bei Opus 4.1 74,9 gegenüber 73,2, bei DeepSeek R1 71,5 gegenüber 71,7, bei Llama 4 Maverick 69,8 gegenüber 67,0, bei Grok 4 87,5 gegenüber 87,0, bei Gemini 2.5 Pro 86,4 gegenüber 84,8 und bei Qwen 3 71,1 gegenüber 70,7. Die größten Abstände in dieser Gruppe betragen 2,8 Prozentpunkte. Laut Tabelle liegen alle berichteten Werte innerhalb der angegebenen 90-Prozent-Fehlerintervalle. Das spricht in Epochs Auswertung dafür, dass die Unterschiede durch Messunsicherheit und natürliche Variabilität erklärbar sind.
Eine zusätzliche Tabellenzeile führt Mistral Large 2407 mit 48,6 Prozent als Selbstangabe und 51,3 Prozent in Epochs Messung auf; auch diese Differenz von 2,7 Punkten liegt innerhalb des ausgewiesenen Intervalls. Die zugehörige Anmerkung ist jedoch uneindeutig: Sie sagt, es gebe keine verfügbare Selbstangabe, verweist aber darauf, dass Mistrals Benchmark-Seite einen Lauf von Artificial Analysis unterstütze. Der Bericht erläutert nicht näher, wie dieser Eintrag mit der als Selbstbericht geführten Zahl zusammenhängt.
Die Schlussfolgerung ist auf GPQA Diamond und die aufgeführten Modelle beschränkt. Der Bericht liefert keine Grundlage dafür, die Übereinstimmung auf andere Benchmarks, Modelle oder Leistungsaspekte zu übertragen. Außerdem sind die Konfidenzintervalle ausdrücklich mit Unsicherheit behaftet; die Tabelle enthält keine Angaben zur Zahl korrekt beantworteter Fragen. Insgesamt berichtet Epoch, dass die untersuchten veröffentlichten Werte innerhalb der statistischen Unsicherheit der unabhängigen Tests liegen, und deutet dies als Hinweis gegen eine verbreitete systematische Überschätzung.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen (kurz und mittel); ich habe beide zusammen geprüft. Die Zahlen in beiden sind korrekt: Die Abstände reichen von 0,2 bis 2,8 Punkten, und alle acht Werte liegen innerhalb der Intervalle. Die Einordnungen weichen teils deutlich ab, besonders bei SF-O2 und SF-P1-T03, wo Luna höhere Stufen vergab als der Bericht trägt.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kernbehauptung, dass Entwickler trotz starker Anreize zur Übertreibung ihre GPQA-Diamond-Werte genau angeben, fehlt in der kurzen Fassung.
- Die kurze Fassung nennt die Schlussfolgerung nicht, dass systematische Überschätzung laut Epoch selten ist; die mittlere Fassung nennt sie.
- Die Angabe, dass die Präzision oft bei 4 bis 6 Prozentpunkten liegt, fehlt in der kurzen Fassung.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 31 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 24 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 27 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 30 %umfangreiche Belege
- amos 24 %Hintergrund, keine Belege
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-P1-T03 Wenn eine Sicherheitsvereinbarung verlangt, Prüfergebnisse, Angaben aus Modellsteckbriefen oder die Forensik von Vorfällen zwischen den Partnern zu teilen: Welches kleinste Datenfeld müsste jeder Partner sehen, um dem Bericht eines anderen zu trauen, und auf welches größte würde er verzichten?
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 28 %Hintergrund, keine Belege
- Luna 38 %Hintergrund, keine Belege
- JEV 34 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 22 %Hintergrund, keine Belege
- Luna 46 %umfangreiche Belege
- JEV 46 %beantwortet teilweise oder widerspricht
- amos 29 %umfangreiche Belege
- SubQ 24 %beantwortet direkt und ausführlich
- drex 34 %einzelne zitierbare Belege
- d3-ultra 43 %einzelne zitierbare Belege
- Haiku-Prüfung umfangreiche Belege
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 25 %Hintergrund, keine Belege
- Luna 31 %einzelne zitierbare Belege
- JEV 48 %umfangreiche Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv