Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch19. September 2025 · Q006346

AI developers accurately report GPQA Diamond scores for recent models

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI berichtet, dass die GPQA-Diamond-Angaben der untersuchten KI-Entwickler mit unabhängigen Messungen übereinstimmen: Alle aufgeführten Werte liegen innerhalb der 90-Prozent-Konfidenzintervalle. Die Aussage gilt für die dargestellten Modelle und diesen Benchmark; der Mistral-Eintrag ist in seiner Quellenanmerkung uneindeutig.

Mittel

Epoch AI vergleicht veröffentlichte GPQA-Diamond-Werte führender KI-Entwickler mit eigenen standardisierten Tests. Der Benchmark prüft Modelle anhand fachlicher Wissenschaftsfragen. Weil Antworten bei Wiederholungen schwanken können, testet Epoch die Modelle mehrfach und aggregiert die Ergebnisse. Das Unternehmen schätzt die Leistung häufig auf etwa 4 bis 6 Prozentpunkte genau mit 90-prozentiger Konfidenz.

Bei den sieben Modellen mit Selbstangaben liegen die Abstände zwischen veröffentlichter Zahl und Epoch-Messung zwischen 0,2 und 2,8 Prozentpunkten. Alle Werte liegen laut Tabelle innerhalb der jeweiligen 90-Prozent-Intervalle. Epoch folgert daraus, dass systematische Überschätzungen selten seien. Eine zusätzliche Zeile zu Mistral Large 2407 zeigt ebenfalls einen Wert innerhalb des Intervalls; ihre Anmerkung ist aber uneindeutig, denn sie nennt zugleich keine verfügbare Selbstangabe und eine von Mistral unterstützte externe Messung.

Die Ergebnisse beziehen sich auf GPQA Diamond und die aufgeführten Modelle. Die Intervalle spiegeln Messunsicherheit wider; sie belegen keine generelle Genauigkeit bei anderen Benchmarks oder Leistungsarten.

Ausführlich lesen

Der Bericht von Epoch AI untersucht, ob führende KI-Entwickler die GPQA-Diamond-Ergebnisse ihrer neueren Modelle zutreffend angeben. Der Benchmark prüft Modelle mit fachlichen Wissenschaftsfragen. Epoch vergleicht dafür veröffentlichte Werte aus Modellpapieren, Blogbeiträgen oder Dokumentationen mit eigenen, standardisierten Auswertungen. Die zentrale Aussage des Berichts lautet: Obwohl Entwickler einen Anreiz zur Übertreibung haben könnten, stimmen ihre Angaben in den untersuchten Fällen mit Epochs unabhängigen Messungen überein; systematische Überschätzungen seien selten.

Epoch weist darauf hin, dass die Ergebnisse von Sprachmodellen bei wiederholten Antworten auf dieselbe Frage schwanken können. Das Unternehmen testet die Modelle daher mehrfach und fasst die Resultate zusammen. Epoch schätzt, die tatsächliche Leistung auf diese Weise oft auf etwa 4 bis 6 Prozentpunkte genau mit 90-prozentiger Konfidenz bestimmen zu können. Die im Bericht aufgeführten 90-Prozent-Intervalle bilden diese Unsicherheit ab. Epoch behandelt seine Messungen als starke Schätzung der Modellgenauigkeit und der natürlichen Schwankung, nicht als fehlerfreie Bestimmung.

Die Tabelle zeigt für sieben Modelle sowohl Selbstangaben als auch Epoch-Messwerte. Bei GPT-5 stehen 85,7 Prozent gegenüber 84,5 Prozent, bei Opus 4.1 74,9 gegenüber 73,2, bei DeepSeek R1 71,5 gegenüber 71,7, bei Llama 4 Maverick 69,8 gegenüber 67,0, bei Grok 4 87,5 gegenüber 87,0, bei Gemini 2.5 Pro 86,4 gegenüber 84,8 und bei Qwen 3 71,1 gegenüber 70,7. Die größten Abstände in dieser Gruppe betragen 2,8 Prozentpunkte. Laut Tabelle liegen alle berichteten Werte innerhalb der angegebenen 90-Prozent-Fehlerintervalle. Das spricht in Epochs Auswertung dafür, dass die Unterschiede durch Messunsicherheit und natürliche Variabilität erklärbar sind.

Eine zusätzliche Tabellenzeile führt Mistral Large 2407 mit 48,6 Prozent als Selbstangabe und 51,3 Prozent in Epochs Messung auf; auch diese Differenz von 2,7 Punkten liegt innerhalb des ausgewiesenen Intervalls. Die zugehörige Anmerkung ist jedoch uneindeutig: Sie sagt, es gebe keine verfügbare Selbstangabe, verweist aber darauf, dass Mistrals Benchmark-Seite einen Lauf von Artificial Analysis unterstütze. Der Bericht erläutert nicht näher, wie dieser Eintrag mit der als Selbstbericht geführten Zahl zusammenhängt.

Die Schlussfolgerung ist auf GPQA Diamond und die aufgeführten Modelle beschränkt. Der Bericht liefert keine Grundlage dafür, die Übereinstimmung auf andere Benchmarks, Modelle oder Leistungsaspekte zu übertragen. Außerdem sind die Konfidenzintervalle ausdrücklich mit Unsicherheit behaftet; die Tabelle enthält keine Angaben zur Zahl korrekt beantworteter Fragen. Insgesamt berichtet Epoch, dass die untersuchten veröffentlichten Werte innerhalb der statistischen Unsicherheit der unabhängigen Tests liegen, und deutet dies als Hinweis gegen eine verbreitete systematische Überschätzung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen (kurz und mittel); ich habe beide zusammen geprüft. Die Zahlen in beiden sind korrekt: Die Abstände reichen von 0,2 bis 2,8 Punkten, und alle acht Werte liegen innerhalb der Intervalle. Die Einordnungen weichen teils deutlich ab, besonders bei SF-O2 und SF-P1-T03, wo Luna höhere Stufen vergab als der Bericht trägt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kernbehauptung, dass Entwickler trotz starker Anreize zur Übertreibung ihre GPQA-Diamond-Werte genau angeben, fehlt in der kurzen Fassung.
  • Die kurze Fassung nennt die Schlussfolgerung nicht, dass systematische Überschätzung laut Epoch selten ist; die mittlere Fassung nennt sie.
  • Die Angabe, dass die Präzision oft bei 4 bis 6 Prozentpunkten liegt, fehlt in der kurzen Fassung.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 31 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 24 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 27 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 30 %umfangreiche Belege
    • amos 24 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 50 %gleiches Oberthema, hilft nicht

    • SF-P1-T03 Wenn eine Sicherheitsvereinbarung verlangt, Prüfergebnisse, Angaben aus Modellsteckbriefen oder die Forensik von Vorfällen zwischen den Partnern zu teilen: Welches kleinste Datenfeld müsste jeder Partner sehen, um dem Bericht eines anderen zu trauen, und auf welches größte würde er verzichten? Luna: Stufe 1 · 40 % · gleiches Oberthema, hilft nicht · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 28 %Hintergrund, keine Belege
    • Luna 38 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 46 %umfangreiche Belege
    • JEV 46 %beantwortet teilweise oder widerspricht
    • amos 29 %umfangreiche Belege
    • SubQ 24 %beantwortet direkt und ausführlich
    • drex 34 %einzelne zitierbare Belege
    • d3-ultra 43 %einzelne zitierbare Belege
    • Haiku-Prüfung umfangreiche Belege
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 41 %beantwortet teilweise oder widerspricht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 31 %einzelne zitierbare Belege
    • JEV 48 %umfangreiche Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →