GPQA Diamond: What’s left?
Zusammenfassung
Kurz
Der Autor hält GPQA Diamond trotz gehäufter Modellfehler bei 40 von 198 Fragen überwiegend für gültig und schätzt, dass mindestens 90 Prozent des Benchmarks brauchbar sind. Diese Einschätzung beruht auf einer kleinen, subjektiv bewerteten Stichprobe; insbesondere die organisch-chemischen Fragen waren noch nicht fachkundig nachgeprüft.
Mittel
Der Bericht fragt, ob die niedrigen Ergebnisse führender KI-Modelle bei GPQA Diamond auf fehlerhafte Fragen hindeuten oder auf echte Schwierigkeiten. Der Autor wertet 14 leistungsstarke Modelle aus: Bei 40 von 198 Fragen häufen sich die Fehler. Organische Chemie ist in dieser Gruppe überrepräsentiert. Sieben besonders schwierige Fragen betrachtet der Autor, sechs davon prüft er genauer und schätzt nur etwa 2,25 als ungültig ein. Die Bewertungen sind seine subjektiven Einschätzungen; eine Frage aus der organischen Chemie blieb einer späteren Expertenprüfung vorbehalten. Übertrüge man die geschätzte Fehlerquote auf die 40 schwierigen Fragen, ergäben sich rund 15 ungültige Fragen insgesamt, etwa acht Prozent. Der Autor warnt jedoch, dass diese Hochrechnung unsicher ist und die Stichprobe klein ist. Er folgert vorläufig, dass mindestens 90 Prozent des Benchmarks wahrscheinlich gültig sind. Zugleich könnten ähnliche Spitzenwerte auch durch strategische Prioritäten der KI-Anbieter zustande kommen. Für künftige Benchmarks regt er offene Fragen, Tests wissenschaftlicher Forschungskompetenz und eine Bewertung konkreter Fähigkeiten an.
Ausführlich lesen
Der Bericht untersucht, ob die niedrigen Ergebnisse führender KI-Modelle bei GPQA Diamond darauf hindeuten, dass Teile des wissenschaftlichen Multiple-Choice-Benchmarks fehlerhaft sind. Greg Burnham betont, dass der Beitrag seine persönliche Einschätzung wiedergibt und nicht notwendigerweise die Position von Epoch AI. GPQA Diamond umfasst 198 Fragen aus Biologie, Chemie und Physik. Fachkundige Autorinnen und Autoren entwickelten die Fragen; zwei Fachleute prüften jede Frage, und beide mussten sie akzeptieren. Dennoch könnten Fragen unklar oder unbeantwortbar sein oder einen falsch codierten Lösungsschlüssel haben. Modellfehler allein unterscheiden solche Mängel nicht zuverlässig von schlicht schwierigen Fragen.
Für den Vergleich wertete Burnham Daten von 14 Modellen aus, die insgesamt mindestens 70 Prozent erreichten und im Schnitt 76 Prozent richtig beantworteten. Die Modelle lösten gemeinsam bei 158 Fragen jeweils mehr als die Hälfte der Antworten korrekt. Ihre Fehler häuften sich bei den übrigen 40 Fragen. Diese Gruppe dient dem Bericht als Ausgangspunkt für die Suche nach möglichen Problemen. Organische Chemie ist darin besonders stark vertreten: Sie macht 70 Prozent dieser 40 Fragen aus, gegenüber 36 Prozent im gesamten Benchmark. Der Autor hält sowohl besondere Schwierigkeiten der Modelle mit räumlichem oder diagrammgestütztem Denken als auch eine möglicherweise höhere Fehlerquote bei organisch-chemischen Fragen für denkbar. Eine zusätzliche fachkundige Prüfung dieser Fragen war zum Zeitpunkt des Beitrags noch geplant.
Von sieben Fragen, bei denen die Modelle jeweils weniger als fünf Prozent erzielten, untersucht Burnham sechs genauer; eine Frage aus der organischen Chemie bleibt der geplanten Expertenprüfung vorbehalten. Er schätzt die Wahrscheinlichkeit, dass die sechs untersuchten Fragen gültig sind, auf 95, 50, 50, 10, 90 und 80 Prozent. Diese Zahlen sind seine Einschätzungen, keine unabhängigen Messungen. Als wahrscheinlich fehlerhaft beurteilt er eine Frage zum relativen Vorkommen eines Atoms in den Sternatmosphären zweier Sterne: Die Angaben schienen ihm eine andere Antwort nahezulegen, und ein Prüfer hatte bereits einen ähnlichen Einwand erhoben. Eine DNA-Frage hält er trotz hoher Fehlerquote wahrscheinlich für gültig, weil Fachleute sie lösen konnten und Modelle bei direkter Anleitung die nötige Berechnung beherrschten. Bei einer Auflösungsreaktion scheint die überwiegend gewählte falsche Antwort einem naheliegenden stöchiometrischen Ansatz zu folgen; laut Lösungsschlüssel ist jedoch zusätzlich das Löslichkeitsgleichgewicht entscheidend. Die übrigen Fälle betreffen spezialisiertes bioinformatisches Vorgehen, einen Schritt in der Arzneimittelentwicklung und Silberverbindungen. Bei diesen räumt der Autor erhebliche Unsicherheit oder nur eingeschränkte eigene Fachkenntnis ein.
Aus seiner Prüfung von sechs Fragen ergibt sich eine geschätzte Zahl von 2,25 ungültigen Fragen. Würde man diese Rate auf die 40 besonders schwierigen Fragen übertragen, entspräche das rund 15 von 198 beziehungsweise etwa acht Prozent des Benchmarks. Burnham bezeichnet diese Hochrechnung ausdrücklich als unsicher: Die Auswahl könnte fehleranfälliger sein als der Rest, während mehrdeutige Fragen bei Modellen auch zufällig wirkende Antworten hervorrufen könnten; außerdem ist die organische Chemie kaum geprüft. Als Vergleich nennt er eine geschätzte Fehlerquote von etwa sieben Prozent in einer zweitgeprüften Teilmenge von FrontierMath, weist aber auf Unterschiede in Entwicklung und Validierung hin. Sein vorläufiges Fazit: Mindestens 90 Prozent von GPQA Diamond seien wahrscheinlich gültig, und der Benchmark habe noch Aussagekraft. Ähnliche Modellwerte könnten allerdings auch daran liegen, dass Anbieter nur ein respektables Ergebnis anstreben. Für künftige Bewertungen schlägt der Beitrag offene statt multiple-choice Fragen, Forschungskompetenztests und eine Einteilung nach Fähigkeiten statt nur nach Fachgebieten vor.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnungsfragen betreffen die Prüfung von KI-Laboren und kommen im GPQA-Bericht nicht vor, daher sind alle Bewertungen 0. Lunas Stufen und Anteile für diese Fragen sind durch den Bericht nicht gedeckt. Die Archivmetadaten im Kopf des Berichts sind kein inhaltlicher Beleg.
Im Bericht, aber nicht in der Zusammenfassung
- Der Vergleich mit FrontierMath, dessen Fehlerquote in einer Expertenstichprobe bei etwa 7 Prozent liegt
- Die methodische Grenze, dass die Daten allein ungültige von schwierigen, aber gültigen Fragen nicht trennen können
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 59 %einzelne zitierbare Belege
- JEV 21 %beantwortet teilweise oder widerspricht
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 41 %gleiches Oberthema, hilft nicht
- JEV 27 %einzelne zitierbare Belege
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv