Introducing SimpleQA
Zusammenfassung
Kurz
Der Bericht beschreibt SimpleQA, einen Benchmark mit 4.326 kurzen, thematisch vielfältigen Faktenfragen, und erläutert die unabhängige Erstellung sowie Prüfung der Antworten. Die Modellvergleiche deuten laut Bericht auf Unterschiede bei Genauigkeit und Antwortverzicht hin; zugleich überschätzen die Modelle häufig ihre Sicherheit. SimpleQA erfasst nur kurze Fragen mit einer eindeutigen Antwort, und seine Aussagekraft für lange Texte bleibt ungeklärt.
Mittel
SimpleQA ist ein von OpenAI vorgestellter, offener Benchmark, der die Faktentreue von Sprachmodellen anhand kurzer Fragen mit jeweils einer überprüfbaren Antwort messen soll. Der Datensatz umfasst 4.326 Fragen aus unterschiedlichen Themenbereichen. KI-Trainer erstellten die Fragen, eine zweite Person beantwortete sie unabhängig, und nur übereinstimmende Fälle wurden aufgenommen. In einer Stichprobe von 1.000 Fragen stimmte eine dritte Person zu 94,4 Prozent mit den festgelegten Antworten überein. Aus den Abweichungen schätzt der Bericht eine inhärente Fehlerrate von ungefähr drei Prozent.
Ein ChatGPT-Klassifikator bewertet Antworten als korrekt, falsch oder nicht versucht. Bei den verglichenen OpenAI-Modellen schnitten GPT‑4o und o1‑preview bei der Zahl korrekter Antworten besser ab als die kleineren Modelle; o1‑mini und o1‑preview ließen Fragen häufiger unbeantwortet. Die untersuchten Modelle zeigten zwar einen Zusammenhang zwischen angegebener Sicherheit beziehungsweise Antworthäufigkeit und Genauigkeit, überschätzten aber oft ihre Sicherheit. o1‑preview war laut Bericht am besten kalibriert.
Die wesentliche Grenze: SimpleQA prüft nur kurze Fragen mit eindeutigen Einzelantworten. Ob das Ergebnis auf lange, faktengesättigte Texte übertragbar ist, bleibt offen.
Ausführlich lesen
Der Bericht stellt SimpleQA vor, einen offenen Benchmark zur Bewertung der faktischen Zuverlässigkeit von Sprachmodellen. Statt beliebige oder lange Antworten mit vielen Einzelbehauptungen zu prüfen, konzentriert sich SimpleQA auf kurze Fragen, die eine einzelne, überprüfbare Antwort haben sollen. OpenAI begründet diese Eingrenzung damit, dass sich die Faktentreue so leichter messen lasse. Der Benchmark soll vielfältige Themen abdecken, schnell auszuführen sein und für aktuelle Spitzenmodelle anspruchsvoll bleiben. Laut Bericht erzielt GPT‑4o weniger als 40 Prozent; ältere Benchmarks wie TriviaQA und NQ seien für führende Modelle inzwischen weitgehend gesättigt.
Für den Datensatz ließen die Verantwortlichen KI-Trainerinnen und -Trainer im Web recherchieren und Fragen samt Antworten erstellen. Aufgenommen werden sollten nur Fragen mit einer eindeutigen Antwort, die sich nicht mit der Zeit ändert. Die meisten Fragen sollten zudem GPT‑4o oder GPT‑3.5 zu falschen Antworten verleiten. Eine zweite, unabhängige Person beantwortete jede Frage, ohne die erste Antwort zu sehen; nur bei übereinstimmenden Antworten kam eine Frage in den Datensatz. Eine dritte Person prüfte anschließend eine zufällige Stichprobe von 1.000 Fragen. Ihre Antworten stimmten in 94,4 Prozent der Fälle überein. Die übrigen Abweichungen teilte der Bericht in Fehler der Bewertung oder menschliche Fehler einerseits und tatsächliche Probleme wie Mehrdeutigkeit oder widersprüchliche Quellen andererseits ein. Daraus schätzt er die inhärente Fehlerrate des Datensatzes auf ungefähr drei Prozent.
Zur Bewertung werden Modellantworten mithilfe eines ChatGPT-Klassifikators in drei Kategorien eingeteilt: korrekt, falsch oder nicht versucht. Eine Antwort gilt als korrekt, wenn sie die Referenzantwort vollständig enthält und ihr nicht widerspricht. Widersprüche zählen als falsch, auch wenn sie nur vermutet oder eingeschränkt formuliert werden. Wird die gesuchte Antwort weder vollständig gegeben noch widerlegt, gilt die Frage als nicht versucht. Der Bericht vergleicht mehrere OpenAI-Modelle ohne Websuche. Demnach beantworten die kleineren Modelle GPT‑4o‑mini und o1‑mini weniger Fragen korrekt als GPT‑4o und o1‑preview. Die o1-Modelle verzichten häufiger auf eine Antwort; der Bericht vermutet, dass sie dadurch Unwissen eher erkennen und seltener halluzinieren.
Außerdem untersucht der Beitrag die Kalibrierung: ob die angegebene Sicherheit eines Modells zu seiner tatsächlichen Trefferquote passt. Bei ausdrücklich erfragten Konfidenzwerten steigt die Genauigkeit zwar mit der angegebenen Sicherheit, bleibt aber unter der idealen Gleichheitslinie. Die Modelle überschätzen demnach ihre Sicherheit. In einem zweiten Verfahren wurde dieselbe Frage 100-mal gestellt und Antworten wurden per Zeichenkettenvergleich gruppiert. Auch hier steigt die Genauigkeit mit der Häufigkeit einer Antwort. Laut Bericht ist o1‑preview dabei am besten kalibriert; die Häufigkeit seiner Antworten liegt ungefähr bei deren Genauigkeit.
Als zentrale Einschränkung nennt der Bericht den engen Geltungsbereich: SimpleQA misst nur Faktentreue bei kurzen Fragen mit jeweils einer verifizierbaren Antwort. Ob gute Leistungen dabei auch die faktische Zuverlässigkeit langer Texte mit vielen Behauptungen vorhersagen, sei offen. Die genannten Ergebnisse beziehen sich auf die beschriebenen Modelle und Verfahren; der Beitrag präsentiert den Benchmark als Ausgangspunkt für weitere Forschung und bittet um Rückmeldungen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Einordnung enthält nur Sammelfragen, keine Teilfragen. Die Fragen betreffen Werte und Verhalten von Modellen, der Bericht behandelt dagegen Faktentreue in einem Kurzfrage-Benchmark. Deshalb fallen die Bewertungen insgesamt niedrig aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kriterien für die Aufnahme (eine eindeutige Antwort, zeitlich unveränderlich, Fragen mit Halluzinationen von GPT-4o oder GPT-3.5) fehlen.
- GPT-4o erreicht laut Bericht weniger als 40 Prozent, also ist der Benchmark für Spitzenmodelle anspruchsvoll.
- Die Aufschlüsselung der 5,6 Prozent Abweichungen (je 2,8 Prozent Bewertungsfehler bzw. echte Probleme der Frage) fehlt.
- Die Kalibrierungsmessung über 100 wiederholte Antworten nach Häufigkeit wird nicht erwähnt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 40 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 51 %umfangreiche Belege
- amos 29 %Hintergrund, keine Belege
- SubQ 35 %gleiches Oberthema, hilft nicht
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 60 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 36 %einzelne zitierbare Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 50 %gleiches Oberthema, hilft nicht
- JEV 47 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 42 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv