FACTS Benchmark Suite: a new way to systematically evaluate LLMs factuality
Zusammenfassung
Kurz
Der Bericht stellt eine vierteilige Benchmark-Suite vor, mit der Google DeepMind und Kaggle die Faktentreue von Sprachmodellen bei internem Wissen, Websuche, Kontextbezug und Bildfragen messen wollen. Laut den berichteten Ergebnissen führt Gemini 3 Pro mit 68,8 Prozent; kein geprüftes Modell erreicht insgesamt 70 Prozent, und multimodale Aufgaben fallen meist am schwächsten aus.
Mittel
Der Bericht beschreibt die gemeinsam von Google DeepMind und Kaggle veröffentlichte FACTS Benchmark Suite zur Bewertung der Faktentreue großer Sprachmodelle. Sie umfasst vier Bereiche: Antworten aus internem Wissen (Parametric), Recherche und Informationssynthese per Websuche (Search), sachlich fundierte Antworten anhand eines vorgegebenen Kontexts (Grounding) sowie Antworten auf bildbezogene Fragen (Multimodal). Insgesamt nennt der Beitrag 3.513 zusammengestellte Beispiele. Öffentliche Prüfungssätze werden durch private, zurückgehaltene Sätze ergänzt; der FACTS Score mittelt die Genauigkeit über beide und alle vier Benchmarks. Kaggle soll die privaten Sätze verwalten, Modelle prüfen und eine öffentliche Rangliste führen.
Von 15 verglichenen Modellen erzielt Gemini 3 Pro laut Bericht den höchsten Gesamtwert von 68,8 Prozent. Im Vergleich zu Gemini 2.5 Pro seien seine Fehlerraten bei Search um 55 Prozent und bei Parametric um 35 Prozent gesunken. Multimodal habe allgemein die niedrigsten Werte erreicht, und kein Modell kam insgesamt auf 70 Prozent Genauigkeit. Der Beitrag nennt außerdem einen Anstieg bei SimpleQA Verified von 54,5 auf 72,1 Prozent. Die Angaben stammen aus dem Bericht; für Details zur Bewertungsmethodik verweist er auf einen technischen Bericht.
Ausführlich lesen
Der Bericht stellt die FACTS Benchmark Suite vor, die Google DeepMind gemeinsam mit Kaggle entwickelt hat, um die faktische Genauigkeit großer Sprachmodelle systematischer zu bewerten. Sie erweitert den bisherigen FACTS Grounding Benchmark um drei Prüfbereiche und aktualisiert diesen zugleich als Grounding Benchmark v2. Insgesamt umfasst die Suite vier Benchmarks: Grounding prüft, ob Antworten im bereitgestellten Kontext verankert sind; Parametric untersucht Antworten aus internem Modellwissen; Search bewertet Recherche und Zusammenführung von Informationen mithilfe einer Websuche; Multimodal testet sachlich korrekte Antworten auf Fragen zu Bildern.
Laut Bericht wurden insgesamt 3.513 Beispiele sorgfältig zusammengestellt und öffentlich zugänglich gemacht. Zusätzlich bleibt jeweils ein privater, zurückgehaltener Prüfungssatz bestehen. Der FACTS Score ist der Durchschnitt der Genauigkeit auf öffentlichen und privaten Sätzen über alle vier Benchmarks. Kaggle soll die privaten Sätze verwalten, führende Modelle prüfen und die Ergebnisse in einer öffentlichen Rangliste veröffentlichen.
Die Parametric-Aufgaben bestehen aus Trivia-Fragen zu interessengeleiteten Nischenthemen, die sich anhand von Wikipedia beantworten lassen. Der Benchmark umfasst je 1.052 öffentliche und private Fragen. Search enthält 890 öffentliche und 994 private Aufgaben. Diese sollen auch mit Webzugriff anspruchsvoll sein und können verlangen, mehrere Informationen nacheinander aus verschiedenen Webseiten abzurufen. Für alle Modelle wird dasselbe Suchwerkzeug verwendet, damit laut Bericht Unterschiede in den Modellen nicht durch verschiedene Suchkonfigurationen verzerrt werden. Der Multimodal-Benchmark umfasst 711 öffentliche und 811 private Beispiele. Er soll prüfen, ob Modelle Bildinhalte richtig interpretieren, mit internem Wissen verbinden und vollständig beantworten.
Die vorgestellten Resultate ordnen 15 führende Modelle ein. Gemini 3 Pro erreicht laut Bericht mit 68,8 Prozent den höchsten FACTS Gesamtwert. Gegenüber Gemini 2.5 Pro seien die Fehlerraten von Gemini 3 Pro im Search-Bereich um 55 Prozent und im Parametric-Bereich um 35 Prozent gesunken. Multimodal habe im Allgemeinen die niedrigsten Ergebnisse erzielt. Kein bewertetes Modell erreichte insgesamt 70 Prozent Genauigkeit. Als zusätzliches Ergebnis nennt der Bericht SimpleQA Verified: Dort sei Gemini 3 Pro von 54,5 Prozent Genauigkeit bei Gemini 2.5 Pro auf 72,1 Prozent gestiegen.
Der Beitrag beschreibt die Benchmark-Veröffentlichung und berichtet über ausgewählte Modellergebnisse; er liefert im vorliegenden Text keine unabhängige Überprüfung dieser Angaben. Er verweist für Einzelheiten zur Bewertungsmethodik auf einen technischen Bericht. Die Resultate zeigen nach Darstellung der Autoren weiterhin erhebliche Lücken bei der faktischen Genauigkeit, besonders im multimodalen Bereich, und werden als Grundlage für weitere Forschung präsentiert.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen sind weitgehend treu, lassen aber Methodik-Details aus und präzisieren die Angabe zu den 3.513 Beispielen nicht. Die Einordnung stützt sich nur auf den Bericht, der die drei Fragen nur am Rande berührt.
Im Bericht, aber nicht in der Zusammenfassung
- Das ursprüngliche FACTS Grounding wurde zu Grounding v2 aktualisiert.
- Die Search-Aufgaben erfordern oft das sequenzielle Abrufen mehrerer Fakten, und alle Modelle nutzen dasselbe Websuchwerkzeug.
- Die Parametric-Fragen sind Trivia-Fragen, die über Wikipedia beantwortbar sind.
- Multimodal verlangt die Verbindung von visueller Interpretation und Weltwissen; die Bewertung prüft Korrektheit und Vollständigkeit.
- Laut Bericht gelten die 3.513 Beispiele je Benchmark, nicht insgesamt.
- SimpleQA Verified wird als Test parametrischen Wissens in Kurzantworten beschrieben.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 26 %nur am Rande erwähnt
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 41 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 47 %umfangreiche Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 32 %gleiches Oberthema, hilft nicht
- drex 26 %gleiches Oberthema, hilft nicht
- d3-ultra 32 %einzelne zitierbare Belege
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 62 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 69 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %nur am Rande erwähnt
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 42 %einzelne zitierbare Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 63 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 61 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 46 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 63 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv