Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind9. Dezember 2025 · Q002689

FACTS Benchmark Suite: a new way to systematically evaluate LLMs factuality

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht stellt eine vierteilige Benchmark-Suite vor, mit der Google DeepMind und Kaggle die Faktentreue von Sprachmodellen bei internem Wissen, Websuche, Kontextbezug und Bildfragen messen wollen. Laut den berichteten Ergebnissen führt Gemini 3 Pro mit 68,8 Prozent; kein geprüftes Modell erreicht insgesamt 70 Prozent, und multimodale Aufgaben fallen meist am schwächsten aus.

Mittel

Der Bericht beschreibt die gemeinsam von Google DeepMind und Kaggle veröffentlichte FACTS Benchmark Suite zur Bewertung der Faktentreue großer Sprachmodelle. Sie umfasst vier Bereiche: Antworten aus internem Wissen (Parametric), Recherche und Informationssynthese per Websuche (Search), sachlich fundierte Antworten anhand eines vorgegebenen Kontexts (Grounding) sowie Antworten auf bildbezogene Fragen (Multimodal). Insgesamt nennt der Beitrag 3.513 zusammengestellte Beispiele. Öffentliche Prüfungssätze werden durch private, zurückgehaltene Sätze ergänzt; der FACTS Score mittelt die Genauigkeit über beide und alle vier Benchmarks. Kaggle soll die privaten Sätze verwalten, Modelle prüfen und eine öffentliche Rangliste führen.

Von 15 verglichenen Modellen erzielt Gemini 3 Pro laut Bericht den höchsten Gesamtwert von 68,8 Prozent. Im Vergleich zu Gemini 2.5 Pro seien seine Fehlerraten bei Search um 55 Prozent und bei Parametric um 35 Prozent gesunken. Multimodal habe allgemein die niedrigsten Werte erreicht, und kein Modell kam insgesamt auf 70 Prozent Genauigkeit. Der Beitrag nennt außerdem einen Anstieg bei SimpleQA Verified von 54,5 auf 72,1 Prozent. Die Angaben stammen aus dem Bericht; für Details zur Bewertungsmethodik verweist er auf einen technischen Bericht.

Ausführlich lesen

Der Bericht stellt die FACTS Benchmark Suite vor, die Google DeepMind gemeinsam mit Kaggle entwickelt hat, um die faktische Genauigkeit großer Sprachmodelle systematischer zu bewerten. Sie erweitert den bisherigen FACTS Grounding Benchmark um drei Prüfbereiche und aktualisiert diesen zugleich als Grounding Benchmark v2. Insgesamt umfasst die Suite vier Benchmarks: Grounding prüft, ob Antworten im bereitgestellten Kontext verankert sind; Parametric untersucht Antworten aus internem Modellwissen; Search bewertet Recherche und Zusammenführung von Informationen mithilfe einer Websuche; Multimodal testet sachlich korrekte Antworten auf Fragen zu Bildern.

Laut Bericht wurden insgesamt 3.513 Beispiele sorgfältig zusammengestellt und öffentlich zugänglich gemacht. Zusätzlich bleibt jeweils ein privater, zurückgehaltener Prüfungssatz bestehen. Der FACTS Score ist der Durchschnitt der Genauigkeit auf öffentlichen und privaten Sätzen über alle vier Benchmarks. Kaggle soll die privaten Sätze verwalten, führende Modelle prüfen und die Ergebnisse in einer öffentlichen Rangliste veröffentlichen.

Die Parametric-Aufgaben bestehen aus Trivia-Fragen zu interessengeleiteten Nischenthemen, die sich anhand von Wikipedia beantworten lassen. Der Benchmark umfasst je 1.052 öffentliche und private Fragen. Search enthält 890 öffentliche und 994 private Aufgaben. Diese sollen auch mit Webzugriff anspruchsvoll sein und können verlangen, mehrere Informationen nacheinander aus verschiedenen Webseiten abzurufen. Für alle Modelle wird dasselbe Suchwerkzeug verwendet, damit laut Bericht Unterschiede in den Modellen nicht durch verschiedene Suchkonfigurationen verzerrt werden. Der Multimodal-Benchmark umfasst 711 öffentliche und 811 private Beispiele. Er soll prüfen, ob Modelle Bildinhalte richtig interpretieren, mit internem Wissen verbinden und vollständig beantworten.

Die vorgestellten Resultate ordnen 15 führende Modelle ein. Gemini 3 Pro erreicht laut Bericht mit 68,8 Prozent den höchsten FACTS Gesamtwert. Gegenüber Gemini 2.5 Pro seien die Fehlerraten von Gemini 3 Pro im Search-Bereich um 55 Prozent und im Parametric-Bereich um 35 Prozent gesunken. Multimodal habe im Allgemeinen die niedrigsten Ergebnisse erzielt. Kein bewertetes Modell erreichte insgesamt 70 Prozent Genauigkeit. Als zusätzliches Ergebnis nennt der Bericht SimpleQA Verified: Dort sei Gemini 3 Pro von 54,5 Prozent Genauigkeit bei Gemini 2.5 Pro auf 72,1 Prozent gestiegen.

Der Beitrag beschreibt die Benchmark-Veröffentlichung und berichtet über ausgewählte Modellergebnisse; er liefert im vorliegenden Text keine unabhängige Überprüfung dieser Angaben. Er verweist für Einzelheiten zur Bewertungsmethodik auf einen technischen Bericht. Die Resultate zeigen nach Darstellung der Autoren weiterhin erhebliche Lücken bei der faktischen Genauigkeit, besonders im multimodalen Bereich, und werden als Grundlage für weitere Forschung präsentiert.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassungen sind weitgehend treu, lassen aber Methodik-Details aus und präzisieren die Angabe zu den 3.513 Beispielen nicht. Die Einordnung stützt sich nur auf den Bericht, der die drei Fragen nur am Rande berührt.

Im Bericht, aber nicht in der Zusammenfassung

  • Das ursprüngliche FACTS Grounding wurde zu Grounding v2 aktualisiert.
  • Die Search-Aufgaben erfordern oft das sequenzielle Abrufen mehrerer Fakten, und alle Modelle nutzen dasselbe Websuchwerkzeug.
  • Die Parametric-Fragen sind Trivia-Fragen, die über Wikipedia beantwortbar sind.
  • Multimodal verlangt die Verbindung von visueller Interpretation und Weltwissen; die Bewertung prüft Korrektheit und Vollständigkeit.
  • Laut Bericht gelten die 3.513 Beispiele je Benchmark, nicht insgesamt.
  • SimpleQA Verified wird als Test parametrischen Wissens in Kurzantworten beschrieben.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 47 %umfangreiche Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 26 %gleiches Oberthema, hilft nicht
    • d3-ultra 32 %einzelne zitierbare Belege
    • Haiku-Prüfung Hintergrund, keine Belege
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 63 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →