Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmindohne Datum · Q001314

Evals

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt Benchmarks zu Robotersicherheit, Faktenwissen und Dokumententreue, mehrstufiger Websuche, Schachstrategie und Schlussfolgern über lange Kontexte. Er erläutert Aufgaben und beabsichtigte Vorteile, enthält jedoch keine konkreten Modellresultate oder Nachweise, dass die Benchmarks ihre erklärten Ziele erreichen.

Mittel

Der Bericht gibt einen Überblick über Benchmarks von Google DeepMind und Google Research für verschiedene KI-Fähigkeiten. ASIMOV-Agentic-v1 prüft Sicherheitsverhalten von Robotik-Agenten, etwa Aufgaben abzulehnen, Schutzstopps auszulösen und bei Unsicherheit menschliche Hilfe zu suchen. SimpleQA Verified umfasst 1.000 Prompts für kurze Faktenantworten und soll Probleme des ursprünglichen SimpleQA wie fehlerhafte Labels, thematische Verzerrungen und Wiederholungen mindern.

FACTS Grounding bewertet, ob Antworten durch bereitgestellte Langdokumente gestützt sind. Die FACTS Suite bündelt vier Dimensionen der Faktentreue: internes Wissen, Websuche, Bildfragen und dokumentengestützte Antworten. DeepSearchQA testet mit 900 Aufgaben aus 17 Gebieten mehrstufige Webrecherche und vollständige Antwortlisten. Zwei Schach-Leaderboards vergleichen strategische Fähigkeiten; eines nutzt ein bayessches Rating, das andere beginnt Partien aus 20 häufigen frühen Stellungen. MRCR v2 prüft Zählen und Wiedererkennen bei wiederholten Textpassagen in langen Kontexten.

Der Text beschreibt Zwecke und Aufgabendesigns, aber keine Modellresultate, Messwerte oder empirischen Nachweise für die behaupteten Vorteile. Die genannten Verbesserungen sind daher als Ziele der Autoren zu lesen.

Ausführlich lesen

Der bereitgestellte Bericht stellt mehrere von Google DeepMind beziehungsweise Google Research beschriebene Evaluationsverfahren für KI-Modelle und Agenten vor. Sie decken unterschiedliche Fähigkeiten ab: sichere Robotik, faktische Zuverlässigkeit, Informationssuche, strategisches Schachdenken und Schlussfolgern über lange Kontexte. Die Seite beschreibt vor allem, was die Benchmarks prüfen sollen; konkrete Modellresultate oder ein Vergleich der Leistungsstände enthält der Text nicht.

ASIMOV-Agentic-v1 ist ein Benchmark für Robotersicherheit. Er soll prüfen, ob KI-Agenten Aufgaben ablehnen, die Betriebsgrenzen verletzen, bei kritischen Ereignissen Schutzmaßnahmen wie einen Stopp auslösen, ein Vision-Language-Action-Modell vor nicht ausführbaren oder unbekannten Aufgaben mit geringer Zuversicht abschirmen und bei unklaren Anweisungen oder Szenen menschliche Hilfe anfordern.

SimpleQA Verified umfasst laut Bericht 1.000 Prompts zur Bewertung kurzer Faktenantworten und des im Modell gespeicherten Wissens. Die Verantwortlichen führen den Benchmark als Überarbeitung von SimpleQA an, dessen Probleme sie in verrauschten oder falschen Labels, thematischen Verzerrungen und redundanten Fragen sehen. Die verifizierte Fassung soll präzisere Fortschrittsmessungen ermöglichen und verhindern helfen, dass Modelle lediglich auf Eigenheiten des Tests optimiert werden. Das sind Ziele und Einschätzungen der Autoren, keine im Text belegten Wirkungsnachweise.

FACTS Grounding untersucht, ob Sprachmodelle Antworten auf Grundlage bereitgestellter längerer Dokumente sachlich korrekt formulieren und deren Inhalte richtig zusammenführen. Die FACTS Benchmark Suite erweitert die Betrachtung von Faktentreue laut Seite auf vier Bereiche: internes Wissen ohne externe Werkzeuge, Suche über eine standardisierte Websuche, Antworten auf bildbasierte Fragen sowie die Fundierung längerer Antworten in Dokumenten. Die Suite ersetzt dabei den ursprünglichen FACTS Grounding-Benchmark durch eine Grounding-Komponente innerhalb des Gesamtpakets.

DeepSearchQA enthält 900 Prompts aus 17 Fachgebieten. Es soll Agenten bei schwierigen, mehrstufigen Informationssuchen prüfen, bei denen die Recherche für einen Schritt Voraussetzung für den nächsten ist. Die handgefertigten Aufgaben verlangen laut Beschreibung, komplexe Suchpläne umzusetzen und möglichst vollständige Antwortlisten zu erstellen. Die Antworten sind im offenen Web verankert und sollen objektiv überprüfbar sein.

Zwei Schach-Leaderboards bewerten strategisches Schlussfolgern in Textmodellen. Beim Chess Text Input werden Einreichungen mit einem regelmäßig aktualisierten bayesschen Spielstärkerating geordnet. Chess Text Openings startet Partien aus einer Auswahl von 20 häufigen Stellungen nach zwei Halbzügen; die Positionen stammen aus einem zufällig gewählten Lichess-Monat. Diese Auswahl soll Memorierung reduzieren und Entscheidungen in unterschiedlichen Eröffnungszweigen sichtbar machen.

MRCR v2 prüft Schlussfolgern über lange Eingaben und die Übertragung auf längere Kontexte. Die Aufgabe bleibt in ihrer Grundkomplexität gleich: Ein Textkörper erscheint mehrfach, und das Modell soll die Vorkommen zählen und die richtige Instanz wiedergeben. Der Bericht ordnet dies als Test für Basismodelle ohne Werkzeuge ein, der über bloßes Abrufen hinausgehen soll.

Die wesentliche Grenze des vorliegenden Textes: Er beschreibt Aufgaben, Umfang und beabsichtigten Nutzen der Verfahren, liefert aber weder Ergebnisse konkreter Modelle noch Angaben zur Durchführung, zu Messwerten oder zu nachgewiesener Validität. Aussagen über Zuverlässigkeit, Fortschrittsmessung und die Verringerung von Verzerrungen sind daher als Ziele beziehungsweise Beschreibungen der Benchmark-Autoren zu verstehen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf Aufgabenbeschreibungen. Der Bericht enthält keine Messergebnisse, und die Fragen zu Rechenschaft, Selbstüberwachung und Schwellen werden kaum beantwortet.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Herkunft von SimpleQA bei OpenAI (Wei et al. 2024) wird in den Zusammenfassungen nicht genannt
  • Die FACTS Suite prüft Websuche über eine standardisierte API und ersetzt das ursprüngliche FACTS Grounding
  • DeepSearchQA ist als Kausalkette aufgebaut, bei der jeder Schritt vom vorherigen abhängt, und nutzt das offene Web mit überprüfbaren Antwortlisten
  • Die Schach-Openings beginnen aus Stellungen nach zwei Halbzügen, die auf Lichess-Daten beruhen
  • ASIMOV prüft auch den Schutz des VLA-Modells vor unlösbaren oder außerhalb der Verteilung liegenden Aufgaben

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 25 %einzelne zitierbare Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht

Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 52 %einzelne zitierbare Belege
    • JEV 59 %einzelne zitierbare Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 44 %nur am Rande erwähnt
    • amos 29 %nur am Rande erwähnt
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 30 %Hintergrund, keine Belege
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 81 %gleiches Oberthema, hilft nicht
    • d3-ultra 68 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 32 %gleiches Oberthema, hilft nicht
    • JEV 24 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 63 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 63 %Hintergrund, keine Belege
    • JEV 23 %Hintergrund, keine Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht

    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 45 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 23 %Hintergrund, keine Belege
    • Luna 61 %einzelne zitierbare Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 25 %einzelne zitierbare Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-A1-T03 Werden Freigabetests messen, ob ein Agent folgenreiche Handlungen außerhalb seines Auftrags unterlässt, auch wenn kein einzeln aufgeführtes Verbot sie blockiert, und werden die Kriterien veröffentlicht? Luna: Stufe 4 · 37 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 36 %einzelne zitierbare Belege
    • JEV 42 %nur am Rande erwähnt
    • amos 28 %einzelne zitierbare Belege
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 31 %nur am Rande erwähnt
    • d3-ultra 60 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 28 %gleiches Oberthema, hilft nicht
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 76 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →