Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind27. Mai 2022 · Q002312

Evaluating Multimodal Interactive Agents

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Die STS bewertet Agentenfortsetzungen in Szenarien, die aus menschlichen Interaktionen stammen und in einer 3D-Simulation offline abgespielt werden; Menschen markieren die Ergebnisse als Erfolg oder Misserfolg. Die Autorinnen und Autoren berichten eine Korrelation von Spearman r=0,81 mit interaktiver Evaluation, während menschliche Bewertungen weiterhin nötig sind und eine Automatisierung nur als mögliche künftige Entwicklung erscheint.

Mittel

Der Bericht stellt die Standardised Test Suite (STS) vor, ein Verfahren zur Bewertung von Agenten in längeren, multimodalen Interaktionen. Die Untersuchung betrifft Aufgaben und Fragen in einer simulierten 3D-Umgebung. Die Methode verwendet Szenarien aus echten menschlichen Interaktionen: Ein Agent erhält den wiedergegebenen Kontext und eine Anweisung, setzt die Interaktion offline fort und wird anhand seiner aufgezeichneten Reaktion bewertet. Menschen kennzeichnen die Fortsetzung als Erfolg oder Misserfolg; anschließend werden Agenten nach ihrem Erfolgsanteil über die Szenarien geordnet.

Die Autorinnen und Autoren argumentieren, dass alltägliche Interaktionen schwer in eindeutige Regeln zu fassen sind. Live-Bewertungen durch Menschen seien zwar ein wichtiger Vergleichspunkt, aber langsam, teuer und schwer zu standardisieren. Einfachere Ersatzmaße wie Verluste oder programmierte Einzelaufgaben stimmten nur begrenzt mit tatsächlicher Interaktionsleistung überein.

Für STS berichten sie eine Korrelation von Spearman r=0,81 mit interaktiver Evaluation und nennen sie das am besten korrelierende der verglichenen Maße. Das belegt eine Übereinstimmung in den berichteten Vergleichen, nicht die vollständige Erfassung aller Interaktionen. Menschliche Bewertungen bleiben erforderlich; ihre mögliche Automatisierung wird nur als frühe Perspektive genannt.

Ausführlich lesen

Der Bericht beschreibt die „Standardised Test Suite“ (STS), ein Verfahren zur Bewertung von Agenten in längeren, multimodalen Interaktionen. Untersucht werden Aufgaben und Fragen, die Menschen an Agenten in einer simulierten dreidimensionalen Umgebung richten. Ziel ist, Fortschritte bei der Entwicklung von Agenten messbar zu machen, die im Umgang mit Menschen erfolgreich reagieren.

Nach Darstellung der Autorinnen und Autoren lassen sich viele alltägliche menschliche Verhaltensweisen nicht leicht in eindeutige Regeln übersetzen. Während sich etwa der Sieger einer Go-Partie anhand des Spielstands programmatisch bestimmen lässt, kann eine Frage wie „Was schaust du an?“ von Gesprächssituation, Gegenständen und weiteren Umständen abhängen. Daher eigneten sich klassische, exakt berechenbare Erfolgsmaße nur begrenzt für die Bewertung solcher Interaktionen.

Für die STS werden Verhaltensszenarien aus echten menschlichen Interaktionen zusammengestellt. Ein Agent erhält den wiedergegebenen Kontext eines Szenarios und eine Anweisung. Anschließend kann er die Interaktion offline fortsetzen. Diese Fortsetzungen werden aufgezeichnet und menschlichen Beurteilenden vorgelegt, die sie als Erfolg oder Misserfolg einstufen. Die Agenten werden danach geordnet, auf welchem Anteil der Szenarien sie erfolgreich sind. Die Abbildung veranschaulicht mögliche Erfolge und Fehler bei einer räumlichen Anweisung mit Kerzen und einem Kissen.

Der Bericht stellt die STS zudem anderen Bewertungsansätzen gegenüber. Live-Tests mit Menschen können die Leistung unmittelbar erfassen, sind laut den Autorinnen und Autoren jedoch teuer, langsam und schwer kontrollierbar: Teilnehmende geben nicht immer genau dieselben Anweisungen. Als schnellere Ersatzmaße dienen etwa Trainingsverluste oder eigens programmierte Testaufgaben. Diese können Hinweise liefern, sollen der Darstellung zufolge aber nur begrenzt mit der Leistung in tatsächlichen Interaktionen übereinstimmen.

Als Ergebnis berichten die Autorinnen und Autoren eine starke Korrelation zwischen STS-Bewertungen und interaktiver Evaluation: Spearman-r beträgt 0,81. Sie geben an, dass die STS unter den verglichenen Maßen am besten mit der interaktiven Bewertung korreliert. Das spricht in den berichteten Vergleichen dafür, dass die Methode als kontrollierbares und schnelleres Bewertungsmaß nützlich sein könnte; eine Korrelation belegt jedoch nicht, dass die STS die Qualität jeder möglichen menschlichen Interaktion vollständig erfasst.

Die Methode benötigt weiterhin menschliche Bewertungen der Agentenfortsetzungen. Der Bericht erwähnt frühe Experimente, nach denen sich diese Bewertungen möglicherweise automatisieren lassen könnten, stellt dies aber als Möglichkeit für künftige Arbeit dar, nicht als bereits erreichte Lösung. Die Autorinnen und Autoren hoffen, dass andere Forschende die Methode und das Systemdesign für ihre Arbeit nutzen. Die berichtete Untersuchung bezieht sich auf Interaktionen in einer 3D-Simulation; weitergehende Aussagen über andere Umgebungen werden im vorliegenden Text nicht belegt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung beruht ausschließlich auf dem Bericht; die Stufen und Anteile aus Lunas Einordnung wurden nicht übernommen. Die Abbildungsbeschriftungen im Bericht sind abgeschnitten und liefern keine zusätzlichen Befunde.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Begründung, warum Reinforcement Learning aus Spielen wie Go hier nicht greift, etwa am Beispiel „Wer hat dieses Go-Spiel gewonnen?“ gegenüber „Was schaust du an?“
  • Die Vorbildrolle von MNIST und ImageNet: einmalige menschliche Annotation als Grundlage für wiederholbare Evaluation
  • Die Einordnung von Ersatzmaßen: Verluste und Skriptaufgaben sind nützlich für schnelle Einblicke, korrelieren aber schlecht mit interaktiver Evaluation
  • Die Angabe, dass STS auf Kontrolle über Anweisungen und Geschwindigkeit zielt, während Live-Evaluation nicht wiederholbar und zu langsam für schnellen Fortschritt ist

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 74 %einzelne zitierbare Belege
    • JEV 42 %umfangreiche Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 44 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 68 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 27 %Hintergrund, keine Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →