Evaluating Multimodal Interactive Agents
Zusammenfassung
Kurz
Die STS bewertet Agentenfortsetzungen in Szenarien, die aus menschlichen Interaktionen stammen und in einer 3D-Simulation offline abgespielt werden; Menschen markieren die Ergebnisse als Erfolg oder Misserfolg. Die Autorinnen und Autoren berichten eine Korrelation von Spearman r=0,81 mit interaktiver Evaluation, während menschliche Bewertungen weiterhin nötig sind und eine Automatisierung nur als mögliche künftige Entwicklung erscheint.
Mittel
Der Bericht stellt die Standardised Test Suite (STS) vor, ein Verfahren zur Bewertung von Agenten in längeren, multimodalen Interaktionen. Die Untersuchung betrifft Aufgaben und Fragen in einer simulierten 3D-Umgebung. Die Methode verwendet Szenarien aus echten menschlichen Interaktionen: Ein Agent erhält den wiedergegebenen Kontext und eine Anweisung, setzt die Interaktion offline fort und wird anhand seiner aufgezeichneten Reaktion bewertet. Menschen kennzeichnen die Fortsetzung als Erfolg oder Misserfolg; anschließend werden Agenten nach ihrem Erfolgsanteil über die Szenarien geordnet.
Die Autorinnen und Autoren argumentieren, dass alltägliche Interaktionen schwer in eindeutige Regeln zu fassen sind. Live-Bewertungen durch Menschen seien zwar ein wichtiger Vergleichspunkt, aber langsam, teuer und schwer zu standardisieren. Einfachere Ersatzmaße wie Verluste oder programmierte Einzelaufgaben stimmten nur begrenzt mit tatsächlicher Interaktionsleistung überein.
Für STS berichten sie eine Korrelation von Spearman r=0,81 mit interaktiver Evaluation und nennen sie das am besten korrelierende der verglichenen Maße. Das belegt eine Übereinstimmung in den berichteten Vergleichen, nicht die vollständige Erfassung aller Interaktionen. Menschliche Bewertungen bleiben erforderlich; ihre mögliche Automatisierung wird nur als frühe Perspektive genannt.
Ausführlich lesen
Der Bericht beschreibt die „Standardised Test Suite“ (STS), ein Verfahren zur Bewertung von Agenten in längeren, multimodalen Interaktionen. Untersucht werden Aufgaben und Fragen, die Menschen an Agenten in einer simulierten dreidimensionalen Umgebung richten. Ziel ist, Fortschritte bei der Entwicklung von Agenten messbar zu machen, die im Umgang mit Menschen erfolgreich reagieren.
Nach Darstellung der Autorinnen und Autoren lassen sich viele alltägliche menschliche Verhaltensweisen nicht leicht in eindeutige Regeln übersetzen. Während sich etwa der Sieger einer Go-Partie anhand des Spielstands programmatisch bestimmen lässt, kann eine Frage wie „Was schaust du an?“ von Gesprächssituation, Gegenständen und weiteren Umständen abhängen. Daher eigneten sich klassische, exakt berechenbare Erfolgsmaße nur begrenzt für die Bewertung solcher Interaktionen.
Für die STS werden Verhaltensszenarien aus echten menschlichen Interaktionen zusammengestellt. Ein Agent erhält den wiedergegebenen Kontext eines Szenarios und eine Anweisung. Anschließend kann er die Interaktion offline fortsetzen. Diese Fortsetzungen werden aufgezeichnet und menschlichen Beurteilenden vorgelegt, die sie als Erfolg oder Misserfolg einstufen. Die Agenten werden danach geordnet, auf welchem Anteil der Szenarien sie erfolgreich sind. Die Abbildung veranschaulicht mögliche Erfolge und Fehler bei einer räumlichen Anweisung mit Kerzen und einem Kissen.
Der Bericht stellt die STS zudem anderen Bewertungsansätzen gegenüber. Live-Tests mit Menschen können die Leistung unmittelbar erfassen, sind laut den Autorinnen und Autoren jedoch teuer, langsam und schwer kontrollierbar: Teilnehmende geben nicht immer genau dieselben Anweisungen. Als schnellere Ersatzmaße dienen etwa Trainingsverluste oder eigens programmierte Testaufgaben. Diese können Hinweise liefern, sollen der Darstellung zufolge aber nur begrenzt mit der Leistung in tatsächlichen Interaktionen übereinstimmen.
Als Ergebnis berichten die Autorinnen und Autoren eine starke Korrelation zwischen STS-Bewertungen und interaktiver Evaluation: Spearman-r beträgt 0,81. Sie geben an, dass die STS unter den verglichenen Maßen am besten mit der interaktiven Bewertung korreliert. Das spricht in den berichteten Vergleichen dafür, dass die Methode als kontrollierbares und schnelleres Bewertungsmaß nützlich sein könnte; eine Korrelation belegt jedoch nicht, dass die STS die Qualität jeder möglichen menschlichen Interaktion vollständig erfasst.
Die Methode benötigt weiterhin menschliche Bewertungen der Agentenfortsetzungen. Der Bericht erwähnt frühe Experimente, nach denen sich diese Bewertungen möglicherweise automatisieren lassen könnten, stellt dies aber als Möglichkeit für künftige Arbeit dar, nicht als bereits erreichte Lösung. Die Autorinnen und Autoren hoffen, dass andere Forschende die Methode und das Systemdesign für ihre Arbeit nutzen. Die berichtete Untersuchung bezieht sich auf Interaktionen in einer 3D-Simulation; weitergehende Aussagen über andere Umgebungen werden im vorliegenden Text nicht belegt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung beruht ausschließlich auf dem Bericht; die Stufen und Anteile aus Lunas Einordnung wurden nicht übernommen. Die Abbildungsbeschriftungen im Bericht sind abgeschnitten und liefern keine zusätzlichen Befunde.
Im Bericht, aber nicht in der Zusammenfassung
- Die Begründung, warum Reinforcement Learning aus Spielen wie Go hier nicht greift, etwa am Beispiel „Wer hat dieses Go-Spiel gewonnen?“ gegenüber „Was schaust du an?“
- Die Vorbildrolle von MNIST und ImageNet: einmalige menschliche Annotation als Grundlage für wiederholbare Evaluation
- Die Einordnung von Ersatzmaßen: Verluste und Skriptaufgaben sind nützlich für schnelle Einblicke, korrelieren aber schlecht mit interaktiver Evaluation
- Die Angabe, dass STS auf Kontrolle über Anweisungen und Geschwindigkeit zielt, während Live-Evaluation nicht wiederholbar und zu langsam für schnellen Fortschritt ist
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern?
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt?
- SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 74 %einzelne zitierbare Belege
- JEV 42 %umfangreiche Belege
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 44 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 68 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit?
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 28 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 27 %Hintergrund, keine Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 49 %gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv