Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind8. Dezember 2021 · Q002264

Creating Interactive Agents with Imitation Learning

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht stellt MIA vor, einen in der virtuellen Umgebung Playhouse trainierten Agenten, der Sprache, Sehen und Handlungen verbindet. Laut menschlicher Bewertung löste er über 70 Prozent der Aufgaben; die Autoren berichten außerdem von schnellerem Lernen neuer Objekte und Befehle sowie von Schwierigkeiten, sein offenes Verhalten umfassend quantitativ zu bewerten.

Mittel

Der Bericht beschreibt MIA, einen multimodalen Agenten, der in der virtuellen 3D-Umgebung Playhouse Sprache, Sehen, Navigation und Objektmanipulation verbindet. Menschen und Agenten steuern dort Roboter und führen sowohl konkrete Aufgaben als auch freiere Interaktionen aus. Für das Training sammelten die Forschenden mithilfe angeleiteter und offener Sprachspiele insgesamt 2,94 Jahre menschlicher Echtzeit-Interaktionen.

MIA wird durch Nachahmung menschlicher Handlungen und selbstüberwachtes Lernen trainiert. Eine hierarchische Steuerung verbesserte laut den Autoren die Leistung. In menschlich bewerteten Online-Interaktionen löste der Agent über 70 Prozent der Aufgaben erfolgreich; das entspricht nach ihrer Angabe 75 Prozent der menschlichen Erfolgsrate. Größere Datenmengen und Modelle gingen mit besserer Leistung einher. Für das Erlernen eines neuen Objekts waren weniger als zwölf Stunden Demonstrationen nötig, für das neue Kommando „to clear“ eine Stunde.

Der Agent zeigte auch nicht ausdrücklich vorgeplante Verhaltensweisen, etwa Aufräumen und Rückfragen bei unklaren Anweisungen. Die Autoren sehen die offene Vielfalt solcher Interaktionen zugleich als Bewertungsproblem und nennen umfassendere quantitative Methoden als künftige Arbeit.

Ausführlich lesen

Der Bericht stellt den Multimodal Interactive Agent (MIA) vor, ein System, das visuelle Wahrnehmung, Sprachverständnis und Sprachproduktion sowie Navigation und Objektmanipulation verbindet. Ziel ist, Menschen in einer virtuellen Umgebung über längere Zeit hinweg sprachlich und praktisch zu begegnen. Die Autoren beschreiben MIA als einen frühen Schritt: Das System zeigt nach dem Training einfache intelligente Verhaltensweisen; eine Weiterentwicklung durch menschliches Feedback bleibt künftiger Arbeit vorbehalten.

Als Trainings- und Interaktionsraum dient Playhouse, eine dreidimensionale Umgebung mit zufällig angeordneten Räumen und vielen beweglichen Alltagsgegenständen. Menschen und Agenten steuern darin virtuelle Roboter, die sich bewegen, Dinge handhaben und per Text kommunizieren können. Die Gespräche reichen laut Bericht von konkreten Anweisungen bis zu gemeinsamem, kreativem Spiel. Für das Training sammelten die Forschenden menschliche Interaktionen mithilfe sogenannter Sprachspiele: Eine Person erhält einen Hinweis und improvisiert eine Aufgabe für die andere. Zusätzlich gab es offene Vorgaben, bei denen die Aufgaben frei erfunden werden konnten. Insgesamt umfasst der Datensatz nach Angaben des Berichts 2,94 Jahre menschlicher Interaktionen in Echtzeit.

Das Training kombiniert überwachtes Nachahmen menschlicher Handlungen mit selbstüberwachtem Lernen. Eine hierarchische Steuerung verbesserte laut den Autoren die Leistung: Der Agent erhält ungefähr vier Beobachtungen pro Sekunde und erzeugt dazu Folgen von Bewegungsaktionen sowie gegebenenfalls Sprachaktionen. Beim selbstüberwachten Anteil lernt er einzuschätzen, ob bestimmte Bild- und Spracheingaben aus derselben Episode stammen.

In einer menschlichen Online-Bewertung gelang MIA laut Bericht bei mehr als 70 Prozent der Interaktionen die erfolgreiche Ausführung einer Anweisung. Das entspreche 75 Prozent der Erfolgsrate von Menschen, die als ausführende Person spielten. Ablationsstudien untersuchten den Beitrag einzelner Bestandteile, indem etwa Bild- oder Spracheingaben, der selbstüberwachte Lernanteil oder die hierarchische Steuerung entfernt wurden. Außerdem berichten die Autoren von Leistungssteigerungen bei größeren Datensätzen und Modellen, auch wenn ihre multimodale Aufgabe und vergleichsweise kleinen Datenmengen sich von den üblichen Skalierungsstudien im Sprachbereich unterscheiden.

Bei neuen Objekten reichten laut den beschriebenen Versuchen weniger als zwölf Stunden menschlicher Interaktionen, um die jeweilige Höchstleistung zu erreichen. Für das neue Verb „to clear“ – Gegenstände von einer Oberfläche zu entfernen – genügte demnach eine Stunde Demonstrationen. Vorwissen aus dem Training beschleunigte das Lernen gegenüber einem Training von Grund auf. MIA zeigte außerdem nicht ausdrücklich vorgeplante Verhaltensweisen wie Aufräumen, das Suchen mehrerer genannter Gegenstände und Rückfragen bei mehrdeutigen Anweisungen. Der Bericht betont zugleich eine zentrale Grenze: Solch offenes Verhalten ist schwer umfassend quantitativ zu bewerten. Methoden zu seiner systematischen Erfassung werden als künftiger Arbeitsschwerpunkt genannt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Bericht; die Stufen von Luna weichen deutlich ab, insbesondere bei SF-H3 (4 statt 2) und SF-V3 (3 statt 1). Die Zusammenfassung ist sachlich korrekt, die kurze Fassung lässt aber zentrale Punkte aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Trainingsmethode (Nachahmung menschlicher Handlungen plus selbstüberwachtes Lernen) fehlt in der kurzen Fassung.
  • Der Befund, dass Leistung mit Datensatz- und Modellgröße steigt, fehlt in der kurzen Fassung.
  • Die hierarchische Steuerung fehlt in der kurzen Fassung.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 56 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 22 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 53 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 31 %gleiches Oberthema, hilft nicht
    • JEV 30 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %Hintergrund, keine Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 26 %nur am Rande erwähnt
    • amos 59 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →