Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind13. März 2024 · Q001752

A generalist AI agent for 3D virtual environments

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Google DeepMind berichtet, SIMA könne kurze natürlichsprachliche Anweisungen in mehreren 3D-Spielen ausführen und auf ungesehene Spielwelten verallgemeinern. Die bisherigen Tests betreffen einfache Aufgaben; laut Bericht ist die Forschung früh und SIMA erreicht noch kein menschliches Niveau. Einige ergänzende Abbildungsbeschreibungen am Ende des bereitgestellten Textes sind abgeschnitten.

Mittel

Der Bericht stellt SIMA vor, einen von Google DeepMind entwickelten Agenten, der natürliche Sprachanweisungen in Tastatur- und Mausaktionen in 3D-Spielwelten umsetzen soll. Für Training und Auswertung nutzte das Team laut Beitrag neun Spiele in Zusammenarbeit mit acht Studios sowie vier Forschungsumgebungen. Menschliche Spielaufzeichnungen lieferten Beispiele für den Zusammenhang zwischen Anweisungen und Aktionen. SIMA benötigt demnach lediglich Bildschirmbilder und Spracheingaben, keinen Zugriff auf den Spielquellcode oder besondere Schnittstellen.

Die untersuchte Version wurde an 600 grundlegenden Fähigkeiten getestet; insgesamt umfasste die Evaluation laut Bildbeschreibung beinahe 1.500 Spielaufgaben, teils mit menschlicher Beurteilung. DeepMind berichtet, ein über neun Spiele trainierter Agent habe Einzelspiel-Agenten übertroffen. In einem beim Training ausgelassenen Spiel habe er im Durchschnitt fast so gut abgeschnitten wie ein speziell dafür trainierter Agent. Ohne Sprachtraining verhielt sich SIMA zwar passend, aber ziellos.

Die Ergebnisse sind laut Bericht vorläufig: SIMA erreicht noch kein menschliches Niveau, und die getesteten Aufgaben waren einfach und kurz. Mehrstufige Ziele bleiben eine künftige Herausforderung. Ergänzende Abbildungsbeschreibungen am Textende sind abgeschnitten.

Ausführlich lesen

Der Bericht stellt SIMA („Scalable Instructable Multiworld Agent“) vor, ein von Google DeepMind entwickeltes KI-System, das Anweisungen in natürlicher Sprache in Aktionen in 3D-Videospielen umsetzen soll. Das Team beschreibt Spiele als Trainingsumgebungen, in denen ein Agent Bildschirminhalte wahrnimmt, auf wechselnde Situationen reagiert und Ziele verfolgt. SIMA soll dabei nicht vor allem hohe Punktzahlen erzielen, sondern über mehrere Spielwelten hinweg einfache Aufgaben verstehen und ausführen.

Für Training und Auswertung arbeitete DeepMind laut Bericht mit acht Spielestudios zusammen und nutzte neun kommerzielle Spiele, darunter No Man’s Sky und Teardown, sowie vier Forschungsumgebungen. Eine davon, das gemeinsam mit Unity entwickelte Construction Lab, prüft, ob Agenten mit Bausteinen Skulpturen errichten können. Die Aufgaben reichen von Navigation und Menünutzung bis zum Sammeln von Ressourcen, Fliegen und Herstellen von Gegenständen. Für die Trainingsdaten zeichneten menschliche Spieler unter anderem Situationen auf, in denen eine Person eine andere anweist; außerdem formulierten Spieler nachträglich Anweisungen zu ihren eigenen aufgezeichneten Aktionen.

Technisch kombiniert SIMA laut Beitrag vortrainierte Bild- und Videomodelle mit einem Hauptmodell, das einen Speicher nutzt und Tastatur- sowie Mausaktionen ausgibt. Als Eingabe benötigt das System demnach nur Bilder des Bildschirms und eine einfache sprachliche Anweisung; Zugriff auf Spielquellcode oder eigens entwickelte Schnittstellen sei nicht nötig. Die untersuchte Version wurde anhand von 600 grundlegenden Fähigkeiten bewertet, etwa „links abbiegen“, „Leiter hinaufklettern“ oder „Karte öffnen“. Die Aufgaben waren kurz und sollten in ungefähr zehn Sekunden lösbar sein. Insgesamt prüfte das Team laut Bildbeschreibung beinahe 1.500 einzigartige Spielaufgaben, teilweise mit menschlichen Beurteilern.

Als Ergebnis berichtet DeepMind, ein über neun Spiele trainierter Agent habe spezialisierte Agenten übertroffen, die jeweils nur für ein einzelnes Spiel trainiert wurden. Wurde ein Spiel beim Training ausgelassen, habe SIMA darin im Durchschnitt beinahe die Leistung eines eigens auf dieses Spiel trainierten Agenten erreicht. Ein Kontrollversuch ohne Sprachtraining oder Anweisungen führte dem Bericht zufolge zu passenden, aber ziellosen Verhaltensweisen: Der Agent konnte etwa Ressourcen sammeln, obwohl er an einen anderen Ort gehen sollte. Das Team wertet dies als Hinweis darauf, dass Sprache für die gezielte Aufgabenausführung wichtig ist.

Der Bericht betont zugleich die Grenzen der Ergebnisse: Die Forschung befinde sich in einem frühen Stadium, und SIMA erreiche in bekannten wie unbekannten Spielen noch kein menschliches Leistungsniveau. Die getesteten Aufgaben seien einfach und kurz; komplexe Ziele mit mehreren Planungsschritten, etwa Ressourcen zu finden und ein Lager zu bauen, gelten als künftige Herausforderung. Die Erwartungen, dass mehr Trainingswelten und leistungsfähigere Modelle die Fähigkeiten erweitern, formuliert das Team als Aussicht, nicht als bereits belegtes Ergebnis. Der bereitgestellte Text enthält den Blogbeitrag; einige ergänzende Abbildungsbeschreibungen am Ende sind abgeschnitten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung bezieht sich nur auf den Bericht. Die von Luna angegebenen Stufen und Anteile habe ich nicht übernommen. Die Zusammenfassung ist im Kern treu, die Auslassungen sind gering.

Im Bericht, aber nicht in der Zusammenfassung

  • Construction Lab als eigens mit Unity gebaute Forschungsumgebung
  • Ausblick auf allgemeine, sicher handelnde KI-Systeme als langfristiges Ziel

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 57 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 36 %gleiches Oberthema, hilft nicht
    • Luna 73 %Hintergrund, keine Belege
    • JEV 39 %gleiches Oberthema, hilft nicht
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 73 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 26 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 53 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 25 %gleiches Oberthema, hilft nicht
    • Luna 55 %Hintergrund, keine Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 40 %einzelne zitierbare Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 53 %einzelne zitierbare Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 72 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 34 %gleiches Oberthema, hilft nicht
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 69 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →