A Generalist Agent
Zusammenfassung
Kurz
Der Bericht stellt Gato als ein gemeinsames Modell vor, das mit denselben Gewichten Aufgaben wie Bildbeschreibung, Dialog, Atari-Spiele und Robotersteuerung bewältigen soll. Es verarbeitet unterschiedliche Daten als Tokenfolgen und erzeugt im fortlaufenden Austausch mit der Umgebung schrittweise Aktionen. Konkrete Messwerte und Versuchsbedingungen fehlen im Text, sodass die Zuverlässigkeit der gezeigten Fähigkeiten offenbleibt.
Mittel
Der Bericht beschreibt Gato als einen allgemeinen Agenten, der mit denselben Modellgewichten sehr unterschiedliche Aufgaben erledigen soll: etwa Atari spielen, Bilder beschreiben, Dialoge führen und einen Roboterarm steuern. DeepMind bezeichnet das System als multimodal und für verschiedene Aufgaben sowie Verkörperungen ausgelegt.
Für das Training werden Daten aus unterschiedlichen Modalitäten und Aufgaben zu Tokenfolgen zusammengeführt und von einem Transformer verarbeitet. Die Daten umfassen laut Beitrag Erfahrungen aus simulierten und realen Umgebungen sowie Sprach- und Bildmaterial. Im Einsatz erhält Gato optional einen Prompt und anschließend fortlaufend Beobachtungen der Umgebung. Es erzeugt Aktionen Token für Token; nach der Ausführung wird die nächste Beobachtung angefügt. Das Kontextfenster enthält vorherige Aktionen und Beobachtungen und umfasst 1024 Tokens.
Abbildungen zeigen Beispiele für Bildbeschreibung, Dialog und Robotersteuerung sowie eine Leistungsübersicht. Der Text nennt jedoch keine konkreten Messwerte, Versuchsbedingungen oder Modellvergleiche. Die dargestellten Beispiele reichen daher nicht aus, um Zuverlässigkeit oder Übertragbarkeit auf andere Umgebungen zu beurteilen.
Ausführlich lesen
Der Bericht stellt Gato als einen allgemeinen Agenten vor, der nach dem Vorbild großskaliger Sprachmodelle über reine Textausgaben hinausgehen soll. DeepMind beschreibt Gato als multimodale, multitaskingfähige und für verschiedene Verkörperungen ausgelegte Policy. Laut Bericht kann dasselbe Netz mit denselben Gewichten unter anderem Atari spielen, Bilder beschreiben, Dialoge führen und einen realen Roboterarm steuern. Je nach Kontext gibt es dafür etwa Text, Gelenkdrehmomente oder Tastendrücke aus.
Beim Training werden Daten aus unterschiedlichen Aufgaben und Modalitäten in Tokenfolgen umgewandelt, gebündelt und von einem Transformer verarbeitet. Der Bericht sagt, dass die Trainingsdaten Erfahrungen aus simulierten und realen Umgebungen sowie Sprach- und Bilddatensätze umfassen. Die Verlustfunktion ist so maskiert, dass das Modell nur Aktions- und Textziele vorhersagt.
Für den Einsatz wird zunächst optional ein Prompt, etwa eine Demonstration, tokenisiert. Danach werden die Beobachtungen der Umgebung an die bisherige Sequenz angefügt. Gato erzeugt die Tokens einer Aktion schrittweise und autoregressiv. Sobald der Aktionsvektor vollständig ist, wird er dekodiert und an die Umgebung gesendet. Diese liefert eine neue Beobachtung, und der Ablauf wiederholt sich. Im Kontextfenster berücksichtigt das Modell laut Bericht die vorangegangenen Beobachtungen und Aktionen; dieses Fenster umfasst 1024 Tokens.
Als Beispiele für die Fähigkeiten des vortrainierten Modells nennt der Beitrag Bildbeschreibung, interaktiven Dialog und die Steuerung eines Roboterarms. Abbildungen veranschaulichen außerdem verschiedene Aufgabenbereiche und eine Leistungsdarstellung nach Domäne und relativ zum Expertenwert. Der Text liefert dazu jedoch keine konkreten Zahlen, detaillierte Versuchsbedingungen oder einen Vergleich mit anderen Modellen. Die gezeigten Beispiele und die allgemeine Leistungsbeschreibung belegen daher im vorliegenden Beitrag nicht, wie zuverlässig Gato in den einzelnen Aufgaben ist oder wie gut es außerhalb der beschriebenen Datensätze und Umgebungen funktioniert. Die zentrale Aussage des Berichts ist der Versuch, viele unterschiedliche Aufgaben durch ein gemeinsames Modell und ein einheitliches tokenbasiertes Verfahren abzudecken.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen von Luna geben den Bericht im Kern treu wieder und erfinden keine Fakten. Sie lassen aber Trainingsdetails wie Kontextfenster und Verlustmaskierung aus. Keine der Fragen wird im Bericht direkt beantwortet, weshalb alle Einordnungen niedrig ausfallen.
Im Bericht, aber nicht in der Zusammenfassung
- Das Kontextfenster von 1024 Tokens fehlt in der kurzen Zusammenfassung
- Die Maskierung des Verlusts auf Aktions- und Textziele fehlt
- Die Leistungsübersicht als Anteil am Expertenwert fehlt in der kurzen Zusammenfassung
- Der Multi-Embodiment-Charakter (Gato steuert verschiedene Körper bzw. Umgebungen) fehlt in der kurzen Zusammenfassung
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 32 %gleiches Oberthema, hilft nicht
- Luna 39 %Hintergrund, keine Belege
- JEV 41 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 74 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 57 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 62 %gleiches Oberthema, hilft nicht
- SF-V4-T01 Falls ein Modell kein durchgehendes Selbst hat: Kann es überhaupt an den vorgesehenen Zielen und Werten ausgerichtet sein, oder nur seine Ausgaben?
- SF-V4-T03 Ist Intelligenz, die „eher gewachsen als entworfen“ ist, ein Grund für mehr Vorsicht oder dafür, Modelle wie ein Ökosystem zu pflegen?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 65 %Hintergrund, keine Belege
- JEV 41 %Hintergrund, keine Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 64 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 32 %einzelne zitierbare Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 68 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 51 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 54 %einzelne zitierbare Belege
- JEV 37 %beantwortet teilweise oder widerspricht
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 59 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv