RT-2: New model translates vision and language into action
Zusammenfassung
Kurz
Der Bericht stellt RT-2 vor, ein Modell, das Bild- und Sprachwissen mit Roboterdaten verbindet und daraus Steuerbefehle ableitet. Die Autoren berichten von besseren Ergebnissen als bei Vergleichsmodellen, auch bei getesteten unbekannten Objekten und Umgebungen; die berichteten Versuche belegen jedoch keine allgemeine Fähigkeit für beliebige reale Situationen.
Mittel
Der Bericht beschreibt RT-2, ein Vision-Language-Action-Modell, das webbasiertes Bild- und Sprachwissen mit Robotikdaten verbindet, um aus Kamerabildern und Anweisungen direkt Roboteraktionen abzuleiten. Dafür werden Bewegungsbefehle als Tokenfolgen dargestellt und gemeinsam mit Web- und Robotikdaten in bestehende Vision-Language-Modelle integriert. Als Robotikbasis nennen die Autoren Demonstrationen von 13 Robotern aus einer Büroküche.
In mehr als 6.000 Versuchen prüften sie unter anderem Symbolverständnis, Schlussfolgern und den Umgang mit zuvor ungesehenen Objekten und Umgebungen. Laut Bericht übertrafen RT-2-Modelle frühere Vergleichsmodelle bei neuartigen Fähigkeiten um mehr als das Dreifache. Auf unbekannten Szenarien stieg die Erfolgsquote gegenüber RT-1 von 32 auf 62 Prozent; in der simulierten Language-Table-Aufgabenreihe wurden 90 Prozent erreicht. Eine Variante mit zusätzlichem sprachlichem Planungsschritt sollte mehrstufige Aufgaben unterstützen.
Das sind von den Autoren berichtete Ergebnisse aus ausgewählten Tests. Der Beitrag enthält keine vollständige unabhängige Überprüfung; die Befunde belegen keine allgemeine Einsatzfähigkeit in beliebigen realen Situationen.
Ausführlich lesen
Der Bericht stellt RT-2 vor, ein von Google DeepMind entwickeltes Vision-Language-Action-Modell (VLA), das Bild- und Sprachverständnis mit der direkten Steuerung eines Roboters verbinden soll. Die Autoren wollen damit Wissen aus großen webbasierten Bild- und Sprachmodellen auf Robotik übertragen. Ihr Ausgangspunkt: VLMs erkennen visuelle und sprachliche Muster, doch ein Roboter müsste für vergleichbare Fähigkeiten sehr viele eigene Beispiele aus unterschiedlichen Objekten, Umgebungen und Aufgaben sammeln.
RT-2 baut auf den Modellen PaLI-X und PaLM-E auf. Um sie für die Steuerung nutzbar zu machen, werden Roboteraktionen als Folge von Tokens dargestellt. Diese kodiert unter anderem, ob eine Aufgabe fortgesetzt oder beendet wird, wie sich Position und Drehung des Greifarms verändern sollen und welchen Zustand der Greifer einnehmen soll. Die Autoren berichten, dass sich so Web- und Robotikdaten gemeinsam zum Feintuning verwenden lassen, ohne die üblichen Ein- und Ausgabeformate der VLMs grundsätzlich zu ändern. Als Robotikdaten dienten unter anderem Demonstrationen von 13 Robotern, die über 17 Monate in einer Büroküche gesammelt wurden.
Die Wirksamkeit untersuchten die Forschenden laut Bericht in qualitativen und quantitativen Versuchen mit insgesamt mehr als 6.000 Roboterläufen. Sie prüften unter anderem Symbolverständnis, Schlussfolgern und das Erkennen von Menschen sowie den Umgang mit unbekannten Objekten, Hintergründen und Umgebungen. Als Beispiele nennen sie Anweisungen, einen beinahe vom Tisch fallenden Beutel aufzuheben oder eine Banane anhand einer Rechenaufgabe zu bewegen. Nach Darstellung der Autoren übertrafen RT-2-Modelle bei den untersuchten neuartigen Fähigkeiten frühere Vergleichsmodelle um mehr als das Dreifache. Auf ursprünglichen, aus den Roboterdaten bekannten Aufgaben blieb die Leistung erhalten; bei zuvor ungesehenen Szenarien stieg sie im Vergleich zu RT-1 von 32 auf 62 Prozent.
In der Language-Table-Aufgabenreihe erreichte das Modell laut Bericht in der Simulation 90 Prozent Erfolgsquote; die genannten Vergleichswerte lagen bei 72 Prozent für BC-Z, 74 Prozent für RT-1 und 77 Prozent für LAVA. Ein anschließender Versuch mit einem realen Roboter sollte die Übertragung auf neue Gegenstände zeigen; laut Bildbeschreibung war davon nur der blaue Würfel in den Trainingsdaten vertreten. Zusätzlich beschreiben die Autoren eine Variante, die nach wenigen hundert Feintuning-Schritten zunächst einen sprachlichen Plan und anschließend die Aktion ausgibt. Damit sollten mehrstufige Aufgaben und visuell gestützte Planung möglich werden.
Die Ergebnisse sind als von den Autoren berichtete Befunde und als Hinweis auf bessere Verallgemeinerung zu verstehen. Der Beitrag fasst ausgewählte Versuche zusammen und liefert hier keine vollständige Darstellung der Versuchsbedingungen oder unabhängige Bestätigung. Die Autoren beschreiben RT-2 als vielversprechenden Schritt hin zu vielseitiger einsetzbaren Robotern; die angeführten Experimente belegen jedoch nur die geprüften Aufgaben und Situationen, nicht eine allgemeine Fähigkeit für beliebige reale Umgebungen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurde die mittlere Zusammenfassung, die kurze ist ebenfalls inhaltlich treu. Ihr Schlusssatz zu fehlender allgemeiner Fähigkeit ist eine Deutung, kein Berichtsinhalt.
Im Bericht, aber nicht in der Zusammenfassung
- Nennung der Basismodelle PaLI-X und PaLM-E
- Vergleich mit VC-1, R3M, MOO, BC-Z und LAVA
- Beispiel der Gedankenkette (Stein als Improvisationshammer)
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, der Beitrag enthalte keine vollständige unabhängige Überprüfung, steht so nicht im Bericht.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 51 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 52 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4-T03 Ist Intelligenz, die „eher gewachsen als entworfen“ ist, ein Grund für mehr Vorsicht oder dafür, Modelle wie ein Ökosystem zu pflegen?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 29 %Hintergrund, keine Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 50 %umfangreiche Belege
- JEV 44 %beantwortet teilweise oder widerspricht
- amos 24 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung umfangreiche Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv