Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind28. Juli 2023 · Q003783

RT-2: New model translates vision and language into action

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht stellt RT-2 vor, ein Modell, das Bild- und Sprachwissen mit Roboterdaten verbindet und daraus Steuerbefehle ableitet. Die Autoren berichten von besseren Ergebnissen als bei Vergleichsmodellen, auch bei getesteten unbekannten Objekten und Umgebungen; die berichteten Versuche belegen jedoch keine allgemeine Fähigkeit für beliebige reale Situationen.

Mittel

Der Bericht beschreibt RT-2, ein Vision-Language-Action-Modell, das webbasiertes Bild- und Sprachwissen mit Robotikdaten verbindet, um aus Kamerabildern und Anweisungen direkt Roboteraktionen abzuleiten. Dafür werden Bewegungsbefehle als Tokenfolgen dargestellt und gemeinsam mit Web- und Robotikdaten in bestehende Vision-Language-Modelle integriert. Als Robotikbasis nennen die Autoren Demonstrationen von 13 Robotern aus einer Büroküche.

In mehr als 6.000 Versuchen prüften sie unter anderem Symbolverständnis, Schlussfolgern und den Umgang mit zuvor ungesehenen Objekten und Umgebungen. Laut Bericht übertrafen RT-2-Modelle frühere Vergleichsmodelle bei neuartigen Fähigkeiten um mehr als das Dreifache. Auf unbekannten Szenarien stieg die Erfolgsquote gegenüber RT-1 von 32 auf 62 Prozent; in der simulierten Language-Table-Aufgabenreihe wurden 90 Prozent erreicht. Eine Variante mit zusätzlichem sprachlichem Planungsschritt sollte mehrstufige Aufgaben unterstützen.

Das sind von den Autoren berichtete Ergebnisse aus ausgewählten Tests. Der Beitrag enthält keine vollständige unabhängige Überprüfung; die Befunde belegen keine allgemeine Einsatzfähigkeit in beliebigen realen Situationen.

Ausführlich lesen

Der Bericht stellt RT-2 vor, ein von Google DeepMind entwickeltes Vision-Language-Action-Modell (VLA), das Bild- und Sprachverständnis mit der direkten Steuerung eines Roboters verbinden soll. Die Autoren wollen damit Wissen aus großen webbasierten Bild- und Sprachmodellen auf Robotik übertragen. Ihr Ausgangspunkt: VLMs erkennen visuelle und sprachliche Muster, doch ein Roboter müsste für vergleichbare Fähigkeiten sehr viele eigene Beispiele aus unterschiedlichen Objekten, Umgebungen und Aufgaben sammeln.

RT-2 baut auf den Modellen PaLI-X und PaLM-E auf. Um sie für die Steuerung nutzbar zu machen, werden Roboteraktionen als Folge von Tokens dargestellt. Diese kodiert unter anderem, ob eine Aufgabe fortgesetzt oder beendet wird, wie sich Position und Drehung des Greifarms verändern sollen und welchen Zustand der Greifer einnehmen soll. Die Autoren berichten, dass sich so Web- und Robotikdaten gemeinsam zum Feintuning verwenden lassen, ohne die üblichen Ein- und Ausgabeformate der VLMs grundsätzlich zu ändern. Als Robotikdaten dienten unter anderem Demonstrationen von 13 Robotern, die über 17 Monate in einer Büroküche gesammelt wurden.

Die Wirksamkeit untersuchten die Forschenden laut Bericht in qualitativen und quantitativen Versuchen mit insgesamt mehr als 6.000 Roboterläufen. Sie prüften unter anderem Symbolverständnis, Schlussfolgern und das Erkennen von Menschen sowie den Umgang mit unbekannten Objekten, Hintergründen und Umgebungen. Als Beispiele nennen sie Anweisungen, einen beinahe vom Tisch fallenden Beutel aufzuheben oder eine Banane anhand einer Rechenaufgabe zu bewegen. Nach Darstellung der Autoren übertrafen RT-2-Modelle bei den untersuchten neuartigen Fähigkeiten frühere Vergleichsmodelle um mehr als das Dreifache. Auf ursprünglichen, aus den Roboterdaten bekannten Aufgaben blieb die Leistung erhalten; bei zuvor ungesehenen Szenarien stieg sie im Vergleich zu RT-1 von 32 auf 62 Prozent.

In der Language-Table-Aufgabenreihe erreichte das Modell laut Bericht in der Simulation 90 Prozent Erfolgsquote; die genannten Vergleichswerte lagen bei 72 Prozent für BC-Z, 74 Prozent für RT-1 und 77 Prozent für LAVA. Ein anschließender Versuch mit einem realen Roboter sollte die Übertragung auf neue Gegenstände zeigen; laut Bildbeschreibung war davon nur der blaue Würfel in den Trainingsdaten vertreten. Zusätzlich beschreiben die Autoren eine Variante, die nach wenigen hundert Feintuning-Schritten zunächst einen sprachlichen Plan und anschließend die Aktion ausgibt. Damit sollten mehrstufige Aufgaben und visuell gestützte Planung möglich werden.

Die Ergebnisse sind als von den Autoren berichtete Befunde und als Hinweis auf bessere Verallgemeinerung zu verstehen. Der Beitrag fasst ausgewählte Versuche zusammen und liefert hier keine vollständige Darstellung der Versuchsbedingungen oder unabhängige Bestätigung. Die Autoren beschreiben RT-2 als vielversprechenden Schritt hin zu vielseitiger einsetzbaren Robotern; die angeführten Experimente belegen jedoch nur die geprüften Aufgaben und Situationen, nicht eine allgemeine Fähigkeit für beliebige reale Umgebungen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Geprüft wurde die mittlere Zusammenfassung, die kurze ist ebenfalls inhaltlich treu. Ihr Schlusssatz zu fehlender allgemeiner Fähigkeit ist eine Deutung, kein Berichtsinhalt.

Im Bericht, aber nicht in der Zusammenfassung

  • Nennung der Basismodelle PaLI-X und PaLM-E
  • Vergleich mit VC-1, R3M, MOO, BC-Z und LAVA
  • Beispiel der Gedankenkette (Stein als Improvisationshammer)

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, der Beitrag enthalte keine vollständige unabhängige Überprüfung, steht so nicht im Bericht.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 42 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 67 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 51 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 73 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 52 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 30 %gleiches Oberthema, hilft nicht
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 29 %Hintergrund, keine Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 50 %umfangreiche Belege
    • JEV 44 %beantwortet teilweise oder widerspricht
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung umfangreiche Belege
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →