Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind1. November 2023 · Q005492

RoboVQA: Multimodal Long-Horizon Reasoning for Robotics

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text ist ein Abstract-Auszug mit Autorenangaben. Die Forschenden berichten, RoboVQA umfasse 829.502 Video-Text-Paare und ermögliche mit menschlichen wie robotischen Daten bessere Ergebnisse; ihr Modell habe die Eingriffsrate gegenüber einem Zero-Shot-Ausgangsmodell gesenkt. Zugleich deuten die berichteten Leistungslücken laut Autorinnen und Autoren auf weiteren Datenbedarf für den Einsatz in der realen Welt hin.

Mittel

Der bereitgestellte Text ist ein Auszug aus dem Abstract mit Autorenangaben, nicht der vollständige Bericht. Die Autorinnen und Autoren stellen RoboVQA vor: einen Datensatz für visuelle Frage-Antwort-Aufgaben und längerfristiges Schlussfolgern in der Robotik. Er umfasst laut Abstract 829.502 Video-Text-Paare mit 29.520 verschiedenen Anweisungen. Die Daten wurden bei Nutzeraufträgen in drei Bürogebäuden durch Roboter und Menschen gesammelt; das Verfahren habe eine 2,2-fach höhere Datenrate als eine eng gefasste, schrittweise Erhebung erreicht.

Modelle, die mit Daten aus menschlichen und robotischen Ausführungen trainiert wurden, hätten bei Tests mit Roboteraufnahmen besser abgeschnitten als solche, die nur Roboterdaten nutzten. Das auf RoboVQA trainierte Modell RoboVQA-VideoCoCa habe in realen Versuchen Roboter bei längeren Aufgaben angeleitet. Mit menschlichen Eingriffen konnten Aufgaben laut Abstract abgeschlossen werden; gegenüber einem Zero-Shot-VLM sei die Eingriffsrate um 46 Prozent gesunken. Video-VLMs hätten außerdem eine um durchschnittlich 19 Prozent geringere Fehlerrate als Einzelbild-VLMs erreicht. Die Forschenden folgern, dass für den realen Einsatz noch viele geerdete Daten nötig sind. Der Auszug liefert keine Details, um die Resultate unabhängig zu beurteilen.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug: Er enthält den Abstract und Autorenangaben, aber nicht den vollständigen Bericht. Die folgenden Aussagen geben daher die Zusammenfassung der Autorinnen und Autoren wieder.

Der Beitrag stellt RoboVQA vor, einen Datensatz und ein Datenerhebungsverfahren für visuelle Fragenbeantwortung und längerfristiges Schlussfolgern in der Robotik. Die Forschenden beschreiben einen breit angelegten, von konkreten Aufgaben ausgehenden Ansatz: Nutzeraufträge wurden in drei Bürogebäuden mit verschiedenen Robotern und menschlichen Ausführenden bearbeitet. Laut Abstract erreicht diese Erhebung eine 2,2-fach höhere Datenrate als eine herkömmliche, eng gefasste Sammlung, die Schritt für Schritt von oben geplant wird.

Der Datensatz umfasst den Angaben zufolge 829.502 Video-Text-Paare und 29.520 verschiedene Anweisungen. Modelle, die mit Daten aus allen Ausführungsformen trainiert wurden, hätten bei Tests ausschließlich mit Roboteraufnahmen besser abgeschnitten als Modelle, die nur Roboterdateien erhielten. Die Autorinnen und Autoren folgern daraus außerdem, dass bei begrenztem Erhebungsbudget eine Kombination kostengünstigerer menschlicher Datenerhebung mit Roboterdaten vorteilhaft sein kann.

Als Modellbeispiel nennen sie RoboVQA-VideoCoCa, das auf dem Datensatz trainiert wurde und unterschiedliche, visuell fundierte Schlussfolgerungsaufgaben bewältigen soll. In realen Roboterexperimenten konnte ein Verfahren mit menschlichen Eingriffen laut Abstract Aufgaben bis zum Abschluss führen. Es soll zugleich eine einheitliche Leistungskennzahl ermöglichen und auch dann einen Einsatz unter menschlicher Aufsicht erlauben, wenn das Modell nicht fehlerfrei ist. Gegenüber einem Zero-Shot-VLM-Ausgangsmodell sei die Rate notwendiger kognitiver Eingriffe um 46 Prozent geringer gewesen. Video-VLMs hätten Einzelbild-VLMs zudem über alle visuellen Frage-Antwort-Aufgaben hinweg übertroffen; berichtet wird eine durchschnittliche Verringerung der Fehlerrate um 19 Prozent.

Die Autorinnen und Autoren sehen im Abstand zu den Zero-Shot-Modellen einen Hinweis darauf, dass für den Einsatz in der realen Welt noch viele zusätzliche, geerdete Daten gesammelt werden müssen. Der Auszug enthält jedoch keine Einzelheiten zu Versuchsaufbau, statistischer Unsicherheit oder den Grenzen der Übertragbarkeit. Die berichteten Zahlen und Schlussfolgerungen lassen sich anhand dieses Abstracts allein nicht unabhängig bewerten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 28 %gleiches Oberthema, hilft nicht
    • Luna 100 %kein Bezug
    • JEV 50 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 45 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 32 %gleiches Oberthema, hilft nicht
    • JEV 41 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 45 %einzelne zitierbare Belege
    • amos 24 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 34 %einzelne zitierbare Belege
    • JEV 41 %beantwortet teilweise oder widerspricht
    • amos 23 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →