Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind12. Februar 2024 · Q005397

PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text ist nur ein Auszug und enthält das Abstract, keine ausführlichen Versuchsdaten. Darin wird PIVOT beschrieben: Ein VLM wählt wiederholt aus visuell dargestellten Vorschlägen für Roboteraktionen oder räumliche Antworten aus, die schrittweise verfeinert werden; laut Autorinnen und Autoren gelang damit unter anderem Zero-Shot-Robotersteuerung ohne Robotik-Trainingsdaten, die Leistung sei jedoch noch weit von perfekt entfernt.

Mittel

Der vorliegende Text ist nur ein Auszug: Er umfasst das Abstract sowie Angaben zu Autorinnen und Autoren und zum Publikationsort. Der Beitrag behandelt die Frage, wie Vision-Language-Modelle (VLMs), die Text ausgeben, räumliche Aufgaben bewältigen können, für die Roboter kontinuierliche Koordinaten, Aktionen oder Bewegungsbahnen benötigen – und zwar ohne aufgabenspezifisches Fine-Tuning.

Dafür schlagen die Autorinnen und Autoren PIVOT vor („Prompting with Iterative Visual Optimization“). Das Verfahren stellt wiederholt visuelle Vorschläge bereit, etwa mögliche Roboteraktionen, Positionen oder Bahnen. Das Modell wählt geeignete Optionen, die in weiteren Schritten verfeinert werden. Untersucht wird der Ansatz laut Abstract bei realer Navigation und Manipulation, beim Befolgen simulierter Anweisungen sowie bei räumlichen Aufgaben wie Lokalisierung.

Die Forschenden berichten von Zero-Shot-Robotersteuerung ohne Robotik-Trainingsdaten, Navigation in verschiedenen Umgebungen und weiteren Fähigkeiten. Zugleich räumen sie ein, dass die Leistung noch deutlich unvollkommen ist. Konkrete Messwerte und ausführliche Versuchsdetails enthält der vorliegende Auszug nicht.

Ausführlich lesen

Der vorliegende Text ist nur ein Auszug: Er enthält das Abstract sowie Angaben zu Autorinnen und Autoren und zum Publikationsort, nicht den vollständigen Bericht. Die Zusammenfassung der Methode und Ergebnisse stützt sich daher ausschließlich auf das Abstract.

Der Beitrag untersucht, wie Vision-Language-Modelle (VLMs), die laut Abstract bei visuellen und logischen Aufgaben leistungsfähig sind, auch für räumliche Aufgaben und Robotik eingesetzt werden können. Dabei besteht eine zentrale Herausforderung: VLMs geben Text aus, während Robotersteuerung oft kontinuierliche Koordinaten, konkrete Aktionen oder Bewegungsbahnen verlangt. Die Arbeit fragt, ob sich diese Lücke ohne aufgabenspezifisches Fine-Tuning überwinden lässt.

Als Ansatz stellen die Autorinnen und Autoren „Prompting with Iterative Visual Optimization“ (PIVOT) vor. Aufgaben werden dabei als wiederholte visuelle Frage-Antwort-Schritte gestaltet. In jeder Runde zeigt das Bild eine visuelle Darstellung möglicher Vorschläge, etwa Roboteraktionen, Ortsangaben oder Bahnen. Das Modell wählt passende Vorschläge aus; diese werden anschließend schrittweise verfeinert, bis eine möglichst gute verfügbare Antwort gefunden ist.

Laut Abstract untersuchen die Forschenden PIVOT unter anderem bei realer Roboternavigation, realer Manipulation anhand von Bildern, simuliertem Befolgen von Anweisungen und weiteren räumlichen Schlussfolgerungsaufgaben wie Lokalisierung. Sie berichten, der Ansatz ermögliche Zero-Shot-Steuerung von Robotersystemen ohne Robotik-Trainingsdaten sowie Navigation in verschiedenen Umgebungen. Auch weitere Fähigkeiten seien beobachtet worden. Das Abstract nennt jedoch keine konkreten Messwerte oder detaillierten Versuchsbedingungen, anhand derer sich diese Ergebnisse hier näher bewerten ließen.

Die Autorinnen und Autoren betonen ausdrücklich, dass die derzeitige Leistung noch weit von Perfektion entfernt sei. Sie verstehen die Arbeit als Hinweis auf Potenziale und Grenzen dieses Ansatzes und als vielversprechende Möglichkeit, umfangreich vortrainierte VLMs für Robotik und räumliches Schlussfolgern zu nutzen. Der Auszug enthält keine weiteren Einzelheiten zu den Grenzen oder zum Versuchsaufbau.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 27 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →