Visual Intention Grounding for Egocentric Assistants
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Text ist nur ein Abstract-Auszug. Er stellt EgoIntention für das Erkennen von Objekten anhand indirekter Absichten aus der Ich-Perspektive sowie das RoG-Training vor; laut Abstract verbessert RoG die Benchmark-Leistung gegenüber Vergleichstrainings, während Details und Messwerte hier fehlen.
Mittel
Der bereitgestellte Bericht ist ein Auszug: Er enthält nur den Abstract und bibliografische Angaben, nicht die vollständige Studie. Vorgestellt wird EgoIntention, laut den Autorinnen und Autoren der erste Datensatz für visuelles Grounding von Absichten in der Ich-Perspektive. Modelle sollen darin passende Objekte erkennen, obwohl diese nur indirekt über Bedürfnisse oder Absichten beschrieben werden, und zugleich irrelevante Kontextobjekte übergehen sowie ungewöhnliche Objektfunktionen verstehen.
Der Abstract berichtet, aktuelle multimodale Sprachmodelle verwechselten häufig Kontextobjekte und hätten Schwächen beim Verständnis solcher Funktionen. Als Lösung beschreiben die Autorinnen und Autoren Reason-to-Ground (RoG), ein Training, das normale Beschreibungen und Ich-Perspektiv-Absichten verbindet und Absichtsüberlegung mit Objektzuordnung verkettet. Laut Abstract schneidet RoG auf EgoIntention deutlich besser ab als einfaches Fine-Tuning und hybrides Training; bei gewöhnlichen Beschreibungen bleibt die Leistung gleich oder steigt leicht. Konkrete Zahlen, Details zum Versuchsaufbau und weitere Grenzen sind im Auszug nicht enthalten. Der Beitrag erschien bei ICCV 2025.
Ausführlich lesen
Der bereitgestellte Bericht enthält nur den Abstract sowie Angaben zu Autorinnen und Autoren und zum Publikationsort; die vollständige Studie liegt nicht vor. Der Abstract stellt EgoIntention vor, einen Datensatz für visuelles Grounding aus der Ich-Perspektive. Dabei sollen Modelle eine sprachliche Beschreibung mit dem passenden Bildobjekt verknüpfen, auch wenn das Objekt nicht direkt benannt wird, sondern sich aus einem Bedürfnis oder einer Absicht ergibt. Als Herausforderung nennt der Abstract, irrelevante Gegenstände im Kontext zu ignorieren und ungewöhnliche Objektfunktionen zu verstehen.
Laut den Autorinnen und Autoren zeigen Benchmark-Ergebnisse, dass aktuelle multimodale Sprachmodelle in solchen Ansichten häufig Kontextobjekte falsch zuordnen und deren mögliche Funktionen nicht ausreichend erfassen. Als Trainingsansatz schlagen sie Reason-to-Ground (RoG) vor: Das Verfahren kombiniert gewöhnliche Beschreibungen mit absichtsbezogenen Formulierungen aus der Ich-Perspektive und verbindet Absichtsüberlegungen mit der anschließenden Objektzuordnung.
Dem Abstract zufolge übertrifft RoG einfaches Fine-Tuning und hybrides Training auf EgoIntention deutlich. Bei der Zuordnung anhand gewöhnlicher Beschreibungen bleibe die Leistung erhalten oder verbessere sich leicht. Die Autorinnen und Autoren sehen darin einen Schritt zu einem einheitlichen visuellen Grounding für Ich- und Außenperspektiven sowie für ausdrücklich benannte Objekte und indirekte menschliche Absichten. Da nur der Abstract vorliegt, enthält der bereitgestellte Text keine Einzelheiten zu Datensatzumfang, Versuchsaufbau, konkreten Messwerten oder weiteren Einschränkungen. Der Beitrag ist ICCV 2025 zugeordnet.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug