Shaping the future of AI interaction by reimagining the mouse pointer
Zusammenfassung
Kurz
Google DeepMind stellt das Konzept eines KI-gestützten Zeigers vor, der Zeigegesten und Sprache zusammenführt, damit Gemini Inhalte direkt im Arbeitskontext bearbeiten oder erklären kann. Der Beitrag nennt experimentelle Demos sowie Anwendungen in Chrome und ein angekündigtes Magic Pointer für Googlebook, belegt aber keine Leistungswerte; die gezeigten Videosequenzen seien gekürzt.
Mittel
Google DeepMind beschreibt einen KI-gestützten Mauszeiger, der erkennen soll, worauf Nutzerinnen und Nutzer zeigen, und diesen visuellen Kontext mit gesprochenen Kurzbefehlen verbindet. Die Idee: KI soll direkt in den verwendeten Apps helfen, ohne dass Nutzer erst Inhalte in ein separates KI-Fenster übertragen müssen.
Der Bericht nennt vier Prinzipien: den Arbeitsfluss erhalten, Zeigen und Sprechen kombinieren, natürliche Kurzformulierungen wie „Verschiebe das hierher“ verstehen und Bildschirminhalte als handlungsfähige Einheiten erfassen. Als Beispiele dienen das Zusammenfassen eines PDF, das Erstellen eines Diagramms aus einer Tabelle und das Umwandeln einer Notiz in eine Aufgabenliste. Experimentelle Gemini-Demos in Google AI Studio sollen Bildbearbeitung und die Suche nach Orten per Zeigen und Sprechen zeigen.
Google zufolge lässt sich Gemini in Chrome bereits per Zeiger zu ausgewählten Webseiteninhalten befragen; Magic Pointer für Googlebook soll folgen. Der Beitrag stellt Konzepte und Demos vor, enthält jedoch keine Messwerte zu Genauigkeit oder Zuverlässigkeit. Die gezeigten Videosequenzen seien gekürzt.
Ausführlich lesen
Der Bericht von Adrien Baranes und Rob Marchant beschreibt Google DeepMind zufolge eine neue Art der KI-Interaktion: Ein weiterentwickelter Mauszeiger soll erfassen, worauf jemand zeigt, und den Zusammenhang mit einer gesprochenen Bitte verbinden. Damit soll die KI in den verwendeten Apps verfügbar sein, statt Nutzerinnen und Nutzer für jede Aufgabe in ein eigenes KI-Fenster zu schicken. Als Beispiel nennt der Bericht, auf ein Gebäudebild zu zeigen und nach dem Weg zu fragen.
Die Autorinnen und Autoren stellen vier Leitprinzipien vor. Erstens soll KI den Arbeitsfluss erhalten und appübergreifend helfen, etwa beim Zusammenfassen eines PDF für eine E-Mail, beim Umwandeln einer Statistik-Tabelle in ein Kreisdiagramm oder beim Verdoppeln eines Rezeptes. Zweitens soll die Kombination aus Zeigen und Sprechen den visuellen und inhaltlichen Kontext erfassen, damit keine ausführlichen Prompts nötig sind. Drittens sollen kurze Formulierungen wie „Mach das“ oder „Verschiebe jenes hierher“ genügen, wenn Gesten und geteilter Kontext die gemeinte Sache verdeutlichen. Viertens soll KI Bildschirminhalte als handlungsfähige Einheiten erkennen: Eine handschriftliche Notiz könnte etwa zu einer interaktiven Aufgabenliste und ein Videobild zu einem Link für eine dort gezeigte Gaststätte werden.
Zur Veranschaulichung beschreibt der Beitrag experimentelle, von Gemini unterstützte Demos in Google AI Studio. Dort könne man durch Zeigen und Sprechen Bilder bearbeiten oder Orte auf einer Karte finden. Der Bericht nennt außerdem Anwendungsbeispiele für Gemini in Chrome: Produkte auf einer Webseite auswählen und vergleichen oder auf eine Stelle im Wohnzimmerbild zeigen, an der ein neues Sofa visualisiert werden soll. Eine Funktion namens Magic Pointer solle demnächst auf Googlebook erscheinen. Weitere Konzepte wolle Google auf seinen Plattformen, darunter Google Labs’ Disco, erproben.
Der Beitrag beschreibt Leitideen und Demos, liefert aber keine Messwerte oder systematische Ergebnisse zur Genauigkeit, Zuverlässigkeit oder Nutzbarkeit. Er kennzeichnet die Demos als experimentell; zudem seien gezeigte Videosequenzen gekürzt. Die Aussagen zu Chrome und Googlebook geben den im Bericht beschriebenen Einführungsstand wieder: Gemini in Chrome wird als ab sofort verfügbar dargestellt, Magic Pointer als künftig startend.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Sammelfragen betreffen Verhalten, Betrieb, Mitsprache und das Wesen von Modellen, der Bericht ist dagegen ein Produktblog zu einem KI-Zeigegerät ohne Sicherheitsbezug, daher sind die Einordnungen niedrig. Lunas Anteilsangaben (43 %, 39 %, 36 %) wurden nicht geprüft und nicht übernommen. Teilfragen gab es keine, deshalb entfällt deren Bewertung.
Im Bericht, aber nicht in der Zusammenfassung
- Das Beispiel eines Gebäudefotos mit der Anfrage „Show me directions“, das zeigt, dass der Kontext ohne weitere Angaben reicht
- Google Labs' Disco als weiteres Feld für Tests neuer Konzepte
- Die Kernaussage, dass die Prinzipien die Arbeit des Vermittelns von Kontext und Absicht vom Nutzer auf den Computer verlagern
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 36 %gleiches Oberthema, hilft nicht
- JEV 33 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 25 %Hintergrund, keine Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 32 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 43 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 31 %Hintergrund, keine Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Weitere Berichte zu diesen Fragen
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv