Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind12. Mai 2026 · Q003998

Shaping the future of AI interaction by reimagining the mouse pointer

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Google DeepMind stellt das Konzept eines KI-gestützten Zeigers vor, der Zeigegesten und Sprache zusammenführt, damit Gemini Inhalte direkt im Arbeitskontext bearbeiten oder erklären kann. Der Beitrag nennt experimentelle Demos sowie Anwendungen in Chrome und ein angekündigtes Magic Pointer für Googlebook, belegt aber keine Leistungswerte; die gezeigten Videosequenzen seien gekürzt.

Mittel

Google DeepMind beschreibt einen KI-gestützten Mauszeiger, der erkennen soll, worauf Nutzerinnen und Nutzer zeigen, und diesen visuellen Kontext mit gesprochenen Kurzbefehlen verbindet. Die Idee: KI soll direkt in den verwendeten Apps helfen, ohne dass Nutzer erst Inhalte in ein separates KI-Fenster übertragen müssen.

Der Bericht nennt vier Prinzipien: den Arbeitsfluss erhalten, Zeigen und Sprechen kombinieren, natürliche Kurzformulierungen wie „Verschiebe das hierher“ verstehen und Bildschirminhalte als handlungsfähige Einheiten erfassen. Als Beispiele dienen das Zusammenfassen eines PDF, das Erstellen eines Diagramms aus einer Tabelle und das Umwandeln einer Notiz in eine Aufgabenliste. Experimentelle Gemini-Demos in Google AI Studio sollen Bildbearbeitung und die Suche nach Orten per Zeigen und Sprechen zeigen.

Google zufolge lässt sich Gemini in Chrome bereits per Zeiger zu ausgewählten Webseiteninhalten befragen; Magic Pointer für Googlebook soll folgen. Der Beitrag stellt Konzepte und Demos vor, enthält jedoch keine Messwerte zu Genauigkeit oder Zuverlässigkeit. Die gezeigten Videosequenzen seien gekürzt.

Ausführlich lesen

Der Bericht von Adrien Baranes und Rob Marchant beschreibt Google DeepMind zufolge eine neue Art der KI-Interaktion: Ein weiterentwickelter Mauszeiger soll erfassen, worauf jemand zeigt, und den Zusammenhang mit einer gesprochenen Bitte verbinden. Damit soll die KI in den verwendeten Apps verfügbar sein, statt Nutzerinnen und Nutzer für jede Aufgabe in ein eigenes KI-Fenster zu schicken. Als Beispiel nennt der Bericht, auf ein Gebäudebild zu zeigen und nach dem Weg zu fragen.

Die Autorinnen und Autoren stellen vier Leitprinzipien vor. Erstens soll KI den Arbeitsfluss erhalten und appübergreifend helfen, etwa beim Zusammenfassen eines PDF für eine E-Mail, beim Umwandeln einer Statistik-Tabelle in ein Kreisdiagramm oder beim Verdoppeln eines Rezeptes. Zweitens soll die Kombination aus Zeigen und Sprechen den visuellen und inhaltlichen Kontext erfassen, damit keine ausführlichen Prompts nötig sind. Drittens sollen kurze Formulierungen wie „Mach das“ oder „Verschiebe jenes hierher“ genügen, wenn Gesten und geteilter Kontext die gemeinte Sache verdeutlichen. Viertens soll KI Bildschirminhalte als handlungsfähige Einheiten erkennen: Eine handschriftliche Notiz könnte etwa zu einer interaktiven Aufgabenliste und ein Videobild zu einem Link für eine dort gezeigte Gaststätte werden.

Zur Veranschaulichung beschreibt der Beitrag experimentelle, von Gemini unterstützte Demos in Google AI Studio. Dort könne man durch Zeigen und Sprechen Bilder bearbeiten oder Orte auf einer Karte finden. Der Bericht nennt außerdem Anwendungsbeispiele für Gemini in Chrome: Produkte auf einer Webseite auswählen und vergleichen oder auf eine Stelle im Wohnzimmerbild zeigen, an der ein neues Sofa visualisiert werden soll. Eine Funktion namens Magic Pointer solle demnächst auf Googlebook erscheinen. Weitere Konzepte wolle Google auf seinen Plattformen, darunter Google Labs’ Disco, erproben.

Der Beitrag beschreibt Leitideen und Demos, liefert aber keine Messwerte oder systematische Ergebnisse zur Genauigkeit, Zuverlässigkeit oder Nutzbarkeit. Er kennzeichnet die Demos als experimentell; zudem seien gezeigte Videosequenzen gekürzt. Die Aussagen zu Chrome und Googlebook geben den im Bericht beschriebenen Einführungsstand wieder: Gemini in Chrome wird als ab sofort verfügbar dargestellt, Magic Pointer als künftig startend.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Sammelfragen betreffen Verhalten, Betrieb, Mitsprache und das Wesen von Modellen, der Bericht ist dagegen ein Produktblog zu einem KI-Zeigegerät ohne Sicherheitsbezug, daher sind die Einordnungen niedrig. Lunas Anteilsangaben (43 %, 39 %, 36 %) wurden nicht geprüft und nicht übernommen. Teilfragen gab es keine, deshalb entfällt deren Bewertung.

Im Bericht, aber nicht in der Zusammenfassung

  • Das Beispiel eines Gebäudefotos mit der Anfrage „Show me directions“, das zeigt, dass der Kontext ohne weitere Angaben reicht
  • Google Labs' Disco als weiteres Feld für Tests neuer Konzepte
  • Die Kernaussage, dass die Prinzipien die Arbeit des Vermittelns von Kontext und Absicht vom Nutzer auf den Computer verlagern

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 36 %gleiches Oberthema, hilft nicht
    • JEV 33 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 25 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 25 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →