SwiftUI/MacOS: Get Text Cursor (Caret) Position
Zusammenfassung
Kurz
Der Bericht zeigt, wie sich die Position eines Text-Carets in einem fokussierten macOS-Element über Accessibility-APIs auslesen lässt, und nennt nötige Berechtigungen sowie den Umgang mit `AXValue` und Koordinatensystemen. Die Methode ist laut Autor nicht universell: Bei Google Sheets und möglicherweise anderen Web-Apps ohne native Textelemente können die Bounds fehlerhaft sein.
Mittel
Der Bericht erklärt, wie eine macOS-App mit Accessibility-APIs die Bildschirmposition des Textcursors in einem fokussierten Textelement ermitteln kann. Dazu fragt der Beispielcode das systemweit fokussierte UI-Element ab, liest dessen ausgewählten Textbereich aus und fordert die Bounds dieses Bereichs an. Das Ergebnis wird als `CGRect` zurückgegeben.
Voraussetzungen laut Autor sind eine signierte App, eine deaktivierte App-Sandbox und die Freigabe unter „Bedienungshilfen“ in den Systemeinstellungen. Der Status kann mit `AXIsProcessTrustedWithOptions` geprüft werden. Für die Umwandlung des Bounds-Werts sei `AXValueGetValue` nötig; direktes Casting funktioniere nicht. Zudem verwendet der Rückgabewert CG-Koordinaten, deren y-Richtung gegenüber NS-Koordinaten umgekehrt ist. Eine Demo blendet die Position in einem Panel ein.
Die Methode funktioniert laut Bericht nicht überall: Bei Google Sheets seien ohne Screen-Reader-Unterstützung fehlerhafte, über viele Zellen gleiche Bounds aufgetreten. Versuche mit Zeilen- und Spaltenattributen hätten nicht geholfen. Der Autor vermutet ähnliche Probleme bei Web-Apps ohne native Textelemente.
Ausführlich lesen
Der Bericht von Itsuki beschreibt, wie eine macOS-App mit den Accessibility-APIs die Bildschirmposition des Textcursors (Caret) in einem fokussierten Textelement ermitteln kann. Gemeint sind etwa Textfelder, Textbereiche oder Kombinationsfelder. Der Autor grenzt dies ausdrücklich von der Mauszeigerposition ab: Dafür empfiehlt er stattdessen eine lokale oder globale Überwachung von `NSEvent`-Ereignissen des Typs `mouseMoved`.
Der vorgestellte Ablauf beginnt mit einem systemweiten Accessibility-Objekt. Über dessen Attribut für das aktuell fokussierte UI-Element wird das Zielobjekt ermittelt. Anschließend liest der Code dessen Attribut für den ausgewählten Textbereich aus, der als `CFRange` Position und Länge enthält. Diesen Bereich übergibt er an das parametrisierte Attribut für die Begrenzungen des Bereichs. Das Ergebnis ist ein Rechteck (`CGRect`) mit Bildschirmkoordinaten. Der Beispielcode verpackt diese Schritte in Funktionen, prüft Accessibility-Fehler und wirft bei fehlenden Werten eigene Fehler.
Für den Zugriff nennt der Bericht drei Voraussetzungen: Die App muss signiert sein, die App-Sandbox muss deaktiviert sein und die App muss in den macOS-Systemeinstellungen unter „Bedienungshilfen“ freigegeben werden. Mit `AXIsProcessTrustedWithOptions` lasse sich der Berechtigungsstatus prüfen und optional eine Aufforderung anzeigen.
Ein technischer Hinweis betrifft die Umwandlung des zurückgegebenen Werts: Laut Autor funktioniert ein direktes Umwandeln in `CGRect` nicht. Stattdessen müsse `AXValueGetValue` mit dem passenden Typ verwendet werden. Außerdem liegen die ermittelten Rechtecke im CG-Koordinatensystem; dessen y-Richtung ist gegenüber dem NS-Koordinatensystem umgekehrt. Die Demo zeigt die Koordinaten über ein kurz eingeblendetes Panel an und rechnet dessen Position dafür um. Für einen globalen Hotkey verwendet sie `NSEvent`; wenn ein Ereignis abgefangen und verbraucht werden soll, verweist der Autor auf `CGEventTap`.
Als wesentliche Grenze nennt der Bericht Anwendungen, die keine geeigneten nativen Textelemente bereitstellen. Bei Google Sheets lieferten die Bounds laut Autor ohne aktivierte Screen-Reader-Unterstützung fehlerhafte, für viele oder alle Zellen gleiche Werte, darunter einen y-Wert um `-9800`. Versuche mit Attributen für Zeilen- oder Spaltenbereiche hätten das Problem nicht gelöst. Der Autor vermutet, dass dies bei Web-Apps ohne native OS-Textsteuerelemente häufiger vorkommt, und kennt im Artikel keinen Ausweg ohne Screen Reader. Die Methode ist daher nicht für jede fokussierte Oberfläche verlässlich.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Es wurden keine Fragen zur Einordnung angegeben (Sammel- und Teilfragen jeweils „keine“), daher bleibt die Einordnung leer. Die Zusammenfassung wurde anhand aller drei vorliegenden Fassungen (kurz, mittel und die unbeschriftete) geprüft; die kurze und die unbeschriftete Fassung geben die Google-Sheets-Einschränkung wieder, die mittlere nicht.
Im Bericht, aber nicht in der Zusammenfassung
- Die Einschränkung bei Google Sheets ohne Screen-Reader-Unterstützung (Bounds mit y etwa -9800 und für viele Zellen gleich) fehlt in der mittleren Zusammenfassung
- Lunas Zusammenfassungen werden nicht einheitlich gekennzeichnet; die mittlere Fassung lässt die Grenzen des Verfahrens aus
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.