SwiftUI/MacOS: Contents Scrapping With AccessibilityAPI
Zusammenfassung
Kurz
Der Artikel demonstriert anhand von Swift-Code, wie macOS-Accessibility-Elemente und ihre Attribute ausgehend von der fokussierten Anwendung oder dem fokussierten UI-Element durchlaufen werden können. Der Autor nennt Grenzen der verfügbaren Zugänglichkeitsstruktur und empfiehlt unter anderem Berechtigungen, ein Zeitlimit sowie den Verzicht auf das Elternattribut, um Endlosschleifen zu vermeiden.
Mittel
Der Artikel zeigt, wie eine macOS-App mit der Accessibility API Informationen über die Oberfläche einer aktiven Anwendung erfassen kann, etwa als Grundlage für einen Screenreader. Der Autor beschreibt zwei Navigationswege: vom fokussierten Element nach oben oder von der fokussierten Anwendung nach unten. Dazu werden verfügbare Attribute abgefragt, ihre Werte typisiert und gefundene Accessibility-Elemente wiederholt durchlaufen.
Der enthaltene Swift-Code bündelt die API-Aufrufe und Berechtigungsprüfung, ordnet verschiedene Rückgabewerte Typen zu und sammelt Attribute aus einer konfigurierbaren Liste. Ein SwiftUI-Beispiel startet die Erfassung beim Loslassen der rechten Maustaste und ermöglicht, das Ergebnis in die Zwischenablage zu kopieren. Der Autor weist darauf hin, dass die Zugänglichkeitsstruktur oft begrenzt sein könne und weitere Datentypen oder Attribute nötig sein könnten. Laut Artikel muss die App für den Zugriff ohne Sandboxing laufen und eine Bedienungshilfen-Berechtigung erhalten. Außerdem empfiehlt er ein Zeitlimit, erwägt Breitensuche je nach Anwendungsfall und warnt davor, das Elternattribut einzubeziehen, da dies eine Endlosschleife auslösen könne.
Ausführlich lesen
Der Bericht beschreibt, wie sich unter macOS mit der Accessibility API Informationen über die Oberfläche der gerade aktiven Anwendung auslesen lassen. Der Autor erklärt, dass er damit etwa Tabs und Inhalte erfassen möchte, beispielsweise als Grundlage für einen Screenreader. Er vergleicht das Vorgehen mit dem Durchlaufen eines HTML-DOM, weist aber darauf hin, dass die Zugänglichkeitsstruktur einer Anwendung oft nur eingeschränkt verfügbar sei.
Der Artikel skizziert zunächst die Schritte: Mit `AXUIElementCreateSystemWide` wird ein systemweites Accessibility-Element erzeugt. Von dort kann man entweder zum fokussierten UI-Element oder zur fokussierten Anwendung navigieren. Für ein Element lassen sich verfügbare Attribute ermitteln und deren Werte abfragen. Diese Werte können unter anderem Zeichenketten, Wahrheitswerte, Zahlen, einzelne Accessibility-Elemente oder Listen solcher Elemente sein. Durch wiederholtes Abfragen und Durchlaufen der gefundenen Elemente entsteht eine Erfassung der zugänglichen Oberfläche.
Der Autor stellt Swift-Code für drei Bausteine bereit. `AccessibilityService` bündelt Berechtigungsprüfungen und API-Aufrufe, darunter das Auslesen verfügbarer Attribute, Elementrollen und Prozesskennungen. `CFTypeRefValue` ordnet zurückgegebene Werte verschiedenen Typen zu, einschließlich Geometrie- und Bereichswerten. Der `LoopingManager` kann entweder vom fokussierten Element nach oben oder von der fokussierten Anwendung nach unten navigieren. Er filtert die verfügbaren Attribute anhand einer konfigurierbaren Zielliste, sammelt Werte und verhindert anhand bereits besuchter Elemente bestimmte Wiederholungen. Elemente mit einer Rolle, die „button“ enthält, werden übersprungen.
Ein einfaches SwiftUI-Beispiel fordert die Accessibility-Berechtigung an und startet die Erfassung beim Loslassen der rechten Maustaste. Die gesammelten Inhalte werden angezeigt beziehungsweise zum Kopieren in die Zwischenablage angeboten. Der Autor nennt dabei konkrete Einschränkungen und Hinweise: Für den Zugriff müsse die App laut Artikel ohne Sandboxing laufen und in den macOS-Einstellungen die Bedienungshilfen-Berechtigung erhalten. Das Durchlaufen der Elemente erfolge im Beispiel verzweigt; je nach Zweck könne eine Breitensuche geeigneter sein. Außerdem empfiehlt der Autor ein Zeitlimit, um Deadlocks zu vermeiden. Das Elternattribut solle nicht in die Zielliste aufgenommen werden, da dies eine Endlosschleife verursachen könne.
Der Beitrag liefert damit ein Beispiel und eine mögliche Vorgehensweise, belegt aber keine allgemeine Vollständigkeit oder Zuverlässigkeit der ausgelesenen Inhalte. Der Autor merkt selbst an, dass weitere Werttypen nötig sein könnten und dass Attribute teils erst durch Untersuchung der jeweiligen Elemente gefunden werden müssen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat keine Fragen zur Einordnung angegeben (Einordnung je Sammelfrage und je Teilfrage: keine), daher wurde keine Stufe vergeben. Die Zusammenfassungen selbst sind inhaltlich korrekt. Zu beachten: Der Artikel warnt davor, kAXParentAttribute einzubeziehen, verwendet es aber selbst im loopUp-Code. Diesen Widerspruch im Quellbericht hat Luna nicht erwähnt, was hier aber kein Fehler der Zusammenfassung ist.
Im Bericht, aber nicht in der Zusammenfassung
- Kurzfassung nennt weder das SwiftUI-Beispiel mit Rechtsklick und Zwischenablage noch die Empfehlung zur Breitensuche
- Zielsetzung des Autors, Tabs und Inhalte der aktiven Anwendung auszulesen, wird in beiden Fassungen nicht genannt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.