iOS/Swift: Handle 3D Gestures with ARKit & RealityKit
Zusammenfassung
Kurz
Der vollständige Bericht zeigt anhand von Würfeln, wie ARKit-Taps über `ARSessionDelegate` oder RealityKits `AnchorEntity` im 3D-Raum platziert werden und wie Entities auf Berührungen reagieren. Für Drehung, Skalierung und Verschiebung empfiehlt das Beispiel RealityKits eingebaute Gesten, sofern die Entity Kollisionsformen besitzt; die dargestellten Ergebnisse gelten für die gezeigten Beispiele.
Mittel
Der vollständige Bericht von Itsuki vergleicht zwei Wege, 3D-Gesten in einer iOS-App mit ARKit und RealityKit umzusetzen. Zum Platzieren eines Würfels beschreibt er zunächst `ARSessionDelegate`: Ein Tap wird per `hitTest` einem Feature Point zugeordnet, dessen `worldTransform` in einem `ARAnchor` landet. Der Delegate setzt anschließend den Würfel an diese Position. Als einfachere Alternative kann RealityKit laut Autor die Trefferposition direkt als `AnchoringComponent` verwenden und die Entity der Szene hinzufügen. Beide Ansätze ergäben im Beispiel dasselbe Resultat. Bei Entities, die einem übergeordneten Objekt angehören, könne ihre Position jedoch relativ zum Parent sein und eine Umrechnung erfordern.
Für Taps auf Entities prüft der klassische Ansatz, ob ein Objekt getroffen wurde, und verändert dessen Größe; ein Tap ins Leere platziert einen Würfel. RealityKits eingebaute Gesten erfordern laut Beitrag eine Kollisionskomponente und `HasCollision`. Mit `installGestures(.all, for:)` erhält der Würfel Drehung, Skalierung und Verschiebung entlang seiner Ankerebene. Der Artikel zeigt Code, Projektkonfiguration und Abbildungen und verweist auf ein Demoprojekt. Die Beispiele beschränken sich auf Würfel und Tap- sowie Manipulationsgesten; ausführliche Tests oder eine systematische Erprobung auf verschiedenen Geräten enthält der Bericht nicht.
Ausführlich lesen
Der vollständige Bericht von Itsuki zeigt anhand einer Tap-Geste, wie sich 3D-Gesten in einer iOS-App mit ARKit und RealityKit umsetzen lassen. Er vergleicht dabei das manuelle Vorgehen mit `ARSessionDelegate` und RealityKits `AnchorEntity` sowie klassische `GestureRecognizer` mit den eingebauten Entity-Gesten von RealityKit.
Als Grundlage empfiehlt der Autor ein gewöhnliches App-Projekt mit einem `ARView` im Storyboard und einer Kamera-Nutzungserklärung in der `Info.plist`. Er erklärt, dass RealityKit aus seiner Sicht bei einem AR-App-Projekt mit Storyboard nicht als Content-Technologie zur Verfügung stehe. Für das Beispiel erstellt er eine eigene `MyCube`-Entity, die ein farbiges 3D-Würfelmodell erhält und `HasAnchoring` erfüllt. Der Autor begründet die eigene Klasse damit, dass sie spätere Erweiterungen um Komponenten erleichtere, obwohl ein einfacher Würfel keine neue Unterklasse erfordere.
Für das Platzieren eines Würfels beschreibt der Bericht zunächst den Weg über `ARSessionDelegate`: Eine Berührung wird in Bildschirmkoordinaten erfasst, mit `hitTest` einem Feature Point im Raum zugeordnet und dessen `worldTransform` in einem neuen `ARAnchor` gespeichert. Nach dem Hinzufügen dieses Ankers zur AR-Sitzung erhält der Delegate eine Meldung, setzt den roten Würfel an die ermittelte Position und fügt ihn der Szene hinzu. Der gezeigte Code startet `ARWorldTrackingConfiguration`, sofern das Gerät sie unterstützt. Als einfachere Alternative präsentiert der Autor RealityKit: Die Trefferposition kann direkt als `AnchoringComponent` des Würfels gesetzt und die Entity unmittelbar zur Szene hinzugefügt werden. Laut Artikel liefern beide Varianten im Beispiel dasselbe Ergebnis. Er weist darauf hin, dass eine Entity-Position relativ zu ihrem übergeordneten Objekt sein kann, wenn sie nicht direkt an der Szene hängt; dann sei eine Umrechnung erforderlich.
Im Abschnitt zu Gesten auf Entities fragt der Beispielcode zunächst ab, ob die Berührung eine Entity trifft. Im klassischen Ansatz wird diese Entity verkleinert; trifft der Tap nichts, wird wie zuvor ein Würfel an der getroffenen Raumposition platziert. Der Autor zeigt außerdem eine Variante, die den grünen Würfel verkleinert und andere getroffene Entities vergrößert.
Für direkte Manipulation stellt der Bericht RealityKits `installGestures(_:for:)` vor. Die Entity muss dafür laut Artikel eine `CollisionComponent` besitzen und `HasCollision` erfüllen. Kollisionen lassen sich mit `generateCollisionShapes` aus dem Modell ableiten oder mit einer explizit gewählten Form festlegen. Mit `.all` installiert der Beispielcode Drehung per Mehrfingergeste, Skalierung per Pinch und Verschiebung per Ein-Finger-Ziehen entlang der Ankerebene.
Der Beitrag erläutert die Beispiele anhand von Code und Abbildungen und verweist auf ein GitHub-Demoprojekt. Seine Aussagen und Ergebnisse beziehen sich auf diese Tap- und Würfelbeispiele; ein systematischer Gerätevergleich, Tests oder eine ausführliche Behandlung anderer Gesten und Randfälle werden im Bericht nicht dargestellt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Es lagen zwei Zusammenfassungen vor (kurz und mittel), die gemeinsam geprüft wurden. Die kurze Fassung bleibt vage (dargestellte Ergebnisse gelten für die Beispiele) und lässt die Skalierung per Tap auf Entities sowie den Hinweis zur Parent-Relation aus. Die mittlere Fassung ist inhaltlich treu. Da keine Fragen zur Einordnung angegeben wurden, bleibt die Einordnung leer.
Im Bericht, aber nicht in der Zusammenfassung
- Begründung, warum als reguläre App statt AR-App angelegt wird, weil RealityKit sonst nicht wählbar ist
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.