SwiftUI/WWDC26: Search Image(?) with Visual Intelligence
Zusammenfassung
Kurz
Der vollständige Bericht zeigt anhand eines Lebensmittelkatalogs, wie Siri ein Bild an eine SwiftUI-App übergibt, während die App selbst die Suche implementiert – im Beispiel durch den Vergleich von Vision Feature Prints. Als Grenzen nennt der Autor Beta- und Geräteanforderungen; die Trefferqualität wird nicht systematisch geprüft und hängt von der eigenen Suchlogik ab.
Mittel
Itsuki beschreibt die Einbindung von Apples Visual Intelligence in eine SwiftUI-App am Beispiel eines Lebensmittelkatalogs. Der zentrale Punkt: Das Framework führt laut Autor keine Bildsuche für die App durch. Siri übergibt vielmehr ein Bild in einem SemanticContentDescriptor; die App muss selbst passende Ergebnisse ermitteln.
Im Beispiel stellt eine App-Entität Lebensmittel mit Namen, Typ und Bild dar. Eine IntentValueQuery nimmt den Bild-Pixelpuffer entgegen. Der Datenmanager erzeugt mit Vision Feature Prints für Katalog- und Suchbilder, speichert die Katalogmerkmale in UserDefaults und sortiert die Einträge anhand ihrer Distanz zum Suchbild. Als Ergänzungen nennt der Autor Texterkennung sowie Barcode- und QR-Code-Erkennung. Optionale Intents können Treffer öffnen oder die Suche in der App fortsetzen; eine einfache Ansicht zeigt und filtert den Katalog.
Voraussetzungen sind laut Bericht Siri-Beta und auf iOS ein Gerät mit Camera Control. Der Autor beschreibt zudem einen Weg, die Siri-Warteliste am Mac durch Änderungen an Systemeinstellungen und Systemdateien zu umgehen, und mahnt, Sicherheitsfunktionen anschließend wieder zu aktivieren. Der Beitrag demonstriert Beispielcode, misst aber weder Trefferqualität noch allgemeine Zuverlässigkeit; die Suche hängt von der eigenen Implementierung ab.
Ausführlich lesen
Der vollständige Bericht von Itsuki erklärt, wie sich Apples Visual-Intelligence-Funktion mit einer SwiftUI-App verbinden lässt, und korrigiert dabei eine mögliche Erwartung: Das Framework übernimmt laut Autor nicht selbst die Bildsuche. Es ermöglicht Siri vielmehr, ein Bild samt Kontext an eine App zu übergeben und von ihr passende Inhalte zurückzuerhalten. Die App muss selbst festlegen, wie sie Ähnlichkeiten oder andere Treffer ermittelt.
Als Voraussetzungen nennt der Bericht eine Siri-Betaversion und – bei iOS – ein Gerät mit Camera Control. Für Macs beschreibt der Autor zwei Tastenkürzel: eines, das den Bildschirm oder ein Fenster erfasst, und eines zur Auswahl eines Bildschirmbereichs. Er führt außerdem einen Weg an, die Siri-Warteliste auf dem Mac zu umgehen, bei dem Sicherheitsfunktionen wie FileVault und SIP vorübergehend deaktiviert und Systemdateien verändert werden. Am Ende erinnert er daran, diese Funktionen wieder einzuschalten.
Das Beispiel ist ein kleiner Lebensmittelkatalog. Zunächst wird eine App-Entität definiert, die Name, Typ und Bilddaten eines Lebensmittels enthält. Eine gewöhnliche EntityQuery kann Einträge anhand ihrer Kennungen abrufen. Für die Bildübergabe kommt eine IntentValueQuery hinzu: Sie erhält einen SemanticContentDescriptor und liest daraus den Pixelpuffer des übergebenen Bildes. Laut Bericht lässt sich das VisualIntelligence-Modul im Simulator nicht auflösen.
Die eigentliche Suche implementiert der Autor im Datenmanager. Für die Katalogbilder erstellt er mit Vision Feature Prints und speichert sie in UserDefaults, damit sie nicht bei jedem Start neu berechnet werden müssen. Für das von Siri gelieferte Bild wird ebenfalls ein Feature Print berechnet. Der Code vergleicht die Distanzen zwischen diesem und den gespeicherten Merkmalen, sortiert die Einträge nach Ähnlichkeit und gibt begrenzte Treffer zurück. Der Autor setzt beispielhaft einen Höchstabstand und eine Trefferzahl. Als weitere mögliche Suchwege nennt er Texterkennung oder Barcode- und QR-Code-Erkennung; bei Lebensmitteln könnten erkannte Wörter zusätzlich zur visuellen Ähnlichkeit herangezogen werden.
Optional lassen sich Ergebnisse mit einem OpenIntent direkt in der App öffnen. Ein weiterer App Intent nach dem Semantic-Content-Search-Schema kann die übergebene Bildbeschreibung erneut verwenden und eine Suche innerhalb der App fortsetzen. Eine einfache SwiftUI-Ansicht zeigt die Lebensmittel, erlaubt Textfilter und hebt einen ausgewählten Eintrag hervor.
Der Bericht beschreibt eine Demo und Beispielcode, liefert aber keine systematische Genauigkeitsmessung oder Bewertung der Suche. Die dargestellte Trefferqualität hängt laut der beschriebenen Umsetzung von den selbst gewählten Verfahren und den App-Daten ab. Auch wird die Funktion an Betavoraussetzungen gebunden; der Artikel belegt keine allgemeine Verfügbarkeit oder verlässliche Leistung über das Beispiel hinaus.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurde die Fassung „mittel“, da das Schema nur eine Zusammenfassung vorsieht. Die Fassung „kurz“ ist ebenfalls inhaltlich zutreffend, lässt aber die Warteliste-Umgehung mit Deaktivierung von SIP und FileVault ganz aus. Es lagen keine Sammel- oder Teilfragen vor, daher bleibt die Einordnung leer.
Im Bericht, aber nicht in der Zusammenfassung
- Die Anleitung deaktiviert SIP und FileVault und erlaubt das Booten aus nicht versiegelten Systemsnapshots; die Zusammenfassung spricht nur allgemein von Änderungen an Systemeinstellungen und Systemdateien
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug