SwiftUI+Vision: Object Tracker using Centroid Tracking Algorithm
Zusammenfassung
Kurz
Der Autor stellt einen SwiftUI- und Vision-Tracker vor, der Objekte über die Abstände ihrer Rechteckmittelpunkte zuordnet und kurzzeitig verschwundene Objekte anhand eines einstellbaren Bildzählers weiterführt. Die Demo verfolgt Textbereiche; systematische Leistungsdaten fehlen, und bei überlagernden oder unterschiedlich schnellen Objekten sieht der Autor Grenzen, für die er Deep SORT als aufwendigere Alternative nennt.
Mittel
Der Bericht erklärt die Umsetzung eines SwiftUI- und Vision-basierten Mehrfach-Objekttrackers nach dem Centroid-Verfahren. Am Beispiel erkannter Textbereiche ordnet der Tracker neue Rechtecke bisherigen Objekten anhand der Mittelpunktsabstände zu. Ein einstellbarer Maximalabstand begrenzt Zuordnungen; nicht wiedererkannte Objekte bleiben für eine konfigurierbare Zahl von Bildern vorübergehend registriert, bevor sie gelöscht werden. Neue Erkennungen erhalten eine eigene ID.
Ein `TrackingModel` koordiniert die Rechteckerkennung, den Tracker und die Anzeige. Text wird laut Beispielcode erst für neu registrierte Objekte separat erkannt. Der Autor zeigt eine GIF-Demo, in der ein Objekt auch bei kurzfristigem Verlassen des Bildes weiterverfolgt wird. Er bewertet Apples eingebaute Tracking-Anfragen aufgrund eigener Versuche als wenig geeignet für verschwindende oder neu auftauchende Objekte und als ressourcenintensiv; dies sind seine Einschätzungen, keine unabhängigen Messungen.
Der Artikel liefert keine systematische Genauigkeits- oder Leistungsbewertung. Der Autor nennt kreuzende oder überlagerte Objekte und unterschiedliche Bewegungsgeschwindigkeiten als Grenzen des Centroid-Verfahrens und empfiehlt für schwierigere Fälle Deep SORT, das jedoch aufwendiger sei.
Ausführlich lesen
Der Bericht beschreibt, wie sich mit SwiftUI und Vision ein eigener Mehrfach-Objekttracker nach dem Centroid-Tracking-Verfahren umsetzen lässt. Als Beispiel verfolgt der Autor erkannte Textbereiche in Videobildern. Er nennt drei mögliche Zwecke solcher Verfolgung: weniger häufig aufwendige Erkennungen auszuführen, die Dauer eines Objekts im Bild zu erfassen und Bewegungsverläufe abzuschätzen.
Der Autor berichtet, dass er mit Apples `TrackObjectRequest` und `VNTrackObjectRequest` unzufrieden war. Nach seiner Einschätzung kommen diese Verfahren mit neu auftauchenden, verschwindenden oder kurzzeitig aus dem Bild laufenden Objekten nicht gut zurecht. Außerdem empfinde er `TrackObjectRequest` als vergleichsweise ressourcenintensiv; die Beta-Version habe bei ihm in Vorschauen und Simulatoren Abstürze verursacht. Das sind Erfahrungen und Bewertungen des Autors, keine im Bericht unabhängig überprüften Vergleiche.
Der vorgestellte Tracker berechnet für jedes erkannte Rechteck dessen Mittelpunkt und erstellt eine Matrix der Abstände zwischen den Mittelpunkten bisher verfolgter Objekte und den neuen Erkennungen. Er sortiert mögliche Zuordnungen nach den jeweils kleinsten Abständen und akzeptiert eine Zuordnung nur, wenn sie den konfigurierbaren Maximalabstand nicht überschreitet und weder Objekt noch Erkennung bereits zugeordnet wurden. Zugeordnete Objekte erhalten das neue Rechteck; ihr Zähler für Abwesenheitsbilder wird zurückgesetzt. Nicht zugeordnete Objekte gelten vorübergehend als verschwunden und werden erst entfernt, wenn ihre Abwesenheit die festgelegte Bildanzahl überschreitet. Nicht zugeordnete neue Erkennungen werden als neue Objekte registriert. Als Beispielwerte nennt der Code 20 Bilder und einen normalisierten Abstand von 0,2; beide Grenzen sind beim Initialisieren anpassbar.
Ein `TrackingModel` verbindet Tracker, Vision-Erkennung und SwiftUI. Pro Aufruf verarbeitet es höchstens eine Erkennung gleichzeitig. Zunächst sucht Vision nach Textrechtecken; nur Ergebnisse oberhalb einer Konfidenzschwelle von 0,6 gehen an den Tracker. Den Textinhalt lässt der Beispielcode bei neu registrierten Objekten separat und asynchron erkennen, um die laufende Verfolgung laut Autor nicht aufzuhalten. Vorübergehend verschwundene Objekte bleiben im Tracker, werden in der Ansicht aber ohne sichtbares Rechteck dargestellt. Ein SwiftUI-Beispiel zeigt die Verfolgung anhand eines GIFs samt Start-Stopp-Schaltfläche, Rahmen und geschätzter Verweildauer.
Der gezeigte Versuch soll illustrieren, dass Objekte auch während einer kurzen Abwesenheit weitergeführt werden können. Eine systematische Leistungs- oder Genauigkeitsmessung enthält der Bericht nicht. Der Autor weist selbst auf Grenzen des Verfahrens hin: sich kreuzende oder überlagerte Rechtecke sowie Objekte mit unterschiedlichen Bewegungsgeschwindigkeiten können Schwierigkeiten verursachen. Für solche Fälle schlägt er Deep SORT als mögliche Alternative vor, merkt aber dessen höheren Aufwand durch den Einsatz von Deep Learning an. Der vollständige Beispielcode wird laut Bericht auf GitHub bereitgestellt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat weder Sammelfragen noch Teilfragen angegeben, daher bleibt die Einordnung leer. Beide Zusammenfassungen geben den Bericht sachlich korrekt wieder und erfinden nichts. Die kurze Fassung lässt die Kritik an Apples Tracking-Anfragen aus, die mittlere enthält sie. Der abgeschnittene letzte Absatz ist kein inhaltlicher Fehler.
Im Bericht, aber nicht in der Zusammenfassung
- Die kurze Zusammenfassung lässt die Kritik des Autors an Apples eingebauten Tracking-Anfragen aus, also dass sie neu auftauchende und verschwindende Objekte nicht behandeln, in Vorschau und Simulator abstürzen und zu viel Speicher verbrauchen
- Die Begründung, dass Texterkennung nur für neu registrierte Objekte läuft, um Speicher zu sparen, und dass die Rechteckerkennung als günstiger gilt
- Die Beschränkung auf eine Verarbeitung gleichzeitig (isProcessing) zur Speicherschonung
- Der normierte Maximalabstand, der unabhängig von der Bildschirmgröße gilt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug