SwiftUI: Working with Video using AVFoundation (Part 1: Read, Display, Modify Frames)
Zusammenfassung
Kurz
Der Beitrag zeigt anhand von SwiftUI- und AVFoundation-Code, wie ein Video über `AVAssetReader` frameweise eingelesen, per Timer vorwärts oder rückwärts abgespielt und durch Zuschneiden bearbeitet werden kann. Das Beispiel verarbeitet nur den ersten Videotrack; außerdem betont der Autor die passende Pixelformatwahl und das nötige Rendern von `CIImage`. Das Speichern der Frames als Video wird auf Teil 2 verschoben.
Mittel
Der Artikel erläutert, wie SwiftUI mit AVFoundation Video-Frames einlesen, anzeigen und verändern kann. Für einfache Wiedergabe reicht laut Autor `VideoPlayer`; für Frame-Zugriff richtet ein `VideoManager` ein `AVAsset`, den ersten Videotrack und einen `AVAssetReader` ein. Die ausgelesenen Sample-Puffer werden über `CIImage` und `CIContext` in `CGImage`-Bilder umgewandelt und in einem Modell gesammelt.
Eine SwiftUI-Ansicht spielt die Frames per Timer vorwärts, rückwärts oder mit doppelter Geschwindigkeit ab. Ein Schieberegler erlaubt die Auswahl einzelner Bilder; beim Laden erscheinen der zuletzt gelesene Frame und ein Fortschrittsbalken. Als Bearbeitungsbeispiel schneidet der Beitrag aus jedem Bild den mittleren Bereich heraus.
Der Autor begrenzt das Beispiel auf den ersten Videotrack und betont, dass Pixelformat und Plattform zusammenpassen sollten. Ein `CIImage` müsse gerendert werden, bevor es zuverlässig als Bitmap angezeigt werden könne. `AVAssetImageGenerator` sei eher für einzelne Vorschaubilder gedacht; bei einem Versuch, damit alle Frames zu erfassen, könnten Bilder fehlen. Das Speichern als Video wird einem zweiten Artikel überlassen. Der Beitrag liefert Codebeispiele, aber keine systematischen Leistungs- oder Vollständigkeitstests.
Ausführlich lesen
Der Artikel zeigt, wie sich Videos in einer SwiftUI-App mit AVFoundation frameweise einlesen, anzeigen und bearbeiten lassen. Für einfache Wiedergabe empfiehlt der Autor zunächst `VideoPlayer` aus AVKit: Eine Video-URL genügt. Liegen die Videodaten stattdessen als `Data` vor, könne man sie in eine temporäre Datei schreiben und diese beim Verlassen der Ansicht wieder löschen.
Für den Zugriff auf einzelne Bilder beschreibt der Beitrag eine `VideoManager`-Klasse. Sie erstellt aus der URL ein `AVAsset`, lädt den ersten Videotrack und ermittelt unter anderem Bildrate, minimale Frame-Dauer, Metadaten, Laufzeit und bevorzugte Bildtransformation. Anschließend richtet sie einen `AVAssetReader` mit einer `AVAssetReaderTrackOutput` ein. Aufeinanderfolgende Sample-Puffer werden zu Bildpuffern und schließlich über `CIImage` und `CIContext` zu `CGImage`-Frames. Eine `VideoModel`-Klasse liest die Frames nacheinander ein und stellt sie der SwiftUI-Ansicht bereit.
Der Autor weist darauf hin, dass das Beispiel der Vereinfachung halber nur den ersten Videotrack verarbeitet. Bei mehreren Tracks müsse die Anwendung diese einzeln behandeln und passende Ausgaben anlegen. Auch das Pixelformat solle zur Plattform passen, da es Dekompressionsleistung und Bildqualität beeinflusse; als Beispiele nennt der Beitrag unterschiedliche Formate für iOS und macOS. Der Reader könne außerdem auf einen bestimmten Zeitbereich begrenzt werden. Für die Umwandlung von `CIImage` warnt der Autor vor einem direkten Weg über `UIImage(ciImage:)`: Das könne zu leeren Bildern führen, weil ein `CIImage` zunächst nur eine Bildbeschreibung sei und durch einen `CIContext` gerendert werden müsse.
Die Wiedergabe der eingelesenen Frames erfolgt laut Beispiel über einen Timer und einen Frame-Index. Schaltflächen steuern Vorwärts- und Rückwärtslauf, Pause sowie doppelte Geschwindigkeit; ein Schieberegler erlaubt die Auswahl eines Frames. Während des Einlesens zeigt die Oberfläche den zuletzt geladenen Frame und einen Fortschrittsbalken. Der Artikel beschreibt dafür Beispielcode, berichtet aber keine Messwerte oder systematischen Leistungstests.
Zur Bearbeitung demonstriert der Autor einen zentralen Ausschnitt: Von jedem `CGImage` wird der mittlere Bereich mit halber Breite und halber Höhe herausgeschnitten und anschließend angezeigt. Das Speichern der bearbeiteten Bilder als Videodatei oder in der Fotos-App wird ausdrücklich auf einen zweiten Teil vertagt. Als Alternative für ein Bild zu einem bestimmten Zeitpunkt erwähnt der Beitrag `AVAssetImageGenerator`, empfiehlt es aber hauptsächlich für Vorschaubilder; beim rechnerischen Abrufen aller Frames anhand der minimalen Frame-Dauer könnten Frames verloren gehen. Insgesamt ist der Text eine praktische Einführung mit Codebeispielen, keine vollständige Behandlung von Mehrspur-Videos, Fehlerfällen oder Performance.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Es wurden keine Fragen zur Einordnung angegeben (Sammel- und Teilfragen sind leer), daher bleibt die Einordnung leer. Die Zusammenfassung wurde für beide Fassungen (kurz und mittel) gemeinsam geprüft; die Angaben stimmen mit dem Bericht überein, nur der Data-zu-URL-Tipp fehlt.
Im Bericht, aber nicht in der Zusammenfassung
- Tipp zur Umwandlung von Data in eine temporäre URL mit anschließendem Löschen der Datei
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.