A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Bericht ist nur das Abstract samt Metadaten. Die Autoren berichten, dass direkt auf Videos trainierte Encoder mit Raum-Zeit-Aufmerksamkeit bei zeitabhängigen Benchmarks überzeugen und sich durch Maskieren von bis zu 75 Prozent der Videodaten speichereffizient auf längere Videos skalieren lassen; zugleich nennen sie mögliche Einbußen bei räumlichen Fähigkeiten und fehlende Details zu den Experimenten im Auszug.
Mittel
Der bereitgestellte Bericht umfasst nur das Abstract und bibliografische Angaben, nicht den vollständigen Artikel. Die Autoren beschreiben Video-Encoder, die direkt für Videos trainiert und mit einem eingefrorenen Sprachmodell verbunden werden. Gemeinsame Raum-Zeit-Aufmerksamkeit soll laut Abstract bei Aufgaben mit starken zeitlichen Abhängigkeiten Vorteile bringen, etwa auf YouCook2 und VATEX. Als Einschränkungen nennen die Autoren schwächere räumliche Fähigkeiten, möglicherweise wegen verrauschter Video-Sprach-Zuordnungen, sowie hohen Speicherbedarf.
Sie untersuchen Eingabeabtastung, parameterarme Anpassung von Bild- an Video-Modelle und faktorisierte Aufmerksamkeit. Am robustesten sei das Maskieren großer Videoteile: Bis zu 75 Prozent könnten ausgeblendet werden, um Videos von bis zu 4,3 Minuten bei einem Frame pro Sekunde zu verarbeiten. Das Modell habe weniger als eine Milliarde Parameter und übertreffe laut Autoren auf YouCook2 und EgoSchema ein Verfahren, das ein Sprachmodell Videosegmente zusammenfassen lässt. Versuchsdetails und Messwerte sind im Auszug nicht enthalten.
Ausführlich lesen
Der bereitgestellte Bericht ist ein Auszug: Er enthält das Abstract und bibliografische Angaben, nicht den vollständigen Artikel. Das Abstract beschreibt einen Ansatz, Video-Encoder direkt für Videos zu trainieren und sie mit einem eingefrorenen Sprachmodell zu verbinden. Die Autoren stellen dies einem verbreiteten Verfahren gegenüber, das Bild-zu-Text-Modelle auf Videos überträgt, den Bild-Encoder eingefroren lässt und zeitliche Informationen erst später zusammenführt.
Laut Abstract bringt die gemeinsame Aufmerksamkeit über Raum und Zeit Vorteile bei Benchmarks, deren Aufgaben stark von zeitlichen Abläufen abhängen, darunter YouCook2 und VATEX. Zugleich nennt der Bericht zwei Nachteile: Die räumlichen Fähigkeiten nähmen ab, was die Autoren wahrscheinlich auf verrauschte Zuordnungen zwischen Video und Sprache zurückführen; außerdem sei der Speicherbedarf höher, was die verarbeitbare Frame-Zahl begrenze.
Um den Speicherengpass zu untersuchen, analysieren die Autoren laut ihrer Zusammenfassung verschiedene Möglichkeiten: die Auswahl beziehungsweise Abtastung der Eingaben, eine parameterarme Anpassung von Bild- an Video-Modelle und faktorisierte Aufmerksamkeit. Als robusteste Möglichkeit zur Skalierung bezeichnen sie das Maskieren großer Teile des Videos: Bis zu 75 Prozent könnten ausgeblendet werden. Damit berichten sie, Videos von bis zu 4,3 Minuten bei einer Bildrate von einem Frame pro Sekunde verarbeiten zu können.
Das resultierende Video-zu-Text-Modell umfasst laut Abstract weniger als eine Milliarde Parameter. Die Autoren behaupten, es übertreffe auf YouCook2 und EgoSchema ein verbreitetes Vorgehen, bei dem ein leistungsfähiges Sprachmodell Informationen aus einzelnen Videosegmenten zusammenfasst. Diese Ergebnisse und Einschränkungen sind hier nur in der Kurzfassung des Abstracts wiedergegeben; Einzelheiten zu Versuchsaufbau, Messwerten und Belegen enthält der bereitgestellte Auszug nicht. Der Beitrag ist für CVPR 2024 angegeben.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.