Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind12. Dezember 2023 · Q005602

A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist nur das Abstract samt Metadaten. Die Autoren berichten, dass direkt auf Videos trainierte Encoder mit Raum-Zeit-Aufmerksamkeit bei zeitabhängigen Benchmarks überzeugen und sich durch Maskieren von bis zu 75 Prozent der Videodaten speichereffizient auf längere Videos skalieren lassen; zugleich nennen sie mögliche Einbußen bei räumlichen Fähigkeiten und fehlende Details zu den Experimenten im Auszug.

Mittel

Der bereitgestellte Bericht umfasst nur das Abstract und bibliografische Angaben, nicht den vollständigen Artikel. Die Autoren beschreiben Video-Encoder, die direkt für Videos trainiert und mit einem eingefrorenen Sprachmodell verbunden werden. Gemeinsame Raum-Zeit-Aufmerksamkeit soll laut Abstract bei Aufgaben mit starken zeitlichen Abhängigkeiten Vorteile bringen, etwa auf YouCook2 und VATEX. Als Einschränkungen nennen die Autoren schwächere räumliche Fähigkeiten, möglicherweise wegen verrauschter Video-Sprach-Zuordnungen, sowie hohen Speicherbedarf.

Sie untersuchen Eingabeabtastung, parameterarme Anpassung von Bild- an Video-Modelle und faktorisierte Aufmerksamkeit. Am robustesten sei das Maskieren großer Videoteile: Bis zu 75 Prozent könnten ausgeblendet werden, um Videos von bis zu 4,3 Minuten bei einem Frame pro Sekunde zu verarbeiten. Das Modell habe weniger als eine Milliarde Parameter und übertreffe laut Autoren auf YouCook2 und EgoSchema ein Verfahren, das ein Sprachmodell Videosegmente zusammenfassen lässt. Versuchsdetails und Messwerte sind im Auszug nicht enthalten.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug: Er enthält das Abstract und bibliografische Angaben, nicht den vollständigen Artikel. Das Abstract beschreibt einen Ansatz, Video-Encoder direkt für Videos zu trainieren und sie mit einem eingefrorenen Sprachmodell zu verbinden. Die Autoren stellen dies einem verbreiteten Verfahren gegenüber, das Bild-zu-Text-Modelle auf Videos überträgt, den Bild-Encoder eingefroren lässt und zeitliche Informationen erst später zusammenführt.

Laut Abstract bringt die gemeinsame Aufmerksamkeit über Raum und Zeit Vorteile bei Benchmarks, deren Aufgaben stark von zeitlichen Abläufen abhängen, darunter YouCook2 und VATEX. Zugleich nennt der Bericht zwei Nachteile: Die räumlichen Fähigkeiten nähmen ab, was die Autoren wahrscheinlich auf verrauschte Zuordnungen zwischen Video und Sprache zurückführen; außerdem sei der Speicherbedarf höher, was die verarbeitbare Frame-Zahl begrenze.

Um den Speicherengpass zu untersuchen, analysieren die Autoren laut ihrer Zusammenfassung verschiedene Möglichkeiten: die Auswahl beziehungsweise Abtastung der Eingaben, eine parameterarme Anpassung von Bild- an Video-Modelle und faktorisierte Aufmerksamkeit. Als robusteste Möglichkeit zur Skalierung bezeichnen sie das Maskieren großer Teile des Videos: Bis zu 75 Prozent könnten ausgeblendet werden. Damit berichten sie, Videos von bis zu 4,3 Minuten bei einer Bildrate von einem Frame pro Sekunde verarbeiten zu können.

Das resultierende Video-zu-Text-Modell umfasst laut Abstract weniger als eine Milliarde Parameter. Die Autoren behaupten, es übertreffe auf YouCook2 und EgoSchema ein verbreitetes Vorgehen, bei dem ein leistungsfähiges Sprachmodell Informationen aus einzelnen Videosegmenten zusammenfasst. Diese Ergebnisse und Einschränkungen sind hier nur in der Kurzfassung des Abstracts wiedergegeben; Einzelheiten zu Versuchsaufbau, Messwerten und Belegen enthält der bereitgestellte Auszug nicht. Der Beitrag ist für CVPR 2024 angegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle

Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →