Generating audio for video
Zusammenfassung
Kurz
DeepMind beschreibt V2A als Forschungsansatz, der mithilfe von Videobildern und optionalen Text-Prompts passende, synchronisierte Tonspuren erzeugt; Grundlage ist laut Bericht ein Diffusionsmodell, das mit zusätzlichen Audio- und Textinformationen trainiert wurde. Die Audioqualität kann durch fehlerhafte oder ungewohnte Videos sinken, und bei Dialogen bleibt die Lippensynchronität eine Einschränkung; vor einer breiteren Freigabe sind Sicherheitsprüfungen vorgesehen.
Mittel
Google DeepMind stellt V2A vor, eine Forschungstechnologie zur Erzeugung von Tonspuren, die mit Videos synchronisiert sind. Sie verarbeitet Videopixel und kann durch optionale Text-Prompts zu gewünschten oder unerwünschten Klängen gelenkt werden. Laut Bericht lassen sich damit mehrere Varianten für neu generierte Videos sowie für Archivmaterial und Stummfilme erstellen.
Das Team verglich autoregressive Verfahren mit Diffusionsmodellen und berichtet, dass der Diffusionsansatz die überzeugendsten synchronisierten Ergebnisse lieferte. Dabei wird das Video kodiert; ein Modell verfeinert schrittweise Audio aus Rauschen, unterstützt durch Bildinformationen und Prompts. Zusätzliche Trainingsdaten wie Geräuschbeschreibungen und Dialogtranskripte sollen die Qualität und Steuerbarkeit verbessern. Eine manuelle Synchronisierung sei nicht nötig, und ein Text-Prompt sei optional.
Die Qualität hängt laut DeepMind jedoch vom Video ab: Artefakte oder ungewohnte Verzerrungen können den Ton verschlechtern. Bei Sprache kann es zu unnatürlicher Lippensynchronität kommen, wenn das Videomodell nicht auf dieselben Transkripte ausgerichtet ist. DeepMind sammelt Rückmeldungen aus der Kreativbranche, versieht erzeugte Inhalte mit SynthID und plant Sicherheitsprüfungen vor einer möglichen breiteren Freigabe.
Ausführlich lesen
Der Bericht von Google DeepMind beschreibt Fortschritte bei Video-to-Audio (V2A), einer Technologie, die zu Videos passende Tonspuren erzeugen soll. Ausgangspunkt sei, dass viele aktuelle Videogenerierungssysteme stumme Videos lieferten. V2A kombiniere Videopixel mit optionalen natürlichsprachlichen Audio-Prompts, um synchronisierte Klanglandschaften zu erzeugen. Laut Bericht kann die Technik mit Videomodellen wie Veo verbunden werden und etwa Musik, Geräusche oder Dialoge passend zu Handlung und Stimmung erstellen. Sie könne außerdem für vorhandenes Material wie Archivaufnahmen und Stummfilme eingesetzt werden.
Als kreative Steuerungsmöglichkeit nennt DeepMind die Erzeugung beliebig vieler Tonspurvarianten für dasselbe Video. Positive Prompts können gewünschte Klänge fördern, negative Prompts unerwünschte Klänge vermeiden helfen. So sollen Nutzer verschiedene Ergebnisse ausprobieren und eine passende Variante auswählen können.
Zum Verfahren berichtet das Team, es habe autoregressive und Diffusionsansätze verglichen. Der Diffusionsansatz habe die realistischsten und überzeugendsten Ergebnisse für die Synchronisierung von Bild und Ton geliefert. Das System kodiert demnach zunächst das Video in eine komprimierte Darstellung. Anschließend verfeinert ein Diffusionsmodell wiederholt Audio aus zufälligem Rauschen, geleitet durch Bildinformationen und Text-Prompts. Das erzeugte komprimierte Audio wird dekodiert und mit dem Video verbunden. Für bessere Audioqualität und gezieltere Klangerzeugung seien zusätzliche Trainingsinformationen verwendet worden, darunter KI-generierte Beschreibungen von Geräuschen und Transkripte gesprochener Dialoge. Durch das gemeinsame Training mit Video, Audio und diesen Annotationen solle das Modell visuelle Szenen mit passenden Audioereignissen verknüpfen.
Als Unterschiede zu bestehenden Lösungen hebt der Bericht hervor, dass V2A rohe Pixel verarbeiten könne, ein Text-Prompt optional sei und keine manuelle zeitliche Ausrichtung der erzeugten Töne erforderlich sei. Zugleich benennt DeepMind Grenzen: Die Audioqualität hänge von der Qualität des Videoeingangs ab. Bildartefakte oder Verzerrungen außerhalb der Trainingsverteilung könnten die Tonqualität merklich verschlechtern. Bei Sprache werde die Lippensynchronität weiter verbessert. Das System versuche, anhand von Transkripten Sprache zu erzeugen und mit Mundbewegungen abzustimmen; wenn das gekoppelte Videomodell jedoch nicht auf diese Transkripte ausgerichtet sei, passten die Mundbewegungen oft nicht zum Gesprochenen, was unnatürlich wirken könne.
DeepMind erklärt, Rückmeldungen von Kreativen und Filmschaffenden in die Entwicklung einzubeziehen und mit SynthID alle KI-generierten Inhalte zu markieren, um Missbrauch entgegenzuwirken. Vor einer möglichen breiteren Freigabe seien gründliche Sicherheitsbewertungen und Tests vorgesehen. Der Bericht präsentiert V2A somit als vielversprechenden Forschungsansatz, nicht als bereits allgemein verfügbares oder uneingeschränkt gelöstes System. Die gezeigten Beispiele seien mit V2A in Verbindung mit Veo erzeugt worden.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen (kurz und mittel), das Schema erlaubt nur eine Bewertung; beide wurden geprüft. Die mittlere Fassung ist inhaltlich treu, die kurze lässt mehrere zentrale Punkte aus. Die Einordnung bezieht sich auf die drei Sammelfragen; Teilfragen wurden keine angegeben. Der Bericht handelt von der Vertonung von Videos und beantwortet die Sammelfragen nur am Rande.
Im Bericht, aber nicht in der Zusammenfassung
- Kopplung von V2A mit dem Videomodell Veo für Szenen mit Musik, Soundeffekten und Dialogen
- Unbegrenzte Anzahl an Tonspuren für ein Video, wie im Bericht beschrieben (in der kurzen Fassung nicht erwähnt)
- Ausrichtung des Teams auf Rückmeldungen aus der Kreativbranche und Filmschaffenden (in der kurzen Fassung nicht erwähnt)
- Der Hinweis, dass keine manuelle Ausrichtung von Ton und Bild nötig ist (in der kurzen Fassung nicht erwähnt)
- Die Aussage, dass die Ergebnisse vorläufig vielversprechend sind
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %nur am Rande erwähnt
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 57 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 66 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 31 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 63 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 55 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 54 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 52 %einzelne zitierbare Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 44 %einzelne zitierbare Belege
- JEV 53 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 55 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 67 %gleiches Oberthema, hilft nicht
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %nur am Rande erwähnt
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 35 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 20 %nur am Rande erwähnt
- Luna 35 %einzelne zitierbare Belege
- JEV 61 %einzelne zitierbare Belege
- amos 44 %einzelne zitierbare Belege
- SubQ 42 %einzelne zitierbare Belege
- drex 50 %einzelne zitierbare Belege
- d3-ultra 73 %einzelne zitierbare Belege
- Haiku-Prüfung einzelne zitierbare Belege
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv