Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind17. Juni 2024 · Q002895

Generating audio for video

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

DeepMind beschreibt V2A als Forschungsansatz, der mithilfe von Videobildern und optionalen Text-Prompts passende, synchronisierte Tonspuren erzeugt; Grundlage ist laut Bericht ein Diffusionsmodell, das mit zusätzlichen Audio- und Textinformationen trainiert wurde. Die Audioqualität kann durch fehlerhafte oder ungewohnte Videos sinken, und bei Dialogen bleibt die Lippensynchronität eine Einschränkung; vor einer breiteren Freigabe sind Sicherheitsprüfungen vorgesehen.

Mittel

Google DeepMind stellt V2A vor, eine Forschungstechnologie zur Erzeugung von Tonspuren, die mit Videos synchronisiert sind. Sie verarbeitet Videopixel und kann durch optionale Text-Prompts zu gewünschten oder unerwünschten Klängen gelenkt werden. Laut Bericht lassen sich damit mehrere Varianten für neu generierte Videos sowie für Archivmaterial und Stummfilme erstellen.

Das Team verglich autoregressive Verfahren mit Diffusionsmodellen und berichtet, dass der Diffusionsansatz die überzeugendsten synchronisierten Ergebnisse lieferte. Dabei wird das Video kodiert; ein Modell verfeinert schrittweise Audio aus Rauschen, unterstützt durch Bildinformationen und Prompts. Zusätzliche Trainingsdaten wie Geräuschbeschreibungen und Dialogtranskripte sollen die Qualität und Steuerbarkeit verbessern. Eine manuelle Synchronisierung sei nicht nötig, und ein Text-Prompt sei optional.

Die Qualität hängt laut DeepMind jedoch vom Video ab: Artefakte oder ungewohnte Verzerrungen können den Ton verschlechtern. Bei Sprache kann es zu unnatürlicher Lippensynchronität kommen, wenn das Videomodell nicht auf dieselben Transkripte ausgerichtet ist. DeepMind sammelt Rückmeldungen aus der Kreativbranche, versieht erzeugte Inhalte mit SynthID und plant Sicherheitsprüfungen vor einer möglichen breiteren Freigabe.

Ausführlich lesen

Der Bericht von Google DeepMind beschreibt Fortschritte bei Video-to-Audio (V2A), einer Technologie, die zu Videos passende Tonspuren erzeugen soll. Ausgangspunkt sei, dass viele aktuelle Videogenerierungssysteme stumme Videos lieferten. V2A kombiniere Videopixel mit optionalen natürlichsprachlichen Audio-Prompts, um synchronisierte Klanglandschaften zu erzeugen. Laut Bericht kann die Technik mit Videomodellen wie Veo verbunden werden und etwa Musik, Geräusche oder Dialoge passend zu Handlung und Stimmung erstellen. Sie könne außerdem für vorhandenes Material wie Archivaufnahmen und Stummfilme eingesetzt werden.

Als kreative Steuerungsmöglichkeit nennt DeepMind die Erzeugung beliebig vieler Tonspurvarianten für dasselbe Video. Positive Prompts können gewünschte Klänge fördern, negative Prompts unerwünschte Klänge vermeiden helfen. So sollen Nutzer verschiedene Ergebnisse ausprobieren und eine passende Variante auswählen können.

Zum Verfahren berichtet das Team, es habe autoregressive und Diffusionsansätze verglichen. Der Diffusionsansatz habe die realistischsten und überzeugendsten Ergebnisse für die Synchronisierung von Bild und Ton geliefert. Das System kodiert demnach zunächst das Video in eine komprimierte Darstellung. Anschließend verfeinert ein Diffusionsmodell wiederholt Audio aus zufälligem Rauschen, geleitet durch Bildinformationen und Text-Prompts. Das erzeugte komprimierte Audio wird dekodiert und mit dem Video verbunden. Für bessere Audioqualität und gezieltere Klangerzeugung seien zusätzliche Trainingsinformationen verwendet worden, darunter KI-generierte Beschreibungen von Geräuschen und Transkripte gesprochener Dialoge. Durch das gemeinsame Training mit Video, Audio und diesen Annotationen solle das Modell visuelle Szenen mit passenden Audioereignissen verknüpfen.

Als Unterschiede zu bestehenden Lösungen hebt der Bericht hervor, dass V2A rohe Pixel verarbeiten könne, ein Text-Prompt optional sei und keine manuelle zeitliche Ausrichtung der erzeugten Töne erforderlich sei. Zugleich benennt DeepMind Grenzen: Die Audioqualität hänge von der Qualität des Videoeingangs ab. Bildartefakte oder Verzerrungen außerhalb der Trainingsverteilung könnten die Tonqualität merklich verschlechtern. Bei Sprache werde die Lippensynchronität weiter verbessert. Das System versuche, anhand von Transkripten Sprache zu erzeugen und mit Mundbewegungen abzustimmen; wenn das gekoppelte Videomodell jedoch nicht auf diese Transkripte ausgerichtet sei, passten die Mundbewegungen oft nicht zum Gesprochenen, was unnatürlich wirken könne.

DeepMind erklärt, Rückmeldungen von Kreativen und Filmschaffenden in die Entwicklung einzubeziehen und mit SynthID alle KI-generierten Inhalte zu markieren, um Missbrauch entgegenzuwirken. Vor einer möglichen breiteren Freigabe seien gründliche Sicherheitsbewertungen und Tests vorgesehen. Der Bericht präsentiert V2A somit als vielversprechenden Forschungsansatz, nicht als bereits allgemein verfügbares oder uneingeschränkt gelöstes System. Die gezeigten Beispiele seien mit V2A in Verbindung mit Veo erzeugt worden.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen (kurz und mittel), das Schema erlaubt nur eine Bewertung; beide wurden geprüft. Die mittlere Fassung ist inhaltlich treu, die kurze lässt mehrere zentrale Punkte aus. Die Einordnung bezieht sich auf die drei Sammelfragen; Teilfragen wurden keine angegeben. Der Bericht handelt von der Vertonung von Videos und beantwortet die Sammelfragen nur am Rande.

Im Bericht, aber nicht in der Zusammenfassung

  • Kopplung von V2A mit dem Videomodell Veo für Szenen mit Musik, Soundeffekten und Dialogen
  • Unbegrenzte Anzahl an Tonspuren für ein Video, wie im Bericht beschrieben (in der kurzen Fassung nicht erwähnt)
  • Ausrichtung des Teams auf Rückmeldungen aus der Kreativbranche und Filmschaffenden (in der kurzen Fassung nicht erwähnt)
  • Der Hinweis, dass keine manuelle Ausrichtung von Ton und Bild nötig ist (in der kurzen Fassung nicht erwähnt)
  • Die Aussage, dass die Ergebnisse vorläufig vielversprechend sind

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 57 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 31 %nur am Rande erwähnt
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 27 %gleiches Oberthema, hilft nicht
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 73 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 63 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 55 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 54 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 52 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 44 %einzelne zitierbare Belege
    • JEV 53 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 55 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 35 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 46 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 20 %nur am Rande erwähnt
    • Luna 35 %einzelne zitierbare Belege
    • JEV 61 %einzelne zitierbare Belege
    • amos 44 %einzelne zitierbare Belege
    • SubQ 42 %einzelne zitierbare Belege
    • drex 50 %einzelne zitierbare Belege
    • d3-ultra 73 %einzelne zitierbare Belege
    • Haiku-Prüfung einzelne zitierbare Belege

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →