Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind6. August 2018 · Q003567

Objects that Sound

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht stellt ein Verfahren vor, das Bild- und Tonnetze anhand ihrer zeitlichen Übereinstimmung in nicht annotierten Videos trainiert. Laut den Autoren ermöglicht es Geräuschklassifikation, die Suche zwischen Bild und Ton sowie die Lokalisierung klingender Objekte; bei der Lokalisierung werden Bewegung und zeitliche Glättung jedoch nicht berücksichtigt.

Mittel

Der Bericht beschreibt, wie neuronale Netze aus nicht annotierten Videos lernen können, zusammengehörige Bilder und Geräusche zu erkennen. Bei der Audio-Visual Correspondence (AVC) entscheidet das Modell, ob ein Videobild und ein kurzer Audioclip zueinander passen. Ein Bild- und ein Audionetz werden gemeinsam von Grund auf trainiert; laut den Autoren lernen sie dabei semantische Merkmale. Sie berichten außerdem von besseren Ergebnissen als bei der beschriebenen Teacher-Student-Methode und damaligen Spitzenwerten auf zwei Benchmarks zur Geräuschklassifikation. Konkrete Messwerte nennt der Text nicht.

Die gemeinsamen Merkmale ermöglichen laut Bericht auch die Suche zwischen den Modalitäten, etwa nach einem zu einem Bild passenden Ton. Ein weiteres Netz vergleicht den Ton mit Bildregionen und soll so das Geräusch verursachende Objekt lokalisieren. Das Training benötigt nach Darstellung der Autoren keine Objektlabels. Dabei werden einzelne Frames unabhängig verarbeitet: Bewegung und zeitliche Glättung werden nicht genutzt. Anwendungen in Reinforcement Learning und anderen multimodalen Aufgaben nennt der Bericht als mögliche künftige Einsatzfelder, nicht als bereits belegte Resultate.

Ausführlich lesen

Der Bericht „Objects that Sound“ von Relja Arandjelović und Andrew Zisserman behandelt, wie sich Beziehungen zwischen Bildern und Geräuschen aus großen Mengen nicht annotierter Videos lernen lassen. Ausgangspunkt ist die Beobachtung, dass Bild- und Tonereignisse oft dieselbe Ursache haben: Eine sichtbare Handlung oder ein Objekt tritt gleichzeitig mit dem passenden Geräusch auf. Die Autoren stellen die Arbeit in den Zusammenhang mit „Look, Listen, and Learn“ und beschreiben ein Verfahren, das beide Sinnesmodalitäten gemeinsam trainiert.

Bei der Audio-Visual Correspondence (AVC) erhält das Modell ein Videobild und einen kurzen Audioclip und soll binär entscheiden, ob beide aus demselben Moment stammen. Ein Bildnetzwerk und ein Audionetzwerk erzeugen jeweils Merkmalsvektoren. Deren Abstand dient zur Bestimmung der Übereinstimmung. Laut Bericht lernen beide Netze dabei semantisch brauchbare Repräsentationen, ohne dass für das Training menschliche Klassenlabels nötig sind. Anders als bei einer beschriebenen Teacher-Student-Methode wird also nicht ein bereits mit annotierten Bildern trainiertes Netz zur automatischen Beschriftung der Audiodaten eingesetzt; beide Netze werden von Grund auf trainiert. Die Autoren berichten, dass ihr Ansatz bei zwei Benchmarks zur Geräuschklassifikation einen damaligen neuen Spitzenwert erreicht und die Audio-Klassifikation besser abschneidet als die genannte Teacher-Student-Variante. Zahlen oder nähere Benchmark-Details enthält der vorliegende Text nicht.

Weil Bild- und Audiomerkmale in einem gemeinsamen Raum vergleichbar gemacht werden, kann das System laut Bericht auch modalitätsübergreifend suchen: etwa ein Geräusch zu einem Bild oder ein passendes Bild zu einem Ton finden. Eine zweite Erweiterung soll lokalisieren, wo im Bild sich das Geräusch verursachende Objekt befindet. Dafür vergleicht ein weiteres Netz die Audiomerkmale mit Merkmalen verschiedener Bildregionen und erzeugt eine Karte von Übereinstimmungswerten. Beim Training mit Multiple-Instance-Learning wird der höchste Regionswert als Übereinstimmung des gesamten Bild-Ton-Paares verwendet. Für passende Paare soll dadurch mindestens eine Region stark reagieren; bei unpassenden Paaren soll der höchste Wert niedrig bleiben. Die Autoren bezeichnen die so ermöglichte Lokalisierung als label-frei.

Der Text nennt eine wichtige Einschränkung der gezeigten Lokalisierung: Videoframes werden unabhängig voneinander verarbeitet. Bewegungsinformationen fließen nicht ein, und es findet keine zeitliche Glättung statt. Der Bericht präsentiert die Ergebnisse als Fähigkeiten, die sich durch geeignet entworfene Netze aus der AVC-Aufgabe ableiten lassen: semantische Merkmale, Suche zwischen Bild und Ton sowie Lokalisierung klingender Objekte. Als mögliche künftige Anwendungen nennen die Autoren Reinforcement Learning mit großen Mengen nicht annotierter Sinnesdaten und weitere multimodale Aufgaben. Diese Anwendungen werden als Potenzial beschrieben, nicht als im Bericht nachgewiesene Ergebnisse.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: ok

Beide Zusammenfassungen von Luna (kurz und mittel) wurden geprüft und stimmen mit dem Bericht überein. Lunas Stufe 4 für SF-H3 ist nicht belegt, da der Bericht keine Aussagen zur Herkunft von Modellen enthält; die Einordnung wurde unabhängig mit Stufe 1 bewertet.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 29 %einzelne zitierbare Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →