WaveNet: A generative model for raw audio
Zusammenfassung
Kurz
Der Bericht beschreibt WaveNet als Modell, das Sprache und Musik direkt aus rohen Audiosamples erzeugt. Die Autoren berichten bessere Hörtestwerte als für die verglichenen Google-TTS-Systeme und behaupten, WaveNet halbiere den Abstand zur menschlichen Sprachqualität; die eingebetteten Audiobeispiele sind im Text nicht hörbar. Die letzte nachgeholte Bildbeschreibung bricht ab.
Mittel
Der Beitrag präsentiert WaveNet als neuronales Modell, das rohe Audiosignale Sample für Sample erzeugt. Anders als damalige Sprachsyntheseverfahren soll es die Wellenform direkt modellieren. Die Autoren berichten, dass WaveNet in verblindeten Hörtests mit über 500 Bewertungen zu 100 Sätzen für US-Englisch und Mandarin besser abschnitt als die verglichenen parametrischen und konkatenativen Google-Systeme. Die genannten MOS-Werte betragen 4,21 gegenüber 3,86 und 3,67 für Englisch sowie 4,08 gegenüber 3,47 und 3,79 für Mandarin; menschliche Sprache erreichte 4,55 beziehungsweise 4,21. Daraus leiten die Autoren eine Verringerung des Abstands zur menschlichen Leistung um mehr als die Hälfte ab.
Das vollständig faltende Netzwerk nutzt unterschiedlich dilatierte Schichten und erzeugt Sprache autoregressiv, indem jeder vorhergesagte Samplewert in den nächsten Schritt eingeht. Texteingaben steuern, was gesprochen wird; Sprechermerkmale ermöglichen verschiedene Stimmen. Ohne Text erzeugt das Modell laut Bericht verständliches Sprachähnliches mit erfundenen Lautfolgen. Ein Versuch mit klassischer Klaviermusik erzeugte Stücke ohne Notenvorgabe. Die Audioeinbettungen sind im bereitgestellten Text nicht abspielbar, daher lassen sich die Beispiele hier nicht prüfen. Die abschließende nachgeholte Bildbeschreibung ist abgeschnitten.
Ausführlich lesen
Der Bericht stellt WaveNet als ein von DeepMind entwickeltes generatives Modell vor, das rohe Audiosignale direkt als Folge einzelner Samples erzeugt. Die Autoren behaupten, WaveNet könne Sprache erzeugen, die verschiedene menschliche Stimmen nachahmt und natürlicher klinge als die damals besten vorhandenen Text-to-Speech-Systeme. Laut Beitrag verringere das Modell den Abstand zur menschlichen Sprachqualität um mehr als die Hälfte. Außerdem könne derselbe Ansatz Musik und andere Audiosignale modellieren.
Als Ausgangspunkt beschreibt der Text die Grenzen damaliger Sprachsynthese: Konkatenative Systeme setzen aufgezeichnete Sprachfragmente zusammen und lassen sich nur schwer auf andere Stimmen oder Ausdrucksweisen umstellen. Parametrische Systeme erlauben mehr Kontrolle über die erzeugte Sprache, klängen aber häufig weniger natürlich und verwendeten meist Vocoder. WaveNet soll diese Ansätze umgehen, indem es die Wellenform direkt modelliert.
Das Modell ist laut Bericht ein vollständig faltendes neuronales Netzwerk mit Faltungsschichten unterschiedlicher Dilatation. Dadurch wächst sein Empfangsbereich mit der Tiefe und umfasst Tausende Zeitschritte. Die Erzeugung erfolgt autoregressiv: Bei jedem Schritt zieht das Netzwerk einen Wert aus seiner vorhergesagten Wahrscheinlichkeitsverteilung und verwendet ihn als Grundlage für die nächste Vorhersage. Die Autoren bezeichnen dieses schrittweise Verfahren als rechenaufwendig, halten es aber für wichtig, um komplexe und realistisch klingende Audiosignale zu erzeugen. Als Motivation verweisen sie auf frühere PixelRNN- und PixelCNN-Modelle für die schrittweise Bildgenerierung.
Für den Sprachvergleich trainierten die Forschenden WaveNet mit TTS-Datensätzen von Google. Die Sprachqualität wurde in verblindeten Hörtests anhand des Mean Opinion Score auf einer Skala von 1 bis 5 beurteilt; der Beitrag nennt mehr als 500 Bewertungen zu 100 Testsätzen. Für US-Englisch berichtet er Werte von 4,21 für WaveNet, 3,86 für das konkatenative und 3,67 für das parametrische System sowie 4,55 für menschliche Sprache. Für Mandarin werden 4,08, 3,47, 3,79 und 4,21 genannt. Die Autoren folgern daraus, WaveNet habe den Abstand zu menschlicher Sprache in beiden Sprachen um mehr als 50 Prozent verringert. Die Ergebnisse beziehen sich auf die beschriebenen Tests und die Google-Systeme; der Beitrag stellt sie nicht als universellen Vergleich aller Sprachsyntheseverfahren dar.
Für die Textausgabe erhält WaveNet zusätzlich linguistische und phonetische Merkmale, damit es weiß, welche Wörter gesprochen werden sollen. Ohne diese Texteingabe erzeugt das Modell laut Bericht zwar Sprache, aber ein Gemisch aus echten Wörtern und wortähnlichem Kauderwelsch. Es kann auch Atem- und Mundgeräusche erzeugen. Die Sprecheridentität dient als weitere Eingabe, sodass ein Modell mehrere Stimmen abbilden kann. Die Autoren berichten außerdem, dass Training mit mehreren Sprechenden die Modellierung einer einzelnen Stimme verbessern könne. Emotionen oder Akzente werden als mögliche zusätzliche Steuergrößen erwähnt, nicht als hier ausgewertete Ergebnisse.
In einem Musikversuch trainierten die Forschenden das Modell mit klassischer Klaviermusik, ohne ihm eine Partitur oder andere Vorgabe für die zu spielenden Noten zu geben. Der Bericht beschreibt die erzeugten Stücke als bemerkenswert, liefert im vorliegenden Text aber keine messbare Bewertung ihrer Qualität. Die eingebetteten Audiobeispiele sind hier nur als nicht unterstützte Audioelemente ausgewiesen und lassen sich anhand des Textes nicht selbst beurteilen. Zudem bricht die nachgeholte Bildbeschreibung am Ende mitten in der Angabe zu den Diagrammwerten ab; der bereitgestellte Text ist somit zumindest an dieser Stelle unvollständig.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas beide Zusammenfassungen wurden gemeinsam bewertet; die MOS-Werte und die Anzahl der Bewertungen stimmen mit dem Bericht überein. Die Angabe „halbiere“ ist eine grobe Vereinfachung von „über 50 %“. Die letzte Bildbeschreibung (Abbildung 3) bricht im Bericht tatsächlich ab, was Luna korrekt erwähnt hat. Es wurde nur eine Sammelfrage angegeben, Teilfragen gab es keine.
Im Bericht, aber nicht in der Zusammenfassung
- Training mit vielen Sprechern verbesserte die Modellierung einzelner Sprecher stärker als Training nur mit diesem Sprecher (Transferlernen-Hinweis)
- Das Modell erzeugt auch Nicht-Sprachlaute wie Atmen und Mundbewegungen
- Der rezeptive Bereich wächst mit der Tiefe exponentiell und umfasst Tausende Zeitschritte; die Vorlage PixelCNN/PixelRNN fehlt ebenso
- Die Abhängigkeit vom Sampling Schritt für Schritt ist rechenintensiv, aber laut Bericht für realistisches Audio notwendig
- Die Hälfte-Angabe ist nur eine Näherung: der Bericht spricht von „über 50 %“ Verringerung des Abstands
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- „verständliches Sprachähnliches“: der Bericht beschreibt ohne Text ein Babbeln mit eingestreuten echten Wörtern und erfundenen wortähnlichen Lauten, nicht verständliche Sprache
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 50 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 74 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 52 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 45 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
Frieden und Sicherheit
- SF-K1 Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv