High-fidelity speech synthesis with WaveNet
Zusammenfassung
Kurz
Der Bericht erklärt, wie DeepMind mit einem trainierten WaveNet als „Lehrer“ ein kleineres, parallel arbeitendes Sprachmodell trainierte, um die sequenzielle Erzeugung von Audiosamples zu beschleunigen. Laut den Autoren war Parallel WaveNet mehr als 1.000-mal schneller und erreichte in den angegebenen Hörtests denselben MOS-Wert wie das ursprüngliche WaveNet; Details zu Stichprobe und Auswertung fehlen.
Mittel
Der Bericht stellt Parallel WaveNet als schnellere Variante des Sprachsynthesemodells WaveNet vor, die laut Autoren im Google Assistant für japanische und US-englische Stimmen eingesetzt wurde. Das ursprüngliche WaveNet erzeugt Audiosamples nacheinander, wobei jedes vom vorherigen abhängt. Diese sequenzielle Methode liefere hohe Qualität, sei für den Produktionseinsatz jedoch zu langsam.
Für Parallel WaveNet trainierten die Forschenden ein kleineres Studentennetz anhand eines vollständig trainierten WaveNet. Der Student erzeugt aus weißem Rauschen eine Wellenform; der Lehrer bewertet sie. Ziel ist, die Wahrscheinlichkeitsverteilungen des Lehrers nachzubilden. Zusätzliche Verlustfunktionen sollen Aussprachefehler, Rauschen und eine zu geringe Lautstärke reduzieren.
In den berichteten Hörtests erreichten autoregressives und paralleles WaveNet jeweils einen MOS-Wert von 4,41, gegenüber 4,19 für das beste verglichene Nicht-WaveNet-System. Die Autoren geben an, Parallel WaveNet sei über 1.000-mal schneller und mindestens gleich hochwertig. Der Text nennt jedoch keine Details zu Stichprobe oder statistischer Auswertung. Für den Produkteinsatz war außerdem erheblicher technischer Integrationsaufwand nötig.
Ausführlich lesen
Der Bericht beschreibt DeepMinds Weiterentwicklung von WaveNet für die Sprachsynthese und den Einsatz des neuen Modells im Google Assistant. Nach Darstellung der Autoren wurde WaveNet damals weltweit für japanische und US-amerikanische englische Stimmen verwendet. Das für den Produktionseinsatz angepasste „Parallel WaveNet“ sei mehr als 1.000-mal schneller als das ursprüngliche Modell und erzeuge zugleich hochwertigeres Audio. Die technischen Einzelheiten verweisen die Autoren auf eine neue Forschungsarbeit.
Das ursprüngliche WaveNet erzeugt eine Sprachwellenform schrittweise: Jeder Audiowert hängt von den zuvor erzeugten Werten ab. Laut Bericht kann es so hochwertige Audiodaten mit bis zu 24.000 Samples pro Sekunde erzeugen, doch die sequenzielle Berechnung sei für den Produktionseinsatz zu langsam. Parallel WaveNet soll die Samples einer langen Sequenz gleichzeitig berechnen können.
Dafür trainierten die Forschenden ein kleineres, stärker parallelisierbares neuronales Netz, den „Studenten“, anhand eines vollständig trainierten WaveNet, des „Lehrers“. Der Student erhält weißes Rauschen als Eingabe und erzeugt daraus eine kontinuierliche Wellenform. Der Lehrer bewertet die Samples; aus dem Vergleich lernen die Modellparameter per Rückpropagation, die Wahrscheinlichkeitsverteilungen des Lehrers nachzuahmen. Als Trainingsziel wird beschrieben, die Kullback-Leibler-Divergenz zwischen den Verteilungen beider Netze zu minimieren. Die Autoren vergleichen den Aufbau mit generativen adversarialen Netzen, betonen aber, dass der Student den Lehrer nicht täuschen, sondern dessen Leistung nachbilden soll.
Zusätzliche Verlustfunktionen sollen bestimmte Fehler verringern: Eine wahrnehmungsbezogene Verlustfunktion soll falsche Aussprachen vermeiden, eine kontrastive den Rauschanteil senken und eine Leistungs- beziehungsweise Energiefunktion die Lautstärke an menschliche Sprache annähern. Ohne die letzte Komponente flüstere das trainierte Modell laut Bericht eher, als normal laut zu sprechen.
Als Ergebnis nennen die Autoren Mean Opinion Scores (MOS), die Natürlichkeit anhand menschlicher Hörtests auf einer Skala von 1 bis 5 bewerten. Für das beste damalige Nicht-WaveNet-System werden 4,19 ± 0,10 angegeben, für das autoregressive und das parallele WaveNet jeweils 4,41 (± 0,07 beziehungsweise ± 0,08). Damit habe Parallel WaveNet in diesem Vergleich dieselbe Sprachqualität wie das ursprüngliche WaveNet erreicht. Selbst menschliche Sprache werde auf dieser Skala mit 4,667 bewertet. Die Angaben belegen einen berichteten Vergleich, aber der Text enthält keine näheren Informationen zu Versuchsaufbau, Stichprobe oder statistischer Auswertung. Außerdem erklärt er, dass die Distillation allein für ein Produkt nicht genügte: Die Integration in die Bereitstellungspipeline des Assistant erforderte erhebliche zusätzliche Arbeit der DeepMind- und Google-Sprachteams. Der Übergang von Forschung zum Produkt habe insgesamt etwas mehr als zwölf Monate gedauert.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht ist ein technischer Blogbeitrag zu WaveNet und behandelt keine politischen oder regulatorischen Fragen. Die Stufen beziehen sich deshalb nur auf den Gehalt dieses Textes und nicht auf die Schwere der Fragen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Bezeichnung „probability density distillation“ für das Verfahren wird in der Zusammenfassung nicht genannt
- Der menschliche Referenzwert von MOS 4,667 fehlt, der die Skala einordnet
- Der Hinweis, dass ohne den Leistungsverlust das Modell nur flüstert, fehlt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 50 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 52 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 29 %gleiches Oberthema, hilft nicht
- JEV 26 %Hintergrund, keine Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 27 %Hintergrund, keine Belege
- amos 24 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
- SF-H1-T04 Welche Maßnahmen für Transparenz über Destillationsverfahren könnten Labore einführen, um Sicherheitsbedenken zu begegnen, ohne geschützte Innovation preiszugeben?
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 50 %einzelne zitierbare Belege
- JEV 33 %einzelne zitierbare Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
Frieden und Sicherheit
- SF-K1 Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv