Pushing the frontiers of audio generation
Zusammenfassung
Kurz
DeepMind berichtet über ein Sprachmodell, das laut den Autoren aus markierten Skripten zweiminütige Dialoge mit mehreren Stimmen in weniger als drei Sekunden erzeugen kann. Google nennt Anwendungen, Trainingsdaten und SynthID-Wasserzeichen, liefert im Beitrag aber keine unabhängigen Leistungsvergleiche oder Fehlerquoten.
Mittel
Der Bericht stellt DeepMinds Sprachgenerierung für Einzelstimmen und mehrstimmige Dialoge vor. Die Technologie komme laut den Autoren in Angeboten wie Gemini Live und YouTubes automatischer Synchronisation zum Einsatz; NotebookLM Audio Overviews und Illuminate erzeugten längere Dialoge zu Dokumenten beziehungsweise Forschungsarbeiten.
Technisch bauen die Modelle auf SoundStream, AudioLM und SoundStorm auf. Ein Codec übersetzt Audio in hierarchisch geordnete Token, die ein speziell angepasster Transformer verarbeitet. Aus einem Skript mit markierten Sprecherwechseln könne das neuere Modell einen zweiminütigen Dialog erzeugen. Laut Bericht dauert dies auf einem TPU-v5e-Chip weniger als drei Sekunden. Das Modell wurde zunächst mit Hunderttausenden Stunden Sprachmaterial und anschließend mit einer kleineren Sammlung hochwertiger, genau gekennzeichneter Dialoge trainiert.
Google kündigt SynthID-Wasserzeichen für nicht-temporäre KI-Audioinhalte an. Als weitere Forschungsziele nennt der Beitrag bessere Sprachqualität, feinere Prosodiesteuerung und die Verbindung mit Video. Leistungs- und Qualitätsangaben sind Selbstauskünfte des Unternehmens; der Text liefert keine unabhängigen Vergleiche oder Fehlerquoten.
Ausführlich lesen
Der Bericht beschreibt die Sprachgenerierungsforschung von Google DeepMind und ihre Nutzung in Produkten und Experimenten. Die Autoren erklären, dass die Technologie Sprache aus Eingaben wie Text, Tempovorgaben und bestimmten Stimmen erzeugen kann. Sie nennen unter anderem Gemini Live, Project Astra, Journey Voices und YouTubes automatische Synchronisation als Anwendungen für Einzelstimmen. Für längere Dialoge mit mehreren Stimmen führen sie NotebookLM Audio Overviews und Illuminate an: Das eine erstellt laut Bericht lebhafte Gespräche, die hochgeladene Dokumente zusammenfassen und verknüpfen; das andere erzeugt formellere Diskussionen zu Forschungsarbeiten.
Als technische Grundlage schildert der Beitrag eine Entwicklung von SoundStream über AudioLM und SoundStorm. SoundStream komprimiert Audio und bildet es auf akustische Token ab, die laut den Autoren auch Merkmale wie Betonung und Klangfarbe für eine hochwertige Rekonstruktion enthalten. AudioLM behandelt die Erzeugung dieser Token als Sprachmodellierungsaufgabe und soll dadurch unterschiedliche Arten von Audio ohne eigens angepasste Architektur unterstützen. SoundStorm hatte den Angaben zufolge zuvor natürliche Dialogabschnitte von bis zu 30 Sekunden zwischen mehreren Sprechenden erzeugt.
Die neuere Technik kann laut Bericht aus einem Skript mit Sprecherwechsel-Markierungen einen zweiminütigen Dialog generieren. Ein einzelner TPU-v5e-Chip benötige dafür weniger als drei Sekunden und erzeuge Audio damit mehr als 40-mal schneller als Echtzeit. Für längere Ausgaben entwickelten die Forschenden einen effizienteren Codec, der Audio mit einer Datenrate von nur 600 Bit pro Sekunde in Token umwandeln soll, ohne die Ausgabequalität zu beeinträchtigen. Die Token sind hierarchisch nach Zeitabschnitten organisiert: Frühe Token enthalten vor allem phonologische und prosodische Merkmale, spätere feinere akustische Einzelheiten. Eine eigens entwickelte Transformer-Architektur verarbeitet diese Struktur und erzeugt die Token in einem autoregressiven Durchgang; der Codec wandelt sie anschließend wieder in eine Wellenform um.
Für das Training wurde das Modell nach Darstellung der Autoren zunächst mit Hunderttausenden Stunden Sprachdaten vortrainiert. Danach verfeinerten sie es mit einer kleineren Sammlung hochwertiger Dialoge samt genauer Sprecherkennzeichnungen, darunter ungeskriptete Gespräche von Sprechenden mit natürlichen Versprechern und Pausen. Damit sollte das Modell Sprecherwechsel sowie glaubwürdiges Timing, Ton und Pausen erlernen. Google erklärt außerdem, nicht-temporäre KI-Audioinhalte dieser Modelle mit SynthID zu markieren, um möglichem Missbrauch entgegenzuwirken.
Der Beitrag nennt als nächste Ziele flüssigere Sprache, bessere Klangqualität, genauere Steuerungsmöglichkeiten für Merkmale wie Prosodie und die Verbindung mit weiteren Modalitäten, etwa Video. Die möglichen Anwendungen werden vor allem mit Lernen und barriereärmerem Zugang zu Inhalten verbunden. Die Leistungsangaben, Qualitätsurteile und erwarteten Einsatzmöglichkeiten stammen aus dem Unternehmensbericht; unabhängige Vergleichswerte, konkrete Fehlerquoten oder eine umfassende Bewertung möglicher Missbrauchsrisiken enthält der Text nicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat zwei Zusammenfassungen geliefert (kurz und mittel). Beide geben den Bericht korrekt wieder, ohne erfundene Angaben; die mittlere ist vollständiger. Die Bewertung oben gilt für beide gemeinsam, die Einordnungen stützen sich nur auf den Berichtstext.
Im Bericht, aber nicht in der Zusammenfassung
- Der neue Codec kommt mit bis zu 600 Bit pro Sekunde aus
- Die Erzeugung ist laut Bericht über 40-mal schneller als Echtzeit
- SoundStorm war der Vorläufer mit 30-Sekunden-Dialogen
- Ein 2-Minuten-Dialog erfordert über 5000 Token
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 31 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 75 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 57 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus?
- SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung?
- SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf?
- SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig?
- SF-V1-T12 Welche Messung würde einen überzeugen, dass ein Modell, das Anteilnahme nur vorführt, ein eigenes Interesse am Leben eines Menschen entwickelt hat?
- SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt?
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 49 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 36 %einzelne zitierbare Belege
- JEV 51 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %nur am Rande erwähnt
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 47 %einzelne zitierbare Belege
- JEV 47 %einzelne zitierbare Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-H3-T05 Wenn ein Modell nacheinander von Laboren in verschiedenen Rechtsordnungen feinjustiert, mit anderen Modellen zusammengeführt oder destilliert wird (ein weiteres Modell wird mit seinen Ausgaben trainiert) und jede Stufe Fähigkeiten hinzufügen oder Schutzvorkehrungen entfernen kann: Welches gemeinsame Herkunftsregister, das sich nur ergänzen und nicht ändern lässt, verfolgt eine Gefahr bis zu der Änderung zurück, die sie brachte, ohne die vollständigen Trainingsdaten eines einzelnen Labors zu verlangen? Und wenn dabei ein Verhalten entsteht, das keines der Ursprungslabore vorhergesehen hat: Welche Register- oder Vorabmeldepflicht gilt vor dem Einsatz, und welcher Staat ist bei grenzüberschreitendem Schaden zuständig?
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 64 %gleiches Oberthema, hilft nicht
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %nur am Rande erwähnt
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 21 %einzelne zitierbare Belege
- Luna 39 %Hintergrund, keine Belege
- JEV 57 %einzelne zitierbare Belege
- amos 41 %einzelne zitierbare Belege
- SubQ 58 %einzelne zitierbare Belege
- drex 51 %einzelne zitierbare Belege
- d3-ultra 71 %einzelne zitierbare Belege
- SF-I1-T01 Welche gemeinsamen Standards für Herkunftsnachweis und Erkennung (Wasserzeichen, signierte Metadaten, Fingerabdrücke von Modellen) würden Labore, Plattformen und Regierungen einführen, damit KI-erzeugte Texte, Tonaufnahmen und Videos über Ländergrenzen hinweg zuverlässig zuzuordnen sind?
- SF-I1-T02 Welche gemeinsamen Regeln sollten Labore und Regierungen für Herkunftsnachweis, Kennzeichnung und schnelle Reaktion auf maschinell erzeugte oder veränderte Medien oder Texte annehmen, die eingesetzt werden, um die Öffentlichkeit zu täuschen, und dabei Journalismus, Satire und Forschung schützen?
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv