Long-Form Speech Generation with Spoken Language Models
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der Berichtsauszug stellt SpeechSSM vor, eine Modellfamilie zur textlosen Erzeugung mehrminütiger Sprache. Laut Abstract soll sie bei langen Ausgaben kohärenter und effizienter als Transformer-Modelle sein; konkrete Messwerte oder ausführliche Methoden enthält der Auszug nicht.
Mittel
Der vorliegende Bericht ist ein Auszug aus dem Abstract; ausführliche Methoden und konkrete Versuchsergebnisse fehlen. Er behandelt textlose Sprachmodelle, die zusammenhängende Sprache über mehrere Minuten erzeugen sollen. Als Hindernisse bei bisherigen Ansätzen nennt der Abstract die hohe zeitliche Auflösung der Sprach-Tokens, Schwierigkeiten mit langen Sequenzen und den Speicherbedarf bei der Generierung.
Die Autorinnen und Autoren stellen SpeechSSM vor. Dieses Modell soll in einer einzigen Dekodiersitzung bis zu 16 Minuten gelesene oder spontan gesprochene Sprache erzeugen können, ohne Text als Zwischenstufe zu verwenden. Laut Abstract übertrifft SpeechSSM Transformer-Modelle bei mehrminütigen Ausgaben hinsichtlich Kohärenz und Effizienz und erreicht auf Äußerungsebene vergleichbare Qualität. Zur Bewertung präsentieren die Forschenden den Benchmark LibriSpeech-Long, einbettungsbasierte und durch Sprachmodelle beurteilte Kennzahlen sowie Qualitätsmessungen über Länge und Zeit. Da der Auszug keine Zahlen oder detaillierten Versuchsbedingungen nennt, lassen sich die Leistungsbehauptungen hier nicht näher prüfen. Die Arbeit ist ICML 2025 zugeordnet.
Ausführlich lesen
Der vorliegende Bericht ist ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Publikationsort, aber keine vollständige Darstellung der Studie. Thema ist die Erzeugung mehrminütiger Sprache durch textlose Sprachmodelle. Laut Abstract haben solche Modelle Schwierigkeiten, über einige zehn Sekunden hinaus plausible und zusammenhängende Sprache zu erzeugen. Als Gründe nennt der Bericht die hohe zeitliche Auflösung der Sprach-Tokens, Probleme beim Training oder bei der Verlängerung auf sehr lange Sequenzen sowie den Speicherbedarf während der Generierung.
Die Autorinnen und Autoren stellen SpeechSSM vor, eine Modellfamilie, die nach ihrer Darstellung lange gesprochene Audiodaten ohne zwischengeschalteten Text in einer einzigen Dekodiersitzung verarbeiten und erzeugen kann. Als Beispiele nennt der Abstract bis zu 16 Minuten gelesene oder spontan gesprochene Sprache. SpeechSSM nutzt dem Bericht zufolge Sequenzmodellierung mit linearer Laufzeit. Im Vergleich zu bestehenden Transformer-Modellen für gesprochene Sprache soll es bei mehrminütigen Ausgaben sowohl in der Kohärenz als auch in der Effizienz besser abschneiden und auf Äußerungsebene vergleichbare Ergebnisse erzielen.
Für die Bewertung führen die Forschenden LibriSpeech-Long als Benchmark für lange Sprachgenerierung ein. Außerdem nennen sie neue einbettungsbasierte und durch Sprachmodelle beurteilte Kennzahlen sowie Messungen der Qualität über Länge und Zeit. Konkrete Versuchsaufbauten, Zahlen und Einzelresultate führt der vorliegende Auszug jedoch nicht aus; die Leistungsangaben sind daher hier nur als Aussagen des Abstracts wiedergegeben. Die Arbeit ist für ICML 2025 angegeben. Der Abstract verweist auf eine Website mit Sprachbeispielen, Datensatz und möglichen künftigen Veröffentlichungen von Code oder Modellen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug