Jukebox
Zusammenfassung
Kurz
Der Bericht stellt Jukebox als Modell vor, das Musik direkt als Audio erzeugt und sich laut OpenAI durch Künstlerstil, Genre, Liedtexte oder Audioausschnitte steuern lässt. Die Ergebnisse seien lokal teils stimmig, doch größere Songstrukturen, Klangqualität und Generierungsgeschwindigkeit blieben deutlich eingeschränkt; trainiert wurde überwiegend mit westlicher Musik und englischen Texten. Die bereitgestellte Textfassung enthält keine hörbaren Beispiele.
Mittel
Der Bericht beschreibt Jukebox als ein neuronales Netz, das Musik direkt als Audiodaten erzeugt und sich laut OpenAI anhand von Genre, Künstlerstil, Texten oder kurzen Audioausschnitten steuern lässt. Das Modell komprimiert Roh-Audio in drei Ebenen diskreter Codes. Transformer erzeugen daraus erst längerfristige musikalische Strukturen und ergänzen anschließend lokale Klangdetails. Für das Training habe OpenAI 1,2 Millionen Songs gesammelt, darunter 600.000 englischsprachige. Liedtexte wurden zunächst grob und später mithilfe extrahierter Gesangsspuren genauer mit den Aufnahmen ausgerichtet.
OpenAI berichtet von vielfältigen Stilen, lokal stimmigen Passagen und teils überzeugenden Soli. Zugleich fehle es den Ergebnissen an größeren musikalischen Formen wie wiederkehrenden Refrains; die Verarbeitung erzeuge hörbares Rauschen. Eine Minute Audio zu erzeugen dauere etwa neun Stunden, weshalb interaktive Anwendungen noch nicht möglich seien. Das Training beruhe überwiegend auf westlicher Musik und englischen Texten. Zehn befragte Musikerinnen und Musiker hätten das Ergebnis laut Bericht interessant, aber noch nicht direkt für ihre Arbeit anwendbar gefunden. Die vorliegende Textfassung enthält keine hörbaren Beispiele, obwohl der Bericht auf solche verweist.
Ausführlich lesen
Der Bericht stellt Jukebox als ein neuronales Netz vor, das Musik einschließlich einfacher Gesangsparts direkt als Audiodaten erzeugen soll. Laut OpenAI kann es sich an Genre, Künstlerstil und Liedtext orientieren; veröffentlicht werden sollten außerdem Modellgewichte, Code und ein Werkzeug zum Durchstöbern der erzeugten Beispiele. Die gezeigten Liedtexte seien gemeinsam von einem Sprachmodell und Forschenden erstellt worden. Der Bericht beschreibt auch Fortsetzungen aus zwölf Sekunden vorgegebenem Audio. OpenAI zufolge erzeugt das Modell selbst bei Texten aus den Trainingsdaten deutlich andere Lieder als die Vorlagen.
Als Motivation nennt der Beitrag Grenzen symbolischer Musikgeneratoren: Sie können zwar Noten und Instrumente modellieren, bilden Stimmen und feine Klangfarben oder Ausdruck aber nur eingeschränkt ab. Die direkte Erzeugung von Audio ist laut Bericht wegen der sehr langen Sequenzen schwierig. Eine vierminütige Aufnahme in CD-Qualität umfasse mehr als zehn Millionen Zeitschritte. Jukebox komprimiert daher zunächst Roh-Audio mit einem hierarchischen VQ-VAE in diskrete Codes. Drei Ebenen reduzieren die Datenmenge unterschiedlich stark; dabei geht Klangdetail verloren, während wesentliche Informationen zu Tonhöhe, Klangfarbe und Lautstärke laut Beitrag erhalten bleiben sollen. Transformer erzeugen anschließend zunächst stark komprimierte Codes für längerfristige musikalische Strukturen und ergänzen sie auf zwei Ebenen um lokale Strukturen und Klangdetails.
Für das Training habe OpenAI nach eigener Darstellung 1,2 Millionen Songs aus dem Web gesammelt, darunter 600.000 englischsprachige, und sie mit Liedtexten sowie Metadaten von LyricWiki verknüpft. Als Metadaten nennt der Bericht Künstler, Album, Genre, Erscheinungsjahr und Stimmungs- oder Playlist-Begriffe. Künstler- und Genreangaben sollen die Erzeugung stilistisch lenken. Für die Textausrichtung nutzte das Team zunächst eine lineare Zuordnung über die Songdauer. Bei schnell gesungenen Texten, etwa in Hip-Hop, habe diese Methode versagt; deshalb wurden Gesangsspuren extrahiert und Wörter genauer mit dem Audio ausgerichtet.
OpenAI beschreibt als Ergebnisse eine größere Bandbreite an Musik- und Gesangsstilen, lokale musikalische Stimmigkeit, traditionelle Akkordfolgen und teils eindrucksvolle Soli. Zugleich betont der Bericht eine deutliche Lücke zu menschengemachter Musik: Wiederkehrende Großformen wie Refrains seien kaum erkennbar, und die Komprimierung führe zu hörbarem Rauschen. Eine Minute Audio vollständig zu erzeugen dauere ungefähr neun Stunden; interaktive Anwendungen seien damit noch nicht möglich. Trainiert worden sei überwiegend mit westlicher Musik und englischen Texten. Zehn Musikerinnen und Musiker hätten das Forschungsergebnis laut Beitrag zwar interessant, angesichts der Einschränkungen aber noch nicht unmittelbar für ihren kreativen Prozess nutzbar gefunden. Als mögliche nächste Schritte nennt OpenAI die Steuerung durch MIDI- und Stem-Dateien sowie die Einbeziehung weiterer Sprachen und Musikregionen.
Der Text ist ein Forschungsbericht mit Selbstdarstellungen des entwickelnden Unternehmens; die Aussagen über Qualität und Fähigkeiten werden darin nicht durch eine unabhängige Auswertung belegt. Die hier bereitgestellte Textfassung enthält zudem keine hörbaren Beispiele, obwohl der Bericht auf Beispielaufnahmen und einen Sample-Explorer verweist.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung, da die kurze Fassung dieselben Kernaussagen enthält, aber Trainingsdaten, Architektur und Zeitleiste auslässt. Die Einordnungen stützen sich allein auf den Berichtstext; Lunas Stufen und Anteilswerte wurden nicht übernommen.
Im Bericht, aber nicht in der Zusammenfassung
- Warum Rohaudio so schwer zu modellieren ist: ein 4-minütiger Song im CD-Format hat über 10 Millionen Zeitschritte
- Die Veröffentlichung von Modellgewichten und Code
- Die Forschung zu Bias und Urheberrecht
- Die Entwicklungsschritte 2019 bis 2020, etwa die Skalierung auf 44 kHz und den Top-Level-Prior von 1B auf 5B
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 35 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 79 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 43 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 58 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %nur am Rande erwähnt
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 58 %einzelne zitierbare Belege
- amos 29 %einzelne zitierbare Belege
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 26 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht?
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 71 %umfangreiche Belege
- JEV 54 %beantwortet direkt und ausführlich
- amos 35 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 30 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 60 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 56 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 38 %einzelne zitierbare Belege
- JEV 54 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen?
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv