MuseNet
Zusammenfassung
Kurz
OpenAI stellt MuseNet als Transformer-Modell vor, das aus MIDI-Dateien musikalische Muster gelernt haben und bis zu vierminütige Stücke in verschiedenen Stilen erzeugen soll. Der Bericht nennt als Grenzen unverbindliche Instrumentvorgaben, weniger natürliche Ergebnisse bei ungewöhnlichen Stil-Besetzungs-Kombinationen und fehlende Gewähr dafür, dass Ausgaben frei von Urheberrechtsansprüchen sind.
Mittel
OpenAI beschreibt MuseNet als ein Transformer-Modell, das aus Hunderttausenden MIDI-Dateien Muster in Harmonie, Rhythmus und Stil lernte, indem es jeweils das nächste musikalische Token vorhersagte. Laut Bericht kann es Kompositionen von bis zu vier Minuten mit zehn Instrumenten erzeugen und Stilrichtungen kombinieren. Komponisten- und Instrument-Tokens sollen die Ausgabe lenken; ein Demo-Modus spielt vorab erzeugte Beispiele ab, während ein erweiterter Modus neue Stücke direkt generiert.
Das Modell wurde mit MIDI-Sammlungen verschiedener Quellen trainiert, darunter ClassicalArchives, BitMidi und MAESTRO. Die Kodierung verbindet Tonhöhe, Lautstärke und Instrument. Ergänzende Trainingsvariationen und Embeddings sollen musikalische Zeit, Akkordpositionen und die Struktur längerer Stücke abbilden. OpenAI führt den langen Kontext von 4096 Tokens als möglichen Grund dafür an, dass MuseNet längere musikalische Zusammenhänge aufgreifen kann; quantitative Qualitätsnachweise nennt der Bericht nicht.
Als Grenzen nennt er, dass Instrumentvorgaben unverbindlich sind und ungewöhnliche Stil-Instrument-Kombinationen weniger natürlich klingen können. OpenAI erhebt laut Artikel keinen Besitzanspruch auf die Ausgaben, bittet aber darum, sie nicht kostenpflichtig anzubieten, und gibt keine Garantie gegen externe Urheberrechtsansprüche.
Ausführlich lesen
Der OpenAI-Bericht stellt MuseNet als ein System vor, das laut Beschreibung bis zu vier Minuten lange Kompositionen mit zehn Instrumenten erzeugen und Stile wie Country, Mozart und die Beatles kombinieren kann. Es sei nicht mit ausdrücklichen Musikregeln programmiert worden, sondern habe Muster in Harmonie, Rhythmus und Stil durch das Vorhersagen des jeweils nächsten Tokens in Hunderttausenden MIDI-Dateien gelernt. Der Bericht ordnet die Methode als unüberwachtes Transformer-Verfahren ein, ähnlich der Technik von GPT-2.
Zur Steuerung der Erzeugung wurden Komponisten- und Instrument-Tokens verwendet. Sie wurden den Trainingsbeispielen vorangestellt, damit das Modell sie bei seinen Vorhersagen berücksichtigt. Im einfachen Demo-Modus werden laut Bericht vorab erzeugte, zufällige und nicht kuratierte Beispiele abgespielt. Nutzer können Komponisten oder Stilrichtungen, einen möglichen Anfang einer bekannten Komposition und weitere Vorgaben wählen. Der erweiterte Modus lässt das Modell direkt neue Stücke erzeugen, benötigt dem Bericht zufolge aber mehr Zeit. Als Beispiel wird eine Fortsetzung der ersten sechs Noten eines Chopin-Nocturnes im Pop-Stil mit Klavier, Schlagzeug, Bass und Gitarre beschrieben.
Für längere musikalische Zusammenhänge nennt der Bericht ein 72-Schichten-Modell mit 24 Aufmerksamkeitsköpfen und einem Kontext von 4096 Tokens, trainiert mithilfe optimierter Sparse-Transformer-Kernels. OpenAI führt die Fähigkeit, Strukturen über längere Abschnitte zu behalten, als möglichen Nutzen dieses langen Kontexts an. Musik sei ein geeigneter Prüfbereich, weil sich rhythmische und formale Brüche beim Hören leichter erkennen ließen als kurze Abschweifungen in Text. Der Bericht verweist auf Beispiele nach Chopin und Mozart, enthält jedoch keine messbare Bewertung der musikalischen Qualität.
Die Trainingsdaten stammten laut Artikel aus mehreren Sammlungen, darunter Beiträge von ClassicalArchives und BitMidi, online gefundene MIDI-Sammlungen verschiedener Genres und Regionen sowie der MAESTRO-Datensatz. Das Team erprobte unterschiedliche MIDI-Kodierungen und entschied sich für Tokens, die Tonhöhe, Lautstärke und Instrument verbinden. Beim Training wurden unter anderem Tonhöhen, Lautstärken und – je nach Zeitkodierung – das Timing variiert; zusätzlich kam Mixup im Embedding-Raum zum Einsatz. Ein interner Prüfer sollte unterscheiden, ob Beispiele aus dem Datensatz oder aus früheren Modellerzeugungen stammten; sein Wert diente laut Bericht dazu, Beispiele bei der Erzeugung auszuwählen. Weitere Embeddings bilden Zeitpunkte, Notenpositionen in Akkorden und die Position innerhalb eines größeren Stücks ab.
Der Bericht nennt klare Einschränkungen: Instrumentwünsche sind keine Garantien, da das Modell auch andere Instrumente wählen kann. Ungewöhnliche Kombinationen aus Stil und Besetzung – etwa Chopin mit Bass und Schlagzeug – gelängen weniger natürlich; passendere Instrumente könnten zu natürlicheren Ergebnissen führen. Außerdem gibt OpenAI an, die erzeugte Musik nicht zu besitzen, bittet darum, sie nicht kostenpflichtig anzubieten, und garantiert nicht, dass sie frei von Ansprüchen Dritter ist. MuseNet spielte laut Artikel am 25. April 2019 ein experimentelles Konzert mit Stücken, die zuvor kein Mensch gehört hatte.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen sind sachlich korrekt und enthalten keine erfundenen Angaben; die kurze Fassung lässt aber mehrere Kernelemente aus, die die mittlere Fassung teilweise aufnimmt. Die Einordnungsstufen wurden unabhängig vom Bericht vergeben, Lunas Stufen und Anteilswerte wurden nicht übernommen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Technik basiert laut Bericht auf derselben allgemeinen Methode wie GPT-2 und nutzt den Sparse Transformer mit 72 Schichten
- Innerer Kritiker: Das Modell bewertet während des Trainings, ob ein Stück aus dem Datensatz stammt oder eigene frühere Ausgaben sind, und dieser Wert dient der Auswahl beim Erzeugen
- Datenaugmentation (Transposition, Lautstärke, Tempo) und mixup beim Training
- Kodierungsexperimente mit Akkordtokens, Note-Starts und Byte-Pair-Encoding sowie Zeitmarkierung in Tempo- oder Sekundeneinheiten
- Die Embedding-Visualisierung mit t-SNE zur Darstellung der Ähnlichkeit von Komponisten und Stilen
- Das Konzert am 25. April 2019, das live auf Twitch übertragen wurde und bei dem vorab kein Mensch die Stücke gehört hatte
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 47 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 77 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 27 %Hintergrund, keine Belege
- JEV 60 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4-T03 Ist Intelligenz, die „eher gewachsen als entworfen“ ist, ein Grund für mehr Vorsicht oder dafür, Modelle wie ein Ökosystem zu pflegen?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 41 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 47 %einzelne zitierbare Belege
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 67 %umfangreiche Belege
- JEV 47 %beantwortet direkt und ausführlich
- amos 34 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung umfangreiche Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %gleiches Oberthema, hilft nicht
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv