OpenAI Fellows Fall 2018: Final projects
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der Quelltext ist ein unvollständiger Auszug mit fehlenden Namen und Abschnitten sowie einer abgebrochenen Bildunterschrift. Er beschreibt sechs Fellows-Projekte zu Musikgenerierung, Reinforcement Learning, Multiagenten-Transfer, Bildmodellen, Robotik und sparsamen neuronalen Netzen; laut Bericht wechselten die Fellows danach in OpenAI-Teams. Die berichteten Ergebnisse, darunter Vorteile sparsamer Modelle, sind Behauptungen des Textes und hier nicht unabhängig belegt.
Mittel
Der Quelltext ist ein unvollständiger Auszug: Namen und Abschnittsteile fehlen, und die letzte Bildunterschrift ist abgebrochen. Er berichtet, dass sechs Fellows nach einem sechsmonatigen OpenAI-Programm Forschungsprojekte abgeschlossen hätten und anschließend als technische Mitarbeitende übernommen worden seien. Die Fellows loben strukturierte Lerninhalte, Mentoring und den Austausch im Team; der Bericht betont außerdem mögliche Beiträge fachfremder Expertise.
Die Projekte umfassen MuseNet, ein MIDI-Musikmodell auf Transformer-Basis, das laut Text mehrminütige Stücke in verschiedenen Stilen erzeugt; Jacob Hiltons Methode zur Messung von Bias und Varianz bei Gradienten im Reinforcement Learning; sowie Todor Markovs Untersuchungen zum Transfer von Fähigkeiten aus Multiagenten-Umgebungen. Drei weitere Projekte befassen sich mit Bild-Transformern, der Übertragung von RL-Policies aus Simulationen auf reale Roboter und lernbarer Sparsität in neuronalen Netzen. Für Letzteres behauptet der Bericht bessere Parameter-Effizienz und geringeren Verlust als bei dichten Netzen mit vergleichbarem Parameterbudget.
Laut Text sollten die Fellows in den Sprach-, RL-, Multiagenten-, Algorithmen-, Robotik- und Hardware-Teams weiterarbeiten. Der Bericht kündigt zudem eine nächste Runde für 2019 und ein Lernangebot zu Deep RL an. Wegen der Lücken erlaubt der Auszug keine vollständige Zuordnung aller Namen oder unabhängige Prüfung der Ergebnisse.
Ausführlich lesen
Der vorliegende Quelltext ist ein unvollständiger Auszug: Mehrere Abschnitte sind durch Trennstriche unterbrochen, einige Namen fehlen, und die letzte Bildunterschrift bricht mitten im Satz ab. Die folgende Zusammenfassung stützt sich ausschließlich auf die darin enthaltenen Angaben.
Der Bericht stellt die Abschlussprojekte der sechs OpenAI Fellows des Herbstprogramms 2018 vor. OpenAI beschreibt das sechsmonatige Programm als Weg vom Einstieg ins maschinelle Lernen bis zur Mitarbeit an Forschungsprojekten in einem OpenAI-Team. Laut Bericht wurden alle sechs Fellows anschließend als technische Mitarbeitende übernommen. Als prägende Elemente des Programms nennen die Fellows eine strukturierte Lernphase, Betreuung durch Mentorinnen und Mentoren, Austausch im Team und die Möglichkeit, eigene Ideen zu verfolgen. Der Text hebt außerdem hervor, dass Kenntnisse aus anderen Fachgebieten – etwa Musik, Statistik und Mathematik – zur KI-Forschung beitragen könnten.
Ein im Auszug nicht namentlich zugeordneter Fellow entwickelte MuseNet, ein MIDI-Musikmodell auf Basis derselben Transformer-Architektur wie GPT-2. Laut Bericht kann es Kompositionen von zwei bis vier Minuten in verschiedenen Musikstilen erzeugen. Dafür wurden Hunderttausende MIDI-Dateien gesammelt, Verfahren zur Tokenisierung erprobt, Stil- und Komponistenbedingungen eingerichtet und ein Werkzeug für gemeinsames Komponieren durch Menschen und KI erstellt. Der Fellow sollte danach dem Language-Team beitreten und MuseNet weiterentwickeln sowie mit Musikerinnen und Musikern zusammenarbeiten.
Jacob Hilton untersuchte Zielkonflikte zwischen Bias und Varianz im Reinforcement Learning. Er beschreibt eine Methode, die diese Größen bei Gradienten direkt misst, um Hyperparameter zu wählen; sie könne laut Bericht auch außerhalb des Reinforcement Learning bei stochastischem Gradientenabstieg nützlich sein. Als Beispiel nennt der Text den Diskontfaktor: Kleinere Werte führen typischerweise zu weniger variablen, aber im Trainingsverlauf stärker verzerrten Gradienten. Hilton sollte dem RL-Team beitreten und unter anderem Interpretierbarkeit erforschen.
Todor Markov untersuchte, ob Fähigkeiten aus Multiagenten-Umgebungen auf eigens angelegte Aufgaben übertragbar sind. Dabei wollte er unterscheiden, ob der Transfer eher auf erlernten Verhaltensweisen oder auf nützlichen mentalen Repräsentationen beruht. Er sollte im Multiagenten-Team weiterarbeiten.
Drei weitere, im vorliegenden Auszug nicht namentlich ausgewiesene Projekte behandelten Bildgenerierung mit großen Bild-Transformern und deren Einsatz für überwachte Bildaufgaben, eine Kennzahl zur Vorhersage des Transfers von simulierten RL-Policies auf reale Roboter ohne wiederholte Roboterläufe sowie lernbare Sparsitätsmuster in neuronalen Netzen. Beim letzten Projekt behaupten die Autoren, dass die entwickelten sparsamen Modelle bei gleichem Parameterbudget effizienter seien und einen niedrigeren Verlust als dichte Netze erreichten. Die zugehörigen Fellows sollten den Teams für Algorithmen, Robotik und Hardware beitreten.
Der Bericht kündigt außerdem die nächste Fellow-Runde für Juli 2019 an und verweist auf ein teilweise veröffentlichtes Einführungscurriculum zu Deep Reinforcement Learning. Da der Text lückenhaft ist und keine vollständigen Projektdaten oder Belege zu den Ergebnissen enthält, lassen sich daraus weder die fehlenden Namen noch eine unabhängige Bewertung der behaupteten Resultate ableiten.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %nur am Rande erwähnt
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 53 %einzelne zitierbare Belege
- JEV 29 %einzelne zitierbare Belege
- amos 25 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra