OpenAI Fellows Summer 2018: Final projects
Zusammenfassung
Kurz
OpenAI berichtet über sechs Fellows und Forschungsprojekte zu Reinforcement Learning, generativen Modellen und der Skalierung des Trainings. Die beschriebenen Ergebnisse umfassen unter anderem Ansätze gegen Überanpassung und bessere Übertragung zwischen Aufgaben; der Rückblick fasst die Befunde zusammen, liefert aber keine vollständige methodische Darstellung oder unabhängige Prüfung.
Mittel
Der Bericht fasst die Projekte der ersten OpenAI-Fellows-Kohorte von 2018 zusammen. Laut OpenAI arbeiteten sechs Fellows während eines sechsmonatigen Programms in Forschungsteams mit; ihre Projekte reichten von Reinforcement Learning und generativen Modellen bis zur Skalierung neuronalen Trainings. Bei CoinRun untersuchte ein Fellow, wie gut RL-Agenten auf neue Spielumgebungen übertragen können. Die Agenten hätten sich stärker als erwartet an Trainingslevels angepasst; tiefere Netzwerke und Methoden wie Dropout und Datenaugmentation hätten diese Überanpassung reduziert. Weitere Projekte befassten sich mit vorhersehbaren Beziehungen zwischen Rechenaufwand und Trainingszeit, dem Einbringen von Dynamikwissen in RL sowie energiebasierten Modellen. Ein Projekt kombinierte generatives Vortraining mit PPO und beanspruchte bessere Stichprobeneffizienz und Übertragung zwischen Aufgaben. Andere Arbeiten entwickelten schwierige künstliche Datensätze für Normalizing Flows oder analysierten Überanpassung, unter anderem in Sonic the Hedgehog. Der Text ist ein programmbezogener Rückblick: Er fasst Ergebnisse zusammen und verlinkt weiterführende Arbeiten, bietet aber keine vollständigen Methodenbeschreibungen oder unabhängige Überprüfung. OpenAI verweist außerdem auf sein Lernangebot „Spinning Up in Deep RL“.
Ausführlich lesen
Der Bericht stellt die Ergebnisse der ersten OpenAI-Fellows-Kohorte vom Sommer 2018 vor. OpenAI beschreibt das Programm als sechsmonatige Ausbildung, in der die Fellows laut Bericht vom Einstieg ins maschinelle Lernen zu Beiträgen in Forschungsteams gelangten. Alle sechs hätten an wissenschaftlichen Arbeiten mitgewirkt oder eigene Projekte abgeschlossen. Die Organisation hebt hervor, dass auch Vorwissen aus Bereichen wie theoretischer Physik und Bioingenieurwesen neue Perspektiven auf KI-Forschung eröffnen könne. Einige Fellows sollten anschließend fest zu OpenAI wechseln, andere gingen an Hochschulen oder zu Forschungsgruppen anderer Unternehmen.
Die Projekte deckten mehrere Themen ab. Ein Fellow entwickelte das Spiel CoinRun, um zu untersuchen, ob trainierte Reinforcement-Learning-Agenten auf neue Umgebungen übertragen können, was sie gelernt haben. Laut Bericht passten sich die Agenten selbst an umfangreiche Trainingsmengen stärker an als erwartet. Tiefere Faltungsnetzwerke und Verfahren aus dem überwachten Lernen – darunter Regularisierung, Dropout, Datenaugmentation und Batch-Normalisierung – hätten die Überanpassung deutlich verringert.
Ein weiteres Projekt untersuchte, wie sich der Zusammenhang zwischen Rechenaufwand und benötigter Trainingszeit für eine bestimmte Leistung vorhersagen lässt. Die Darstellung nennt dafür Muster über unterschiedliche Aufgaben hinweg, von MNIST bis Dota. Yilun Du arbeitete zum einen daran, Wissen über Dynamik aus Videos und früheren Umgebungen in Reinforcement Learning einzubringen und langfristige physikalische Vorhersagen zu verbessern. Zum anderen untersuchte er skalierbares Training energiebasierter Modelle. Er berichtet von besseren generierten Beispielen als bei damaligen Vergleichsmodellen sowie von Fähigkeiten wie dem Ergänzen fehlender Bildteile und der Wiederherstellung von CIFAR-10-Beispielen.
Ein Projekt kombinierte ein vortrainiertes generatives Modell, das unbeobachtete Umgebungsdaten modelliert, mit anschließendem On-Policy-Training per PPO. Der Bericht behauptet, dieses Vorgehen verbessere Stichprobeneffizienz und Aufgabenübertragung. Ein weiteres Projekt untersuchte Normalizing-Flow-Modelle und konstruierte künstliche Datensätze, die für solche Modelle schwer zu approximieren seien; diese sollten als Vergleichsmaßstab für künftige generative Modelle dienen. Ein sechstes Projekt analysierte Überanpassung im Reinforcement Learning aus Optimierungs- und synthetischer Perspektive und betrachtete unter anderem Ergebnisse auf Sonic the Hedgehog sowie mögliche Schwächen bestimmter Methoden bei großen Datensätzen.
Der Bericht ist ein Rückblick und eine Selbstdarstellung des Programms. Die Forschungsergebnisse werden zusammenfassend präsentiert, teils als Feststellungen von OpenAI oder den Fellows; vollständige Methoden, Daten, Unsicherheiten und unabhängige Prüfungen enthält dieser Text nicht. Er verweist für Einzelheiten auf verlinkte Blogbeiträge und Arbeiten. Außerdem kündigt OpenAI einen Teil des Einführungscurriculums als Open Source an und empfiehlt das Lernmaterial „Spinning Up in Deep RL“. Die im Bericht erwähnte Bewerbungsrunde für Winter 2019 war bereits geschlossen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde vor allem die mittlere Zusammenfassung; sie gibt die Projekte im Wesentlichen korrekt wieder, enthält aber die eine Umdeutung zu Rechenaufwand. Die kurze Zusammenfassung ist ebenfalls sachlich zutreffend, bleibt jedoch allgemein. Die Einordnung von Luna führt Stufen und Anteile an, die hier nicht übernommen wurden, da die Bewertung unabhängig erfolgt. Teilfragen gab es nicht, daher entfällt diese Prüfung.
Im Bericht, aber nicht in der Zusammenfassung
- Wohin die Fellows danach gehen (u. a. Facebook AI Research, Google Research/Brain, OpenAI-Teams für Safety, Algorithmen und Games)
- Dass mehrere Fellows als Vollzeitmitglieder des technischen Teams zu OpenAI wechseln sollen
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Formulierung „Rechenaufwand und Trainingszeit“: Der Bericht beschreibt eine vorhersagbare Abhängigkeit zwischen Erfahrungsmenge (experience) und der Trainingszeit für einen Zielwert, nicht zwischen Rechenaufwand und Trainingszeit.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %nur am Rande erwähnt
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv