OpenAI Scholars 2020: Final projects
Zusammenfassung
Kurz
Der Bericht fasst sechs Projekte der dritten OpenAI-Scholars-Klasse zusammen, darunter Arbeiten zu GPT-2, GraphQL, Reinforcement Learning, Modellinterpretierbarkeit, Anfallsvorhersage und adversarialen Sprachmodellen. Er nennt einzelne vorläufige Ergebnisse, etwa Verbesserungen durch Temporal Reward Transport in Gridworld-Experimenten, liefert aber meist keine ausführlichen Leistungsdaten oder Angaben zur Übertragbarkeit.
Mittel
Der Bericht stellt sechs Abschlussprojekte der dritten OpenAI-Scholars-Klasse vor, die nach fünf Monaten Arbeit bei einem virtuellen Demo Day präsentiert wurden. Das Programm bietet laut OpenAI Stipendien und Mentoring für Menschen aus unterrepräsentierten Gruppen, die Deep Learning lernen und ein Open-Source-Projekt entwickeln.
Die Projekte untersuchten, wie GPT-2 englische Grammatik repräsentiert, wie englische Fragen in GraphQL-Abfragen übersetzt werden können und wie sich verzögerte Belohnungen im Reinforcement Learning besser zuordnen lassen. Für den Ansatz „Temporal Reward Transport“ berichtet Cathy Yeh von deutlichen Lernverbesserungen in Gridworld-Experimenten in Verbindung mit einem Advantage-Actor-Critic-Verfahren. Weitere Arbeiten entwickelten einen Kennwert zur Interpretierbarkeit eines Coinrun-Modells, untersuchten Anfallsvorhersage aus Gehirnaufzeichnungen mit Spektrogrammen und befassten sich mit adversarialen Störungen in Sprachmodellen.
Der Artikel hebt die technischen Fähigkeiten und Selbstständigkeit der Teilnehmenden hervor. Er ist eine knappe Projektübersicht: Für viele Arbeiten fehlen Leistungsdaten, ausführliche Evaluationsmethoden und Belege zur Übertragbarkeit; bei mehreren Vorhaben werden Ziele oder vorläufige Ergebnisse beschrieben.
Ausführlich lesen
Der Bericht stellt die Abschlussprojekte der dritten Klasse des OpenAI-Scholars-Programms vor, die nach fünf Monaten Arbeit bei einem virtuellen Demo Day präsentiert wurden. Das Programm unterstützt laut Bericht Menschen aus unterrepräsentierten Gruppen mit Stipendien und Mentoring dabei, Deep Learning zu lernen und ein Projekt als Open Source bereitzustellen. OpenAI beschreibt die Teilnehmenden als relative Neueinsteigerinnen und Neueinsteiger im maschinellen Lernen, die technische Fähigkeiten und Selbstständigkeit gezeigt hätten. Daraus leitet der Bericht die Hoffnung ab, ihre Fortschritte könnten die Zugänglichkeit des Fachgebiets veranschaulichen.
Die sechs vorgestellten Arbeiten behandeln unterschiedliche Forschungs- und Anwendungsfragen. Alethea Power untersuchte, wie GPT-2 englische Grammatik repräsentiert. Sie berichtet, kleinere Teilnetze gefunden zu haben, die verschiedenen grammatischen Strukturen zu entsprechen scheinen. Andre Carerra entwickelte ein Vorhaben zur Übersetzung englischer Fragen in GraphQL-Abfragen. Dazu gehörten laut Beschreibung der Aufbau eines Datensatzes, das Trainieren von Modellen und ein Werkzeug, mit dem sich die Ergebnisse betrachten lassen; konkrete Kennzahlen oder eine Bewertung der Übersetzungsqualität nennt der Bericht nicht.
Cathy Yeh befasste sich mit langfristiger Zuordnung von Handlung und Ergebnis im Reinforcement Learning, wenn Belohnungen selten und zeitlich verzögert sind. Ihr Ansatz, „Temporal Reward Transport“, ergänzt unmittelbare Belohnungen um solche aus der ferneren Zukunft. Ein Aufmerksamkeitsmechanismus soll dafür geeignete Zustands-Aktions-Paare auswählen. In einer Reihe von Gridworld-Experimenten habe der Ansatz in Kombination mit einem Advantage-Actor-Critic-Verfahren deutliche Lernverbesserungen gezeigt. Angaben zu Umfang, Vergleichsmaßstäben oder Übertragbarkeit dieser Experimente fehlen.
Jorge Orbay wollte die Interpretierbarkeit eines mit Procgen-Coinrun trainierten A2C-Modells durch einen einzelnen Kennwert erfassen. Dieser wird laut Bericht aus Modellattributionen und Masken für Spielobjekte gebildet und dient dazu, die Gültigkeit der Diversitätshypothese zu untersuchen. Der Artikel berichtet hier weder einen abschließenden Wert noch ein Ergebnis dieses Hypothesentests. Kata Slama formulierte die Vorhersage epileptischer Anfälle anhand von Gehirnaufzeichnungen als Bildklassifikation über Spektrogramme. Ihr bislang erfolgreichstes Modell sei ResNet18 gewesen; sie kündigte an, das Projekt weiterzuführen und die Interpretierbarkeit solcher Spektrogramm-Klassifikatoren zu untersuchen. Der Bericht nennt keine Leistungswerte oder klinische Validierung.
Pamela Mishkin widmete sich universellen adversarialen Störungen und Sprachmodellen. Ihre Präsentation sollte Forschung zu universellen adversarialen Beispielen für generative Modelle zusammenfassen und Ergebnisse zu universellen Triggern für GPT-2 sowie Angriffen auf NLI-Modelle reproduzieren. Der Text liefert keine Einzelheiten zu Reproduktionsresultaten. Insgesamt ist der Beitrag eine Projektübersicht mit kurzen Selbstbeschreibungen und persönlichen Lernerfahrungen, kein vergleichender Forschungsbericht: Er dokumentiert Methoden und einzelne berichtete Resultate, enthält aber nur begrenzt Daten, Evaluationsdetails und Aussagen zur Verallgemeinerbarkeit. Abschließend dankt OpenAI den Mentorinnen und Mentoren, Unterstützenden und Microsoft für Azure-Rechenguthaben und kündigt weitere Informationen zur nächsten Klasse für den Herbst an.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Liste der Teilfragen ist leer, daher wurden nur die drei Sammelfragen bewertet. Die Zusammenfassungen geben die sechs Projekte korrekt wieder; die Bewertung fehlender Leistungsdaten ist eine nicht belegte Einschätzung von Luna.
Im Bericht, aber nicht in der Zusammenfassung
- Microsoft stellt den Scholars Azure-Rechenguthaben bereit.
- Die nächste Klasse und das Bewerbungsverfahren sollen im Herbst angekündigt werden.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, dass für viele Arbeiten Leistungsdaten, ausführliche Evaluationsmethoden und Belege zur Übertragbarkeit fehlen, ist eine eigene Bewertung und steht so nicht im Bericht.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %nur am Rande erwähnt
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %nur am Rande erwähnt
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %Hintergrund, keine Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 45 %nur am Rande erwähnt
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv