Procgen and MineRL Competitions
Zusammenfassung
Kurz
OpenAI beschreibt zwei für NeurIPS 2020 angekündigte Wettbewerbe: Procgen prüft Stichprobeneffizienz und Generalisierung über vielfältige, teils geheime Umgebungen; MineRL soll das Lernen aus menschlichen Demonstrationen fördern. Beim MineRL-Ziel, in Minecraft einen Diamanten zu gewinnen, gelten enge Trainingsgrenzen. Der Bericht nennt Erwartungen und Wettbewerbsregeln, aber keine Ergebnisse für 2020.
Mittel
OpenAI kündigt gemeinsam mit AIcrowd, Carnegie Mellon und DeepMind zwei Wettbewerbe für NeurIPS 2020 an. Beim Procgen-Wettbewerb sollen Agenten mit einer begrenzten Zahl von Simulatorinteraktionen in 16 öffentlichen und vier geheimen Umgebungen möglichst gut abschneiden. Da die Umgebungen prozedural erzeugt werden, soll der Wettbewerb auch die Fähigkeit testen, auf neue Situationen zu verallgemeinern. OpenAI beschreibt Procgen zudem als schnell und einfach nutzbar, auch für Teams mit wenig Rechenleistung.
Der MineRL-Wettbewerb soll Verfahren fördern, die menschliche Demonstrationen nutzen, um Simulatorinteraktionen einzusparen. Ziel ist, in Minecraft aus Rohbildern einen Diamanten zu gewinnen – mit höchstens acht Millionen Simulatorbeispielen und vier Tagen Training auf einer einzelnen GPU-Maschine. Dafür wird ein Datensatz mit über 60 Millionen Bildern menschlicher Demonstrationen bereitgestellt. Als Vorleistung nennt der Bericht den MineRL-Wettbewerb 2019, bei dem das beste Team eine Eisenspitzhacke erreichte. Für 2020 werden strenge Nachtrainierungsregeln und ein Maß gegen manuelles Feature-Design und Überanpassung angekündigt; Details und Ergebnisse des neuen Wettbewerbs enthält der Text nicht.
Ausführlich lesen
OpenAI kündigt an, gemeinsam mit AIcrowd, der Carnegie Mellon University und DeepMind zwei Wettbewerbe für NeurIPS 2020 auszurichten: einen mit Procgen und einen mit MineRL. OpenAI erklärt, diese Umgebungen auch intern für Reinforcement-Learning-Forschung zu nutzen.
Der Procgen-Wettbewerb soll die Stichprobeneffizienz und die Generalisierung von Lernverfahren verbessern. Die Teilnehmenden sollen mit einer festgelegten Zahl von Interaktionen mit der Umgebung möglichst leistungsfähige Agenten entwickeln. Bewertet werden sie in den 16 bereits veröffentlichten Procgen-Umgebungen sowie in vier eigens für den Wettbewerb erstellten, geheimen Testumgebungen. Laut Bericht soll die Bewertung über viele unterschiedliche Umgebungen aussagekräftige Kennzahlen für die zugrunde liegenden Algorithmen liefern. Weil die Inhalte prozedural erzeugt werden, müssen Agenten laut OpenAI auf neue, zuvor nicht gesehene Situationen reagieren. Die Umgebungen seien außerdem schnell und einfach zu nutzen; dadurch sollten auch Teilnehmende mit begrenzten Rechenressourcen Baselines reproduzieren und neue Ansätze erproben können.
Der MineRL-Wettbewerb richtet sich auf Verfahren, die menschliche Demonstrationen nutzen, um den Bedarf an Simulatorinteraktionen zu senken. Der Bericht begründet diesen Schwerpunkt damit, dass jüngste Erfolge des Deep Reinforcement Learning nach Darstellung der Autoren stark steigende Rechenleistung und viele Simulationsbeispiele erfordert hätten. Für den Wettbewerb sollen die Teams aus Rohbildern in Minecraft einen Diamanten gewinnen. Dafür stehen ihnen höchstens acht Millionen MineRL-Simulatorbeispiele und vier Trainingstage auf einer einzelnen GPU-Maschine zur Verfügung. Als Hilfsmittel wird der MineRL-v0-Datensatz mit mehr als 60 Millionen Bildern menschlicher Demonstrationen genannt.
Als Vorgeschichte verweist der Bericht auf den MineRL-Wettbewerb von 2019: Das beste Team habe unter einem stark begrenzten Rechen- und Interaktionsbudget eine Eisenspitzhacke hergestellt, die dort als vorletztes Ziel galt. OpenAI vergleicht dies mit Standardverfahren, die für dasselbe Ziel Hunderte Millionen Umgebungsinteraktionen und große Systeme mit mehreren GPUs benötigten. Für 2020 erwartet der Bericht weitere Fortschritte; Ergebnisse des neuen Wettbewerbs werden hier jedoch nicht berichtet.
Zur Überprüfung der Stichprobeneffizienz sollen die Organisatoren die finalen Modelle des bestplatzierten Teams der letzten Runde unter strengen Hardware-, Rechen- und Interaktionsgrenzen von Grund auf neu trainieren. Außerdem kündigt der Text ein neuartiges Maß gegen manuell entworfene Merkmale und überangepasste Lösungen an, erklärt dessen konkrete Ausgestaltung aber nicht. Auch die Details der einzelnen Wettbewerbsrunden werden lediglich über externe Seiten angekündigt und sind im vorliegenden Bericht nicht ausgeführt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas beide Zusammenfassungen sind inhaltlich treu und enthalten keine erfundenen Angaben. Die Einordnung stützt sich nur auf den Bericht; Luna lag bei SF-H3 und SF-V3 zu hoch, bei SF-E4 ebenfalls, da der Bericht die Frage nicht beantwortet. Die von Luna genannten Anteilswerte (30 %, 60 %, 52 %) sind im Bericht nicht begründet und wurden nicht übernommen. Teilfragen gab es nicht.
Im Bericht, aber nicht in der Zusammenfassung
- Motivation: KI-Erfolge erfordern exponentiell wachsenden Rechenaufwand und Simulatorproben, weshalb viele Systeme schwer auf reale Probleme mit teuren Umgebungsstichproben übertragbar sind
- Menschliche Demonstrationen gelten als etablierter Weg, den Stichprobenbedarf zu senken; Standard-RL braucht sonst Hunderte Millionen Interaktionen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 50 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 34 %gleiches Oberthema, hilft nicht
- JEV 34 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 60 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 30 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 42 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv