Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai20. Juni 2020 · Q008837

Procgen and MineRL Competitions

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI beschreibt zwei für NeurIPS 2020 angekündigte Wettbewerbe: Procgen prüft Stichprobeneffizienz und Generalisierung über vielfältige, teils geheime Umgebungen; MineRL soll das Lernen aus menschlichen Demonstrationen fördern. Beim MineRL-Ziel, in Minecraft einen Diamanten zu gewinnen, gelten enge Trainingsgrenzen. Der Bericht nennt Erwartungen und Wettbewerbsregeln, aber keine Ergebnisse für 2020.

Mittel

OpenAI kündigt gemeinsam mit AIcrowd, Carnegie Mellon und DeepMind zwei Wettbewerbe für NeurIPS 2020 an. Beim Procgen-Wettbewerb sollen Agenten mit einer begrenzten Zahl von Simulatorinteraktionen in 16 öffentlichen und vier geheimen Umgebungen möglichst gut abschneiden. Da die Umgebungen prozedural erzeugt werden, soll der Wettbewerb auch die Fähigkeit testen, auf neue Situationen zu verallgemeinern. OpenAI beschreibt Procgen zudem als schnell und einfach nutzbar, auch für Teams mit wenig Rechenleistung.

Der MineRL-Wettbewerb soll Verfahren fördern, die menschliche Demonstrationen nutzen, um Simulatorinteraktionen einzusparen. Ziel ist, in Minecraft aus Rohbildern einen Diamanten zu gewinnen – mit höchstens acht Millionen Simulatorbeispielen und vier Tagen Training auf einer einzelnen GPU-Maschine. Dafür wird ein Datensatz mit über 60 Millionen Bildern menschlicher Demonstrationen bereitgestellt. Als Vorleistung nennt der Bericht den MineRL-Wettbewerb 2019, bei dem das beste Team eine Eisenspitzhacke erreichte. Für 2020 werden strenge Nachtrainierungsregeln und ein Maß gegen manuelles Feature-Design und Überanpassung angekündigt; Details und Ergebnisse des neuen Wettbewerbs enthält der Text nicht.

Ausführlich lesen

OpenAI kündigt an, gemeinsam mit AIcrowd, der Carnegie Mellon University und DeepMind zwei Wettbewerbe für NeurIPS 2020 auszurichten: einen mit Procgen und einen mit MineRL. OpenAI erklärt, diese Umgebungen auch intern für Reinforcement-Learning-Forschung zu nutzen.

Der Procgen-Wettbewerb soll die Stichprobeneffizienz und die Generalisierung von Lernverfahren verbessern. Die Teilnehmenden sollen mit einer festgelegten Zahl von Interaktionen mit der Umgebung möglichst leistungsfähige Agenten entwickeln. Bewertet werden sie in den 16 bereits veröffentlichten Procgen-Umgebungen sowie in vier eigens für den Wettbewerb erstellten, geheimen Testumgebungen. Laut Bericht soll die Bewertung über viele unterschiedliche Umgebungen aussagekräftige Kennzahlen für die zugrunde liegenden Algorithmen liefern. Weil die Inhalte prozedural erzeugt werden, müssen Agenten laut OpenAI auf neue, zuvor nicht gesehene Situationen reagieren. Die Umgebungen seien außerdem schnell und einfach zu nutzen; dadurch sollten auch Teilnehmende mit begrenzten Rechenressourcen Baselines reproduzieren und neue Ansätze erproben können.

Der MineRL-Wettbewerb richtet sich auf Verfahren, die menschliche Demonstrationen nutzen, um den Bedarf an Simulatorinteraktionen zu senken. Der Bericht begründet diesen Schwerpunkt damit, dass jüngste Erfolge des Deep Reinforcement Learning nach Darstellung der Autoren stark steigende Rechenleistung und viele Simulationsbeispiele erfordert hätten. Für den Wettbewerb sollen die Teams aus Rohbildern in Minecraft einen Diamanten gewinnen. Dafür stehen ihnen höchstens acht Millionen MineRL-Simulatorbeispiele und vier Trainingstage auf einer einzelnen GPU-Maschine zur Verfügung. Als Hilfsmittel wird der MineRL-v0-Datensatz mit mehr als 60 Millionen Bildern menschlicher Demonstrationen genannt.

Als Vorgeschichte verweist der Bericht auf den MineRL-Wettbewerb von 2019: Das beste Team habe unter einem stark begrenzten Rechen- und Interaktionsbudget eine Eisenspitzhacke hergestellt, die dort als vorletztes Ziel galt. OpenAI vergleicht dies mit Standardverfahren, die für dasselbe Ziel Hunderte Millionen Umgebungsinteraktionen und große Systeme mit mehreren GPUs benötigten. Für 2020 erwartet der Bericht weitere Fortschritte; Ergebnisse des neuen Wettbewerbs werden hier jedoch nicht berichtet.

Zur Überprüfung der Stichprobeneffizienz sollen die Organisatoren die finalen Modelle des bestplatzierten Teams der letzten Runde unter strengen Hardware-, Rechen- und Interaktionsgrenzen von Grund auf neu trainieren. Außerdem kündigt der Text ein neuartiges Maß gegen manuell entworfene Merkmale und überangepasste Lösungen an, erklärt dessen konkrete Ausgestaltung aber nicht. Auch die Details der einzelnen Wettbewerbsrunden werden lediglich über externe Seiten angekündigt und sind im vorliegenden Bericht nicht ausgeführt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas beide Zusammenfassungen sind inhaltlich treu und enthalten keine erfundenen Angaben. Die Einordnung stützt sich nur auf den Bericht; Luna lag bei SF-H3 und SF-V3 zu hoch, bei SF-E4 ebenfalls, da der Bericht die Frage nicht beantwortet. Die von Luna genannten Anteilswerte (30 %, 60 %, 52 %) sind im Bericht nicht begründet und wurden nicht übernommen. Teilfragen gab es nicht.

Im Bericht, aber nicht in der Zusammenfassung

  • Motivation: KI-Erfolge erfordern exponentiell wachsenden Rechenaufwand und Simulatorproben, weshalb viele Systeme schwer auf reale Probleme mit teuren Umgebungsstichproben übertragbar sind
  • Menschliche Demonstrationen gelten als etablierter Weg, den Stichprobenbedarf zu senken; Standard-RL braucht sonst Hunderte Millionen Interaktionen

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 34 %gleiches Oberthema, hilft nicht
    • JEV 34 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 27 %gleiches Oberthema, hilft nicht
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 60 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 30 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →