Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai3. Dezember 2019 · Q007757

Procgen Benchmark

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI stellt Procgen als Benchmark mit 16 prozedural erzeugten RL-Umgebungen vor, der Generalisierung und Stichprobeneffizienz messen soll. Laut den berichteten Experimenten überanpassten Agenten bei kleinen Trainingsmengen häufig; vielfältige Level und getrennte Tests mit unbekannten Leveln machten Schwächen sichtbar, wobei der vorliegende Text keine konkreten Diagrammwerte enthält.

Mittel

Der Bericht stellt Procgen vor, einen Benchmark mit 16 prozedural erzeugten Umgebungen zur Messung von Stichprobeneffizienz und Generalisierung im Reinforcement Learning. Die Autoren wollen damit prüfen, ob Agenten robuste Fähigkeiten lernen oder lediglich bekannte Level und Abläufe wiederholen. Dafür lassen sich getrennte Trainings- und Testlevel erzeugen. Die Umgebungen sind laut OpenAI auf Vielfalt, schnelle Auswertung, zwei Schwierigkeitsstufen und visuelle Erkennung mit motorischer Steuerung ausgelegt.

In einer Studie trainierten die Autoren PPO-Agenten jeweils 200 Millionen Zeitschritte auf Trainingsmengen von 100 bis 100.000 Leveln und prüften sie auf unbekannten Leveln. OpenAI berichtet von starker Überanpassung bei kleinen Trainingsmengen; in manchen Fällen seien bis zu 10.000 Level nötig gewesen, um die Lücke zur Testleistung zu schließen. Eine weitere Untersuchung ergab laut Bericht, dass zufällige Levelreihenfolgen beim Test eine große Lücke zur Leistung auf festen Trainingsfolgen sichtbar machten. Die Autoren vermuten, dass Vielfalt auch das Lernen innerhalb der Trainingsmenge fördern kann. Konkrete Diagrammwerte sind im vorliegenden Text nicht enthalten, daher bleiben die Ergebnisse qualitativ.

Ausführlich lesen

Der Bericht stellt den Procgen Benchmark vor: eine Sammlung von 16 prozedural erzeugten Umgebungen, mit denen sich untersuchen lässt, wie effizient Reinforcement-Learning-Agenten lernen und wie gut sie auf bisher unbekannte Level übertragen. OpenAI zufolge lassen sich die Umgebungen einfach nutzen und schnell auswerten. Die Autoren berichten, dass ihre Agenten in allen Umgebungen auf 500 bis 1.000 verschiedenen Leveln trainiert werden mussten, bevor sie auf neuen Leveln generalisieren konnten. Daraus leiten sie ab, dass gängige RL-Benchmarks mehr Vielfalt innerhalb einzelner Umgebungen benötigen.

Als Motivation beschreibt der Bericht das Risiko, dass Agenten selbst große Trainingsmengen überanpassen und bestimmte Abläufe eher auswendig lernen, statt robuste Fähigkeiten zu entwickeln. CoinRun habe dieses Problem mit getrennten Trainings- und Testleveln messbar gemacht, sei aber nur eine einzelne Umgebung. Procgen soll die Vorteile prozeduraler Level mit mehreren unterschiedlichen Umgebungen verbinden. Die Autoren wollen zugleich Vielfalt innerhalb und zwischen Umgebungen sowie praktische Bedingungen für schnelle Experimente bieten.

Die 16 Umgebungen sollen sowohl Generalisierung als auch Stichprobeneffizienz prüfen. Ihre Gestaltung folgt vier Prinzipien: große Vielfalt bei der Levelerzeugung, schnelle Auswertung, einstellbarer Schwierigkeitsgrad und ein Schwerpunkt auf visueller Erkennung sowie motorischer Steuerung. Laut Bericht können sie auf einem CPU-Kern Tausende Schritte pro Sekunde erreichen. Die Schwierigkeit ist auf deutliche Fortschritte von Basisagenten nach 200 Millionen Zeitschritten kalibriert. Es gibt einen einfachen und einen schwierigen Modus; der einfache benötige ungefähr ein Achtel der Trainingsressourcen. Die berichteten Ergebnisse beziehen sich auf den schwierigen Modus.

Für eine Untersuchung trainierten die Autoren mit Proximal Policy Optimization in jeder Umgebung jeweils 200 Millionen Zeitschritte lang. Die Trainingsmengen umfassten zwischen 100 und 100.000 Leveln; bewertet wurde auf ungesehenen Testleveln. OpenAI berichtet, dass Agenten bei kleinen Trainingsmengen in fast allen Umgebungen stark überanpassten. In manchen Fällen seien bis zu 10.000 Level nötig gewesen, um die Lücke zwischen Training und Test zu schließen. In mehreren Umgebungen sei außerdem die Trainingsleistung ab einem bestimmten Umfang mit wachsender Trainingsmenge gestiegen. Die Autoren vermuten, dass vielfältigere Level eine implizite Lernprogression schaffen und Generalisierung auch zwischen Trainingsleveln fördern. Das ist im Bericht als Erklärung, nicht als gesicherter Mechanismus dargestellt.

Eine weitere Untersuchung veränderte beim Test die Reihenfolge der Level, sodass sie zufällig statt deterministisch gewählt wurden. Laut Bericht wirkten Agenten auf den ersten Trainingsleveln in den meisten Spielen kompetent, während die Testleistung zeigte, dass sie die zugrunde liegende Levelverteilung kaum gelernt hatten. Die Autoren sehen darin einen Hinweis auf eine erhebliche Schwäche beim Training mit festen Levelabfolgen und betonen die Bedeutung vielfältiger Umgebungsverteilungen für Training und Bewertung.

Die Quelle liefert hier keine konkreten Zahlenwerte aus den dargestellten Diagrammen; die Ergebnisse sind daher nur in der beschriebenen qualitativen Form zusammenfassbar. Der Bericht ist eine Vorstellung des Benchmarks und der darin berichteten Experimente, keine umfassende Auswertung sämtlicher möglicher RL-Verfahren. Die Autoren erwarten, dass Erkenntnisse daraus auch für komplexere Aufgaben nützlich sein könnten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas zwei Zusammenfassungen wurden gemeinsam geprüft; beide sind inhaltlich treu, die mittlere ist vollständiger und dient als Hauptmaßstab. Die Einordnung je Frage erfolgte unabhängig von Lunas Stufen und Anteilen. Lunas Liste der Teilfragen ist leer, daher gibt es dort nichts zu bewerten.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Aussage, dass alle Procgen-Umgebungen 500 bis 1000 verschiedene Level zum Verallgemeinern brauchen, was auf zu geringe Vielfalt in Standard-Benchmarks hindeutet
  • Die Einordnung von Procgen als Standardplattform des OpenAI-RL-Teams und die Ausrichtung auf Gemeinschaftsforschung
  • Die Angabe, dass die Trainingsleistung ab einer Schwelle mit wachsender Levelmenge steigt, was Trends des überwachten Lernens widerspricht
  • Die Herleitung aus Retro Contest und CoinRun, mit der die Generalisierungsproblematik motiviert wird
  • Die Designprinzipien: schnelle Auswertung mit tausenden Schritten pro Sekunde auf einem CPU-Kern und eine leichtere Schwierigkeitsstufe mit etwa einem Achtel des Rechenaufwands

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 43 %einzelne zitierbare Belege
    • JEV 42 %umfangreiche Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 53 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →