Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai22. Juni 2018 · Q008511

Retro Contest: Results

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Beim ersten zweimonatigen OpenAI Retro Contest gewann Dharmaraja mit 4.692 Punkten vor mistake und aborg; die besten Teams passten laut Bericht bestehende Verfahren wie PPO und Rainbow an. Die Veranstalter prüften die Spitzenlösungen zusätzlich auf elf anderen Sonic-Leveln, doch der beste Wert blieb unter der theoretischen Höchstpunktzahl von 10.000.

Mittel

Der Bericht fasst den ersten zweimonatigen OpenAI Retro Contest zusammen, der untersuchen sollte, wie Algorithmen aus früheren Erfahrungen lernen und verallgemeinern. 923 Teams registrierten sich, 229 reichten Lösungen ein. Die Veranstalter bewerteten die zehn führenden Teams nach Wettbewerbsende zusätzlich auf elf andere Sonic-Level, jeweils in drei Durchläufen mit verschiedenen Zufallsstartwerten, um eine Überanpassung an die Ranglistentests zu begrenzen.

Dharmaraja gewann mit 4.692 Punkten; mistake und aborg folgten mit 4.446 und 4.430. Laut Bericht beruhten die besten Ergebnisse auf abgestimmten oder erweiterten Varianten vorhandener Verfahren: Dharmaraja und aborg verwendeten PPO mit vortrainierten Netzwerken, mistake eine von Grund auf trainierte Rainbow-Variante. Der Höchstwert blieb deutlich unter dem theoretischen Maximum von 10.000. OpenAI sieht darin einen Beleg für die Eignung des Benchmarks und betont Transferlernen sowie die Bedeutung der Hyperparameter. Diese Einschätzungen stammen von den Veranstaltern; der Bericht beschreibt außerdem ausgezeichnete Aufsätze und Hilfsbeiträge und kündigt eine weitere Wettbewerbsrunde an.

Ausführlich lesen

Der Bericht zieht Bilanz über den ersten zweimonatigen OpenAI Retro Contest. Untersucht werden sollte, wie Algorithmen aus früheren Erfahrungen lernen und auf neue Situationen übertragen können. Nach Darstellung der Veranstalter erzielten die besten Teams ihre Ergebnisse durch Anpassungen oder Erweiterungen bestehender Verfahren, vor allem PPO und Rainbow. Der Spitzenwert lag bei 4.692 Punkten gegenüber einem theoretischen Maximum von 10.000. OpenAI wertet dies als Hinweis darauf, dass der Sonic-Benchmark ein geeignetes Problem für die Forschungsgemeinschaft sei: Die besten Lösungen seien allgemeine maschinelle Lernverfahren gewesen und keine speziell auf den Wettbewerb zugeschnittenen Tricks. Zugleich räumt der Bericht ein, dass noch viel Leistungsspielraum bestand.

923 Teams registrierten sich, 229 reichten Lösungen für die Rangliste ein. Das automatische System prüfte insgesamt 4.448 Einreichungen. Während des Wettbewerbs wurden die Ergebnisse auf fünf eigens erstellten, qualitativ einfachen Testleveln bewertet; Teilnehmende sahen dazu Punktzahlen und Videos. Da diese Rückmeldungen ein Anpassen an die Ranglistentests ermöglichten, prüften die Veranstalter nach Einsendeschluss die jeweils letzte Einreichung der zehn führenden Teams auf elf andere, von erfahrenen Leveldesignern erstellte Level. Jedes Team wurde auf jedem Level dreimal mit unterschiedlichen Zufallsstartwerten getestet. Die Rangfolge veränderte sich dabei laut Bericht, aber nur geringfügig. Diese Angaben beschreiben das Verfahren und die Einschätzung der Veranstalter; der Bericht liefert keine unabhängige Prüfung dieser Aussage.

Dharmaraja belegte mit 4.692 Punkten den ersten Platz, gefolgt von mistake (4.446) und aborg (4.430). Die PPO-basierte Lösung von Dharmaraja nutzte Farbbilder, einen erweiterten Aktionsraum und eine Belohnung für das Erreichen neuer Bildschirmzustände. Aborg ergänzte PPO unter anderem durch Trainingslevel aus weiteren Sonic-Spielen, eine andere Netzwerkarchitektur und angepasste Lernraten. Mistake baute auf Rainbow auf, änderte unter anderem die n-Schritt-Lernparameter, ergänzte eine CNN-Schicht und passte das Aktualisierungsintervall des DQN-Zielnetzes an. Das Team trainierte laut Bericht von Grund auf und lief im Finale nach zwölf Stunden in ein Zeitlimit; seine dargestellten Lernkurven enden deshalb früher. Die drei führenden Teams erhielten Trophäen.

Der Bericht nennt außerdem ausgezeichnete Wettbewerbsaufsätze und hilfreiche Beiträge für andere Teilnehmende, darunter Anleitungen, Skripte und ein Werkzeug zur Visualisierung von Spielverläufen. OpenAI hebt die Bedeutung von Transferlernen und Hyperparameter-Abstimmung hervor und kündigt einen weiteren Wettbewerb in einigen Monaten an. Ob ungewöhnlichere Ansätze dort erfolgreich sein würden, blieb zum Zeitpunkt des Berichts offen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung wurde als Ganzes bewertet. Die kurze Fassung ist sachlich korrekt, die mittlere Fassung ist im Wesentlichen treu, lässt aber die Stabilität der Rangfolge aus. Die Anteilswerte in Lunas Einordnung wurden nicht geprüft, nur die Stufen. Luna überschätzt die Stufen bei SF-P3 und SF-V3 deutlich und ordnet SF-P3-T03 und SF-P3-T01 zu niedrig bzw. zu hoch ein, verglichen mit dem Bericht.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Rangfolge änderte sich bei der Endauswertung nur wenig, was die Stabilität des Ergebnisses zeigt
  • Die Siegerlösungen waren allgemeine Lernverfahren und keine wettbewerbsspezifischen Tricks, was laut Bericht gegen ein Schummeln spricht
  • Das Ranglisten-Testset bestand aus fünf selbst erstellten Levels und die Teilnehmer erhielten Rückmeldung über Score und Video

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %beantwortet teilweise oder widerspricht
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 50 %einzelne zitierbare Belege
    • JEV 46 %beantwortet teilweise oder widerspricht
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 65 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung kein Bezug
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →