Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai11. Oktober 2017 · Q009052

Competitive self-play

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht schildert, wie simulierte Roboter durch Selbstspiel und einfache Wettkampfziele Fähigkeiten wie Ausweichen, Täuschen und Fangen entwickelten. Er berichtet außerdem von einem Transfer auf unbekannte Windkräfte und beschreibt vielfältige Gegner als Mittel gegen Überanpassung; für den Windversuch nennt er keine quantitativen Messwerte.

Mittel

Der Bericht beschreibt Wettkämpfe zwischen simulierten 3D-Robotern mit einfachen Zielen, etwa einen Gegner aus einem Sumo-Ring zu drängen oder einen Ball ins Tor zu bringen. Die Agenten wurden zunächst für hilfreiches Erkundungsverhalten belohnt; diese Zusatzbelohnungen wurden schrittweise abgebaut, sodass schließlich vor allem Sieg oder Niederlage zählten. Laut den Autoren entwickelten sich dabei Fähigkeiten wie Ausweichen, Täuschen, Tackling und Fangen, ohne dass sie eigens programmiert worden waren. Die Strategien wurden unabhängig mit Proximal Policy Optimization trainiert.

Als Beispiel für Übertragung auf neue Situationen berichtet der Text, ein im Sumo-Selbstspiel trainierter Agent habe unbekannten Windkräften standgehalten; ein klassisch trainierter Geh-Agent sei dagegen umgefallen. Der Bericht nennt Überanpassung an einzelne Gegner als Problem. Begegnungen mit mehreren parallel trainierten und früheren Gegnern sollten allgemeinere Strategien fördern. Die Autoren sehen Selbstspiel als wichtigen Baustein künftiger KI und verweisen auch auf ihr Dota-2-Projekt. Der Windversuch wird als Einzelfall dargestellt; quantitative Messwerte werden im Bericht nicht genannt.

Ausführlich lesen

Der Bericht beschreibt Experimente, in denen simulierte 3D-Roboter durch Wettkämpfe gegeneinander körperliche Fähigkeiten entwickelten. Die Aufgaben waren einfach formuliert: etwa einen Gegner aus einem Sumo-Ring zu drängen, den Ring zu überqueren oder einen Ball ins Tor zu bringen beziehungsweise den Gegenspieler daran zu hindern. Die Forschenden berichten, dass dabei Verhaltensweisen wie Tackling, Ausweichen, Täuschen, Kicken, Fangen und Hechtsprünge zum Ball entstanden, ohne dass diese Fähigkeiten eigens als Teil der Aufgaben vorgegeben wurden.

Zu Beginn erhielten die Agenten zusätzliche, dichte Belohnungen für Erkundungsverhalten, beispielsweise Aufstehen und Vorwärtsgehen. Diese Belohnungen wurden im Lauf des Trainings schrittweise auf null reduziert; anschließend zählte vor allem, ob der Agent gewann oder verlor. Die neuronalen Strategien der Agenten wurden unabhängig voneinander mit Proximal Policy Optimization trainiert. Am Sumo-Beispiel erläutert der Bericht die Konstruktion der anfänglichen Belohnung: Ausgangspunkt war eine frühere Belohnung zum Erlernen des Gehens; der Geschwindigkeitsanteil wurde entfernt und die Entfernung zur Ringmitte negativ berücksichtigt. Diese Hilfe diente zunächst der Erkundung und wurde später zugunsten des Wettkampfziels zurückgefahren.

Als Vorteil von Selbstspiel nennt der Bericht, dass die Schwierigkeit durch Begegnungen mit zunehmend besseren Versionen des eigenen Systems mitwachsen könne. Dadurch könnten Agenten ihre Leistung über viele Trainingsrunden selbst weiterentwickeln. Die Autoren verweisen als weiteres Beispiel auf ihr Dota-2-Projekt, in dem ein durch Selbstspiel trainierter Agent laut Bericht menschliche Spitzenkräfte in einer Solo-Variante des Spiels schlagen konnte.

Der Bericht führt außerdem einen Transferfall an: Ein im Sumo-Selbstspiel trainierter Agent konnte sich laut Darstellung aufrecht halten, wenn er anschließend unbekannten, wechselnden „Wind“-Kräften ausgesetzt wurde, obwohl er diese Umgebung und die Kräfte zuvor nicht erlebt hatte. Vergleichsweise trainierte Geh-Agenten seien dabei sofort umgefallen. Das ist ein einzelner beschriebener Vergleich; der Text nennt dafür keine quantitativen Messwerte.

Als Schwierigkeit wird Überanpassung an bestimmte Gegner beschrieben: Agenten konnten Strategien entwickeln, die genau auf einzelne Gegenspieler zugeschnitten waren und gegen andere versagten. Dagegen wurden sie gegen mehrere Gegner aus einer Mischung parallel trainierter und früherer Strategien antreten gelassen. Der Bericht folgert, dass die Vielfalt allgemeinere Strategien erforderte. Er vertritt die Einschätzung, Selbstspiel werde ein wichtiger Bestandteil leistungsfähiger KI-Systeme sein, und kündigt die Veröffentlichung der verwendeten MuJoCo-Umgebungen und trainierten Strategien für weitere Experimente an.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Es gibt zwei Zusammenfassungen von Luna. Bewertet wurde die mittlere, weil sie den Inhalt vollständiger wiedergibt. Die kurze Fassung ist ebenfalls treu, lässt aber das Sumo-Selbstspiel, PPO und die Vorgehensweise weitgehend weg.

Im Bericht, aber nicht in der Zusammenfassung

  • Veröffentlichung der MuJoCo-Umgebungen und der trainierten Policies
  • Die Sumo-Belohnung stammt aus einer früheren Gehstudie: Geschwindigkeitsterm entfernt, negativer L2-Abstand zur Ringmitte ergänzt
  • Die Aussage, dass von Menschen gestellte Aufgaben die Komplexität des Verhaltens begrenzen, während Selbstspiel mit vielen Iterationen darüber hinausgehen kann
  • Der Dota-2-Agent schlug im Solo-Modus Spitzenspieler

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 52 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 48 %einzelne zitierbare Belege
    • JEV 41 %beantwortet teilweise oder widerspricht
    • amos 26 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 65 %einzelne zitierbare Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 47 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 50 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 54 %einzelne zitierbare Belege
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 46 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →