Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai24. März 2017 · Q008326

Evolution strategies as a scalable alternative to reinforcement learning

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht behauptet, Evolution Strategies könnten auf untersuchten Atari- und MuJoCo-Aufgaben mit RL konkurrieren und sich besonders gut über viele CPU-Kerne skalieren lassen. ES ist laut Autoren weniger daten-effizient und benötigt wirksame Parameterstörungen; für überwachtes Lernen sei es kein entsprechender Ersatz und könne deutlich langsamer sein.

Mittel

Der OpenAI-Bericht von 2017 stellt Evolution Strategies (ES) als skalierbare Alternative zu Reinforcement Learning (RL) für Aufgaben wie Atari und MuJoCo vor. Die Autoren berichten, ES erreiche auf diesen Benchmarks vergleichbare Leistungen und sei einfacher zu implementieren sowie über Rechner zu verteilen. ES verändert viele leicht verrauschte Varianten der Policy-Parameter, bewertet sie anhand ihrer Belohnungen und leitet daraus eine Verbesserungsrichtung ab. Anders als übliche RL-Verfahren benötigt es laut Bericht keine Backpropagation und kann mit deterministischen Policies arbeiten.

In den beschriebenen Vergleichen erreicht ES TRPO bei MuJoCo, ist beim Lernen aus Umgebungszuständen aber weniger effizient und übertrifft RL nicht in jedem Fall. Die Autoren berichten von zehn Minuten Trainingszeit für einen humanoiden Läufer mit 1.440 CPU-Kernen gegenüber etwa zehn Stunden für A3C auf 32 Kernen. Für Atari nennen sie eine Stunde auf 720 Kernen gegenüber einem Tag auf 32 Kernen für A3C.

Als Einschränkung nennen sie, dass Parameterrauschen unterschiedliche Ergebnisse erzeugen muss; bei Montezuma’s Revenge erschwert dies das Erreichen des Schlüssels. Die Befunde gelten zudem nicht unmittelbar für überwachtes Lernen: Bei MNIST war ES in vorläufigen Versuchen bis zu tausendmal langsamer als Backpropagation. Der Bericht belegt daher keine allgemeine Überlegenheit, sondern argumentiert für ES in bestimmten RL-Szenarien.

Ausführlich lesen

Der OpenAI-Bericht von 2017 untersucht Evolution Strategies (ES) als Alternative zu herkömmlichen Reinforcement-Learning-Verfahren (RL) bei Aufgaben wie Atari-Spielen und MuJoCo-Steuerung. Die Autoren behaupten, ES erreiche auf diesen Benchmarks vergleichbare Leistungen und lasse sich einfacher implementieren und stärker über viele Rechner verteilen. Sie betonen, dass „Evolution“ hier kaum biologische Evolution meint, sondern eine Klasse stochastischer Black-Box-Optimierungsverfahren.

Der Bericht stellt zunächst den üblichen RL-Ablauf dar: Eine meist neuronale Policy interagiert mit einer Umgebung, sammelt Episoden und erhält anhand ihrer Aktionen und Belohnungen Parameterupdates, die durch Backpropagation berechnet werden. Dabei wird Exploration durch Zufall in den Aktionen erzeugt. ES behandelt die Policy dagegen als Funktion ihrer Parameter: Ausgehend von einem Parametervektor werden viele Varianten erzeugt, indem gaußsches Rauschen auf die Parameter gegeben wird. Jede Variante wird in der Umgebung bewertet; aus den Belohnungen wird eine geschätzte Verbesserungsrichtung abgeleitet. Die Autoren beschreiben das Verfahren auch als Schätzung des Gradienten der erwarteten Belohnung mittels zufälliger endlicher Differenzen und ordnen es mathematisch mit Policy Gradients beziehungsweise REINFORCE ein.

Als Vorteile nennt der Bericht, dass ES nur Vorwärtsläufe benötige, keine Episodendaten für spätere Updates speichern müsse und auch mit nicht differenzierbaren Policies arbeiten könne. Weil die Worker anhand kontrollierter Zufallszahlen Perturbationen rekonstruieren können, müssten sie laut Autoren im Wesentlichen nur Belohnungswerte austauschen. Zudem könne ES mit deterministischen Policies strukturierte Exploration ermöglichen und sei bei langen Episoden oder schwachen Wertfunktionsschätzungen attraktiv. Die Autoren berichten von annähernd linearen Beschleunigungen bei Tausenden CPU-Kernen.

Für MuJoCo zeigen die beschriebenen Vergleiche, dass ES TRPO bei der Belohnung erreichen kann, aber nicht in allen Aufgaben übertrifft. Nach Darstellung des Berichts ist ES beim Lernen aus Umgebungszuständen weniger effizient; der Abstand liege höchstens ungefähr bei Faktor zehn. Mit 1.440 CPU-Kernen auf 80 Maschinen sei ein humanoider Läufer in zehn Minuten trainiert worden, verglichen mit etwa zehn Stunden für A3C auf 32 Kernen in einem typischen Aufbau. Für Atari wird vergleichbare Leistung von ES auf 720 Kernen in einer Stunde gegenüber A3C auf 32 Kernen an einem Tag behauptet. Die Autoren räumen ein, dass RL durch weitere algorithmische und technische Arbeit besser skalieren könnte.

Der Bericht nennt auch Grenzen: ES braucht Parameterstörungen, die tatsächlich unterschiedliche Ergebnisse erzeugen; Virtual Batch Normalization könne dabei helfen, doch bessere Parametrisierungen seien noch nötig. Bei Montezuma’s Revenge sei es mit einem zufälligen Netzwerk sehr unwahrscheinlich, den Schlüssel im ersten Level zu erhalten, während dies mit zufälligen Aktionen gelegentlich gelinge. Die Ergebnisse lassen sich laut Autoren nicht direkt auf überwachtes Lernen übertragen: Für MNIST sei ES in vorläufigen Versuchen bis zu tausendmal langsamer als Backpropagation gewesen. Die Aussagen beziehen sich somit auf die untersuchten RL-Aufgaben und Versuchsanordnungen, nicht auf eine allgemeine Überlegenheit von ES.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen (kurz und mittel); beide wurden geprüft und das Urteil bezieht sich auf beide. Die mittlere Fassung ist sachlich genauer. Die Sammelfragen zu KI-Governance werden vom Bericht nicht beantwortet; Teilfragen waren nicht angegeben. Lunas Stufen und Anteile wurden nicht übernommen.

Im Bericht, aber nicht in der Zusammenfassung

  • Robustheit gegenüber Frame-Skip und Vorteil bei spärlichen Belohnungen fehlen in beiden Fassungen
  • Weniger Hyperparameter als Vorteil gegenüber RL fehlt in beiden Fassungen
  • Virtual Batchnorm als Hilfsmittel gegen das Problem des Parameterrauschens fehlt in beiden Fassungen
  • In der kurzen Fassung fehlen die Beschreibung des Verfahrens und die Laufzeitvergleiche (10 Minuten gegenüber 10 Stunden, 1 Stunde gegenüber 1 Tag)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 24 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →