Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai26. Februar 2018 · Q007767

Ingredients for robotics research

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Auszug beschreibt acht simulierte Robotik-Umgebungen für Gym und HER, das Erfahrungen mit rückblickend gewählten Zielen erneut auswertet, damit auch Fehlschläge Lernsignale liefern. Laut OpenAI war HER mit spärlicher Belohnung in den berichteten Versuchen besonders erfolgreich; der Text bricht bei der Ankündigung eines API-Beispiels ab, das nicht enthalten ist.

Mittel

Der bereitgestellte Text ist ein Auszug eines OpenAI-Beitrags über die Veröffentlichung von acht MuJoCo-Umgebungen für Gym, einer Baselines-Implementierung von Hindsight Experience Replay (HER) und Vorschlägen für weitere Forschung. Der Auszug endet bei der Ankündigung eines API-Beispiels; das Beispiel fehlt.

Vier Umgebungen nutzen Fetch, vier ShadowHand. Sie modellieren laut OpenAI anspruchsvolle Robotermanipulation, etwa Pucks oder Boxen zu bewegen. Die Aufgaben verwenden standardmäßig spärliche Belohnungen: −1 bis zum Erreichen des Ziels, dann 0. Zusätzlich gibt es dichte Varianten; OpenAI empfiehlt die spärlichen Belohnungen als realitätsnäher.

HER wertet Erfahrungen nachträglich mit Zielen aus, die tatsächlich erreicht wurden. So kann ein Versuch auch dann Lernsignale liefern, wenn das ursprünglich gewünschte Ziel verfehlt wurde. Im berichteten Vergleich lernte DDPG mit HER und spärlicher Belohnung auf einer Handmanipulationsaufgabe am erfolgreichsten; HER mit dichter Belohnung schnitt schlechter ab, und DDPG ohne HER scheiterte meist. OpenAI gibt an, dass sich dieser Trend in den meisten Umgebungen zeigte. Die Ergebnisse stammen aus den im Beitrag beschriebenen Versuchen; ausführliche Daten werden einem technischen Bericht zugeordnet.

Als offene Fragen nennt der Text unter anderem automatisch gewählte Ersatz-Ziele, weniger verzerrte HER-Verfahren und Verbindungen zu hierarchischem oder On-Policy-Lernen. Die Gym-Schnittstelle stellt gewünschtes und erreichtes Ziel sowie Beobachtung bereit und erlaubt die Neuberechnung der Belohnung bei geänderten Zielen.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug eines OpenAI-Beitrags über neue Werkzeuge für Robotikforschung. Er beschreibt die Veröffentlichung von acht simulierten Umgebungen für Gym, einer Baselines-Implementierung von Hindsight Experience Replay (HER) und mehreren Vorschlägen für weitere Forschung. Der Text bricht nach der Ankündigung eines API-Beispiels ab; das Beispiel selbst ist nicht enthalten.

Die acht Umgebungen nutzen den MuJoCo-Physiksimulator und Modelle realer Roboter: vier basieren auf der Forschungsplattform Fetch und vier auf dem ShadowHand-Roboter. Die Aufgaben betreffen zielgerichtete Manipulation und sollen laut OpenAI anspruchsvoller sein als die damals verfügbaren kontinuierlichen Steuerungsaufgaben in Gym. Als Beispiele nennt der Bericht das Erreichen einer Position, das Schieben eines Pucks oder einer Box sowie das Greifen und Versetzen eines Objekts. Im überlieferten Text sind allerdings nicht alle Umgebungen einzeln beschrieben.

Bei den Aufgaben gibt es jeweils ein gewünschtes Ziel. Standardmäßig verwenden die Umgebungen eine spärliche Belohnung: −1, solange das Ziel nicht innerhalb einer Toleranz erreicht ist, und 0 nach erfolgreichem Erreichen. Eine Variante mit dichter Belohnung ist ebenfalls enthalten. OpenAI hält spärliche Belohnungen für realitätsnäher in der Robotik und empfiehlt deren Verwendung.

HER soll Lernen trotz solcher spärlichen Rückmeldungen ermöglichen. Die Methode nutzt nach Ende einer Episode tatsächlich erreichte Zustände als alternative Ziele und wertet die gesammelten Erfahrungen mit diesen rückblickend gewählten Zielen erneut aus. So kann ein fehlgeschlagener Versuch am ursprünglich gesetzten Ziel dennoch Informationen darüber liefern, wie ein anderes Ziel erreicht wird. HER lässt sich laut Bericht mit Off-Policy-Verfahren wie DDPG kombinieren.

Für eine Handmanipulationsaufgabe vergleicht OpenAI DDPG mit und ohne HER sowie Varianten mit spärlicher und dichter Belohnung. Nach der Darstellung des Beitrags erzielte DDPG plus HER mit spärlicher Belohnung die besten Ergebnisse und lernte eine erfolgreiche Strategie; die dichte HER-Variante schnitt schlechter ab, und DDPG ohne HER lernte überwiegend nicht. Gezeigt werden Median-Erfolgsraten mit Interquartilsbereichen über fünf Zufallsstarts. OpenAI sagt, dieses Muster trete in den meisten Umgebungen auf; ausführliche Ergebnisse verweist der Beitrag auf einen technischen Bericht. Das sind berichtete Versuchsergebnisse und keine unabhängige Bewertung.

Als offene Forschungsfragen nennt der Auszug unter anderem das automatische Erlernen geeigneter Ersatz-Ziele, eine unverzerrte HER-Variante, die Verbindung mit hierarchischem oder On-Policy-Lernen, reichhaltigere Wertfunktionen, schnellere Informationsweitergabe, Mehrschritt-Rückgaben und Kombinationen mit weiteren RL-Verfahren. Für zielbasierte Umgebungen beschreibt der Text außerdem eine Gym-Schnittstelle mit gewünschtem Ziel, erreichtem Ziel und Beobachtung sowie einer abrufbaren Belohnungsfunktion, damit Belohnungen nach Zieländerungen neu berechnet werden können. Da der Auszug vor dem angekündigten Beispiel endet, lässt sich dessen konkrete Umsetzung nicht zusammenfassen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 49 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Tempo und Grenzen
Vertrauen in Modelle
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 22 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Frieden und Sicherheit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →