Ingredients for robotics research
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der Auszug beschreibt acht simulierte Robotik-Umgebungen für Gym und HER, das Erfahrungen mit rückblickend gewählten Zielen erneut auswertet, damit auch Fehlschläge Lernsignale liefern. Laut OpenAI war HER mit spärlicher Belohnung in den berichteten Versuchen besonders erfolgreich; der Text bricht bei der Ankündigung eines API-Beispiels ab, das nicht enthalten ist.
Mittel
Der bereitgestellte Text ist ein Auszug eines OpenAI-Beitrags über die Veröffentlichung von acht MuJoCo-Umgebungen für Gym, einer Baselines-Implementierung von Hindsight Experience Replay (HER) und Vorschlägen für weitere Forschung. Der Auszug endet bei der Ankündigung eines API-Beispiels; das Beispiel fehlt.
Vier Umgebungen nutzen Fetch, vier ShadowHand. Sie modellieren laut OpenAI anspruchsvolle Robotermanipulation, etwa Pucks oder Boxen zu bewegen. Die Aufgaben verwenden standardmäßig spärliche Belohnungen: −1 bis zum Erreichen des Ziels, dann 0. Zusätzlich gibt es dichte Varianten; OpenAI empfiehlt die spärlichen Belohnungen als realitätsnäher.
HER wertet Erfahrungen nachträglich mit Zielen aus, die tatsächlich erreicht wurden. So kann ein Versuch auch dann Lernsignale liefern, wenn das ursprünglich gewünschte Ziel verfehlt wurde. Im berichteten Vergleich lernte DDPG mit HER und spärlicher Belohnung auf einer Handmanipulationsaufgabe am erfolgreichsten; HER mit dichter Belohnung schnitt schlechter ab, und DDPG ohne HER scheiterte meist. OpenAI gibt an, dass sich dieser Trend in den meisten Umgebungen zeigte. Die Ergebnisse stammen aus den im Beitrag beschriebenen Versuchen; ausführliche Daten werden einem technischen Bericht zugeordnet.
Als offene Fragen nennt der Text unter anderem automatisch gewählte Ersatz-Ziele, weniger verzerrte HER-Verfahren und Verbindungen zu hierarchischem oder On-Policy-Lernen. Die Gym-Schnittstelle stellt gewünschtes und erreichtes Ziel sowie Beobachtung bereit und erlaubt die Neuberechnung der Belohnung bei geänderten Zielen.
Ausführlich lesen
Der bereitgestellte Bericht ist ein Auszug eines OpenAI-Beitrags über neue Werkzeuge für Robotikforschung. Er beschreibt die Veröffentlichung von acht simulierten Umgebungen für Gym, einer Baselines-Implementierung von Hindsight Experience Replay (HER) und mehreren Vorschlägen für weitere Forschung. Der Text bricht nach der Ankündigung eines API-Beispiels ab; das Beispiel selbst ist nicht enthalten.
Die acht Umgebungen nutzen den MuJoCo-Physiksimulator und Modelle realer Roboter: vier basieren auf der Forschungsplattform Fetch und vier auf dem ShadowHand-Roboter. Die Aufgaben betreffen zielgerichtete Manipulation und sollen laut OpenAI anspruchsvoller sein als die damals verfügbaren kontinuierlichen Steuerungsaufgaben in Gym. Als Beispiele nennt der Bericht das Erreichen einer Position, das Schieben eines Pucks oder einer Box sowie das Greifen und Versetzen eines Objekts. Im überlieferten Text sind allerdings nicht alle Umgebungen einzeln beschrieben.
Bei den Aufgaben gibt es jeweils ein gewünschtes Ziel. Standardmäßig verwenden die Umgebungen eine spärliche Belohnung: −1, solange das Ziel nicht innerhalb einer Toleranz erreicht ist, und 0 nach erfolgreichem Erreichen. Eine Variante mit dichter Belohnung ist ebenfalls enthalten. OpenAI hält spärliche Belohnungen für realitätsnäher in der Robotik und empfiehlt deren Verwendung.
HER soll Lernen trotz solcher spärlichen Rückmeldungen ermöglichen. Die Methode nutzt nach Ende einer Episode tatsächlich erreichte Zustände als alternative Ziele und wertet die gesammelten Erfahrungen mit diesen rückblickend gewählten Zielen erneut aus. So kann ein fehlgeschlagener Versuch am ursprünglich gesetzten Ziel dennoch Informationen darüber liefern, wie ein anderes Ziel erreicht wird. HER lässt sich laut Bericht mit Off-Policy-Verfahren wie DDPG kombinieren.
Für eine Handmanipulationsaufgabe vergleicht OpenAI DDPG mit und ohne HER sowie Varianten mit spärlicher und dichter Belohnung. Nach der Darstellung des Beitrags erzielte DDPG plus HER mit spärlicher Belohnung die besten Ergebnisse und lernte eine erfolgreiche Strategie; die dichte HER-Variante schnitt schlechter ab, und DDPG ohne HER lernte überwiegend nicht. Gezeigt werden Median-Erfolgsraten mit Interquartilsbereichen über fünf Zufallsstarts. OpenAI sagt, dieses Muster trete in den meisten Umgebungen auf; ausführliche Ergebnisse verweist der Beitrag auf einen technischen Bericht. Das sind berichtete Versuchsergebnisse und keine unabhängige Bewertung.
Als offene Forschungsfragen nennt der Auszug unter anderem das automatische Erlernen geeigneter Ersatz-Ziele, eine unverzerrte HER-Variante, die Verbindung mit hierarchischem oder On-Policy-Lernen, reichhaltigere Wertfunktionen, schnellere Informationsweitergabe, Mehrschritt-Rückgaben und Kombinationen mit weiteren RL-Verfahren. Für zielbasierte Umgebungen beschreibt der Text außerdem eine Gym-Schnittstelle mit gewünschtem Ziel, erreichtem Ziel und Beobachtung sowie einer abrufbaren Belohnungsfunktion, damit Belohnungen nach Zieländerungen neu berechnet werden können. Da der Auszug vor dem angekündigten Beispiel endet, lässt sich dessen konkrete Umsetzung nicht zusammenfassen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 49 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra