Third-person imitation learning
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der Auszug stellt ein Verfahren vor, mit dem ein Reinforcement-Learning-Agent laut den Autoren aus Demonstrationen eines Lehrers aus einer anderen Perspektive lernen kann, ohne dass Zustände beider Perspektiven einander zugeordnet werden. Die Autoren berichten von Erfolgen in drei einfachen Umgebungen; der Auszug enthält keine Messwerte oder Details zur Bewertung der Ergebnisse.
Mittel
Der vorliegende Bericht ist nur ein Auszug: Er umfasst das Abstract, die Autorennamen und Bildbeschriftungen, nicht den vollständigen Artikel. Das Abstract behandelt ein Verfahren, mit dem Reinforcement-Learning-Agenten Aufgaben anhand von Demonstrationen aus einer anderen Perspektive lernen sollen. Übliche Imitationsverfahren benötigen laut den Autoren meist Zustands- und Aktionsfolgen aus der Perspektive des lernenden Agenten; solche Demonstrationen seien schwer zu sammeln. Beim vorgestellten unbeaufsichtigten Ansatz sieht der Agent einen Lehrer, der dasselbe Ziel aus einem anderen Blickwinkel erreicht. Eine Zuordnung zwischen den Zuständen von Lehrer und Agent wird ihm dem Abstract zufolge nicht bereitgestellt. Die Autoren nutzen domänenverwirrende Methoden, um domänenunabhängige Merkmale zu gewinnen. Sie berichten von erfolgreichen Experimenten in den Umgebungen Pointmass, Reacher und invertiertes Pendel. Der Auszug enthält keine Zahlen, Vergleichsergebnisse oder Versuchsbeschreibungen, anhand derer sich die berichteten Erfolge näher bewerten ließen.
Ausführlich lesen
Der vorliegende Bericht ist ein Auszug: Er enthält das Abstract, die Namen der drei Autoren und Bildbeschriftungen, aber nicht den vollständigen Artikel. Im Abstract geht es um Nachahmungslernen für Reinforcement-Learning-Agenten. Dabei besteht eine Schwierigkeit darin, eine passende Belohnungsfunktion festzulegen. Herkömmliche Imitationsverfahren können dieses Problem umgehen, benötigen laut den Autoren jedoch meist Demonstrationen aus der Perspektive des lernenden Agenten, einschließlich Zuständen und zugehörigen Aktionen. Solche Demonstrationen seien vergleichsweise schwierig zu sammeln. Menschen könnten dagegen Aufgaben beobachten, die andere ausführen, und sie anschließend selbst lösen.
Die Autoren stellen einen Ansatz für unbeaufsichtigtes Lernen aus Demonstrationen aus der dritten Person vor. Der Agent sieht dabei, wie ein Lehrer dasselbe Ziel aus einer anderen Perspektive erreicht. Er erhält laut Abstract weder Zuordnungen zwischen den Zuständen von Lehrer und Agent noch andere Trainingsdaten dieser Art. Als zentralen Ansatzpunkt nennen die Autoren domänenverwirrende Verfahren, mit denen sich domänenunabhängige Merkmale gewinnen ließen.
Zur Erprobung berichten sie von erfolgreichen Experimenten in drei einfachen Umgebungen: Pointmass, Reacher und invertiertes Pendel. Der Auszug nennt jedoch keine Messwerte, Vergleichsverfahren, Versuchsdetails oder genaueren Einschränkungen. Die Ergebnisse lassen sich daher hier nur als berichtete Erfolge der Autoren zusammenfassen, nicht unabhängig beurteilen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra