A Distributional Analogue to the Successor Representation
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Bericht ist nur ein Auszug: Der Abstract stellt eine distributionelle Successor Measure vor, die Folgen einer Politik als Verteilung über Verteilungen beschreiben und Übergangsstruktur von Belohnung trennen soll. Laut Abstract lässt sich die Größe aus Daten lernen und ermöglicht als Beispiel eine zuvor nicht mögliche Zero-Shot-Auswertung mit Risikoberücksichtigung; nähere Versuchsdetails fehlen.
Mittel
Der bereitgestellte Bericht ist nur ein Auszug mit Abstract und bibliografischen Angaben, nicht der vollständige Artikel. Die Arbeit beschreibt einen Ansatz für distributionelles Reinforcement Learning, der Übergangsstruktur und Belohnung getrennt behandeln soll. Dafür führen die Autorinnen und Autoren die distributionelle Successor Measure (SM) ein: Anders als die Successor Representation, die erwartete Folgen einer Politik erfasst, beschreibt sie diese laut Abstract als Verteilung über Verteilungen.
Die Arbeit verbindet die neue Größe theoretisch mit distributionellem und modellbasiertem Reinforcement Learning und schlägt vor, sie aus Daten durch Minimierung einer zweistufigen Maximum Mean Discrepancy zu lernen. Die dabei verwendeten Techniken sollen auch für generative Zustandsmodelle nützlich sein. Als Beispiel berichtet der Abstract, dass sich mit der SM eine Zero-Shot-Auswertung von Politiken mit Risikoberücksichtigung durchführen lasse, die zuvor nicht möglich gewesen sei. Versuchsdetails und Belege zur Reichweite dieses Ergebnisses fehlen im Auszug.
Ausführlich lesen
Der bereitgestellte Bericht ist nur ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort, nicht den vollständigen Artikel. Die Zusammenfassung kann deshalb nur die dort beschriebenen Beiträge und Ergebnisse wiedergeben.
Die Arbeit stellt einen Ansatz für distributionelles Reinforcement Learning vor, der Übergangsstruktur und Belohnung im Lernprozess klarer voneinander trennen soll. Als Gegenstück zur Successor Representation (SR), die erwartete Folgen einer bestimmten Verhaltenspolitik beschreibt, führen die Autorinnen und Autoren die distributionelle Successor Measure (SM) ein. Diese soll die Folgen der Politik als Verteilung über Verteilungen erfassen.
Laut Abstract entwickelt die Arbeit eine Theorie, die diese Größe mit distributionellem und modellbasiertem Reinforcement Learning verbindet. Außerdem schlagen die Forschenden ein Verfahren vor, das die distributionelle SM aus Daten lernt, indem es eine zweistufige Maximum-Mean-Discrepancy-Größe minimiert. Dabei kommen mehrere algorithmische Techniken zum Einsatz, die laut Abstract auch unabhängig davon für das Lernen generativer Zustandsmodelle nützlich sein könnten.
Als Anwendungsbeispiel berichtet die Arbeit, dass die distributionelle SM eine Zero-Shot-Auswertung von Politiken unter Risikoempfindlichkeit ermöglicht. Der Abstract bezeichnet dies als zuvor nicht erreichbare Möglichkeit. Einzelheiten zu Versuchsaufbau, Vergleichsmethoden, Messwerten oder Einschränkungen sind im bereitgestellten Auszug nicht enthalten; daher lassen sich Stärke und Reichweite des Ergebnisses anhand dieses Materials nicht weiter beurteilen. Als Veröffentlichungsort nennt der Bericht arXiv.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug