Optimistic Natural Policy Gradient: a Simple Efficient Policy Optimization Framework for Online RL
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Bericht ist nur ein Abstract mit bibliografischen Angaben. Er beschreibt Optimistic NPG als Kombination aus Natural Policy Gradient und optimistischer Bewertung zur Förderung von Erkundung und behauptet für lineare MDPs effizientes Lernen mit Stichprobenkomplexität Õ(d²/ε³) sowie Verbesserungen gegenüber früheren Ergebnissen. Beweise, Experimente und weitere Einschränkungen sind im Auszug nicht enthalten.
Mittel
Der bereitgestellte Bericht enthält nur das Abstract und bibliografische Angaben, nicht den vollständigen Artikel. Er stellt Optimistic Natural Policy Gradient (Optimistic NPG) als Verfahren für Online-RL vor, bei dem Erkundung nötig ist. Laut Abstract kombiniert es den klassischen Natural Policy Gradient mit optimistischer Strategiebewertung, um Erkundung zu fördern.
Für lineare MDPs der Dimension d behaupten die Autorinnen und Autoren, dass das Verfahren rechnerisch effizient eine ε-optimale Strategie mit Õ(d²/ε³) Stichproben lernt. Sie bezeichnen die Dimensionsabhängigkeit als optimal und geben an, damit ein früheres Ergebnis zur Strategieoptimierung um den Faktor d zu verbessern. Für allgemeinere Funktionsapproximation, die lineare MDPs einschließt, beanspruchen sie zudem, als erster Strategieoptimierungsalgorithmus eine polynomielle Stichprobenkomplexität für annähernd optimale Strategien zu erreichen.
Der Auszug enthält keine Beweise, Experimente oder näheren Angaben zu den Grenzen der Resultate. Die Leistungsangaben sind daher als Abstract-Aussagen wiedergegeben. Als Publikationsort ist NeurIPS 2023 genannt.
Ausführlich lesen
Der bereitgestellte Bericht besteht aus dem Abstract sowie bibliografischen Angaben; der vollständige Artikel liegt hier nicht vor. Er behandelt Optimierung von Strategien im bestärkenden Lernen (Reinforcement Learning, RL), insbesondere im Online-Lernen, bei dem ein Agent durch Erkundung Erfahrungen sammeln muss. Die Autorinnen und Autoren beschreiben die bisherige theoretische Absicherung solcher Optimierungsverfahren als begrenzt: Frühere Ansätze seien entweder auf tabellarische Markov-Entscheidungsprozesse beschränkt oder benötigten im Online-RL zu viele Stichproben.
Als Ansatz schlagen sie Optimistic Natural Policy Gradient (Optimistic NPG) vor. Laut Abstract verbindet das Verfahren den klassischen Natural Policy Gradient mit optimistischen Verfahren zur Bewertung von Strategien. Diese Bewertung soll Erkundung fördern. Für lineare MDPs mit Dimension d behaupten die Autorinnen und Autoren, Optimistic NPG sei rechnerisch effizient und lerne eine ε-optimale Strategie mit einer Stichprobenkomplexität von Õ(d²/ε³). Sie bezeichnen dies als ersten rechnerisch effizienten Algorithmus mit optimaler Dimensionsabhängigkeit Õ(Θ(d²)) für dieses Problem. Außerdem geben sie an, dass das Verfahren ein zuvor veröffentlichtes Ergebnis zur Strategieoptimierung um den Faktor d verbessert.
Für allgemeinere Funktionsapproximation, die nach Darstellung des Abstracts lineare MDPs einschließt, beanspruchen die Autorinnen und Autoren ebenfalls einen Erstbeitrag: Optimistic NPG erreiche dort als erster Strategieoptimierungsalgorithmus eine polynomielle Stichprobenkomplexität für das Lernen annähernd optimaler Strategien.
Der vorliegende Auszug nennt weder konkrete Experimente noch Beweise, Versuchsbedingungen oder weitere Einschränkungen. Die genannten Leistungsangaben sind daher hier ausschließlich als Aussagen des Abstracts wiedergegeben und lassen sich anhand des bereitgestellten Textes nicht unabhängig prüfen. Als Publikationsort ist NeurIPS 2023 angegeben; genannt werden fünf Autorinnen und Autoren.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.