Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind2. November 2023 · Q005170

Optimistic Natural Policy Gradient: a Simple Efficient Policy Optimization Framework for Online RL

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist nur ein Abstract mit bibliografischen Angaben. Er beschreibt Optimistic NPG als Kombination aus Natural Policy Gradient und optimistischer Bewertung zur Förderung von Erkundung und behauptet für lineare MDPs effizientes Lernen mit Stichprobenkomplexität Õ(d²/ε³) sowie Verbesserungen gegenüber früheren Ergebnissen. Beweise, Experimente und weitere Einschränkungen sind im Auszug nicht enthalten.

Mittel

Der bereitgestellte Bericht enthält nur das Abstract und bibliografische Angaben, nicht den vollständigen Artikel. Er stellt Optimistic Natural Policy Gradient (Optimistic NPG) als Verfahren für Online-RL vor, bei dem Erkundung nötig ist. Laut Abstract kombiniert es den klassischen Natural Policy Gradient mit optimistischer Strategiebewertung, um Erkundung zu fördern.

Für lineare MDPs der Dimension d behaupten die Autorinnen und Autoren, dass das Verfahren rechnerisch effizient eine ε-optimale Strategie mit Õ(d²/ε³) Stichproben lernt. Sie bezeichnen die Dimensionsabhängigkeit als optimal und geben an, damit ein früheres Ergebnis zur Strategieoptimierung um den Faktor d zu verbessern. Für allgemeinere Funktionsapproximation, die lineare MDPs einschließt, beanspruchen sie zudem, als erster Strategieoptimierungsalgorithmus eine polynomielle Stichprobenkomplexität für annähernd optimale Strategien zu erreichen.

Der Auszug enthält keine Beweise, Experimente oder näheren Angaben zu den Grenzen der Resultate. Die Leistungsangaben sind daher als Abstract-Aussagen wiedergegeben. Als Publikationsort ist NeurIPS 2023 genannt.

Ausführlich lesen

Der bereitgestellte Bericht besteht aus dem Abstract sowie bibliografischen Angaben; der vollständige Artikel liegt hier nicht vor. Er behandelt Optimierung von Strategien im bestärkenden Lernen (Reinforcement Learning, RL), insbesondere im Online-Lernen, bei dem ein Agent durch Erkundung Erfahrungen sammeln muss. Die Autorinnen und Autoren beschreiben die bisherige theoretische Absicherung solcher Optimierungsverfahren als begrenzt: Frühere Ansätze seien entweder auf tabellarische Markov-Entscheidungsprozesse beschränkt oder benötigten im Online-RL zu viele Stichproben.

Als Ansatz schlagen sie Optimistic Natural Policy Gradient (Optimistic NPG) vor. Laut Abstract verbindet das Verfahren den klassischen Natural Policy Gradient mit optimistischen Verfahren zur Bewertung von Strategien. Diese Bewertung soll Erkundung fördern. Für lineare MDPs mit Dimension d behaupten die Autorinnen und Autoren, Optimistic NPG sei rechnerisch effizient und lerne eine ε-optimale Strategie mit einer Stichprobenkomplexität von Õ(d²/ε³). Sie bezeichnen dies als ersten rechnerisch effizienten Algorithmus mit optimaler Dimensionsabhängigkeit Õ(Θ(d²)) für dieses Problem. Außerdem geben sie an, dass das Verfahren ein zuvor veröffentlichtes Ergebnis zur Strategieoptimierung um den Faktor d verbessert.

Für allgemeinere Funktionsapproximation, die nach Darstellung des Abstracts lineare MDPs einschließt, beanspruchen die Autorinnen und Autoren ebenfalls einen Erstbeitrag: Optimistic NPG erreiche dort als erster Strategieoptimierungsalgorithmus eine polynomielle Stichprobenkomplexität für das Lernen annähernd optimaler Strategien.

Der vorliegende Auszug nennt weder konkrete Experimente noch Beweise, Versuchsbedingungen oder weitere Einschränkungen. Die genannten Leistungsangaben sind daher hier ausschließlich als Aussagen des Abstracts wiedergegeben und lassen sich anhand des bereitgestellten Textes nicht unabhängig prüfen. Als Publikationsort ist NeurIPS 2023 angegeben; genannt werden fünf Autorinnen und Autoren.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle

Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →