Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind11. März 2024 · Q005711

Model-free Posterior Sampling via Learning Rate Randomization

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Auszug umfasst nur das Abstract. Es beschreibt RandQL, einen modellfreien Lernalgorithmus, der laut Autorinnen und Autoren durch zufällige Lernraten ohne Bonuswerte optimistische Exploration erreicht und für zwei Problemklassen Regret-Schranken bietet. Experimente sollen Vorteile gegenüber bestehenden Methoden zeigen; Einzelheiten zu Versuchen oder Messwerten fehlen im Auszug.

Mittel

Der vorliegende Auszug enthält nur das Abstract sowie Angaben zu Autorinnen und Autoren und zum Tagungsort. Er stellt Randomized Q-learning (RandQL) vor, einen modellfreien Algorithmus für episodische Markov-Entscheidungsprozesse. Laut Abstract nutzt das Verfahren zufällig variierte Lernraten, um optimistische Exploration ohne Bonuswerte zu ermöglichen und Regret zu begrenzen. Die Autorinnen und Autoren bezeichnen es als ersten praktikablen modellfreien Ansatz auf Basis von Posterior Sampling.

Für tabellarische MDPs wird eine Schranke von ungefähr O(√(H⁵·S·A·T)) angegeben; für metrische Zustands-Aktionsräume eine von ungefähr O(H^(5/2)·T^((d_z+1)/(d_z+2))). H bezeichnet den Planungshorizont, S die Zahl der Zustände, A die Zahl der Aktionen, T die Episodenzahl und d_z die Zooming-Dimension. Der Abstract berichtet außerdem, RandQL übertreffe in Experimenten bestehende Methoden in gängigen Explorationsumgebungen. Konkrete Messwerte, Versuchsdetails und Vergleichsverfahren enthält der Auszug nicht. Als Tagungsort ist NeurIPS 2023 genannt.

Ausführlich lesen

Der vorliegende Auszug besteht aus dem Abstract sowie Angaben zu Autorinnen und Autoren und zum Tagungsort; der vollständige Bericht liegt nicht vor. Er stellt Randomized Q-learning (RandQL) vor, einen modellfreien Algorithmus für episodische Markov-Entscheidungsprozesse (MDPs). Ziel des Verfahrens ist es, durch Zufall die Regret genannten kumulierten Einbußen gegenüber einer optimalen Strategie zu begrenzen. Die Autorinnen und Autoren bezeichnen RandQL nach eigener Einschätzung als den ersten praktikablen Algorithmus für Posterior Sampling, der kein Modell benötigt.

Als zentralen methodischen Beitrag nennt der Abstract eine zufällige Variation der Lernrate. Damit soll RandQL optimistische Exploration erreichen, ohne zusätzliche Bonuswerte zu verwenden. Die Arbeit untersucht das Verfahren laut Abstract sowohl in tabellarischen als auch in nicht-tabellarischen Umgebungen.

Für tabellarische MDPs wird eine Regret-Schranke von ungefähr O(√(H⁵·S·A·T)) angegeben. Dabei steht H für den Planungshorizont, S für die Zahl der Zustände, A für die Zahl der Aktionen und T für die Zahl der Episoden. Für einen metrischen Zustands-Aktionsraum nennt der Abstract eine Schranke von ungefähr O(H^(5/2)·T^((d_z+1)/(d_z+2))), wobei d_z die Zooming-Dimension bezeichnet.

Zu den Ergebnissen berichtet der Abstract, dass RandQL in Experimenten bestehende Methoden in gängigen Explorationsumgebungen übertreffe. Er nennt jedoch weder konkrete Vergleichsverfahren noch Messwerte, Versuchsaufbau oder weitere Einschränkungen. Die Aussagen zu Neuheit, Schranken und experimenteller Überlegenheit sind daher hier nur als Angaben der Autorinnen und Autoren wiedergegeben. Als Veröffentlichungsort ist NeurIPS 2023 angegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle

Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →