Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind10. Dezember 2023 · Q005677

Probabilistic Inference in Reinforcement Learning Done Right

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht enthält nur den Abstract zu VAPOR, einem Verfahren für probabilistische Inferenz im Reinforcement Learning. Laut den Autoren ermöglicht es eine berechenbare variationelle Näherung und eine Politik mit garantierter Bayes’scher Regret-Schranke; konkrete Schranken, Experimente und Annahmen fehlen im Auszug.

Mittel

Der bereitgestellte Bericht umfasst nur Metadaten und den Abstract eines NeurIPS-2023-Beitrags von Jean Tarbouriech, Tor Lattimore und Brendan O’Donoghue. Er untersucht, wie sich die Bayes’sche Wahrscheinlichkeit optimaler Aktionen in einem Markov-Entscheidungsprozess fortpflanzt. Frühere Ansätze mit einem Ersatzmaß könnten diese Wahrscheinlichkeit laut Autoren beliebig schlecht annähern und dadurch schwache Algorithmen ergeben.

Die Autoren berichten, dass eine Aktionswahl anhand der Optimalitätswahrscheinlichkeit eine garantierte Bayes’sche Regret-Schranke besitzt. Weil die direkte Berechnung nicht praktikabel ist, entwickeln sie die variationelle Näherung VAPOR. Diese führt laut Abstract auf ein konvexes Optimierungsproblem; auch die resultierende Politik soll eine Bayes’sche Regret-Schranke erfüllen. Der Beitrag stellt zudem Verbindungen zu Thompson Sampling, K-learning, Informationstheorie und Exploration mit maximaler Entropie heraus. Der Auszug enthält keine konkreten Schranken, Versuchsresultate oder Annahmen, sodass die Stärke der Garantien und die praktische Leistung nicht beurteilt werden können.

Ausführlich lesen

Der bereitgestellte Bericht enthält nur Metadaten und den Abstract eines NeurIPS-2023-Beitrags von Jean Tarbouriech, Tor Lattimore und Brendan O’Donoghue. Eine ausführlichere Darstellung oder weitere Belege liegen hier nicht vor.

Der Beitrag behandelt probabilistische Inferenz im Reinforcement Learning. Ein Agent soll unter Unsicherheit seinen Ertrag maximieren. Die Autoren betrachten dazu die Bayes’sche Wahrscheinlichkeit, dass eine bestimmte Aktion in einem Zustand optimal ist. Frühere Ansätze, die Reinforcement Learning als Inferenz auffassen, nutzten laut Abstract ein Ersatzmaß für diese Wahrscheinlichkeit. Dessen Annäherung könne beliebig schlecht sein und zu praktisch wenig leistungsfähigen Algorithmen führen.

Die Autoren analysieren nach eigener Darstellung, wie sich die Optimalitätswahrscheinlichkeit durch einen Markov-Entscheidungsprozess fortpflanzt. Sie zeigen laut Abstract, dass eine Auswahl von Aktionen gemäß dieser Wahrscheinlichkeit eine garantierte Bayes’sche Regret-Schranke ergibt. Da die direkte Berechnung der Wahrscheinlichkeit nicht praktikabel sei, leiten sie eine variationelle Bayes’sche Näherung her. Diese führt zu einem lösbaren konvexen Optimierungsproblem; auch die daraus entstehende Politik erfülle nach Darstellung der Autoren eine Bayes’sche Regret-Schranke. Das Verfahren nennen sie VAPOR.

Der Abstract nennt außerdem enge Verbindungen von VAPOR zu Thompson Sampling, K-learning, Informationstheorie und Exploration mit maximaler Entropie. Konkrete Schranken, Versuchsresultate, Annahmen oder Einzelheiten zur Optimierung enthält der bereitgestellte Auszug nicht. Daher lassen sich daraus weder die quantitative Stärke der Garantien noch die praktische Leistung des Verfahrens beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vertrauen in Modelle

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →