Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind8. Dezember 2023 · Q005286

POMRL: No-Regret Learning-to-Plan with IncreasingHorizons

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist nur ein Abstract-Auszug. Die Autoren beschreiben einen Meta-RL-Ansatz, der Gemeinsamkeiten zwischen Aufgaben zum Planen nutzt; ihre theoretische Analyse legt nahe, dass der durchschnittliche Regret bei mehr und stärker verwandten Aufgaben sinkt. Außerdem untersuchen sie Planungshorizonte und langsam steigende Diskontfaktoren, doch der Auszug liefert keine konkreten Versuchsdetails oder Messwerte.

Mittel

Der bereitgestellte Bericht ist nur ein Abstract-Auszug, kein vollständiger Beitrag. Er behandelt Planung unter Modellunsicherheit im Online-Meta-Reinforcement-Learning: Ein Agent bearbeitet mehrere verwandte Aufgaben mit begrenzten Interaktionen und nutzt Erfahrungen aus einzelnen Aufgaben sowie aufgabenübergreifende Erfahrungen, um Übergangsmodell und Aufgabenverteilung zu schätzen.

Die Autoren schlagen einen Algorithmus vor, der die Beziehungen zwischen Aufgaben erlernt und für die Planung nutzt. Eine theoretische Regret-Schranke legt laut Abstract nahe, dass der durchschnittliche Regret mit mehr Aufgaben und größerer Ähnlichkeit zwischen ihnen abnimmt. Außerdem übertragen die Autoren die Abhängigkeit des Planungshorizonts von der Modellgenauigkeit auf Meta-RL und untersuchen den Einfluss der Aufgabenanzahl. Daraus leiten sie Faustregeln für langsam steigende Diskontfaktoren ab und geben an, diese empirisch validiert zu haben. Der Auszug enthält keine Details zu den Bedingungen der Schranke, zum Versuchsaufbau oder zu konkreten Messwerten.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug: Er enthält den Abstract und Angaben zu Autorinnen und Autoren sowie zum Publikationsort, nicht den vollständigen Beitrag. Der Abstract beschreibt ein Problem des Planens unter Modellunsicherheit im Online-Meta-Reinforcement-Learning. Dabei begegnet ein Agent einer Folge verwandter Aufgaben und kann innerhalb jeder Aufgabe nur begrenzt oft interagieren. Die Autoren untersuchen, wie der Agent Erfahrungen sowohl innerhalb einzelner Aufgaben als auch über mehrere Aufgaben hinweg nutzen kann, um das Übergangsmodell und die Verteilung der Aufgaben zu schätzen.

Vorgeschlagen wird ein Algorithmus, der die Gemeinsamkeiten zwischen Aufgaben meta-lernt und diese beim Planen für die jeweilige Aufgabe nutzt. Für den Planungsverlust geben die Autoren eine obere Schranke des Regrets an. Ihrem Abstract zufolge deutet diese Schranke darauf hin, dass der durchschnittliche Regret pro Aufgabe mit wachsender Aufgabenanzahl und zunehmender Ähnlichkeit der Aufgaben sinkt. Das sind Aussagen über die theoretische Analyse des Beitrags; konkrete Zahlen oder Bedingungen der Schranke sind im Auszug nicht enthalten.

Als weiteren Zusammenhang greifen die Autoren die bekannte Erkenntnis für einzelne Aufgaben auf, dass der Planungshorizont von der Genauigkeit des geschätzten Modells und damit von der Zahl der Stichproben innerhalb einer Aufgabe abhängen sollte. Sie verallgemeinern diese Betrachtung auf Meta-RL und untersuchen, wie der Planungshorizont von der Anzahl der Aufgaben abhängt. Aus den theoretischen Ergebnissen leiten sie Faustregeln für langsam steigende Diskontfaktoren ab und berichten, deren Bedeutung empirisch überprüft zu haben. Der Auszug nennt jedoch weder Versuchsaufbau noch Messwerte oder Einzelheiten der empirischen Ergebnisse. Der Beitrag wird dem NeurIPS-Workshop 2023 zugeordnet.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle

Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →