Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind13. Februar 2024 · Q005616

A Distributional Analogue to the Successor Representation

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist nur ein Auszug: Der Abstract stellt eine distributionelle Successor Measure vor, die Folgen einer Politik als Verteilung über Verteilungen beschreiben und Übergangsstruktur von Belohnung trennen soll. Laut Abstract lässt sich die Größe aus Daten lernen und ermöglicht als Beispiel eine zuvor nicht mögliche Zero-Shot-Auswertung mit Risikoberücksichtigung; nähere Versuchsdetails fehlen.

Mittel

Der bereitgestellte Bericht ist nur ein Auszug mit Abstract und bibliografischen Angaben, nicht der vollständige Artikel. Die Arbeit beschreibt einen Ansatz für distributionelles Reinforcement Learning, der Übergangsstruktur und Belohnung getrennt behandeln soll. Dafür führen die Autorinnen und Autoren die distributionelle Successor Measure (SM) ein: Anders als die Successor Representation, die erwartete Folgen einer Politik erfasst, beschreibt sie diese laut Abstract als Verteilung über Verteilungen.

Die Arbeit verbindet die neue Größe theoretisch mit distributionellem und modellbasiertem Reinforcement Learning und schlägt vor, sie aus Daten durch Minimierung einer zweistufigen Maximum Mean Discrepancy zu lernen. Die dabei verwendeten Techniken sollen auch für generative Zustandsmodelle nützlich sein. Als Beispiel berichtet der Abstract, dass sich mit der SM eine Zero-Shot-Auswertung von Politiken mit Risikoberücksichtigung durchführen lasse, die zuvor nicht möglich gewesen sei. Versuchsdetails und Belege zur Reichweite dieses Ergebnisses fehlen im Auszug.

Ausführlich lesen

Der bereitgestellte Bericht ist nur ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort, nicht den vollständigen Artikel. Die Zusammenfassung kann deshalb nur die dort beschriebenen Beiträge und Ergebnisse wiedergeben.

Die Arbeit stellt einen Ansatz für distributionelles Reinforcement Learning vor, der Übergangsstruktur und Belohnung im Lernprozess klarer voneinander trennen soll. Als Gegenstück zur Successor Representation (SR), die erwartete Folgen einer bestimmten Verhaltenspolitik beschreibt, führen die Autorinnen und Autoren die distributionelle Successor Measure (SM) ein. Diese soll die Folgen der Politik als Verteilung über Verteilungen erfassen.

Laut Abstract entwickelt die Arbeit eine Theorie, die diese Größe mit distributionellem und modellbasiertem Reinforcement Learning verbindet. Außerdem schlagen die Forschenden ein Verfahren vor, das die distributionelle SM aus Daten lernt, indem es eine zweistufige Maximum-Mean-Discrepancy-Größe minimiert. Dabei kommen mehrere algorithmische Techniken zum Einsatz, die laut Abstract auch unabhängig davon für das Lernen generativer Zustandsmodelle nützlich sein könnten.

Als Anwendungsbeispiel berichtet die Arbeit, dass die distributionelle SM eine Zero-Shot-Auswertung von Politiken unter Risikoempfindlichkeit ermöglicht. Der Abstract bezeichnet dies als zuvor nicht erreichbare Möglichkeit. Einzelheiten zu Versuchsaufbau, Vergleichsmethoden, Messwerten oder Einschränkungen sind im bereitgestellten Auszug nicht enthalten; daher lassen sich Stärke und Reichweite des Ergebnisses anhand dieses Materials nicht weiter beurteilen. Als Veröffentlichungsort nennt der Bericht arXiv.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Tempo und Grenzen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →