Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind6. Mai 2022 · Q001606

Active offline policy selection

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

A-OPS soll die Auswahl von Reinforcement-Learning-Policies effizienter machen, indem es Offline-Schätzungen mit wenigen realen Tests kombiniert und vielversprechende Kandidaten gezielt priorisiert. Die Autoren berichten von guten Ergebnissen in Simulationen und realer Robotik; detaillierte Versuchsbedingungen und Kennzahlen führt der Bericht nicht aus.

Mittel

Der Bericht beschreibt Active Offline Policy Selection (A-OPS), ein Verfahren zur Auswahl von Reinforcement-Learning-Policies mit wenigen Tests in der realen Umgebung. Offline-RL kann viele Policies aus einem aufgezeichneten Datensatz trainieren, doch ihre anschließende Bewertung ist bei Robotern kostspielig und kann Tausende Interaktionen erfordern.

A-OPS nutzt zunächst Off-Policy-Evaluierung, insbesondere Fitted Q-Evaluation (FQE), um die Kandidaten anhand des Offline-Datensatzes einzuschätzen. Der Bericht sagt, FQE-Werte korrelierten in mehreren Umgebungen gut mit der tatsächlichen Policy-Leistung. Diese Schätzungen werden zusammen mit einigen neu gemessenen episodischen Rückläufen in einem Gauß-Prozessmodell verarbeitet. Ein Kernel verbindet Policies anhand der Ähnlichkeit ihrer Aktionen, sodass ein Test auch die Einschätzung anderer Kandidaten beeinflussen kann. Bayes’sche Optimierung priorisiert anschließend Policies mit hoher vorhergesagter Leistung und großer Unsicherheit.

Die Autoren berichten von Versuchen in dm-control, Atari, Simulation und realer Robotik. A-OPS habe das Regret rasch reduziert und gute Policies mit moderater Zahl von Tests gefunden. In einem Robotikbeispiel habe die Suche nach einer Policy mit nahezu null Regret unter 20 Kandidaten ungefähr so lange gedauert wie die herkömmliche Bewertung von zwei Policies. Der Bericht nennt keine vollständigen Versuchsbedingungen oder detaillierten Kennzahlen. Code und Beispieldatensatz seien öffentlich verfügbar.

Ausführlich lesen

Der Bericht stellt „Active Offline Policy Selection“ (A-OPS) als Verfahren vor, mit dem sich Reinforcement-Learning-Policies für den Einsatz auswählen lassen, ohne jede Kandidaten-Policy ausführlich in der realen Umgebung testen zu müssen. Offline Reinforcement Learning (Offline-RL) ermöglicht es, viele Policies anhand eines einzigen vorab aufgezeichneten Datensatzes zu trainieren. Der praktische Vorteil kann jedoch durch die aufwendige Auswahl wieder verloren gehen: Bei Robotern sind reale Tests teuer und erfordern laut Bericht oft Tausende Interaktionen. Die Wahl von Algorithmus, Hyperparametern und Trainingsdauer erschwere das Problem zusätzlich.

A-OPS verbindet den Offline-Datensatz mit einer begrenzten Zahl neuer Interaktionen. Zunächst schätzt eine Off-Policy-Evaluierung die Leistung der Kandidaten anhand der vorhandenen Daten. Als Beispiel nennt der Bericht Fitted Q-Evaluation (FQE). Deren Werte korrelierten in vielen Umgebungen, darunter laut den Autoren erstmals auch reale Robotik, gut mit der tatsächlichen Leistung. Die Abbildungen beschreiben eine entsprechende Übereinstimmung für Policies aus Sim-to-Real- und Offline-RL-Ansätzen.

Die geschätzten Werte und einige neu auf dem Roboter erhobene episodische Rückläufe werden gemeinsam in einem Gauß-Prozessmodell verwendet, das die unbekannte Leistung der Policies abbildet. Wird eine Policy getestet, kann dies auch die Einschätzung anderer Kandidaten verbessern, weil ihre Leistungswerte im Modell miteinander verbunden sind. Für diese Ähnlichkeit dient ein Kernel, der Policies anhand der von ihnen in verschiedenen Zuständen ausgegebenen Aktionen vergleicht. Die zugrunde liegende Annahme lautet, dass Policies mit ähnlichen Aktionen tendenziell ähnliche Rückläufe erzielen.

Um die nächsten Tests gezielt auszuwählen, verwendet A-OPS Bayes’sche Optimierung. Vorrang erhalten Policies, deren vorhergesagte Leistung hoch ist und bei denen zugleich eine große Unsicherheit besteht. So sollen besonders aussichtsreiche Kandidaten geprüft und die Zahl der nötigen Interaktionen begrenzt werden.

Die Autoren berichten von Vorführungen in mehreren Bereichen: dm-control, Atari, Simulation und realer Robotik. A-OPS habe das Regret – den Abstand zur bestmöglichen Policy – rasch verringert und mit einer moderaten Zahl von Tests die beste Policy identifizieren können. In einem realen Robotikexperiment sei eine sehr gute Policy schneller gefunden worden als mit den verglichenen Baselines. Laut Bildbeschreibung brauchte die Suche unter 20 Kandidaten nach einer Policy mit annähernd null Regret ungefähr so viel Zeit, wie herkömmliche Verfahren für die Bewertung von zwei Policies benötigen.

Der Bericht legt nahe, dass eine wirksame Offline-Policy-Auswahl mit wenigen Interaktionen möglich ist, wenn Offline-Daten, ein speziell gewählter Kernel und Bayes’sche Optimierung kombiniert werden. Als Grenzen nennt der Text keine ausführlichen Kennzahlen oder vollständigen Versuchsbedingungen; die Ergebnisse werden zusammenfassend beschrieben. Der A-OPS-Code und ein Beispieldatensatz seien auf GitHub verfügbar.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: ok

Es wurden keine Sammel- oder Teilfragen zur Einordnung angegeben, daher bleibt die Einordnung leer. Die Zusammenfassungen geben den Bericht sachlich korrekt wieder; die genannte Auslassung ist nebensächlich.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Erstanwendung von FQE in der realen Robotik wird in keiner der beiden Zusammenfassungen erwähnt.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
Modelle teilen und schützen
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →