Acme: A new framework for distributed reinforcement learning
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorliegende Berichtsauszug stellt Acme als Framework vor, das Reinforcement-Learning-Agenten durch eine klare Trennung von Handeln und Lernen verständlicher, wiederverwendbar und skalierbar machen soll. DeepMind zufolge verkürzt Parallelisierung bei den gezeigten D4PG-Aufgaben die Lernzeit, während die Leistung pro Actor-Schritt ungefähr gleich bleibt; der Auszug endet mitten in ergänzten Bildbeschreibungen.
Mittel
Der vorliegende Berichtsauszug beschreibt Acme als Framework, das Reinforcement-Learning-Agenten lesbarer, leichter reproduzierbar und einfacher zu entwickeln machen soll. Eine gemeinsame Actor-Schnittstelle verbindet den Teil, der Aktionen auswählt, mit der Umgebung. Intern trennt Acme das Handeln vom Lernen aus Daten. Laut Bericht erleichtert diese Grenze die Wiederverwendung und Parallelisierung; sie soll auch Experimente mit festen Datensätzen ohne Umgebung ermöglichen. Agenten können demnach zunächst in kleinem Maßstab entwickelt und später mit derselben grundlegenden Logik skaliert werden.
Acme verwendet Reverb für Experience Replay und weitere Datenstrukturen wie FIFO- und Prioritätswarteschlangen. Vorgestellt werden Einzelprozess-Agenten für unter anderem D4PG, MPO, DQN und R2D2, die sich laut Text mit wenigen Änderungen verteilt ausführen lassen. Benchmarks wurden dem Bericht zufolge auf Control Suite, Atari und bsuite durchgeführt.
Bei D4PG sollen mehr Actor die Lernzeit in Echtzeit verkürzen, während die Leistung gemessen an den Actor-Schritten ungefähr gleich bleibt. Für „humanoid:run“ berichtet der Text bei vier Actor von weniger als der halben Lernzeit eines einzelnen Prozesses; für komplexere Aufgaben nennt er größere Zugewinne, teils ohne Zahlen. Der Auszug bricht in nachträglichen Bildbeschreibungen ab und enthält deshalb nicht alle Abbildungen oder möglicherweise den vollständigen Bericht.
Ausführlich lesen
Der vorliegende Berichtsauszug stellt Acme als Framework für verteiltes Reinforcement Learning vor. DeepMind nennt drei Ziele: Methoden und Ergebnisse besser reproduzierbar zu machen, das Entwerfen neuer Algorithmen zu vereinfachen und den Code von RL-Agenten lesbarer zu gestalten. Der Übergang von wissenschaftlichen Beschreibungen zu Implementierungen soll dadurch weniger überraschend sein. Acme soll Experimente in kleinem, mittlerem und großem Maßstab mit einer gemeinsamen Struktur unterstützen.
Als Grundmodell beschreibt der Bericht eine Schnittstelle zwischen einem Actor, der Aktionen auswählt, und einer Umgebung, die Beobachtungen und Belohnungen zurückgibt. Lernende Agenten teilen sich intern in einen Teil zum Handeln und einen zum Lernen aus Daten. Laut Bericht lässt sich dadurch der Handlungsteil in verschiedenen Agenten wiederverwenden und das Lernen parallelisieren. Dieselbe Struktur soll auch den Einsatz mit einem festen Datensatz ohne laufende Umgebung ermöglichen. Entwickler könnten Agenten zunächst in kleinen Szenarien erstellen, testen und debuggen und sie anschließend skalieren, ohne die grundlegende Actor- und Lernlogik auszutauschen. Als weitere Hilfsmittel nennt der Text Checkpointing, Snapshots und Rechenfunktionen.
Für die Datenspeicherung nutzt Acme das ebenfalls vorgestellte System Reverb. Es dient vor allem als Speicher für Experience Replay in verteilten Lernverfahren, unterstützt laut Bericht aber auch FIFO- und Prioritätswarteschlangen. Damit soll es sowohl für On-Policy- als auch für Off-Policy-Verfahren verwendbar sein. Reverb sei gemeinsam mit Acme entworfen worden, könne aber auch unabhängig eingesetzt werden.
Der Bericht kündigt Einzelprozess-Versionen mehrerer Agenten an, darunter D4PG, MPO, DQN und R2D2. Durch Aufteilung entlang der Grenze zwischen Handeln und Lernen könnten diese mit wenigen Änderungen verteilt ausgeführt werden. Die erste Veröffentlichung konzentriere sich auf Einzelprozess-Agenten, da diese besonders häufig von Studierenden und Forschenden verwendet würden. Als Benchmark-Umgebungen nennt der Text Control Suite, Atari und bsuite.
Die dargestellten D4PG-Vergleiche beziehen sich auf kontinuierliche Steuerungsaufgaben. Nach der Beschreibung bleiben die Belohnungen im Verhältnis zu den Actor-Schritten bei unterschiedlichen Actor-Zahlen ungefähr gleich, während mehr Parallelisierung die Lernzeit in Echtzeit verkürzen kann. Für die Aufgabe „humanoid:run“ sollen vier Actor weniger als die Hälfte der Zeit eines einzelnen Prozesses bis zu einer optimalen Policy benötigen. Für komplexere Bildbeobachtungen beschreibt der Bericht größere Zeitgewinne; für Atari werden noch größere Zugewinne behauptet, ohne dass der vorliegende Auszug dazu konkrete Zahlen liefert. Die Ergebnisse werden als abhängig von der Begrenzung der Datenrate beim Einfügen in Replay eingeordnet. Der Bericht betont zudem, dass verteilte und nicht verteilte Varianten dieselbe Handlungs- und Lernlogik verwenden.
Der Text verweist für ausführlichere Resultate und Methodendetails auf ein Paper und für den Einstieg auf das GitHub-Projekt. Der vorliegende Berichtsauszug endet mitten in den nachträglich ergänzten Bildbeschreibungen; die vollständigen Abbildungen und möglicherweise weitere Inhalte sind daher hier nicht enthalten.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 24 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 45 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv