Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind1. Juni 2020 · Q001643

Acme: A new framework for distributed reinforcement learning

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Berichtsauszug stellt Acme als Framework vor, das Reinforcement-Learning-Agenten durch eine klare Trennung von Handeln und Lernen verständlicher, wiederverwendbar und skalierbar machen soll. DeepMind zufolge verkürzt Parallelisierung bei den gezeigten D4PG-Aufgaben die Lernzeit, während die Leistung pro Actor-Schritt ungefähr gleich bleibt; der Auszug endet mitten in ergänzten Bildbeschreibungen.

Mittel

Der vorliegende Berichtsauszug beschreibt Acme als Framework, das Reinforcement-Learning-Agenten lesbarer, leichter reproduzierbar und einfacher zu entwickeln machen soll. Eine gemeinsame Actor-Schnittstelle verbindet den Teil, der Aktionen auswählt, mit der Umgebung. Intern trennt Acme das Handeln vom Lernen aus Daten. Laut Bericht erleichtert diese Grenze die Wiederverwendung und Parallelisierung; sie soll auch Experimente mit festen Datensätzen ohne Umgebung ermöglichen. Agenten können demnach zunächst in kleinem Maßstab entwickelt und später mit derselben grundlegenden Logik skaliert werden.

Acme verwendet Reverb für Experience Replay und weitere Datenstrukturen wie FIFO- und Prioritätswarteschlangen. Vorgestellt werden Einzelprozess-Agenten für unter anderem D4PG, MPO, DQN und R2D2, die sich laut Text mit wenigen Änderungen verteilt ausführen lassen. Benchmarks wurden dem Bericht zufolge auf Control Suite, Atari und bsuite durchgeführt.

Bei D4PG sollen mehr Actor die Lernzeit in Echtzeit verkürzen, während die Leistung gemessen an den Actor-Schritten ungefähr gleich bleibt. Für „humanoid:run“ berichtet der Text bei vier Actor von weniger als der halben Lernzeit eines einzelnen Prozesses; für komplexere Aufgaben nennt er größere Zugewinne, teils ohne Zahlen. Der Auszug bricht in nachträglichen Bildbeschreibungen ab und enthält deshalb nicht alle Abbildungen oder möglicherweise den vollständigen Bericht.

Ausführlich lesen

Der vorliegende Berichtsauszug stellt Acme als Framework für verteiltes Reinforcement Learning vor. DeepMind nennt drei Ziele: Methoden und Ergebnisse besser reproduzierbar zu machen, das Entwerfen neuer Algorithmen zu vereinfachen und den Code von RL-Agenten lesbarer zu gestalten. Der Übergang von wissenschaftlichen Beschreibungen zu Implementierungen soll dadurch weniger überraschend sein. Acme soll Experimente in kleinem, mittlerem und großem Maßstab mit einer gemeinsamen Struktur unterstützen.

Als Grundmodell beschreibt der Bericht eine Schnittstelle zwischen einem Actor, der Aktionen auswählt, und einer Umgebung, die Beobachtungen und Belohnungen zurückgibt. Lernende Agenten teilen sich intern in einen Teil zum Handeln und einen zum Lernen aus Daten. Laut Bericht lässt sich dadurch der Handlungsteil in verschiedenen Agenten wiederverwenden und das Lernen parallelisieren. Dieselbe Struktur soll auch den Einsatz mit einem festen Datensatz ohne laufende Umgebung ermöglichen. Entwickler könnten Agenten zunächst in kleinen Szenarien erstellen, testen und debuggen und sie anschließend skalieren, ohne die grundlegende Actor- und Lernlogik auszutauschen. Als weitere Hilfsmittel nennt der Text Checkpointing, Snapshots und Rechenfunktionen.

Für die Datenspeicherung nutzt Acme das ebenfalls vorgestellte System Reverb. Es dient vor allem als Speicher für Experience Replay in verteilten Lernverfahren, unterstützt laut Bericht aber auch FIFO- und Prioritätswarteschlangen. Damit soll es sowohl für On-Policy- als auch für Off-Policy-Verfahren verwendbar sein. Reverb sei gemeinsam mit Acme entworfen worden, könne aber auch unabhängig eingesetzt werden.

Der Bericht kündigt Einzelprozess-Versionen mehrerer Agenten an, darunter D4PG, MPO, DQN und R2D2. Durch Aufteilung entlang der Grenze zwischen Handeln und Lernen könnten diese mit wenigen Änderungen verteilt ausgeführt werden. Die erste Veröffentlichung konzentriere sich auf Einzelprozess-Agenten, da diese besonders häufig von Studierenden und Forschenden verwendet würden. Als Benchmark-Umgebungen nennt der Text Control Suite, Atari und bsuite.

Die dargestellten D4PG-Vergleiche beziehen sich auf kontinuierliche Steuerungsaufgaben. Nach der Beschreibung bleiben die Belohnungen im Verhältnis zu den Actor-Schritten bei unterschiedlichen Actor-Zahlen ungefähr gleich, während mehr Parallelisierung die Lernzeit in Echtzeit verkürzen kann. Für die Aufgabe „humanoid:run“ sollen vier Actor weniger als die Hälfte der Zeit eines einzelnen Prozesses bis zu einer optimalen Policy benötigen. Für komplexere Bildbeobachtungen beschreibt der Bericht größere Zeitgewinne; für Atari werden noch größere Zugewinne behauptet, ohne dass der vorliegende Auszug dazu konkrete Zahlen liefert. Die Ergebnisse werden als abhängig von der Begrenzung der Datenrate beim Einfügen in Replay eingeordnet. Der Bericht betont zudem, dass verteilte und nicht verteilte Varianten dieselbe Handlungs- und Lernlogik verwenden.

Der Text verweist für ausführlichere Resultate und Methodendetails auf ein Paper und für den Einstieg auf das GitHub-Projekt. Der vorliegende Berichtsauszug endet mitten in den nachträglich ergänzten Bildbeschreibungen; die vollständigen Abbildungen und möglicherweise weitere Inhalte sind daher hier nicht enthalten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 41 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 24 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
Modelle teilen und schützen
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 45 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →