Reinforcement learning with unsupervised auxiliary tasks
Zusammenfassung
Kurz
Der Bericht stellt UNREAL vor: Ein A3C-Agent trainiert zusätzlich zur Spielaufgabe die Kontrolle von Bildpunkten und die Vorhersage unmittelbar bevorstehender Belohnungen. Die Autoren berichten von mehr als zehnmal schnellerem Lernen in Labyrinth, durchschnittlich 87 Prozent der Expertenleistung dort sowie dem Neunfachen menschlicher Leistung im Mittel über Atari-Tests; der Beitrag enthält keine ausführliche Darstellung der Messmethoden oder Einzelwerte.
Mittel
Der Bericht beschreibt UNREAL, eine Erweiterung des A3C-Verfahrens für bestärkendes Lernen. Zusätzlich zum eigentlichen Spielziel trainiert der Agent zwei Aufgaben: Mit „Pixel Control“ lernt er, wie Handlungen die Bildpunkte verändern; außerdem sagt er anhand eines kurzen Beobachtungsverlaufs unmittelbar bevorstehende Belohnungen voraus. Um seltene Belohnungen besser zu behandeln, werden laut Bericht belohnende und nicht belohnende Verläufe gleich häufig vorgelegt, während belohnende Verläufe häufiger zum Lernen dienen.
Die Autoren berichten über Tests mit 57 Atari-Spielen und 13 Leveln einer dreidimensionalen Labyrinth-Umgebung. Derselbe Agent werde auf rohen Spielbildern trainiert, obwohl die Aufgaben unterschiedliche Verhaltensweisen verlangen. Für Labyrinth behauptet der Beitrag, UNREAL lerne mehr als zehnmal schneller als der zuvor beste A3C-Agent und erreiche im Mittel 87 Prozent der Expertenleistung; bei mehreren Leveln liege die Leistung über der menschlichen. Für Atari nennt er durchschnittlich das Neunfache menschlicher Leistung. Diese Angaben gelten für die beschriebenen Tests. Der Beitrag führt Messmethoden und Einzelwerte nicht ausführlich aus und verweist für Details auf die Forschungsarbeit.
Ausführlich lesen
Der Bericht stellt UNREAL („UNsupervised REinforcement and Auxiliary Learning“) vor, eine Erweiterung des DeepMind-Ansatzes A3C für bestärkendes Lernen. Ausgangspunkt ist laut den Autoren, dass solche Lernverfahren viel Erfahrung und Zeit benötigen können. Die vorgeschlagene Ergänzung soll das Lernen beschleunigen und die spätere Leistung verbessern, indem ein Agent während des Trainings neben dem eigentlichen Spielziel zwei zusätzliche Aufgaben bearbeitet.
Bei der ersten Aufgabe, „Pixel Control“, lernt der Agent, wie seine Handlungen die Bildpunkte auf dem Bildschirm verändern. Der Bericht beschreibt den Schwerpunkt als Lernen über die Folgen eigener Aktionen, nicht bloß als Vorhersage des nächsten Bildes. So sollen Merkmale der visuellen Eingabe entstehen, die beim Spielen und beim Erreichen höherer Punktzahlen helfen.
Die zweite Zusatzaufgabe soll vorhersagen, wann unmittelbar eine Belohnung eintritt. Dafür nutzt der Agent laut Bericht einen kurzen Verlauf vorheriger Beobachtungen. Um mit seltenen Belohnungen umzugehen, werden belohnende und nicht belohnende Verläufe in gleicher Häufigkeit vorgelegt. Zugleich werden belohnende Verläufe häufiger zum Lernen verwendet, damit der Agent schneller visuelle Merkmale erkennen kann, die Belohnungen ankündigen. Zusammen mit A3C bilden diese Aufgaben den UNREAL-Agenten.
Die Autoren berichten von Tests in 57 Atari-Spielen und einer dreidimensionalen Labyrinth-Umgebung mit 13 Leveln. In allen Spielen sei derselbe Agent auf den rohen Bildausgaben trainiert worden, um Aktionen zur Maximierung der Spielbelohnung zu wählen. Die nötigen Verhaltensweisen seien dabei sehr verschieden, etwa Äpfel in einem dreidimensionalen Labyrinth aufzunehmen oder Space Invaders zu spielen. Der Bericht behauptet, derselbe Algorithmus lerne diese Aufgaben häufig auf menschlichem Niveau oder darüber.
Für Labyrinth geben die Autoren an, UNREAL lerne mit den Zusatzaufgaben mehr als zehnmal schneller als ihr zuvor bester A3C-Agent und erreiche eine höhere Leistung. Über die berücksichtigten Labyrinth-Level hinweg habe es durchschnittlich 87 Prozent der Expertenleistung erreicht und in mehreren Leveln menschliche Leistung übertroffen. Für Atari nennen sie im Durchschnitt das Neunfache menschlicher Leistung.
Die Aussagen beziehen sich auf die beschriebenen Testumgebungen und Vergleiche. Der Blogbeitrag nennt zwar Anzahl und Art der Spiele und Level sowie diese Leistungswerte, enthält aber keine ausführliche Darstellung der Messmethoden, der Streuung der Ergebnisse oder der Einzelwerte pro Spiel. Für weitere Details verweist er auf die verlinkte Forschungsarbeit. Als Ziel nennen die Autoren, den Ansatz künftig auf komplexere Umgebungen auszuweiten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat Stufe 3 (Hintergrund, keine Belege) vergeben. Der Bericht hat zu dieser Frage keinen Hintergrundbezug, daher ist Stufe 1 angemessen. Der Kurztext lässt Testumfang und Übermenschlichkeit einzelner Level aus, der mittlere Text ist vollständiger.
Im Bericht, aber nicht in der Zusammenfassung
- Testumfang: 57 Atari-Spiele und 13 Labyrinth-Level (im Kurztext nicht genannt)
- Ausgewogene Auswahl belohnender und nicht belohnender Verläufe als Lerntrick (im Kurztext nicht genannt)
- Übermenschliche Leistung nur auf einzelnen Labyrinth-Leveln (im Kurztext nicht genannt)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %Hintergrund, keine Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv