Generally capable agents emerge from open-ended play
Zusammenfassung
Kurz
DeepMind berichtet, dass in der simulierten Welt XLand trainierte Agenten auf vielen zuvor ungesehenen Aufgaben Fortschritte machten und dabei unter anderem Ausprobieren und den Gebrauch von Objekten zeigten. Diese Ergebnisse belegen Fähigkeiten innerhalb des beschriebenen Simulationsraums; Absichten bleiben schwer zu bestimmen, und die Autoren begrenzen die mögliche Lernbreite durch die Fähigkeiten der Umgebung und des neuronalen Netzes.
Mittel
Der DeepMind-Bericht beschreibt XLand, eine simulierte Mehrspielerwelt, in der KI-Agenten durch bestärkendes Lernen mit einer großen Vielfalt algorithmisch erzeugter Aufgaben trainiert werden. Jede Aufgabe verbindet ein Spiel, eine Welt und Mitspieler; Ziele reichen vom Finden von Objekten bis zu Versteckspielen. Das Training passt die Aufgaben laufend an die Fähigkeiten der Agenten an, und mehrere Trainingsgenerationen bauen aufeinander auf.
Das Team prüfte die Leistung auf Aufgaben, die nicht fürs Training genutzt wurden. Weil diese sehr unterschiedlich schwierig sind, bewertete es normalisierte Punktzahlen über mehrere Perzentile und erfasste auch, ob Agenten überhaupt eine Belohnung erzielten. Nach fünf Generationen berichtet DeepMind von besseren Ergebnissen und von Null-Schuss-Leistung auf zuvor ungesehenen Aufgaben. Die letzte Generation habe 200 Milliarden Trainingsschritte aus 3,4 Millionen Aufgaben absolviert. Beobachtet wurden unter anderem Ausprobieren, Objektgebrauch und gelegentlich kooperatives Verhalten. Die Autoren räumen ein, dass Absichten schwer festzustellen sind und Verhalten zufällig entstehen kann. Die Ergebnisse gelten für den beschriebenen Simulationsraum; die mögliche Lernbreite hängt laut Bericht von dessen Ausdrucksmöglichkeiten und denen des neuronalen Netzes ab.
Ausführlich lesen
Der Bericht stellt DeepMinds Ansatz vor, mit dem KI-Agenten über einzelne Spiele hinaus lernen und sich auf neue Aufgaben einstellen sollen. Bisherige Erfolge des bestärkenden Lernens, etwa in Schach, Go oder Videospielen, beruhten demnach meist auf Training für jeweils ein bestimmtes Spiel. Für eine neue Aufgabe musste der Lernprozess häufig von vorn beginnen. Das Open-Ended Learning Team beschreibt deshalb in einem begleitenden Blogbeitrag zu einem Vorabdruck ein System, das viele unterschiedliche Aufgaben erzeugt und das Training fortlaufend anpasst.
Kernstück ist XLand, eine simulierte Mehrspielerwelt mit dreidimensionalen Umgebungen aus der Ich-Perspektive. Eine Aufgabe ergibt sich aus der Kombination von Spiel, Welt und Mitspielern. Die Ziele reichen laut Bericht vom Finden oder Erreichen bestimmter Objekte bis zu Versteckspielen und Capture the Flag. Aufgaben und Umgebungen werden algorithmisch erzeugt; dadurch soll der Trainingsraum Milliarden Varianten umfassen. Auch das Verhalten anderer Spieler verändert die Herausforderung.
Die Agenten erhalten Bildbeobachtungen und eine textliche Beschreibung ihres Ziels und werden mit tiefem bestärkendem Lernen trainiert. Ihre Architektur enthält einen Aufmerksamkeitsmechanismus für Ziele. Das Training erzeugt laufend Aufgaben, die weder zu leicht noch zu schwer sein sollen; populationsbasiertes Training passt die Aufgabenerzeugung anhand der Leistung an. Außerdem bauen mehrere Trainingsgenerationen aufeinander auf. So soll die Schwierigkeit schrittweise wachsen, ohne dass ein einzelnes festes Leistungsziel den Lernprozess beendet.
Zur Bewertung nutzte das Team Aufgaben und Welten, die vom Training ausgeschlossen waren, darunter eigens entworfene Spiele. Weil sich Aufgaben in Schwierigkeit und erreichbarer Belohnung unterscheiden, normalisierte das Team die Ergebnisse je Aufgabe anhand eines Nash-Gleichgewichtswerts und betrachtete mehrere Perzentile sowie, ob ein Agent überhaupt eine Belohnung erzielte. Nach fünf Generationen berichtet DeepMind von Verbesserungen über den Testbereich hinweg. Die letzte Generation habe rund 700.000 Spiele in 4.000 Welten gespielt und 200 Milliarden Trainingsschritte aus 3,4 Millionen Aufgaben absolviert. Die Agenten hätten an fast allen prozedural erzeugten Testaufgaben teilgenommen; einige seien selbst für Menschen unmöglich gewesen. Der Beitrag nennt zudem 94 Prozent Teilnahme an Spielen und einen Median der normalisierten Leistung von 110 Prozent.
Als beobachtete Verhaltensweisen beschreibt der Bericht Ausprobieren, Wechsel zwischen Zieloptionen und den Einsatz von Objekten, etwa als Sichtschutz oder Rampe. In sozialen Konfliktsituationen hätten Agenten beim Spiel gegen Kopien ihrer selbst zunehmend kooperativ gewirkt. Das Team betont jedoch, dass sich Absichten in dieser Umgebung schwer bestimmen ließen und solche Verhaltensweisen auch zufällig entstehen könnten. Laut technischer Arbeit konnten die Agenten sich mit 30 Minuten gezieltem Training an eine neue komplexe Aufgabe anpassen, während von Grund auf trainierte Vergleichsagenten diese Aufgaben nicht lernten.
Die Aussagen sind Ergebnisse und Deutungen des Forschungsteams, nicht der Nachweis allgemeiner Fähigkeiten außerhalb von XLand. Der Bericht begrenzt die mögliche Offenheit des Lernens selbst auf die Ausdrucksmöglichkeiten der simulierten Welt und des neuronalen Netzes. Er beschreibt einen Forschungsansatz und erste Fortschritte, keine bereits universell einsetzbaren Agenten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde vor allem die ausführlichere Zusammenfassung; die kurze ist sachlich weitgehend richtig, doch ihr Wort belegen überzieht die Befunde. In der ausführlichen Fassung ist gelegentlich kooperatives Verhalten missverständlich, denn laut Bericht nimmt Kooperation mit fortschreitendem Training zu. Die Einordnung stützt sich nur auf den Bericht, und der Bericht behandelt Sicherheitsfragen kaum.
Im Bericht, aber nicht in der Zusammenfassung
- Trainingsmethoden: GOAT-Architektur mit Ziel-Aufmerksamkeit sowie population based training zur Anpassung der Aufgabenerzeugung
- Umfang der Auswertung: rund 700.000 Spiele in 4.000 Welten
- Feinabstimmung: Mit 30 Minuten gezielten Trainings lernen Agenten eine neue komplexe Aufgabe, bei reinem RL von Grund auf gelingt dies nicht
- Ergebnisse der Auswertung: Teilnahme an 94 % der Spiele und mediane normalisierte Leistung von 110 %
- Methodik der Auswertung: normalisierte Punktzahlen über Perzentile sowie Teilnahmequote, nicht bloße Durchschnitte
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 37 %umfangreiche Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 48 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 25 %Hintergrund, keine Belege
- Luna 49 %einzelne zitierbare Belege
- JEV 30 %beantwortet teilweise oder widerspricht
- amos 31 %nur am Rande erwähnt
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 64 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 26 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 26 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt?
- SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus?
- SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung?
- SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf?
- SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig?
- SF-V1-T12 Welche Messung würde einen überzeugen, dass ein Modell, das Anteilnahme nur vorführt, ein eigenes Interesse am Leben eines Menschen entwickelt hat?
- SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen?
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 58 %einzelne zitierbare Belege
- JEV 26 %einzelne zitierbare Belege
- amos 29 %Hintergrund, keine Belege
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit?
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 52 %einzelne zitierbare Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 32 %Hintergrund, keine Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 31 %Hintergrund, keine Belege
- amos 24 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 62 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht?
- SF-A3-T02 Welche Mindesttests prüfen viele Modellinstanzen, die über längere Zeit zusammenwirken, auf stille Abstimmung, angesammelte Ziele und gemeinsames Verhalten, das kein einzelnes Modell zeigt?
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 38 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv