Emergent tool use from multi-agent interaction
Zusammenfassung
Kurz
Der Bericht beschreibt, wie Agenten in einem simulierten Versteckspiel laut OpenAI bis zu sechs Strategien und Gegenstrategien entwickelten, ohne eigens fürs Erkunden oder den Objektgebrauch belohnt zu werden. Der Transfer auf andere Aufgaben blieb begrenzt, und die Agenten nutzten gelegentlich unbeabsichtigte Eigenschaften der Physik aus.
Mittel
Der Bericht schildert ein OpenAI-Experiment mit Agenten, die in einer simulierten Versteckspiel-Umgebung gegeneinander lernen. Versteckende und Suchende erhalten nur für das jeweilige Spielziel Belohnungen; die Agenten können sich bewegen, Objekte verschieben und festsetzen. Laut den Autorinnen und Autoren entwickelten sich im Wettbewerb bis zu sechs Strategien und Gegenstrategien. In einer stärker randomisierten Umgebung traten zwei zusätzliche Entwicklungsphasen auf. Das Team führt dies auf eine selbst erzeugte Lernfolge aus Wettbewerb und Spielregeln zurück.
Trainiert wurde mit Self-Play und Proximal Policy Optimization. Größere Trainingsbatches verkürzten laut Bericht die Zeit bis zu einer fortgeschrittenen Strategiephase; kleinere Größen erreichten diese im verfügbaren Umfang nicht. Gegenüber zustandsbasiertem Erkunden seien die Verhaltensweisen des Versteckspiel-Agenten zielgerichteter und leichter als menschliche Handlungen zu deuten gewesen. Bei zusätzlichen Aufgaben, etwa zum Zählen, Merken und Bauen, zeigte sich jedoch nur begrenzter Transfer. Die Autorinnen und Autoren vermuten, dass gelernte Fähigkeiten schwer übertragbar miteinander verflochten sind. Sie berichten außerdem über unerwartete Ausnutzung der Physik. Die Ergebnisse sind Hinweise auf komplexes Lernen in dieser Simulation, belegen aber keine allgemeine Intelligenz oder zuverlässige Übertragbarkeit.
Ausführlich lesen
Der Bericht beschreibt ein OpenAI-Experiment, in dem mehrere lernende Agenten in einer simulierten Versteckspiel-Umgebung gegeneinander antreten. Die Versteckenden müssen den Sichtkontakt der Suchenden vermeiden; die Suchenden sollen sie im Blick behalten. Die Agenten können sich bewegen und drehen, Objekte sehen und greifen sowie sie verschieben oder am Ort festsetzen. Räume und Hindernisse werden teilweise zufällig erzeugt. Vor jeder Runde erhalten die Versteckenden eine Vorbereitungsphase, in der die Suchenden stillstehen. Belohnt wird allein das Spielziel: Die Versteckenden erhalten eine positive Team-Belohnung, wenn alle verborgen sind, andernfalls eine negative; für die Suchenden gilt das Umgekehrte. Eine Strafe begrenzt das Entfernen aus dem Spielfeld. Eigenständige Belohnungen für Erkunden oder den Umgang mit Objekten gibt es laut Bericht nicht.
Nach Darstellung der Autorinnen und Autoren entstanden im Wettbewerb bis zu sechs aufeinanderfolgende Strategien und Gegenstrategien. Jede neue Verhaltensweise habe die Gegenseite dazu gedrängt, sich weiterzuentwickeln. Im stärker randomisierten Szenario seien zwei zusätzliche Entwicklungsphasen aufgetreten als in der einfacheren Umgebung. Der Bericht führt diese Entwicklung auf eine selbst erzeugte Lernfolge zurück, die aus Wettbewerb und den einfachen Spielregeln hervorgehe. Die konkreten Strategiephasen werden im Quelltext vor allem über Abbildungen vermittelt; deren Einzelheiten lassen sich aus dem vorliegenden Text nicht vollständig entnehmen.
Für das Training nutzte das Team Verfahren und Infrastruktur, die es auch bei OpenAI Five und Dactyl eingesetzt habe: selbstständige Agenten mit eigenen Beobachtungen und internem Gedächtnis, eine Repräsentation von Objekten und anderen Agenten, Self-Play und Proximal Policy Optimization. Die Wahrnehmung sei auf Sichtbares beschränkt; während der Optimierung dürfe die Bewertungsfunktion jedoch privilegierte Informationen über verdeckte Objekte und Agenten verwenden. Größere Trainingsbatches hätten laut Bericht die Zeit bis zum Erreichen der vierten Strategiephase deutlich verkürzt. Ab 32.000 sei die Zahl der benötigten Beispiele kaum effizienter geworden; Batches von 8.000 und 16.000 hätten die Phase im verfügbaren Trainingsumfang nicht erreicht. Die angegebene Batchgröße zählt zusammenhängende Abschnitte aus jeweils zehn Übergängen.
Der Bericht vergleicht den Wettbewerb außerdem mit intrinsischer Motivation durch zustandsbasiertes Erkunden. Die Autorinnen und Autoren bewerten die dort beobachteten Verhaltensweisen als weniger zielgerichtet und weniger menschenverständlich, besonders bei komplexeren Zustandsräumen. Zur Beurteilung von Fähigkeiten schlagen sie Aufgaben zum Zählen, Merken, geordneten Festsetzen und Bauen vor. Beim Übertragen auf diese Aufgaben schnitt der Versteckspiel-Agent bei mehreren Tests besser ab, doch der Leistungsgewinn und die schnellere Konvergenz seien begrenzt gewesen. Als mögliche Erklärung vermutet das Team schwer übertragbare, miteinander verflochtene Fähigkeiten; es stellt zugleich in Aussicht, dass vielfältigere Umgebungen bessere Übertragbarkeit fördern könnten. Schließlich berichtet der Text von unerwarteten Physik-Ausnutzungen, darunter das „Surfen“ auf einer Kiste, endloses Weglaufen und das Entfernen oder zweckentfremdete Nutzen von Rampen. Insgesamt präsentiert der Bericht die Ergebnisse als Hinweise darauf, dass Wettbewerb komplexe Verhaltensweisen hervorbringen kann, nicht als Beleg für allgemeine Intelligenz oder robuste Übertragbarkeit.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas kurze Zusammenfassung ist ebenfalls treu (Strategien, Physik-Ausnutzung, begrenzter Transfer), lässt aber mehr Kernaussagen aus. Die Einordnung beschreibt den Bericht, der sich auf Mehragenten-Versteckspiel konzentriert, und deckt die Sicherheitsfragen daher nur am Rande ab.
Im Bericht, aber nicht in der Zusammenfassung
- Der Vergleich mit zählbasiertem Erkunden wird nur als „zustandsbasiert“ umschrieben, ohne die Aussage, dass Wettbewerb zwischen Agenten laut Bericht skalierbarer ist.
- Die Belohnungsstruktur (+1/-1 für Versteckende und Suchende) und die Vorbereitungsphase fehlen.
- Die Schlussfolgerung, dass Metriken wie Belohnung oder ELO in Mehragentenumgebungen nur begrenzt aussagekräftig sind, fehlt.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die Ergebnisse belegten keine allgemeine Intelligenz oder zuverlässige Übertragbarkeit, steht so nicht im Bericht. Der Bericht spricht nur vorsichtig davon, dass Ko-Adaption künftig sehr komplexes und intelligentes Verhalten hervorbringen könnte.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 23 %Hintergrund, keine Belege
- Luna 42 %einzelne zitierbare Belege
- JEV 45 %einzelne zitierbare Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 47 %einzelne zitierbare Belege
- JEV 25 %einzelne zitierbare Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 24 %Hintergrund, keine Belege
- Luna 52 %einzelne zitierbare Belege
- JEV 40 %einzelne zitierbare Belege
- amos 31 %nur am Rande erwähnt
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 28 %Hintergrund, keine Belege
- Luna 48 %einzelne zitierbare Belege
- JEV 31 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
- SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit?
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 48 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 30 %gleiches Oberthema, hilft nicht
- JEV 44 %einzelne zitierbare Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 28 %Hintergrund, keine Belege
- Luna 45 %Hintergrund, keine Belege
- JEV 34 %einzelne zitierbare Belege
- amos 22 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 30 %Hintergrund, keine Belege
- Luna 55 %einzelne zitierbare Belege
- JEV 30 %einzelne zitierbare Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht?
- SF-A3-T02 Welche Mindesttests prüfen viele Modellinstanzen, die über längere Zeit zusammenwirken, auf stille Abstimmung, angesammelte Ziele und gemeinsames Verhalten, das kein einzelnes Modell zeigt?
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 69 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv