Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai17. September 2019 · Q007797

Emergent tool use from multi-agent interaction

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt, wie Agenten in einem simulierten Versteckspiel laut OpenAI bis zu sechs Strategien und Gegenstrategien entwickelten, ohne eigens fürs Erkunden oder den Objektgebrauch belohnt zu werden. Der Transfer auf andere Aufgaben blieb begrenzt, und die Agenten nutzten gelegentlich unbeabsichtigte Eigenschaften der Physik aus.

Mittel

Der Bericht schildert ein OpenAI-Experiment mit Agenten, die in einer simulierten Versteckspiel-Umgebung gegeneinander lernen. Versteckende und Suchende erhalten nur für das jeweilige Spielziel Belohnungen; die Agenten können sich bewegen, Objekte verschieben und festsetzen. Laut den Autorinnen und Autoren entwickelten sich im Wettbewerb bis zu sechs Strategien und Gegenstrategien. In einer stärker randomisierten Umgebung traten zwei zusätzliche Entwicklungsphasen auf. Das Team führt dies auf eine selbst erzeugte Lernfolge aus Wettbewerb und Spielregeln zurück.

Trainiert wurde mit Self-Play und Proximal Policy Optimization. Größere Trainingsbatches verkürzten laut Bericht die Zeit bis zu einer fortgeschrittenen Strategiephase; kleinere Größen erreichten diese im verfügbaren Umfang nicht. Gegenüber zustandsbasiertem Erkunden seien die Verhaltensweisen des Versteckspiel-Agenten zielgerichteter und leichter als menschliche Handlungen zu deuten gewesen. Bei zusätzlichen Aufgaben, etwa zum Zählen, Merken und Bauen, zeigte sich jedoch nur begrenzter Transfer. Die Autorinnen und Autoren vermuten, dass gelernte Fähigkeiten schwer übertragbar miteinander verflochten sind. Sie berichten außerdem über unerwartete Ausnutzung der Physik. Die Ergebnisse sind Hinweise auf komplexes Lernen in dieser Simulation, belegen aber keine allgemeine Intelligenz oder zuverlässige Übertragbarkeit.

Ausführlich lesen

Der Bericht beschreibt ein OpenAI-Experiment, in dem mehrere lernende Agenten in einer simulierten Versteckspiel-Umgebung gegeneinander antreten. Die Versteckenden müssen den Sichtkontakt der Suchenden vermeiden; die Suchenden sollen sie im Blick behalten. Die Agenten können sich bewegen und drehen, Objekte sehen und greifen sowie sie verschieben oder am Ort festsetzen. Räume und Hindernisse werden teilweise zufällig erzeugt. Vor jeder Runde erhalten die Versteckenden eine Vorbereitungsphase, in der die Suchenden stillstehen. Belohnt wird allein das Spielziel: Die Versteckenden erhalten eine positive Team-Belohnung, wenn alle verborgen sind, andernfalls eine negative; für die Suchenden gilt das Umgekehrte. Eine Strafe begrenzt das Entfernen aus dem Spielfeld. Eigenständige Belohnungen für Erkunden oder den Umgang mit Objekten gibt es laut Bericht nicht.

Nach Darstellung der Autorinnen und Autoren entstanden im Wettbewerb bis zu sechs aufeinanderfolgende Strategien und Gegenstrategien. Jede neue Verhaltensweise habe die Gegenseite dazu gedrängt, sich weiterzuentwickeln. Im stärker randomisierten Szenario seien zwei zusätzliche Entwicklungsphasen aufgetreten als in der einfacheren Umgebung. Der Bericht führt diese Entwicklung auf eine selbst erzeugte Lernfolge zurück, die aus Wettbewerb und den einfachen Spielregeln hervorgehe. Die konkreten Strategiephasen werden im Quelltext vor allem über Abbildungen vermittelt; deren Einzelheiten lassen sich aus dem vorliegenden Text nicht vollständig entnehmen.

Für das Training nutzte das Team Verfahren und Infrastruktur, die es auch bei OpenAI Five und Dactyl eingesetzt habe: selbstständige Agenten mit eigenen Beobachtungen und internem Gedächtnis, eine Repräsentation von Objekten und anderen Agenten, Self-Play und Proximal Policy Optimization. Die Wahrnehmung sei auf Sichtbares beschränkt; während der Optimierung dürfe die Bewertungsfunktion jedoch privilegierte Informationen über verdeckte Objekte und Agenten verwenden. Größere Trainingsbatches hätten laut Bericht die Zeit bis zum Erreichen der vierten Strategiephase deutlich verkürzt. Ab 32.000 sei die Zahl der benötigten Beispiele kaum effizienter geworden; Batches von 8.000 und 16.000 hätten die Phase im verfügbaren Trainingsumfang nicht erreicht. Die angegebene Batchgröße zählt zusammenhängende Abschnitte aus jeweils zehn Übergängen.

Der Bericht vergleicht den Wettbewerb außerdem mit intrinsischer Motivation durch zustandsbasiertes Erkunden. Die Autorinnen und Autoren bewerten die dort beobachteten Verhaltensweisen als weniger zielgerichtet und weniger menschenverständlich, besonders bei komplexeren Zustandsräumen. Zur Beurteilung von Fähigkeiten schlagen sie Aufgaben zum Zählen, Merken, geordneten Festsetzen und Bauen vor. Beim Übertragen auf diese Aufgaben schnitt der Versteckspiel-Agent bei mehreren Tests besser ab, doch der Leistungsgewinn und die schnellere Konvergenz seien begrenzt gewesen. Als mögliche Erklärung vermutet das Team schwer übertragbare, miteinander verflochtene Fähigkeiten; es stellt zugleich in Aussicht, dass vielfältigere Umgebungen bessere Übertragbarkeit fördern könnten. Schließlich berichtet der Text von unerwarteten Physik-Ausnutzungen, darunter das „Surfen“ auf einer Kiste, endloses Weglaufen und das Entfernen oder zweckentfremdete Nutzen von Rampen. Insgesamt präsentiert der Bericht die Ergebnisse als Hinweise darauf, dass Wettbewerb komplexe Verhaltensweisen hervorbringen kann, nicht als Beleg für allgemeine Intelligenz oder robuste Übertragbarkeit.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas kurze Zusammenfassung ist ebenfalls treu (Strategien, Physik-Ausnutzung, begrenzter Transfer), lässt aber mehr Kernaussagen aus. Die Einordnung beschreibt den Bericht, der sich auf Mehragenten-Versteckspiel konzentriert, und deckt die Sicherheitsfragen daher nur am Rande ab.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Vergleich mit zählbasiertem Erkunden wird nur als „zustandsbasiert“ umschrieben, ohne die Aussage, dass Wettbewerb zwischen Agenten laut Bericht skalierbarer ist.
  • Die Belohnungsstruktur (+1/-1 für Versteckende und Suchende) und die Vorbereitungsphase fehlen.
  • Die Schlussfolgerung, dass Metriken wie Belohnung oder ELO in Mehragentenumgebungen nur begrenzt aussagekräftig sind, fehlt.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, die Ergebnisse belegten keine allgemeine Intelligenz oder zuverlässige Übertragbarkeit, steht so nicht im Bericht. Der Bericht spricht nur vorsichtig davon, dass Ko-Adaption künftig sehr komplexes und intelligentes Verhalten hervorbringen könnte.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 23 %Hintergrund, keine Belege
    • Luna 42 %einzelne zitierbare Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 47 %einzelne zitierbare Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 24 %Hintergrund, keine Belege
    • Luna 52 %einzelne zitierbare Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 31 %nur am Rande erwähnt
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 28 %Hintergrund, keine Belege
    • Luna 48 %einzelne zitierbare Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 48 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 30 %gleiches Oberthema, hilft nicht
    • JEV 44 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 28 %Hintergrund, keine Belege
    • Luna 45 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 22 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 30 %Hintergrund, keine Belege
    • Luna 55 %einzelne zitierbare Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-A3-T02 Welche Mindesttests prüfen viele Modellinstanzen, die über längere Zeit zusammenwirken, auf stille Abstimmung, angesammelte Ziele und gemeinsames Verhalten, das kein einzelnes Modell zeigt? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →