Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind18. August 2022 · Q002324

Discovering when an agent is present in a system

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt eine von den Autoren vorgeschlagene kausale Definition von Agenten: Ein System gilt demnach als Agent, wenn sich seine Strategie ändern würde, falls seine Handlungen die Welt anders beeinflussten. Drei skizzierte Algorithmen sollen solche Systeme anhand von Eingriffsdaten erkennbar machen und ihre Kausalmodelle in Spielgraphen übersetzen; die Autoren berichten von besseren Sicherheitsanalysen, nennen im Beitrag aber keine konkreten Messwerte und setzen für eine Übersetzung zusätzliche Annahmen voraus.

Mittel

Der Bericht stellt eine Arbeit vor, die eine kausale Definition von Agenten und Verfahren zu ihrer Entdeckung vorschlägt. Nach der Definition der Autoren ist ein Agent ein System, dessen Entscheidungsstrategie sich ändern würde, wenn seine Handlungen die Welt anders beeinflussten. Kausale Einflussdiagramme sollen dabei helfen, Entscheidungen, Umweltzustände und Nutzen abzubilden und daraus Anreize sowie mögliche Sicherheitsrisiken abzuleiten.

Ein Mausbeispiel veranschaulicht das Modell: Die Maus wählt eine Richtung, kann auf glattem Boden ausrutschen und erhält je nach Position Käse. Das erweiterte Kausalmodell bildet sowohl diese beobachtbaren Größen als auch ihre zugrunde liegenden Mechanismen ab. Drei skizzierte Algorithmen erschließen aus Eingriffsdaten einen mechanisierten Kausalgraphen, übersetzen ihn in einen Spielgraphen und ermöglichen unter zusätzlichen Annahmen auch die Rückübersetzung. Die Autoren zufolge kann das helfen, Agenten experimentell zu erkennen und ihre Anreize sicherer zu modellieren. Sie berichten außerdem von verbesserten Sicherheitsanalysen beispielhafter KI-Systeme. Der Blogbeitrag liefert dazu keine konkreten Messwerte oder ausführlichen Versuchsergebnisse und verweist für Details auf das Paper.

Ausführlich lesen

Der Bericht stellt eine Arbeit von Zachary Kenton, Ramana Kumar, Sebastian Farquhar, Jonathan Richens, Matt MacDermott und Tom Everitt vor. Ihr Thema ist, wie sich erkennen und modellieren lässt, ob ein System einen Agenten enthält. Die Autoren begründen das mit dem Ziel, die Anreize und möglichen Sicherheitsrisiken von KI-Systemen besser zu untersuchen. Als Modellierungswerkzeug dienen kausale Einflussdiagramme (CIDs), die Entscheidungen, Zustände, Belohnungen sowie kausale und informative Verbindungen abbilden. Ihre Verlässlichkeit hängt jedoch davon ab, ob das Diagramm die tatsächliche Trainingsumgebung korrekt erfasst.

Als formale Definition schlagen die Autoren vor: Ein Agent ist ein System, dessen Entscheidungsstrategie sich anpassen würde, wenn seine Handlungen die Welt auf andere Weise beeinflussten. Zur Veranschaulichung dient eine Maus in einem dreiteiligen Feld. Sie entscheidet, nach links oder rechts zu gehen, kann auf dem glatten Boden ausrutschen und erhält je nach Position Käse. Die Autoren beschreiben ein erweitertes Kausalmodell, in dem neben den beobachtbaren Größen – Entscheidung, neue Position und Käseerhalt – auch Mechanismen für die Entscheidungsstrategie, die Bodenbeschaffenheit und die Käseverteilung enthalten sind. Verbindungen zwischen diesen Mechanismen sollen zeigen, wie Umweltbedingungen die Strategie beeinflussen. Eine besondere Art von Verbindung, die sogenannte terminale Kante, bleibt dem Bericht zufolge bestehen, selbst wenn die entsprechende Verbindung zwischen den beobachtbaren Größen entfernt wird.

Der Bericht skizziert drei Algorithmen. Der erste soll aus experimentellen Daten, die durch Eingriffe in das System gewonnen werden, einen mechanisierten Kausalgraphen erschließen. Dabei wird geprüft, ob eine Veränderung einer Größe eine andere beeinflusst. Der zweite überführt diesen Graphen in einen Spielgraphen, aus dem sich Entscheidungen und Nutzen ableiten lassen. Der dritte bildet einen Spielgraphen wieder auf einen mechanisierten Kausalgraphen ab. Für diesen Rückweg nennt der Bericht zusätzliche Annahmen. Zusammen sollen die ersten beiden Verfahren helfen, Agenten anhand kausaler Experimente zu entdecken und als CIDs darzustellen.

Die Autoren berichten, ihre Arbeit verbessere die Sicherheitsanalyse mehrerer beispielhafter KI-Systeme und kläre frühere Missverständnisse bei der kausalen Modellierung von Agenten. Sie sehen darin eine Grundlage, um mit größerer Sicherheit Anreize und Sicherheitsmerkmale zu analysieren und zu beurteilen, ob ein System einen Agenten enthält – eine für mögliche Risiken fortgeschrittener KI wichtige Frage.

Der Beitrag ist eine Zusammenfassung der Arbeit und verweist für Einzelheiten auf das Paper. Er beschreibt die Algorithmen und Ergebnisse nur auf hoher Ebene; konkrete Versuchsaufbauten, Messwerte und die genaue Reichweite der berichteten Verbesserungen werden hier nicht ausgeführt. Auch die Übersetzung zwischen den Graphdarstellungen gilt laut Bericht nur unter zusätzlichen Annahmen. Die Aussagen zur Sicherheitswirkung sind daher als Darstellung und Einschätzung der Autoren wiedergegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassungen sind sachlich korrekt, nennen aber die Verlässlichkeitsgewinne durch kombinierte Ergebnisse und die Auflösung früherer Modellierungsfehler nicht. Bei der Einordnung liegt Luna bei SF-V3 und SF-A3 zu hoch, weil der Bericht dort kaum Bezug hat; bei SF-H3 liegt sie näher an der Quelle, der Bericht liefert aber keine Belege zu realen Modellen.

Im Bericht, aber nicht in der Zusammenfassung

  • Dass die kombinierten Ergebnisse zusätzliche Sicherheit geben, dass kein Modellierungsfehler gemacht wurde, fehlt in beiden Zusammenfassungen
  • Die Auflösung früherer Verwechslungen, die aus falscher kausaler Modellierung von Agenten entstanden sind, fehlt
  • Der Nutzen, Risiken schon vor dem Training eines Agenten zu erkennen und bessere Agentendesigns anzuregen, wird nur allgemein angedeutet

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 29 %Hintergrund, keine Belege
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 69 %Hintergrund, keine Belege
    • JEV 46 %gleiches Oberthema, hilft nicht
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 54 %Hintergrund, keine Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 71 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 27 %Hintergrund, keine Belege
    • Luna 42 %Hintergrund, keine Belege
    • JEV 22 %Hintergrund, keine Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 29 %Hintergrund, keine Belege
    • Luna 49 %einzelne zitierbare Belege
    • JEV 43 %Hintergrund, keine Belege
    • amos 33 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 62 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 28 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 25 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 29 %Hintergrund, keine Belege
    • Luna 47 %Hintergrund, keine Belege
    • JEV 46 %Hintergrund, keine Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 30 %Hintergrund, keine Belege
    • Luna 65 %Hintergrund, keine Belege
    • JEV 51 %Hintergrund, keine Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 32 %gleiches Oberthema, hilft nicht
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht
  3. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 79 %Hintergrund, keine Belege
    • JEV 48 %gleiches Oberthema, hilft nicht
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 62 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 38 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege
  2. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
  1. SF-K1 Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →