Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind4. Juli 2022 · Q004606

Human-centred mechanism design with Democratic AI

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht schildert eine Studie, in der ein mit menschlichen Spieldaten trainierter RL-Agent eine Verteilungsregel entwickelte, die in einem einfachen Spiel mehr Stimmen erhielt als mehrere Vergleichsregeln. Die Regel berücksichtigte Beiträge relativ zu den verfügbaren Mitteln und belohnte großzügige Einzahlungen; ob sich das auf reale Gesellschaften übertragen lässt und wie Minderheiteninteressen geschützt werden, bleibt offen.

Mittel

Der Bericht beschreibt eine Proof-of-Concept-Studie dazu, ob Deep Reinforcement Learning eine Verteilungsregel entwickeln kann, die Menschen in einem einfachen Spiel mehrheitlich unterstützen. Vier Personen entschieden wiederholt, ob sie unterschiedlich große Geldbeträge behalten oder in einen gemeinsamen Fonds einzahlen. Sie stimmten anschließend für eine von zwei Regeln. Laut Bericht sollte ein Spiel mit tatsächlichen Auszahlungen ehrliche Präferenzangaben fördern.

Der KI-Agent lernte zunächst auf Basis menschlicher Spieldaten: Ein neuronales Netz bildete menschliches Verhalten nach und erzeugte Trainingsdaten für eine simulierte Population. Der Agent optimierte seine Regel auf möglichst viele Stimmen. In Tests mit neuen Teilnehmenden war sie laut Forschenden beliebter als bekannte Vergleichsregeln und auch als eine Regel eines auf Zustimmung trainierten menschlichen Schiedsrichters. Sie berücksichtigte Beiträge im Verhältnis zu den anfänglichen Mitteln und belohnte besonders großzügige relative Beiträge.

Die Autoren sehen darin einen möglichen Weg, KI an geäußerten menschlichen Präferenzen auszurichten. Die Ergebnisse gelten jedoch für ein einfaches Spiel; die Übertragbarkeit auf reale Verteilungspolitik ist nicht belegt. Mehrheitsentscheidungen können zudem Minderheiteninteressen zurückstellen. Laut Bericht gehörten die Angehörigen der Minderheit hier zu den besser ausgestatteten Spielenden; weitere Forschung soll den Ausgleich solcher Interessen untersuchen.

Ausführlich lesen

Der Bericht stellt eine Proof-of-Concept-Studie vor, in der Deep Reinforcement Learning (RL) eine Regel zur Verteilung gemeinsamer Gewinne entwirft. Die Forschenden untersuchen damit, ob sich eine Wirtschaftspolitik finden lässt, die Menschen in einem einfachen Spiel per Mehrheitsentscheid bevorzugen. Als Hintergrund dient ein Verteilungsproblem: Gleiche Auszahlungen können unterschiedliche Beiträge übergehen, während eine Rückzahlung nach Beitrag außer Acht lassen kann, wie viel jemand im Verhältnis zu den eigenen verfügbaren Mitteln eingesetzt hat.

Das Spiel hatte vier Teilnehmende. In jeder Runde erhielten sie unterschiedlich große Geldbeträge und entschieden, ob sie das Geld behielten oder in einen gemeinsamen Fonds investierten. Die Einlagen sollten wachsen; die spätere Verteilung war zunächst unbekannt. Zwei Schiedsrichter standen für unterschiedliche Verteilungsregeln. Nach dem Spiel stimmten die Teilnehmenden darüber ab, welchen Schiedsrichter sie bevorzugten; in einem weiteren Spiel mit dem gewählten Schiedsrichter konnten sie die erzielten Beträge behalten. Das sollte laut Bericht Anreize für eine wahrheitsgemäße Stimmabgabe schaffen. Die Beschreibung ist bei der Zahl der Spielrunden nicht ganz eindeutig: Zunächst nennt sie zehn Runden je Spielinstanz, später je zehn Runden unter den beiden Schiedsrichtern.

Eine der Regeln war vorab festgelegt, die andere entwickelte ein RL-Agent. Für das Training zeichneten die Forschenden zunächst das Verhalten vieler menschlicher Gruppen auf und trainierten ein neuronales Netz, dieses Verhalten nachzuahmen. Die so erzeugte simulierte Population lieferte weitere Trainingsdaten. Der Agent wurde darauf optimiert, möglichst viele Stimmen dieser virtuellen Spielenden zu erhalten. Anschließend testeten die Forschenden die KI-Regel mit neu angeworbenen menschlichen Teilnehmenden im Vergleich zu bekannten Ausgangsregeln, darunter einer Regel, die Einlagen entsprechend ihrer absoluten Höhe zurückgibt.

Laut Bericht erhielt die KI-Regel bei den neuen menschlichen Teilnehmenden mehr Zustimmung als die Vergleichsregeln. Auch eine weitere Regel, die ein menschlicher Schiedsrichter mit dem Ziel größtmöglicher Zustimmung entwickelte, schnitt demnach schlechter ab als die Regel des Agenten. Die gefundene Regel verband nach Analyse der Forschenden zwei Ansätze: Sie berücksichtigte Beiträge im Verhältnis zu den anfänglichen Mitteln der jeweiligen Person und belohnte besonders großzügige relative Beiträge.

Die Autorinnen und Autoren führen als möglichen Vorteil an, dass das System auf ausdrücklich geäußerte Präferenzen in Form von Stimmen optimiert wurde. Das könne helfen, menschlich akzeptablere Lösungen zu finden und Menschen in die Entscheidung einzubeziehen. Der Bericht behauptet jedoch nicht, damit allgemein sichere oder faire KI erreicht zu haben. Die Untersuchung betrifft ein einfaches Spiel und eine konkrete Verteilungsfrage; die Übertragbarkeit auf reale Gesellschaften bleibt offen. Außerdem bildet Mehrheitswahl die Präferenzen einer Minderheit nicht automatisch gleichwertig ab. In dieser Studie bestand die Minderheit laut Bericht aus Personen mit größerer Anfangsausstattung. Weitere Forschung sei nötig, um Zielkonflikte zwischen Mehrheits- und Minderheitsinteressen zu untersuchen und demokratische Verfahren zu entwickeln, die allen Stimmen Gehör verschaffen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassungen sind sachlich treu; ihnen fehlt nur der Hinweis auf die Übereinstimmung mit früheren menschlichen Lösungsvorschlägen. Die Einordnungen wurden unabhängig von Lunas Stufen vergeben, und keine der Fragen wird im Bericht direkt beantwortet.

Im Bericht, aber nicht in der Zusammenfassung

  • Die gefundene Regel kombiniert Ideen, die menschliche Denker und Fachleute zur Umverteilung bereits vorgeschlagen haben

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 24 %einzelne zitierbare Belege
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 55 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 41 %einzelne zitierbare Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 24 %einzelne zitierbare Belege
    • SubQ 29 %gleiches Oberthema, hilft nicht
    • drex 22 %Hintergrund, keine Belege
    • d3-ultra 47 %gleiches Oberthema, hilft nicht

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 4 · 42 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 4 · 37 % · einzelne zitierbare Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-V1-T11 Wie unterscheidet man bei sich selbst ehrliches von interessegeleitetem Denken, welche Belege für diesen Unterschied würde man von einem Modell akzeptieren, und welcher Test trennt tatsächlich vertretene von nur vorgeführten Werten? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 56 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

    • SF-V4-T01 Falls ein Modell kein durchgehendes Selbst hat: Kann es überhaupt an den vorgesehenen Zielen und Werten ausgerichtet sein, oder nur seine Ausgaben? Luna: Stufe 4 · 42 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-V4-T04 Wenn ein Eigenwert des Menschseins verankert werden soll: Lässt er sich schützen, ohne sich vorher zu einigen, worin er besteht? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 46 %einzelne zitierbare Belege
    • JEV 49 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 24 %einzelne zitierbare Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 18 %nur am Rande erwähnt
    • Luna 68 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 22 %Hintergrund, keine Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen? Luna: Stufe 4 · 41 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →