Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai19. Februar 2019 · Q008596

AI safety needs social scientists

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht fordert, Sozialwissenschaftler in die KI-Sicherheitsforschung einzubeziehen, weil menschliche Werturteile durch Denkbegrenzungen, Verzerrungen und die Art der Fragestellung beeinflusst sein können. Er schlägt Experimente vor, in denen Menschen Rollen übernehmen, die später KI-Systeme ausfüllen sollen, berichtet aber noch keine Ergebnisse und belegt keine Übertragbarkeit auf KI.

Mittel

Der Bericht argumentiert, dass langfristige KI-Sicherheitsforschung Sozialwissenschaftlerinnen und Sozialwissenschaftler braucht, um Verfahren zur Ausrichtung von KI an menschlichen Werten mit echten Menschen zu untersuchen. OpenAI beschreibt einen Ansatz, bei dem menschliche Präferenzen erhoben, zum Training von Modellen genutzt und anschließend zur Optimierung von KI-Systemen herangezogen werden. Zugleich könnten menschliche Antworten durch begrenztes Wissen, Denkfehler, Wertkonflikte und die Formulierung von Fragen beeinflusst werden. Der Bericht nennt als Beispiele unterschiedliche moralische Urteile je nach Fragewortlaut und inkonsistente Entscheidungen bei komplex dargestellten Glücksspielen.

Da unklar sei, wie Ansätze wie Verstärkung und Debatte mit Menschen in realistischen Situationen funktionieren, schlägt OpenAI rein menschliche Experimente vor. Menschen könnten etwa die Rollen zweier KI-Debattierender und eines menschlichen Beurteilers übernehmen. Erkenntnisse daraus sollen später auf maschinelle Systeme übertragen werden. Dafür seien sorgfältige Versuchsplanung und Expertise aus verschiedenen Sozialwissenschaften erforderlich. Der Bericht verweist auf einen Workshop an der Stanford University, regelmäßige interdisziplinäre Gespräche und OpenAIs damalige Pläne, Sozialwissenschaftler einzustellen. Er ist ein Forschungsaufruf: Ergebnisse der vorgeschlagenen Experimente oder Belege für die Übertragbarkeit auf KI-Systeme berichtet er nicht.

Ausführlich lesen

Der Bericht vertritt die These, dass langfristige Forschung zur KI-Sicherheit Sozialwissenschaftlerinnen und Sozialwissenschaftler einbeziehen sollte. Ihr Beitrag sei nötig, damit Verfahren zur Ausrichtung fortgeschrittener KI-Systeme an menschlichen Werten auch dann funktionieren, wenn echte Menschen beteiligt sind. OpenAI beschreibt als angestrebten Ansatz, Menschen nach ihren Wünschen zu fragen, maschinelle Lernmodelle anhand ihrer Antworten zu trainieren und KI-Systeme auf Grundlage dieser Modelle zu optimieren. Als Beispiele nennt der Bericht Präferenzlernen, Debattenverfahren und iterierte Verstärkung.

Ein zentrales Problem sieht der Bericht darin, dass menschliche Antworten auf Fragen zu Werten unzuverlässig sein können. Menschen verfügten über begrenztes Wissen und begrenzte Denkfähigkeiten; zudem könnten kognitive Verzerrungen und ethische Überzeugungen zu Antworten führen, die sich bei genauerer Überlegung als widersprüchlich erweisen. Auch die Formulierung einer Frage könne Urteile beeinflussen: Als Beispiele werden unterschiedliche Einschätzungen je nach Verwendung des Wortes „moralisch“ und inkonsistente Entscheidungen bei komplex dargestellten Glücksspielen angeführt. Der Bericht folgert daraus, dass verschiedene Befragungsmethoden unterschiedlich gute Antworten hervorbringen könnten.

Zwar gebe es Verfahren, die menschliches Nachdenken über Werte gezielt nutzen sollen, etwa Verstärkung und Debatte. Laut Bericht sei jedoch noch unklar, wie diese Ansätze mit realen Menschen in realistischen Situationen funktionieren. Probleme könnten in Gesprächen über komplexe, wertebezogene Fragen sichtbar werden, die heutige Methoden des maschinellen Lernens möglicherweise nicht zuverlässig aufdecken.

Als vorgeschlagenes Vorgehen beschreibt der Bericht Experimente, an denen ausschließlich Menschen teilnehmen. Sie sollen die Rollen übernehmen, die in den entsprechenden KI-Verfahren maschinelle Systeme innehätten. Beim Debattenansatz könnten beispielsweise zwei Menschen als Debattierende gegeneinander antreten, während eine weitere Person urteilt. Die Forschenden wollen aus solchen Versuchen Erkenntnisse gewinnen, die später auf maschinelle Debattierende übertragbar sein könnten. Diese Experimente würden laut Bericht selbst keine maschinellen Lernsysteme einsetzen und keine Vorkenntnisse in maschinellem Lernen voraussetzen. Erforderlich seien jedoch sorgfältige Versuchsplanung und ein fundiertes Verständnis menschlichen Denkens.

Deshalb plädiert OpenAI für die Zusammenarbeit mit Fachleuten aus experimenteller Psychologie, Kognitionswissenschaft, Wirtschaftswissenschaften, Politikwissenschaft und Sozialpsychologie sowie angrenzenden Gebieten wie Neurowissenschaften und Recht. Als ersten Schritt nennt der Bericht einen von OpenAI-Forschenden mitorganisierten Workshop am Center for Advanced Study in the Behavioral Sciences der Stanford University. Außerdem berichtet er von regelmäßigen Gesprächen über Sozialwissenschaft und KI-Ausrichtung sowie davon, dass OpenAI zu diesem Zeitpunkt eine eigene Forschungsarbeit aufbaue und Sozialwissenschaftlerinnen und Sozialwissenschaftler einstellen wolle.

Der Text ist vor allem ein Aufruf zur interdisziplinären Zusammenarbeit und eine Darstellung eines vorgeschlagenen Forschungsprogramms. Er beschreibt keine Ergebnisse der angekündigten Experimente und belegt nicht, dass die vorgeschlagenen Erkenntnisse tatsächlich auf KI-Systeme übertragbar sind. Seine Beispiele und Einschätzungen begründen die Motivation für die Forschung, ersetzen aber keine berichtete Prüfung ihrer Wirksamkeit.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen (kurz und mittel). Beide geben den Bericht inhaltlich treu wieder; die kurze lässt jedoch die Begründung und den Umfang der vorgeschlagenen Fachrichtungen stärker aus. Luna bewertete alle drei Fragen mit Stufe 3, der Bericht beantwortet sie aber nicht; er ist ein Forschungsaufruf zu menschlichen Experimenten. Die Anteilsangaben in Lunas Einordnung sind im Schema nicht vorgesehen und wurden nicht bewertet. Keine Teilfragen angegeben.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Begründung, dass für die rein menschlichen Experimente kein ML-Hintergrund nötig ist und die meisten KI-Sicherheitsforscher ML-fokussiert sind
  • Die Aussage, dass aktuelle ML-Systeme für manche Probleme zu schwach sein könnten, um Fehler in wertebezogenen Diskussionen aufzudecken
  • Die Liste der vorgeschlagenen Fachrichtungen, etwa Ökonomie, Politikwissenschaft, Neurowissenschaft und Recht

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 27 %Hintergrund, keine Belege
    • Luna 68 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 76 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 28 %Hintergrund, keine Belege
    • Luna 40 %gleiches Oberthema, hilft nicht
    • JEV 100 %kein Bezug
    • amos 54 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 71 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 27 %Hintergrund, keine Belege
    • Luna 48 %Hintergrund, keine Belege
    • JEV 38 %Hintergrund, keine Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 32 %Hintergrund, keine Belege
    • d3-ultra 40 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 27 %Hintergrund, keine Belege
    • Luna 71 %Hintergrund, keine Belege
    • JEV 49 %Hintergrund, keine Belege
    • amos 35 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 62 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 25 %Hintergrund, keine Belege
    • Luna 60 %Hintergrund, keine Belege
    • JEV 44 %Hintergrund, keine Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 41 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 46 %gleiches Oberthema, hilft nicht
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 53 %gleiches Oberthema, hilft nicht
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 47 %Hintergrund, keine Belege
    • JEV 42 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →