Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
anthropic15. Dezember 2022 · Q004894

Constitutional AI: Harmlessness from AI feedback

anthropic.com · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Auszug beschreibt Anthropics Constitutional-AI-Verfahren: Ein Modell überarbeitet eigene Antworten, und KI-Bewertungen dienen anschließend als Trainingsfeedback. Anthropic berichtet von einem weniger ausweichenden Assistenten und einem geringeren Bedarf an menschlichen Labels; da nur der Abstract und ein Memo-Link vorliegen, fehlen Details zu Methode, Ergebnissen und Einschränkungen.

Mittel

Der vorliegende Auszug enthält den Abstract eines Anthropic-Berichts über „Constitutional AI“ und einen Link zu einem Policy Memo. Der Ansatz soll einen harmlosen Assistenten trainieren, ohne schädliche Antworten von Menschen labeln zu lassen; als menschliche Aufsicht dient eine Liste von Regeln oder Prinzipien.

Das Verfahren kombiniert überwachtes Lernen und Verstärkungslernen. Zunächst erzeugt ein Modell Antworten, kritisiert und überarbeitet sie selbst; mit den Überarbeitungen wird es weitertrainiert. Danach bewertet ein Modell Antwortpaare. Aus diesen KI-Präferenzen entsteht ein Präferenzmodell, das im weiteren Training als Belohnungssignal dient (RLAIF). Anthropic berichtet, so einen Assistenten erhalten zu haben, der auf schädliche Anfragen eingeht, indem er seine Einwände erklärt, statt bloß auszuweichen. Begründende Denkprozesse könnten laut Abstract Leistung und Nachvollziehbarkeit fördern. Der Text behauptet außerdem, dass sich Verhalten präziser steuern und der Bedarf an menschlichen Labels verringern lasse. Da nur der Abstract vorliegt, fehlen Details zu Versuchsaufbau, Messwerten und Grenzen; das verlinkte Memo ist nicht enthalten.

Ausführlich lesen

Der vorliegende Quelltext enthält den Abstract eines Anthropic-Berichts zu „Constitutional AI“ sowie einen Link zu einem Policy Memo. Der Bericht untersucht laut Abstract, wie ein hilfreicher, zugleich möglichst harmloser KI-Assistent mithilfe von KI-generiertem Feedback trainiert werden kann, ohne schädliche Antworten von Menschen kennzeichnen zu lassen. Als menschliche Vorgabe dient dabei eine Liste von Regeln oder Prinzipien, die der Ansatz als „Verfassung“ bezeichnet.

Das beschriebene Verfahren hat zwei Phasen. Beim überwachten Lernen erzeugt ein Ausgangsmodell Antworten, kritisiert und überarbeitet sie selbst; anschließend wird das ursprüngliche Modell mit den überarbeiteten Antworten weitertrainiert. In der anschließenden Verstärkungslernphase erstellt das feinabgestimmte Modell Antwortpaare. Ein Modell bewertet, welche Antwort vorzuziehen ist. Aus diesen KI-Bewertungen wird ein Präferenzmodell trainiert, das beim weiteren Lernen als Belohnungssignal dient. Anthropic bezeichnet dieses Verfahren als „Reinforcement Learning from AI Feedback“ (RLAIF).

Anthropic berichtet, damit einen Assistenten trainiert zu haben, der schädliche Anfragen nicht einfach ausweichend abweist, sondern seine Einwände erklärt. Außerdem könnten beide Trainingsphasen schrittweise, begründende Denkprozesse nutzen, um die von Menschen bewertete Leistung und die Nachvollziehbarkeit von Entscheidungen zu verbessern. Der Abstract stellt den Ansatz als Möglichkeit dar, Verhalten präziser zu steuern und deutlich weniger menschliche Kennzeichnungen zu benötigen.

Die vorliegende Quelle ist jedoch nur ein Auszug: Sie enthält den Abstract, aber weder den vollständigen Bericht noch die Inhalte des verlinkten Policy Memos. Daher lassen sich hieraus keine Einzelheiten zu Versuchsaufbau, Messwerten, Vergleichsverfahren oder Einschränkungen der Ergebnisse entnehmen. Die Aussagen zu Erfolg und Nutzen sind in diesem Text Anthropic zugeschriebene Berichtsaussagen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %Hintergrund, keine Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 57 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 33 %einzelne zitierbare Belege
    • JEV 42 %beantwortet teilweise oder widerspricht
    • amos 29 %nur am Rande erwähnt
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T3-T03 Welche Teile von Training, Prüfung und Einsatz laufen schon heute weitgehend durch KI, und welche Rollen sagt jedes Labor zu, bei Menschen zu lassen, in einer veröffentlichten Liste statt als bloßer Grundsatz? Wenn KI nachfolgende Modelle selbst entwirft, trainiert und prüft: Welcher Mindestanteil der Forschung muss unter direkter menschlicher Prüfung bleiben, und wie belegt man, dass ein Durchbruch mit menschlicher Beteiligung und nicht vollautomatisch entstanden ist? Luna: Stufe 3 · 25 % · Hintergrund, keine Belege
    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 4 · 42 % · einzelne zitierbare Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 19 %Hintergrund, keine Belege
    • Luna 40 %einzelne zitierbare Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 27 %einzelne zitierbare Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra offen

    • SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
    • SF-V1-T04 Wie misst man die Überwachbarkeit des Denkens mit einem gemeinsamen, reproduzierbaren Maßstab, bevor sie versagt, und wie prüft man verlässlich, ob das sichtbare Denken das tatsächliche Vorgehen des Modells treu wiedergibt, auch wenn Modelle lernen, ihre Denkschritte zu optimieren? Und wenn Überwachungsergebnisse beeinflussen, welche Trainingsdaten oder Zwischenstände behalten werden: Wie prüft man, ob diese Auswahl weniger erkennbares Fehlverhalten statt weniger Fehlverhalten begünstigt, auch wenn der Denktext nie direkt bewertet wird? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
    • SF-V1-T05 Mit welchen empirischen Tests prüft man, ob Training mit synthetischen Daten und gegnerischen Denkspuren, auch von geopolitischen Rivalen, die Überwachbarkeit verschlechtert, und verpflichten sich Labore, alle synthetischen Trainingsdaten kryptografisch zu signieren? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-V1-T06 Was bedeutet Aufsicht, wenn man das Denken, auf das man sich am meisten verlässt, nicht mehr verlässlich überwachen kann? Und wenn ein Labor die Gedankenkette verbirgt, um sie vor dem Druck zu schützen, der entstünde, wenn sie im Training bewertet würde: Wer kann seine Sicherheitsdarstellung dann noch widerlegen? Luna: Stufe 3 · 51 % · Hintergrund, keine Belege
    • SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-V1-T09 Wenn Labore bessere Überwacher bauen, Modelle lernen, ihnen auszuweichen, und sich dieses Wechselspiel in jedem Labor beschleunigt: Behandeln Regierungen diesen Wettlauf selbst als Sicherheitsfrage zwischen Staaten, und welche gemeinsamen Belege würden zeigen, dass er beherrscht ist? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege
    • SF-V1-T11 Wie unterscheidet man bei sich selbst ehrliches von interessegeleitetem Denken, welche Belege für diesen Unterschied würde man von einem Modell akzeptieren, und welcher Test trennt tatsächlich vertretene von nur vorgeführten Werten? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 4 · 44 % · einzelne zitierbare Belege
    • SF-V3-T02 Wie macht man die Ausrichtung eines Modells an Werten zu prüfbaren Verhaltensregeln statt zu angestrebten menschlichen Eigenschaften wie der „Liebe zur Menschheit“? Luna: Stufe 4 · 30 % · einzelne zitierbare Belege
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V4-T01 Falls ein Modell kein durchgehendes Selbst hat: Kann es überhaupt an den vorgesehenen Zielen und Werten ausgerichtet sein, oder nur seine Ausgaben? Luna: Stufe 4 · 40 % · einzelne zitierbare Belege
    • SF-V4-T02 Was könnte die „Liebe zur Menschheit“, die manche von einer ausgerichteten KI erwarten, für etwas bedeuten, das mit jeder Antwort neu entsteht und wieder vergeht? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-V4-T04 Wenn ein Eigenwert des Menschseins verankert werden soll: Lässt er sich schützen, ohne sich vorher zu einigen, worin er besteht? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 17 %gleiches Oberthema, hilft nicht
    • Luna 46 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 28 %einzelne zitierbare Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra offen

    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 3 · 45 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 25 %Hintergrund, keine Belege
    • JEV 27 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 41 %gleiches Oberthema, hilft nicht
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 34 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →