Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai19. April 2024 · Q008598

The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Bericht liegt nur als Abstract-Auszug vor. Er schlägt eine Hierarchie für Anweisungen und entsprechendes Training vor; laut Abstract erhöhte dies bei GPT‑3.5 die Robustheit gegen Angriffe, auch gegen zuvor nicht trainierte Typen, bei nur minimalen Einbußen der Standardfähigkeiten. Einzelheiten und Messwerte fehlen.

Mittel

Der bereitgestellte Bericht ist nur ein Auszug mit dem Abstract und einer kurzen Abbildungsbeschreibung. Der Abstract behauptet, dass Prompt-Injections und ähnliche Angriffe unter anderem dadurch möglich werden, dass Sprachmodelle Entwickleranweisungen nicht zuverlässig höher einstufen als Texte aus nicht vertrauenswürdigen Quellen. Als Lösung schlagen die Autorinnen und Autoren eine Hierarchie für widersprüchliche Anweisungen sowie eine Methode zur Erzeugung passender Trainingsdaten vor. Modelle sollen dadurch lernen, niedriger priorisierte Vorgaben zu übergehen.

Bei einer Anwendung auf GPT‑3.5 habe sich laut Abstract die Robustheit deutlich erhöht, auch gegen im Training nicht enthaltene Angriffstypen. Die üblichen Fähigkeiten seien dabei nur minimal beeinträchtigt worden. Der Auszug enthält keine Messwerte oder näheren Angaben zum Versuchsaufbau; die Ergebnisse und ihre Grenzen lassen sich deshalb anhand des vorliegenden Textes nicht genauer beurteilen.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug: Er enthält den Abstract eines Beitrags zur sogenannten Instruktionshierarchie sowie eine kurze Abbildungsbeschreibung, aber keine ausführliche Darstellung der Studie. Der Abstract behauptet, dass Sprachmodelle durch Prompt-Injections, Jailbreaks und ähnliche Angriffe dazu gebracht werden können, ursprüngliche Vorgaben zugunsten schädlicher Anweisungen zu überschreiben. Als eine wesentliche Schwachstelle nennen die Autorinnen und Autoren, dass Modelle Anweisungen von Entwicklern häufig nicht höher gewichten als Texte von Nutzern oder anderen nicht vertrauenswürdigen Quellen.

Als Gegenmaßnahme schlagen sie eine Hierarchie vor, die festlegt, wie ein Modell bei widersprüchlichen Anweisungen unterschiedlicher Priorität handeln soll. Ergänzend beschreiben sie eine Methode zur Erzeugung von Trainingsdaten, mit der Modelle lernen sollen, niedriger priorisierte Anweisungen selektiv zu ignorieren.

Der Abstract berichtet, dass die Methode auf GPT‑3.5 angewendet wurde. Laut den Autorinnen und Autoren verbesserte sich dadurch die Robustheit deutlich, auch gegenüber Angriffstypen, die im Training nicht vorkamen. Zugleich seien die üblichen Fähigkeiten des Modells nur minimal beeinträchtigt worden.

Der Auszug nennt jedoch weder konkrete Messwerte noch Einzelheiten zum Versuchsaufbau, zu den getesteten Angriffen oder zu den Grenzen der Auswertung. Daher lassen sich diese Ergebnisse anhand des bereitgestellten Textes nicht näher prüfen. Die Abbildungsbeschreibung verweist lediglich auf ein abstraktes Bild in Beige-, Braun- und Blautönen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 28 %gleiches Oberthema, hilft nicht
    • Luna 32 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 33 %gleiches Oberthema, hilft nicht
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 19 %Hintergrund, keine Belege
    • Luna 54 %einzelne zitierbare Belege
    • JEV 36 %beantwortet teilweise oder widerspricht
    • amos 23 %einzelne zitierbare Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 22 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 46 % · Hintergrund, keine Belege
    • SF-V3-T02 Wie macht man die Ausrichtung eines Modells an Werten zu prüfbaren Verhaltensregeln statt zu angestrebten menschlichen Eigenschaften wie der „Liebe zur Menschheit“? Luna: Stufe 4 · 26 % · einzelne zitierbare Belege
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 18 %gleiches Oberthema, hilft nicht
    • Luna 44 %einzelne zitierbare Belege
    • JEV 52 %beantwortet teilweise oder widerspricht
    • amos 23 %einzelne zitierbare Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 28 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Modelle teilen und schützen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 27 %Hintergrund, keine Belege
    • JEV 25 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →