Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai6. Juni 2024 · Q007275

Extracting Concepts from GPT-4

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI berichtet über Sparse Autoencoder, mit denen das Unternehmen nach eigener Darstellung 16 Millionen Merkmale in GPT‑4-Aktivierungen gefunden hat, darunter Muster, die sich als menschlich deutbare Konzepte lesen lassen könnten. Viele Merkmale sind jedoch schwer zu interpretieren, die Methode erfasst nicht das gesamte Modellverhalten und erklärt noch nicht, wie Merkmale berechnet oder weiterverwendet werden.

Mittel

Der Bericht stellt OpenAIs Verfahren vor, GPT‑4-Aktivierungen mithilfe großer Sparse Autoencoder in sparsam auftretende Merkmale zu zerlegen, die menschlich deutbaren Konzepten entsprechen könnten. Das Unternehmen berichtet, dass seine verbesserten Methoden auf viele Millionen Merkmale skalieren und gleichmäßiger sowie effizienter wachsen als frühere Ansätze. Ein trainierter Autoencoder für GPT‑4 habe 16 Millionen Merkmale; Beispiele und Visualisierungen sollen zeigen, welche Textmuster einzelne Merkmale auslösen.

Die Arbeit ist laut Bericht noch früh und lückenhaft. Viele Merkmale lassen sich schwer interpretieren oder reagieren auch auf unpassende Textstellen, und ihre Deutungen können bislang nicht zuverlässig überprüft werden. Außerdem bildet der Autoencoder nicht das Verhalten von GPT‑4 vollständig ab: Die Leistung nach der Verarbeitung entspreche ungefähr der eines Modells mit zehnmal weniger Trainingsaufwand. Für eine umfassendere Abdeckung könnten Milliarden oder Billionen Merkmale nötig sein. Das Verfahren zeigt zudem nur Merkmale an einzelnen Modellstellen, nicht wie sie berechnet oder im weiteren Modellverlauf verwendet werden. OpenAI hofft, die Ergebnisse künftig für Überwachung und Steuerung einzusetzen; die erhofften Beiträge zu Sicherheit und Vertrauen bleiben Ziele weiterer Forschung.

Ausführlich lesen

Der Bericht beschreibt OpenAIs Arbeit daran, interne Aktivitätsmuster großer Sprachmodelle besser untersuchbar zu machen. Das Unternehmen erklärt, dass neuronale Netze trotz ihrer technischen Entwicklung schwer zu verstehen seien: Ihre Aktivierungen könnten mehrere Konzepte zugleich abbilden und träten dicht auf, während in einer konkreten Situation meist nur wenige Konzepte relevant seien. Sparse Autoencoder sollen solche dichten Aktivierungen in sparsam auftretende Merkmale zerlegen, die sich eher menschlich verständlichen Konzepten zuordnen lassen könnten.

OpenAI zufolge entwickelte das Forschungsteam Verfahren, mit denen sich Sparse Autoencoder auf Modelle mit vielen Millionen Merkmalen skalieren lassen. Die Skalierung verlaufe dabei glatt und vorhersehbar und liefere bessere Erträge als frühere Ansätze. Das Team trainierte dem Bericht nach Autoencoder auf Aktivierungen von GPT‑2 small und GPT‑4; für GPT‑4 sei ein Autoencoder mit 16 Millionen Merkmalen entstanden. Zur Veranschaulichung zeigt der Bericht Beispiele von Textstellen, in denen ein Merkmal aktiviert wurde. Ein Beispiel wird als Muster zu Formulierungen über Unvollkommenheit beschrieben, besonders wenn Menschen als fehlerhaft dargestellt werden. OpenAI stellt außerdem eine Forschungsarbeit, Code und Visualisierungen bereit.

Der Bericht betont jedoch, dass die Ergebnisse vorläufig sind. Viele gefundene Merkmale seien schwer zu deuten oder zeigten Aktivierungen, die nicht zum vermuteten Konzept passten. Zudem gebe es noch keine guten Methoden, die Richtigkeit solcher Deutungen zu überprüfen. Der Autoencoder erfasse auch nicht das gesamte Verhalten des ursprünglichen Modells: GPT‑4 durch den Autoencoder zu leiten ergebe laut Bericht eine Leistung, die ungefähr einem Modell entspreche, das mit zehnmal weniger Rechenaufwand trainiert wurde. Eine umfassende Erfassung der Konzepte könnte nach Einschätzung des Unternehmens Milliarden oder Billionen Merkmale erfordern.

Schließlich erlaube das Verfahren, Merkmale an einer bestimmten Stelle des Modells zu finden, erkläre aber noch nicht, wie das Modell diese Merkmale berechnet oder wie sie später weiterverwendet werden. OpenAI hofft, die Merkmale künftig zur Überwachung und Steuerung von Modellverhalten einzusetzen und Interpretierbarkeit langfristig für mehr Vertrauen, Sicherheit und Robustheit nutzbar zu machen. Der Bericht präsentiert diese Ziele als Perspektive und beschreibt dafür noch ungelöste Forschungsfragen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Bericht selbst. Lunas angegebene Stufen und Anteile wurden nicht übernommen; die Bewertung erfolgt unabhängig davon.

Im Bericht, aber nicht in der Zusammenfassung

  • Veröffentlichung von Paper, Code und einer Autoencoder-Sammlung für GPT-2 small (in beiden Zusammenfassungen)
  • neue Metriken zur Bewertung der Merkmalsqualität (nur in der mittleren Zusammenfassung nicht erwähnt)

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • effizienter (der Bericht sagt nur, das Skalierungsverhalten sei gleichmäßiger und habe bessere Skalierungsrenditen, nicht dass es effizienter sei)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %Hintergrund, keine Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 25 %Hintergrund, keine Belege
    • Luna 66 %einzelne zitierbare Belege
    • JEV 53 %einzelne zitierbare Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 31 %Hintergrund, keine Belege
    • Luna 57 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 78 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 24 %Hintergrund, keine Belege
    • Luna 52 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 34 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 27 %Hintergrund, keine Belege
    • d3-ultra 47 %Hintergrund, keine Belege

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 4 · 45 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-V1-T06 Was bedeutet Aufsicht, wenn man das Denken, auf das man sich am meisten verlässt, nicht mehr verlässlich überwachen kann? Und wenn ein Labor die Gedankenkette verbirgt, um sie vor dem Druck zu schützen, der entstünde, wenn sie im Training bewertet würde: Wer kann seine Sicherheitsdarstellung dann noch widerlegen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 34 %Hintergrund, keine Belege
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-V4-T03 Ist Intelligenz, die „eher gewachsen als entworfen“ ist, ein Grund für mehr Vorsicht oder dafür, Modelle wie ein Ökosystem zu pflegen? Luna: Stufe 4 · 46 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 29 %Hintergrund, keine Belege
    • Luna 38 %Hintergrund, keine Belege
    • JEV 41 %Hintergrund, keine Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 25 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 58 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 38 %gleiches Oberthema, hilft nicht
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 20 %Hintergrund, keine Belege
    • Luna 48 %umfangreiche Belege
    • JEV 38 %beantwortet teilweise oder widerspricht
    • amos 30 %Hintergrund, keine Belege
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 42 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung umfangreiche Belege

Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 55 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →