Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai9. Mai 2023 · Q008303

Language models can explain neurons in language models

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt, wie GPT‑4 Erklärungen für GPT‑2-Neuronen erzeugt und anhand simulierter Aktivierungen bewertet. Die meisten Erklärungen schneiden laut OpenAI schlecht ab, auch wenn bestimmte Überarbeitungen und Modelländerungen die Scores verbessern. Das Verfahren erklärt weder die zugrunde liegenden Mechanismen noch die Wirkungen ganzer Schaltkreise und kann laut Bericht trotz hoher Bewertung bei neuartigen Texten irreführen.

Mittel

Der Bericht stellt ein Verfahren vor, das GPT‑4 Erklärungen für das Aktivitätsverhalten aller 307.200 Neuronen in GPT‑2 erstellen und bewerten lässt. GPT‑4 erhält dafür Textbeispiele samt Neuronenaktivierungen, formuliert eine Erklärung, simuliert auf dieser Grundlage weitere Aktivierungen und vergleicht die Vorhersagen mit den tatsächlichen Werten.

Nach Angaben der Forschenden erzielt die große Mehrheit der Erklärungen niedrige Bewertungen. Gegenbeispiele zur Überarbeitung heranzuziehen, leistungsfähigere Erklärungsmodelle zu verwenden und die Aktivierungsfunktion des untersuchten Modells zu verändern, habe die Bewertungen verbessert. Mehr als 1.000 Erklärungen erreichten mindestens 0,8; viele davon seien jedoch wenig interessant, und GPT‑4 habe auch interessante Neuronen nicht verstanden. Menschliche Erklärungen schnitten im Durchschnitt besser ab.

OpenAI veröffentlicht Datensätze, Visualisierungswerkzeuge und Code. Als Grenzen nennt der Bericht komplexes oder mehrdeutiges Neuronenverhalten, fehlende Aussagen über nachgelagerte Wirkungen und zugrunde liegende Mechanismen sowie hohen Rechenaufwand. Hohe Scores könnten Korrelationen statt verlässlicher Erklärungen widerspiegeln. Ganze Schaltkreise zu erklären und Sicherheitsprobleme wie Unehrlichkeit aufzudecken, bleibt laut Bericht ein zukünftiges Ziel.

Ausführlich lesen

Der Bericht beschreibt ein Verfahren, mit dem GPT‑4 automatisch kurze Erklärungen für das Verhalten einzelner Neuronen in GPT‑2 erstellt und bewertet. Als Motivation nennt OpenAI, dass Sprachmodelle zwar leistungsfähiger und verbreiteter werden, ihre inneren Abläufe aber nur begrenzt verstanden sind. Die Untersuchung einzelner Neuronen und Aufmerksamkeitsköpfe könnte laut Bericht dabei helfen, solche Abläufe besser zu erfassen; eine manuelle Prüfung lasse sich jedoch nur schwer auf sehr große Modelle übertragen.

Das Verfahren wird für jedes GPT‑2-Neuron in drei Schritten angewandt. Zunächst erhält GPT‑4 Textbeispiele mit Aktivierungen des Neurons und formuliert eine Erklärung dafür, welche Muster das Neuron erkennt. Danach soll GPT‑4 anhand dieser Erklärung vorhersagen, bei welchen Texten das Neuron aktiv wird. Schließlich werden die vorhergesagten Aktivierungen mit den tatsächlichen verglichen; daraus entsteht ein Bewertungsscore. Das gezeigte Beispiel beschreibt ein Neuron, das mit Filmen, Figuren und Unterhaltung in Verbindung gebracht wird, und erhält den Score 0,34.

Nach der Darstellung des Berichts schneiden die meisten Erklärungen schlecht ab. Die Forschenden berichten, dass sich die Scores verbessern lassen, wenn GPT‑4 mögliche Gegenbeispiele sucht und die Erklärungen anschließend überarbeitet werden, wenn ein leistungsfähigeres Erklärungsmodell verwendet wird oder wenn die Aktivierungsfunktion des erklärten Modells geändert wird. Zugleich seien die Erklärungen von GPT‑4 im Durchschnitt schlechter als menschliche Erklärungen. Für mehr als 1.000 Neuronen habe das Verfahren einen Score von mindestens 0,8 ergeben. Laut Bericht bedeutet dies, dass die Erklärung nach Einschätzung von GPT‑4 einen Großteil des besonders stark aktivierenden Verhaltens erfasst. Viele dieser Neuronen seien allerdings wenig interessant; außerdem habe GPT‑4 manche interessanten Neuronen nicht verstanden.

OpenAI stellt nach eigener Aussage Datensätze und Visualisierungswerkzeuge zu Erklärungen für alle 307.200 GPT‑2-Neuronen sowie Code für Erzeugung und Bewertung bereit. Der Bericht versteht dies als Grundlage für weitere Forschung und ordnet die Automatisierung der Interpretierbarkeitsarbeit als Teil des eigenen Ansatzes zur Alignment-Forschung ein.

Die Grenzen werden ausdrücklich benannt: Kurze Erklärungen könnten komplexes oder vieldeutiges Neuronenverhalten verfehlen; das Verfahren untersucht nur das Verhalten in Abhängigkeit vom Texteingang und erklärt weder nachgelagerte Wirkungen noch die Mechanismen, die das Verhalten hervorbringen. Selbst hohe Scores könnten daher bei neuartigen Texten irreführen, weil sie möglicherweise nur Korrelationen beschreiben. Hinzu komme hoher Rechenaufwand; größere Modelle würden laut Bericht womöglich schlechter erklärbar sein, etwa wegen späterer Schichten. Das Ziel, ganze neuronale Schaltkreise zu erklären und Sicherheitsprobleme wie Unehrlichkeit zu erkennen, sei noch nicht erreicht.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die mittlere Zusammenfassung; die kurze Fassung ist ebenfalls im Wesentlichen treu, lässt aber Umfang, Datenbasis und Skalierungsaussagen weg. Der Bericht enthält am Ende zahlreiche fachfremde Beispieltexte (Marvel, Kit Kat, Audiogeräte), die Luna zu Recht nicht ausgewertet hat. Die Einordnung von Luna (je Stufe 3) wurde unabhängig neu bewertet; die Teilfragen-Liste war leer.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Methode ist als Teil des Alignment-Ansatzes gedacht, bei dem Alignment-Forschung selbst automatisiert werden soll, und soll mit dem Tempo der KI-Entwicklung skalieren.
  • Das Verfahren funktioniert bei größeren Modellen schlechter, vermutlich weil spätere Schichten schwerer zu erklären sind.
  • Der Score 0,8 bedeutet laut GPT-4, dass die Erklärung den größten Teil des Verhaltens bei den stärksten Aktivierungen erfasst.
  • Die Erklärungen sind ausdrücklich unvollkommen; der Bericht betont, dass sie nur Korrelationen beschreiben und ohne Analyse der Mechanismen auskommen.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 53 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 21 %Hintergrund, keine Belege
    • Luna 44 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 27 %Hintergrund, keine Belege
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 65 %Hintergrund, keine Belege
    • JEV 39 %nur am Rande erwähnt
    • amos 36 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 49 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 52 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 22 %einzelne zitierbare Belege
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 33 %gleiches Oberthema, hilft nicht
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →