Language models can explain neurons in language models
Zusammenfassung
Kurz
Der Bericht beschreibt, wie GPT‑4 Erklärungen für GPT‑2-Neuronen erzeugt und anhand simulierter Aktivierungen bewertet. Die meisten Erklärungen schneiden laut OpenAI schlecht ab, auch wenn bestimmte Überarbeitungen und Modelländerungen die Scores verbessern. Das Verfahren erklärt weder die zugrunde liegenden Mechanismen noch die Wirkungen ganzer Schaltkreise und kann laut Bericht trotz hoher Bewertung bei neuartigen Texten irreführen.
Mittel
Der Bericht stellt ein Verfahren vor, das GPT‑4 Erklärungen für das Aktivitätsverhalten aller 307.200 Neuronen in GPT‑2 erstellen und bewerten lässt. GPT‑4 erhält dafür Textbeispiele samt Neuronenaktivierungen, formuliert eine Erklärung, simuliert auf dieser Grundlage weitere Aktivierungen und vergleicht die Vorhersagen mit den tatsächlichen Werten.
Nach Angaben der Forschenden erzielt die große Mehrheit der Erklärungen niedrige Bewertungen. Gegenbeispiele zur Überarbeitung heranzuziehen, leistungsfähigere Erklärungsmodelle zu verwenden und die Aktivierungsfunktion des untersuchten Modells zu verändern, habe die Bewertungen verbessert. Mehr als 1.000 Erklärungen erreichten mindestens 0,8; viele davon seien jedoch wenig interessant, und GPT‑4 habe auch interessante Neuronen nicht verstanden. Menschliche Erklärungen schnitten im Durchschnitt besser ab.
OpenAI veröffentlicht Datensätze, Visualisierungswerkzeuge und Code. Als Grenzen nennt der Bericht komplexes oder mehrdeutiges Neuronenverhalten, fehlende Aussagen über nachgelagerte Wirkungen und zugrunde liegende Mechanismen sowie hohen Rechenaufwand. Hohe Scores könnten Korrelationen statt verlässlicher Erklärungen widerspiegeln. Ganze Schaltkreise zu erklären und Sicherheitsprobleme wie Unehrlichkeit aufzudecken, bleibt laut Bericht ein zukünftiges Ziel.
Ausführlich lesen
Der Bericht beschreibt ein Verfahren, mit dem GPT‑4 automatisch kurze Erklärungen für das Verhalten einzelner Neuronen in GPT‑2 erstellt und bewertet. Als Motivation nennt OpenAI, dass Sprachmodelle zwar leistungsfähiger und verbreiteter werden, ihre inneren Abläufe aber nur begrenzt verstanden sind. Die Untersuchung einzelner Neuronen und Aufmerksamkeitsköpfe könnte laut Bericht dabei helfen, solche Abläufe besser zu erfassen; eine manuelle Prüfung lasse sich jedoch nur schwer auf sehr große Modelle übertragen.
Das Verfahren wird für jedes GPT‑2-Neuron in drei Schritten angewandt. Zunächst erhält GPT‑4 Textbeispiele mit Aktivierungen des Neurons und formuliert eine Erklärung dafür, welche Muster das Neuron erkennt. Danach soll GPT‑4 anhand dieser Erklärung vorhersagen, bei welchen Texten das Neuron aktiv wird. Schließlich werden die vorhergesagten Aktivierungen mit den tatsächlichen verglichen; daraus entsteht ein Bewertungsscore. Das gezeigte Beispiel beschreibt ein Neuron, das mit Filmen, Figuren und Unterhaltung in Verbindung gebracht wird, und erhält den Score 0,34.
Nach der Darstellung des Berichts schneiden die meisten Erklärungen schlecht ab. Die Forschenden berichten, dass sich die Scores verbessern lassen, wenn GPT‑4 mögliche Gegenbeispiele sucht und die Erklärungen anschließend überarbeitet werden, wenn ein leistungsfähigeres Erklärungsmodell verwendet wird oder wenn die Aktivierungsfunktion des erklärten Modells geändert wird. Zugleich seien die Erklärungen von GPT‑4 im Durchschnitt schlechter als menschliche Erklärungen. Für mehr als 1.000 Neuronen habe das Verfahren einen Score von mindestens 0,8 ergeben. Laut Bericht bedeutet dies, dass die Erklärung nach Einschätzung von GPT‑4 einen Großteil des besonders stark aktivierenden Verhaltens erfasst. Viele dieser Neuronen seien allerdings wenig interessant; außerdem habe GPT‑4 manche interessanten Neuronen nicht verstanden.
OpenAI stellt nach eigener Aussage Datensätze und Visualisierungswerkzeuge zu Erklärungen für alle 307.200 GPT‑2-Neuronen sowie Code für Erzeugung und Bewertung bereit. Der Bericht versteht dies als Grundlage für weitere Forschung und ordnet die Automatisierung der Interpretierbarkeitsarbeit als Teil des eigenen Ansatzes zur Alignment-Forschung ein.
Die Grenzen werden ausdrücklich benannt: Kurze Erklärungen könnten komplexes oder vieldeutiges Neuronenverhalten verfehlen; das Verfahren untersucht nur das Verhalten in Abhängigkeit vom Texteingang und erklärt weder nachgelagerte Wirkungen noch die Mechanismen, die das Verhalten hervorbringen. Selbst hohe Scores könnten daher bei neuartigen Texten irreführen, weil sie möglicherweise nur Korrelationen beschreiben. Hinzu komme hoher Rechenaufwand; größere Modelle würden laut Bericht womöglich schlechter erklärbar sein, etwa wegen späterer Schichten. Das Ziel, ganze neuronale Schaltkreise zu erklären und Sicherheitsprobleme wie Unehrlichkeit zu erkennen, sei noch nicht erreicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung; die kurze Fassung ist ebenfalls im Wesentlichen treu, lässt aber Umfang, Datenbasis und Skalierungsaussagen weg. Der Bericht enthält am Ende zahlreiche fachfremde Beispieltexte (Marvel, Kit Kat, Audiogeräte), die Luna zu Recht nicht ausgewertet hat. Die Einordnung von Luna (je Stufe 3) wurde unabhängig neu bewertet; die Teilfragen-Liste war leer.
Im Bericht, aber nicht in der Zusammenfassung
- Die Methode ist als Teil des Alignment-Ansatzes gedacht, bei dem Alignment-Forschung selbst automatisiert werden soll, und soll mit dem Tempo der KI-Entwicklung skalieren.
- Das Verfahren funktioniert bei größeren Modellen schlechter, vermutlich weil spätere Schichten schwerer zu erklären sind.
- Der Score 0,8 bedeutet laut GPT-4, dass die Erklärung den größten Teil des Verhaltens bei den stärksten Aktivierungen erfasst.
- Die Erklärungen sind ausdrücklich unvollkommen; der Bericht betont, dass sie nur Korrelationen beschreiben und ohne Analyse der Mechanismen auskommen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 45 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 53 %einzelne zitierbare Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 21 %Hintergrund, keine Belege
- Luna 44 %Hintergrund, keine Belege
- JEV 26 %einzelne zitierbare Belege
- amos 31 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 27 %Hintergrund, keine Belege
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 65 %Hintergrund, keine Belege
- JEV 39 %nur am Rande erwähnt
- amos 36 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 49 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 34 %Hintergrund, keine Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 52 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 22 %einzelne zitierbare Belege
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 40 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv