The Local Interaction Basis: Identifying Computationally-Relevant and Sparsely Interacting Features in Neural Networks
Zusammenfassung
Kurz
Der Bericht beschreibt die Entwicklung und Prüfung einer lokalen Interaktionsbasis (LIB), die aus der Verlustlandschaft abgeleitet wird und rechnerisch irrelevante Merkmale sowie dichte Wechselwirkungen reduzieren soll. Die Autoren berichten von erkennbaren Strukturen in Spielzeugmodellen, aber kaum oder keinem Nutzen bei den getesteten Sprachmodellen; sie halten Ansätze, die Superposition berücksichtigen, für eine mögliche Weiterentwicklung.
Mittel
Der Bericht fasst zwei Arbeiten zusammen, die neuronale Netzwerke mithilfe der Verlustlandschaft interpretierbarer machen wollen. Die erste untersucht rechnerisch irrelevante oder redundante Richtungen und entwickelt daraus die lokale Interaktionsbasis (LIB), die irrelevante Merkmale entfernen und Wechselwirkungen zwischen benachbarten Schichten sparsamer darstellen soll. Zusätzlich schlägt sie eine vorläufige Kennzahl zur Suche nach Modulen vor.
In der zweiten Arbeit werden Aktivierungen erst per PCA und dann anhand der Singulärvektoren von Gradienten beziehungsweise Jacobis transformiert. In der resultierenden Basis berechnen die Autoren integrierte Gradienten, erstellen Interaktionsgraphen und suchen nach Merkmalen und Modulen. Bei modularer Addition und CIFAR-10 berichten sie von sparsamerer Interaktion und erkennbaren Strukturen; das gezeigte Beispiel der modularen Addition ist laut Text ausgewählt. Bei Tinystories-1M verbessert sich die Sparsität gegenüber PCA nur leicht, bei GPT-2-small gar nicht. Für die Sprachmodelle fanden die Autoren keine interpretierbaren Merkmale oder Module. Sie schlagen vor, künftige Methoden mit weniger Annahmen zu entwickeln und insbesondere Superposition einzubeziehen. Die Befunde sind auf die genannten Modelle und Versuche begrenzt.
Ausführlich lesen
Der Bericht fasst zwei Arbeiten zur mechanistischen Interpretierbarkeit neuronaler Netze zusammen. Ihr gemeinsames Ausgangsproblem ist, eine geeignete Darstellung der internen Netzwerkmerkmale zu finden. Die Autoren wollen dafür die Struktur der Verlustlandschaft nutzen: Das Training senkt den Verlust, und die erlernten Merkmale sollen mit dem Verhalten des Modells auf nicht gesehenen Daten zusammenhängen. Der Text verweist auf Forschung, die breite Verlustlandschaftsbecken mit Generalisierung verbindet, und stellt die Lernkoeffizienten-Theorie als Beispiel dafür vor.
Die erste Arbeit untersucht Entartungen in der Verlustlandschaft: Parameter oder Richtungen, die den niedrigen Verlust beziehungsweise das Ein- und Ausgabeverhalten nicht beeinflussen. Der Bericht nennt drei mögliche Ursachen: linear abhängige Aktivierungen, linear abhängige Gradientenvektoren und ReLU-Neuronen, die bei denselben Eingaben aktiviert werden. Aus dieser Analyse entwickeln die Autoren zunächst eine Interaktionsbasis und anschließend die lokale Interaktionsbasis (LIB). Diese soll rechnerisch irrelevante Merkmale entfernen und die verbleibenden Wechselwirkungen zwischen benachbarten Schichten sparsamer machen. Außerdem untersucht die Arbeit den Zusammenhang zwischen Modularität und Entartung und schlägt eine vorläufige Kennzahl vor, um Module zu finden, für die die Netzwerkstruktur eine Neigung haben könnte.
Die zweite Arbeit prüft die LIB anhand von Spielzeug- und Sprachmodellen. Die Aktivierungen werden zunächst in eine PCA-Basis überführt, wobei Richtungen ohne erklärte Varianz entfallen. Danach wird die Basis an den rechten Singulärvektoren des Datensatzes aus Gradienten beziehungsweise Jacobis ausgerichtet. Dieser zweite Schritt soll Richtungen entfernen, die nachgelagerte Berechnungen nicht beeinflussen, und Wechselwirkungen sparsamer darstellen. Anschließend berechnen die Autoren Wechselwirkungen zwischen Merkmalen mithilfe integrierter Gradienten, untersuchen den entstehenden Merkmalsgraphen und suchen darin nach stark interagierenden Merkmalen und Modulen.
Getestet wurde die Methode laut Bericht an modularer Addition und CIFAR-10 sowie an Tinystories-1M und GPT-2-small. Für die Spielzeugmodelle berichten die Autoren, eine stärker dünn besetzte Darstellung mit rechnerisch relevanten Merkmalen gefunden zu haben. Interaktionsgraphen hätten dort Schaltkreise sichtbar gemacht; beim Beispiel modularer Addition entsprächen die erkannten Gruppen verschiedenen Fourier-Frequenzen. Dieses Beispiel wird ausdrücklich als ausgewähltes („cherry picked“) Ergebnis bezeichnet.
Bei den Sprachmodellen fällt das Ergebnis überwiegend negativ aus: Gegenüber einer PCA-Baseline steigt die Sparsität der Interaktionen bei Tinystories-1M laut Bericht nur geringfügig und bei GPT-2-small gar nicht. Die Autoren konnten dort außerdem keine Module oder interpretierbaren Merkmale identifizieren. Als mögliche Richtung für weitere Forschung nennt der Text Verfahren, die weniger Annahmen voraussetzen. Insbesondere habe die LIB-Herleitung Superposition nicht berücksichtigt; neuere Ansätze zum sparsamen Dictionary Learning könnten es ermöglichen, diese Annahme zu lockern. Die berichteten Ergebnisse belegen daher keinen allgemeinen Nutzen der LIB für Sprachmodelle, und der Text liefert keine umfassende Auswertung über die genannten Modelltypen hinaus.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte eine kurze und eine mittlere Zusammenfassung. Geprüft wurde die mittlere Fassung; die kurze ist im Kern ebenfalls treu, lässt aber die Degenerationsarten und das Modularitätsmaß aus. Die Prozentangaben in Lunas Einordnung sind nicht Teil dieser Prüfung und wurden nicht bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Die drei Wege, auf denen Parametrisierungen entartet sein können: linear abhängige Aktivierungen, linear abhängige Gradientenvektoren und ReLU-Neuronen, die auf denselben Eingaben feuern
- Die Einordnung des Ergebnisses als überwiegend negativ
- Die bewusste Entscheidung, beim Ableiten der LIB keine Superposition anzunehmen
- Das vorläufige Modularitätsmaß der ersten Arbeit wird nur am Rande erwähnt
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die Befunde seien auf die genannten Modelle und Versuche begrenzt, steht so nicht im Bericht, ist aber sachlich vertretbar
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 68 %einzelne zitierbare Belege
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege