Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
apolloohne Datum · Q001334

The Local Interaction Basis: Identifying Computationally-Relevant and Sparsely Interacting Features in Neural Networks

apolloresearch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt die Entwicklung und Prüfung einer lokalen Interaktionsbasis (LIB), die aus der Verlustlandschaft abgeleitet wird und rechnerisch irrelevante Merkmale sowie dichte Wechselwirkungen reduzieren soll. Die Autoren berichten von erkennbaren Strukturen in Spielzeugmodellen, aber kaum oder keinem Nutzen bei den getesteten Sprachmodellen; sie halten Ansätze, die Superposition berücksichtigen, für eine mögliche Weiterentwicklung.

Mittel

Der Bericht fasst zwei Arbeiten zusammen, die neuronale Netzwerke mithilfe der Verlustlandschaft interpretierbarer machen wollen. Die erste untersucht rechnerisch irrelevante oder redundante Richtungen und entwickelt daraus die lokale Interaktionsbasis (LIB), die irrelevante Merkmale entfernen und Wechselwirkungen zwischen benachbarten Schichten sparsamer darstellen soll. Zusätzlich schlägt sie eine vorläufige Kennzahl zur Suche nach Modulen vor.

In der zweiten Arbeit werden Aktivierungen erst per PCA und dann anhand der Singulärvektoren von Gradienten beziehungsweise Jacobis transformiert. In der resultierenden Basis berechnen die Autoren integrierte Gradienten, erstellen Interaktionsgraphen und suchen nach Merkmalen und Modulen. Bei modularer Addition und CIFAR-10 berichten sie von sparsamerer Interaktion und erkennbaren Strukturen; das gezeigte Beispiel der modularen Addition ist laut Text ausgewählt. Bei Tinystories-1M verbessert sich die Sparsität gegenüber PCA nur leicht, bei GPT-2-small gar nicht. Für die Sprachmodelle fanden die Autoren keine interpretierbaren Merkmale oder Module. Sie schlagen vor, künftige Methoden mit weniger Annahmen zu entwickeln und insbesondere Superposition einzubeziehen. Die Befunde sind auf die genannten Modelle und Versuche begrenzt.

Ausführlich lesen

Der Bericht fasst zwei Arbeiten zur mechanistischen Interpretierbarkeit neuronaler Netze zusammen. Ihr gemeinsames Ausgangsproblem ist, eine geeignete Darstellung der internen Netzwerkmerkmale zu finden. Die Autoren wollen dafür die Struktur der Verlustlandschaft nutzen: Das Training senkt den Verlust, und die erlernten Merkmale sollen mit dem Verhalten des Modells auf nicht gesehenen Daten zusammenhängen. Der Text verweist auf Forschung, die breite Verlustlandschaftsbecken mit Generalisierung verbindet, und stellt die Lernkoeffizienten-Theorie als Beispiel dafür vor.

Die erste Arbeit untersucht Entartungen in der Verlustlandschaft: Parameter oder Richtungen, die den niedrigen Verlust beziehungsweise das Ein- und Ausgabeverhalten nicht beeinflussen. Der Bericht nennt drei mögliche Ursachen: linear abhängige Aktivierungen, linear abhängige Gradientenvektoren und ReLU-Neuronen, die bei denselben Eingaben aktiviert werden. Aus dieser Analyse entwickeln die Autoren zunächst eine Interaktionsbasis und anschließend die lokale Interaktionsbasis (LIB). Diese soll rechnerisch irrelevante Merkmale entfernen und die verbleibenden Wechselwirkungen zwischen benachbarten Schichten sparsamer machen. Außerdem untersucht die Arbeit den Zusammenhang zwischen Modularität und Entartung und schlägt eine vorläufige Kennzahl vor, um Module zu finden, für die die Netzwerkstruktur eine Neigung haben könnte.

Die zweite Arbeit prüft die LIB anhand von Spielzeug- und Sprachmodellen. Die Aktivierungen werden zunächst in eine PCA-Basis überführt, wobei Richtungen ohne erklärte Varianz entfallen. Danach wird die Basis an den rechten Singulärvektoren des Datensatzes aus Gradienten beziehungsweise Jacobis ausgerichtet. Dieser zweite Schritt soll Richtungen entfernen, die nachgelagerte Berechnungen nicht beeinflussen, und Wechselwirkungen sparsamer darstellen. Anschließend berechnen die Autoren Wechselwirkungen zwischen Merkmalen mithilfe integrierter Gradienten, untersuchen den entstehenden Merkmalsgraphen und suchen darin nach stark interagierenden Merkmalen und Modulen.

Getestet wurde die Methode laut Bericht an modularer Addition und CIFAR-10 sowie an Tinystories-1M und GPT-2-small. Für die Spielzeugmodelle berichten die Autoren, eine stärker dünn besetzte Darstellung mit rechnerisch relevanten Merkmalen gefunden zu haben. Interaktionsgraphen hätten dort Schaltkreise sichtbar gemacht; beim Beispiel modularer Addition entsprächen die erkannten Gruppen verschiedenen Fourier-Frequenzen. Dieses Beispiel wird ausdrücklich als ausgewähltes („cherry picked“) Ergebnis bezeichnet.

Bei den Sprachmodellen fällt das Ergebnis überwiegend negativ aus: Gegenüber einer PCA-Baseline steigt die Sparsität der Interaktionen bei Tinystories-1M laut Bericht nur geringfügig und bei GPT-2-small gar nicht. Die Autoren konnten dort außerdem keine Module oder interpretierbaren Merkmale identifizieren. Als mögliche Richtung für weitere Forschung nennt der Text Verfahren, die weniger Annahmen voraussetzen. Insbesondere habe die LIB-Herleitung Superposition nicht berücksichtigt; neuere Ansätze zum sparsamen Dictionary Learning könnten es ermöglichen, diese Annahme zu lockern. Die berichteten Ergebnisse belegen daher keinen allgemeinen Nutzen der LIB für Sprachmodelle, und der Text liefert keine umfassende Auswertung über die genannten Modelltypen hinaus.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte eine kurze und eine mittlere Zusammenfassung. Geprüft wurde die mittlere Fassung; die kurze ist im Kern ebenfalls treu, lässt aber die Degenerationsarten und das Modularitätsmaß aus. Die Prozentangaben in Lunas Einordnung sind nicht Teil dieser Prüfung und wurden nicht bewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Die drei Wege, auf denen Parametrisierungen entartet sein können: linear abhängige Aktivierungen, linear abhängige Gradientenvektoren und ReLU-Neuronen, die auf denselben Eingaben feuern
  • Die Einordnung des Ergebnisses als überwiegend negativ
  • Die bewusste Entscheidung, beim Ableiten der LIB keine Superposition anzunehmen
  • Das vorläufige Modularitätsmaß der ersten Arbeit wird nur am Rande erwähnt

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, die Befunde seien auf die genannten Modelle und Versuche begrenzt, steht so nicht im Bericht, ist aber sachlich vertretbar

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vertrauen in Modelle
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 68 %einzelne zitierbare Belege
    • JEV offen
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung einzelne zitierbare Belege

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →