Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind31. Juli 2024 · Q002906

Gemma Scope: helping the safety community shed light on the inner workings of language models

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Gemma Scope stellt offene sparse Autoencoder für Gemma 2 2B und 9B bereit, damit Forschende Modellaktivierungen in mögliche Merkmale zerlegen und deren Entwicklung untersuchen können. Das Team berichtet von über 400 Autoencodern und mehr als 30 Millionen Merkmalen; mögliche Anwendungen für Sicherheit und die Untersuchung von Halluzinationen sind Ziele, deren Erfolg der Bericht nicht belegt.

Mittel

Der Bericht kündigt Gemma Scope an: eine offene Sammlung von mehreren hundert sparse Autoencodern (SAEs) für Gemma 2 2B und 9B sowie das ebenfalls veröffentlichte Werkzeug Mishax. SAEs sollen Sprachmodell-Aktivierungen in wenige gleichzeitig aktive Merkmale zerlegen, damit Forschende untersuchen können, welche Muster im Modell auftreten und wie sie sich über Schichten hinweg verändern. Ihre Bedeutung wird nicht vorgegeben, sondern anhand von Beispielen erschlossen.

Das Team trainierte SAEs an den Ausgaben jeder Schicht und Unterschicht. Laut Bericht umfasst Gemma Scope mehr als 400 Autoencoder mit über 30 Millionen erlernten Merkmalen, von denen sich viele überschneiden könnten. Zum Einsatz kam die JumpReLU-Architektur, die den Zielkonflikt zwischen dem Erkennen vorhandener Merkmale und dem Einschätzen ihrer Stärke besser lösen und den Fehler senken soll. Das Training beanspruchte etwa 15 Prozent des Rechenaufwands von Gemma 2 9B, ohne die Erzeugung von Distillationslabels, und erzeugte rund 20 Pebibyte gespeicherte Aktivierungen.

Die Veröffentlichung soll Interpretierbarkeitsforschung an größeren Modellen ermöglichen. Anwendungen gegen Halluzinationen, Jailbreaks oder Risiken autonomer Agenten sind Hoffnungen des Teams, keine bereits belegten Erfolge. Die Interpretation der Merkmale bleibt zudem notwendig, und viele könnten überlappen.

Ausführlich lesen

Der Bericht stellt Gemma Scope vor, eine frei zugängliche Sammlung von Werkzeugen zur Untersuchung der inneren Abläufe der Sprachmodelle Gemma 2 in den Größen 2B und 9B. Dazu gehören nach Angaben des Teams mehrere hundert sparse Autoencoder (SAEs); außerdem wird das Werkzeug Mishax als Open Source bereitgestellt. Ziel der Veröffentlichung ist, die Forschung zur mechanistischen Interpretierbarkeit auf größere, moderne Modelle auszuweiten.

Der Text beschreibt zunächst das Problem: Sprachmodelle verarbeiten Eingaben über Aktivierungen in verschiedenen Netzwerkschichten. Diese Aktivierungen können viele unterschiedliche Merkmale zugleich enthalten. Einzelne Neuronen lassen sich laut Bericht deshalb meist nicht eindeutig einzelnen Konzepten zuordnen. SAEs sollen als eine Art „Mikroskop“ helfen, Aktivierungen in kleinere Mengen von Merkmalen aufzuspalten. Die Methode nutzt die Annahme, dass bei einer konkreten Aktivierung nur wenige der vielen Merkmale gleichzeitig auftreten. Das Modell gibt dem Autoencoder nicht vor, nach welchen Merkmalen er suchen soll. Forschende erschließen deren mögliche Bedeutung anschließend anhand von Beispielen, in denen ein Merkmal aktiv wird. Als Beispiel zeigt der Bericht eine Aktivierung, die offenbar mit Redewendungen zusammenhängt.

Für Gemma Scope trainierte das Team SAEs an den Ausgaben jeder Schicht und Unterschicht der beiden Gemma-2-Modelle. So entstanden laut Bericht mehr als 400 Autoencoder mit insgesamt über 30 Millionen erlernten Merkmalen; viele davon könnten sich allerdings überschneiden. Die Veröffentlichung soll es ermöglichen, die Entwicklung von Merkmalen über das Modell hinweg sowie deren Zusammenspiel zu untersuchen. Verwendet wurde die JumpReLU-SAE-Architektur. Der Bericht sagt, die ursprüngliche Architektur habe Schwierigkeiten gehabt, zuverlässig zu erkennen, welche Merkmale vorhanden sind, und zugleich ihre Stärke einzuschätzen. JumpReLU soll diesen Zielkonflikt besser ausbalancieren und den Fehler deutlich verringern.

Das Training erforderte erhebliche Rechen- und Speicherkapazitäten. Nach Angaben des Teams entsprach der Rechenaufwand etwa 15 Prozent des Trainingsaufwands für Gemma 2 9B, wobei die Berechnung für die Erzeugung von Distillationslabels ausgenommen ist. Gespeichert wurden rund 20 Pebibyte Aktivierungen; insgesamt entstanden Hunderte Milliarden SAE-Parameter.

Die Autorinnen und Autoren hoffen, dass die offene Veröffentlichung die Forschung an größeren Modellen voranbringt. Als mögliche Anwendungen nennen sie die Untersuchung komplexer Fähigkeiten, etwa schrittweisen Schlussfolgerns, sowie bessere Ansätze gegen Halluzinationen, Jailbreaks und Risiken autonomer Agenten wie Täuschung oder Manipulation. Das sind erwartete Forschungsbeiträge, keine im Bericht nachgewiesenen Ergebnisse. Auch bleibt die Bedeutung entdeckter Merkmale zunächst unklar und muss anhand von Aktivierungsbeispielen interpretiert werden; die mögliche Überschneidung der Merkmale begrenzt zudem, wie eindeutig die Gesamtzahl für sich genommen ist.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Beide Zusammenfassungen (kurz und mittel) wurden gemeinsam geprüft; die Einordnung stützt sich ausschließlich auf den Bericht und nicht auf Lunas Stufen.

Im Bericht, aber nicht in der Zusammenfassung

  • Frühere SAE-Forschung beschränkte sich auf kleine Modelle oder einzelne Schichten
  • Die Neuronen-Zuordnung scheitert, weil Neuronen für viele unverbundene Merkmale aktiv sind (Ausgangsproblem)
  • Die interaktive Neuronpedia-Demo
  • Mishax als Werkzeug, das die Interpretierbarkeitsarbeit hinter Gemma Scope ermöglichte

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 28 %Hintergrund, keine Belege
    • Luna 56 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 26 %Hintergrund, keine Belege
    • Luna 36 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 34 %Hintergrund, keine Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra 44 %Hintergrund, keine Belege

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 3 · 47 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-V1-T04 Wie misst man die Überwachbarkeit des Denkens mit einem gemeinsamen, reproduzierbaren Maßstab, bevor sie versagt, und wie prüft man verlässlich, ob das sichtbare Denken das tatsächliche Vorgehen des Modells treu wiedergibt, auch wenn Modelle lernen, ihre Denkschritte zu optimieren? Und wenn Überwachungsergebnisse beeinflussen, welche Trainingsdaten oder Zwischenstände behalten werden: Wie prüft man, ob diese Auswahl weniger erkennbares Fehlverhalten statt weniger Fehlverhalten begünstigt, auch wenn der Denktext nie direkt bewertet wird? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege
    • SF-V1-T09 Wenn Labore bessere Überwacher bauen, Modelle lernen, ihnen auszuweichen, und sich dieses Wechselspiel in jedem Labor beschleunigt: Behandeln Regierungen diesen Wettlauf selbst als Sicherheitsfrage zwischen Staaten, und welche gemeinsamen Belege würden zeigen, dass er beherrscht ist? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
    • SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen? Luna: Stufe 3 · 46 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 28 %Hintergrund, keine Belege
    • Luna 46 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht

  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 25 %Hintergrund, keine Belege
    • Luna 55 %Hintergrund, keine Belege
    • JEV 41 %Hintergrund, keine Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht

    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 29 %Hintergrund, keine Belege
    • Luna 45 %einzelne zitierbare Belege
    • JEV 53 %einzelne zitierbare Belege
    • amos 31 %nur am Rande erwähnt
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 29 %nur am Rande erwähnt
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 25 %Hintergrund, keine Belege
    • Luna 48 %einzelne zitierbare Belege
    • JEV 30 %beantwortet teilweise oder widerspricht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 42 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung beantwortet teilweise oder widerspricht
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-E1-T09 Bekommen zivile Forschende an Hochschulen und unabhängige Organisationen der Zivilgesellschaft geregelten Zugang zu Modellen, Daten und Befunden der Prüfer, oder bleibt die Prüfung bei staatlich bestellten Stellen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 61 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht

Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 78 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →