Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind15. Dezember 2023 · Q005236

Challenges with unsupervised LLM knowledge discovery

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der bereitgestellte Text ist nur der Abstract, kein vollständiger Bericht. Die Autorinnen und Autoren berichten, dass unüberwachte Verfahren laut ihrer Theorie und ihren Experimenten eher auffällige Aktivierungsmerkmale als Wissen erkennen können; sie halten die bestehenden Methoden deshalb für unzureichend und schlagen Prüfungen für künftige Ansätze vor.

Mittel

Der bereitgestellte Text ist nur ein Auszug: Er umfasst den Abstract und bibliografische Angaben, nicht die vollständige Arbeit. Darin argumentieren die Autorinnen und Autoren, dass bestehende unüberwachte Verfahren auf Aktivierungen großer Sprachmodelle möglicherweise nicht Wissen, sondern jeweils besonders auffällige Merkmale entdecken. Theoretisch zeigen sie laut Abstract, dass auch beliebige Merkmale die Konsistenzstruktur einer führenden Methode namens „contrast-consistent search“ erfüllen können.

Eine Reihe von Experimenten soll außerdem Fälle belegen, in denen die erzeugten Klassifikatoren ein hervortretendes Merkmal statt des Wissens des Modells vorhersagen. Konkrete Versuchsdetails und Ergebnisse nennt der Auszug nicht. Die Arbeit folgert, dass die untersuchten Methoden zur Entdeckung latenten Wissens nicht ausreichen, und schlägt Plausibilitätsprüfungen für künftige Verfahren vor. Die Annahme, dass Identifikationsprobleme fortbestehen – etwa bei der Abgrenzung von Modellwissen und dem Wissen einer simulierten Figur –, kennzeichnen die Autorinnen und Autoren als Hypothese.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort, aber keine ausführliche Darstellung der Arbeit. Der Abstract behandelt die Frage, ob sich verborgenes Wissen in den Aktivierungen großer Sprachmodelle mit unüberwachten Verfahren zuverlässig erkennen lässt.

Die Autorinnen und Autoren berichten, dass bestehende unüberwachte Methoden ihrer Untersuchung zufolge nicht gezielt Wissen entdecken. Stattdessen könnten sie das jeweils auffälligste Merkmal der Aktivierungen erfassen. Als theoretischen Beitrag nennen sie einen Beweis: Beliebige Merkmale, nicht nur Wissen, können dem Abstract zufolge die Konsistenzstruktur erfüllen, die eine führende Methode zur unüberwachten Wissensermittlung namens „contrast-consistent search“ nutzt.

Zusätzlich beschreiben sie eine Reihe von Experimenten. Diese sollen zeigen, dass unüberwachte Verfahren Klassifikatoren hervorbringen können, die nicht vorhersagen, was das Modell weiß, sondern ein anderes hervortretendes Merkmal. Der Abstract nennt dafür keine konkreten Versuchsanordnungen, Messwerte oder Einzelergebnisse. Die Autorinnen und Autoren folgern, dass die bestehenden Verfahren zur Entdeckung latenten Wissens nicht ausreichen, und schlagen Plausibilitätsprüfungen für die Bewertung künftiger Methoden vor.

Als weitergehende Einschätzung äußern sie die Hypothese, dass Identifikationsprobleme auch bei künftigen unüberwachten Verfahren bestehen bleiben könnten. Als Beispiel nennen sie die Unterscheidung zwischen dem Wissen eines Modells und dem Wissen einer von ihm simulierten Figur. Da nur der Abstract vorliegt, lassen sich die Belege, die genauen Grenzen der Experimente und die vorgeschlagenen Prüfungen aus diesem Text nicht näher beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas zwei Zusammenfassungen (kurz und mittel) wurden gemeinsam geprüft; beide geben den Abstract treu wieder und erfinden nichts. Die Einordnung stützt sich nur auf den Abstract, der als Quelle vorliegt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Grundannahme, dass Wissen eine Konsistenzstruktur besitzt, die unüberwachte Verfahren nutzen sollen, wird in beiden Zusammenfassungen nicht genannt.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 45 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 26 % · Hintergrund, keine Belege
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 22 %gleiches Oberthema, hilft nicht
    • d3-ultra 38 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-V1-T04 Wie misst man die Überwachbarkeit des Denkens mit einem gemeinsamen, reproduzierbaren Maßstab, bevor sie versagt, und wie prüft man verlässlich, ob das sichtbare Denken das tatsächliche Vorgehen des Modells treu wiedergibt, auch wenn Modelle lernen, ihre Denkschritte zu optimieren? Und wenn Überwachungsergebnisse beeinflussen, welche Trainingsdaten oder Zwischenstände behalten werden: Wie prüft man, ob diese Auswahl weniger erkennbares Fehlverhalten statt weniger Fehlverhalten begünstigt, auch wenn der Denktext nie direkt bewertet wird? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 55 %gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →