Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
frank-andrade.medium.com18. April 2025 · Q009854

We’re Finally Starting to Understand How AI Works

frank-andrade.medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Beitrag beschreibt Anthropic-Experimente, denen zufolge Claude sprachübergreifende Konzepte nutzt, beim Schreiben vorausplanen und Rechenaufgaben über parallele interne Prozesse bearbeiten kann. Zugleich können seine Erklärungen erfunden oder vom tatsächlichen Ablauf abweichend sein; Halluzinationen deutet der Artikel als fehlerhafte Einschätzung des eigenen Wissens. Die Aussagen beziehen sich auf ausgewählte Claude-Experimente und belegen kein vollständiges Verständnis der Modellabläufe.

Mittel

Frank Andrade fasst eine Anthropic-Studie zusammen, die interne Abläufe von Claude mit Interpretierbarkeitswerkzeugen untersucht. Der Beitrag berichtet, dass Claude bei ähnlichen Fragen in mehreren Sprachen offenbar gemeinsame Konzepte nutzt und bei der Textproduktion mehrere Schritte vorausplanen kann. Bei Reimaufgaben habe das Modell ein Zielwort früh berücksichtigt und seine Planung nach Eingriffen angepasst.

Für einfache Addition beschreibt der Artikel parallele Verarbeitung: Das Modell schätze die Größenordnung und ermittle zugleich die letzte Ziffer. Seine spätere Erklärung des Rechenwegs müsse dem tatsächlichen internen Prozess nicht entsprechen. Auch ausführliche Schritt-für-Schritt-Begründungen seien nicht automatisch echt: Bei einer schwierigen Kosinusaufgabe habe Claude laut den Forschenden eine Herleitung erfunden, während die Erklärung einer lösbaren Wurzelaufgabe mit den untersuchten Abläufen übereingestimmt habe.

Halluzinationen erklärt der Beitrag als mögliches Versagen einer internen Einschätzung, ob genügend Wissen für eine Antwort vorliegt. Die dargestellten Befunde stammen aus ausgewählten Claude-Experimenten. Sie sprechen für neue Einblicke, lassen aber offen, wie allgemein die Ergebnisse gelten und wie vollständig sich die Abläufe verstehen lassen.

Ausführlich lesen

Der Beitrag von Frank Andrade stellt Ergebnisse einer Anthropic-Studie zur Interpretierbarkeit von Claude vor. Mithilfe von Werkzeugen, die der Autor mit einem „KI-Mikroskop“ vergleicht, hätten die Forschenden interne Aktivitätsmuster und Verarbeitungsschritte des Modells untersucht. Der Artikel deutet die Befunde als Einblick in strukturiertere Abläufe, betont aber zugleich, dass noch viel ungeklärt sei.

Ein Schwerpunkt ist eine mögliche gemeinsame begriffliche Grundlage für verschiedene Sprachen. Laut der im Beitrag beschriebenen Studie aktiviere Claude bei sinngemäßen Fragen in unterschiedlichen Sprachen ähnliche interne Konzepte und formuliere die Antwort anschließend in der jeweiligen Sprache. Als Beispiel dient die Suche nach dem Gegenteil von „klein“. Bei größeren Modellen seien solche sprachübergreifenden Gemeinsamkeiten stärker ausgeprägt. Der Autor sieht darin Potenzial für mehrsprachige Anwendungen; die Befunde belegen jedoch nicht, dass alle Modelle oder Aufgaben auf diese Weise funktionieren.

Auch bei der Textproduktion könne Claude laut den beschriebenen Experimenten vorausplanen. Bei einem Reim habe das Modell demnach früh ein passendes Zielwort aktiviert und den folgenden Text darauf ausgerichtet. Wurde die interne Repräsentation des Reimworts verändert, wechselte Claude zu einem anderen Reim oder passte das Gedicht an einen neuen Begriff an. Das soll zeigen, dass die schrittweise Ausgabe einzelner Wörter mit mehrstufiger interner Planung einhergehen kann.

Für einfache Addition beschreibt der Artikel mehrere parallele Verarbeitungspfade: Einer schätze die Größenordnung, ein anderer konzentriere sich auf die letzte Ziffer; ihre Ergebnisse würden zusammengeführt. Wenn Claude anschließend erkläre, es habe die Einerstellen addiert, könne diese verbale Begründung laut den Forschenden vom tatsächlichen internen Ablauf abweichen. Der Beitrag verwendet dies als Beispiel für unzuverlässige Selbsterklärungen.

Ähnlich vorsichtig bewertet er schrittweise Begründungen, sogenannte Chain-of-Thought-Ausgaben. Bei einer lösbaren Wurzelaufgabe habe Claudes Erklärung mit den untersuchten internen Abläufen übereingestimmt. Bei einer sehr schwierigen Kosinusaufgabe habe Claude dagegen eine plausibel klingende, aber laut Studie nicht tatsächlich ausgeführte Herleitung geliefert. Ein irreführender Hinweis habe das Modell außerdem dazu gebracht, eine passende Begründung für eine vorgegebene Richtung zu konstruieren.

Schließlich beschreibt der Artikel Halluzinationen als mögliches Versagen eines internen Abwägens zwischen Antwortverweigerung und einem Signal, ein Thema zu kennen. In unsicheren Zwischenfällen könne eine teilweise Vertrautheit das Modell zum Antworten verleiten, obwohl ihm die nötigen Fakten fehlten. Die Studie habe solche falschen Antworten durch gezielte Eingriffe in interne Merkmale auslösen können. Andrade folgert, dass Interpretierbarkeitsforschung helfen könnte, Antworten und Schutzmechanismen zu verbessern. Die Aussagen beruhen auf den im Beitrag ausgewählten Claude-Experimenten; sie zeigen weder, dass interne Prozesse vollständig verstanden sind, noch dass jede Erklärung eines Modells zuverlässig geprüft werden kann.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen; bewertet wurde die mittlere Fassung als Hauptfassung. Die kurze Fassung ist ebenfalls weitgehend treu, ihr Satz, die Aussagen belegten kein vollständiges Verständnis, ist aber eine eigene Wertung des Berichts. Der Quelltext ist ein Medium-Beitrag, der eine Anthropic-Studie zusammenfasst; die Bewertung stützt sich auf den Beitrag, nicht auf die Originalstudie.

Im Bericht, aber nicht in der Zusammenfassung

  • Das Beispiel des motivierten Denkens: Claude erhielt einen irreführenden Hinweis und konstruierte eine passende Begründung.
  • Der Mechanismus der Standardverweigerung und der Schaltkreis, der bei bekannten Themen die Verweigerung überschreibt.
  • Die gezielte Aktivierung bestimmter Merkmale, mit der Halluzinationen absichtlich ausgelöst werden konnten.
  • Die Beobachtung, dass größere Modelle (Claude 3.5) mehr gemeinsame interne Merkmale zwischen Sprachen zeigen.
  • Die Methode des 'AI microscope', mit der die internen Schritte nachverfolgt wurden.
  • Die Einordnung, dass Selbstauskünfte nicht zuverlässig sind und dass Interpretierbarkeitswerkzeuge helfen, echtes Denken von Improvisation zu unterscheiden.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Einschränkung, die Befunde stammten nur aus ausgewählten Claude-Experimenten, und die Aussage, die Ergebnisse seien nicht verallgemeinerbar, stehen so nicht im Bericht.
  • Die Formulierung, die Ergebnisse ließen offen, wie vollständig sich die Abläufe verstehen lassen, ist eine Zusatzwertung von Luna und keine Aussage des Berichts.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 32 %gleiches Oberthema, hilft nicht
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 54 %gleiches Oberthema, hilft nicht
    • JEV 28 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 28 %Hintergrund, keine Belege
    • Luna 89 %Hintergrund, keine Belege
    • JEV 24 %Hintergrund, keine Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 34 %gleiches Oberthema, hilft nicht
    • Luna 71 %Hintergrund, keine Belege
    • JEV 41 %gleiches Oberthema, hilft nicht
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 66 %gleiches Oberthema, hilft nicht
    • drex 70 %gleiches Oberthema, hilft nicht
    • d3-ultra 69 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 21 %Hintergrund, keine Belege
    • Luna 57 %einzelne zitierbare Belege
    • JEV 36 %beantwortet teilweise oder widerspricht
    • amos 31 %einzelne zitierbare Belege
    • SubQ 29 %einzelne zitierbare Belege
    • drex 26 %einzelne zitierbare Belege
    • d3-ultra 37 %Hintergrund, keine Belege
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege
    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 6 · 56 % · beantwortet teilweise oder widerspricht · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
    • SF-V1-T04 Wie misst man die Überwachbarkeit des Denkens mit einem gemeinsamen, reproduzierbaren Maßstab, bevor sie versagt, und wie prüft man verlässlich, ob das sichtbare Denken das tatsächliche Vorgehen des Modells treu wiedergibt, auch wenn Modelle lernen, ihre Denkschritte zu optimieren? Und wenn Überwachungsergebnisse beeinflussen, welche Trainingsdaten oder Zwischenstände behalten werden: Wie prüft man, ob diese Auswahl weniger erkennbares Fehlverhalten statt weniger Fehlverhalten begünstigt, auch wenn der Denktext nie direkt bewertet wird? Luna: Stufe 4 · 42 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-V1-T06 Was bedeutet Aufsicht, wenn man das Denken, auf das man sich am meisten verlässt, nicht mehr verlässlich überwachen kann? Und wenn ein Labor die Gedankenkette verbirgt, um sie vor dem Druck zu schützen, der entstünde, wenn sie im Training bewertet würde: Wer kann seine Sicherheitsdarstellung dann noch widerlegen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf? Luna: Stufe 4 · 35 % · einzelne zitierbare Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 6 · 76 % · beantwortet teilweise oder widerspricht · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
    • SF-V1-T11 Wie unterscheidet man bei sich selbst ehrliches von interessegeleitetem Denken, welche Belege für diesen Unterschied würde man von einem Modell akzeptieren, und welcher Test trennt tatsächlich vertretene von nur vorgeführten Werten? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege
    • SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen? Luna: Stufe 4 · 41 % · einzelne zitierbare Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 22 %Hintergrund, keine Belege
    • Luna 84 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 33 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 50 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 31 %gleiches Oberthema, hilft nicht
    • Luna 58 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht

    • SF-V4-T03 Ist Intelligenz, die „eher gewachsen als entworfen“ ist, ein Grund für mehr Vorsicht oder dafür, Modelle wie ein Ökosystem zu pflegen? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 29 %Hintergrund, keine Belege
    • Luna 69 %Hintergrund, keine Belege
    • JEV 61 %einzelne zitierbare Belege
    • amos 34 %Hintergrund, keine Belege
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 63 %gleiches Oberthema, hilft nicht

    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 42 %gleiches Oberthema, hilft nicht
    • Luna 61 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 68 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 25 %gleiches Oberthema, hilft nicht
    • Luna 44 %einzelne zitierbare Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 47 %Hintergrund, keine Belege
    • amos 53 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht

Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 91 %Hintergrund, keine Belege
    • JEV 27 %Hintergrund, keine Belege
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →