How Claude Actually Works — A Developer’s Guide to LLMs Without the Math
Zusammenfassung
Kurz
Der vollständige Beitrag erklärt Claude als Modell, das Eingaben in Tokens und Zahlenrepräsentationen umwandelt, Zusammenhänge per Aufmerksamkeit gewichtet und Antworten schrittweise Token für Token erzeugt. Der Autor leitet daraus Empfehlungen für knappe, klare Prompts ab und betont zugleich, dass der Rechenaufwand langer Kontexte sowie der Übergang zu scheinbarem Schlussfolgern nur teilweise erklärt sind; eigene Tests berichtet der Beitrag nicht.
Mittel
Der vollständige Beitrag eröffnet eine Reihe für Entwickler und erklärt Claude als Sprachmodell, das schrittweise das nächste wahrscheinliche Token vorhersagt. Der Autor beschreibt den Ablauf vereinfacht so: Texte werden in Tokens zerlegt und als Zahlenvektoren dargestellt; ein Aufmerksamkeitsmechanismus gewichtet Beziehungen zwischen Wörtern; viele Verarbeitungsschichten verfeinern die Repräsentationen; anschließend wird Token für Token eine Antwort erzeugt.
Die Standardaufmerksamkeit skaliere laut Beitrag quadratisch mit der Sequenzlänge. Das mache lange Kontexte rechenintensiv und erkläre das Interesse an Optimierungen wie Flash Attention. Für die Anwendung empfiehlt der Autor, relevante Informationen auszuwählen, nötigen Kontext in neuen Sitzungen erneut bereitzustellen und Prompts mit klarer Rolle, Kontext und Anforderungen zu strukturieren.
Zugleich räumt der Beitrag ein, dass nicht vollständig verstanden sei, warum Vorhersage in großem Maßstab Fähigkeiten hervorbringt, die oft wie Schlussfolgern wirken. Die Erklärungen sind bewusst anschaulich und werden nicht durch eigene Experimente belegt; ein systematisches Testverfahren oder konkrete Versuchsergebnisse enthält der Artikel nicht.
Ausführlich lesen
Der vollständige Beitrag ist der erste Teil einer Reihe, die Entwicklern die Funktionsweise von Claude ohne mathematische Herleitungen erklären soll. Autor Mike von „Claude Cost Tests“ will ein praktisches Grundmodell vermitteln, mit dem sich Verhalten und Grenzen des Werkzeugs besser einordnen lassen. Seine zentrale Kurzformel lautet: Ein Sprachmodell sagt anhand des bisherigen Textes schrittweise das nächste wahrscheinliche Token voraus. Der Beitrag betont, dass diese Erklärung den Mechanismus beschreibt, aber nicht vollständig erklärt, warum das Ergebnis oft wie Denken wirkt.
Zunächst werde Texteingabe in Tokens zerlegt, also häufig in Wortteile statt ausschließlich in ganze Wörter. Diese Tokens würden in numerische Vektoren, sogenannte Embeddings, umgewandelt. Ähnliche Bedeutungen lägen dabei laut Beitrag im Zahlenraum näher beieinander. Die Hashing-Analogie soll die Idee veranschaulichen, ist aber eine vereinfachende Erklärung: Der Artikel beschreibt semantische Beziehungen und nicht ein gewöhnliches Hashverfahren.
Als entscheidenden Baustein stellt der Autor den Aufmerksamkeitsmechanismus vor. Dabei würden Wörter im Kontext zueinander gewichtet, sodass etwa ein Pronomen mit einem weiter entfernt stehenden Bezug verknüpft werden könne. Moderne Modelle verwendeten viele parallel arbeitende Aufmerksamkeitsköpfe, die unterschiedliche Beziehungen erfassen könnten. Der Beitrag ordnet diese Architektur als grundlegend für heutige Sprachmodelle ein und verweist auf das 2017 eingeführte Verfahren. Die Beschreibung bleibt bewusst anschaulich und lässt die mathematische Umsetzung aus.
Ein weiterer Schwerpunkt sind Rechenaufwand und Kontextlänge. Für die Standardaufmerksamkeit nennt der Beitrag eine quadratische Skalierung: Bei verdoppelter Sequenzlänge vervierfache sich demnach der Rechenaufwand. Das erkläre, warum lange Kontexte teuer und anspruchsvoll seien. Flash Attention wird als Optimierung beschrieben, die die Berechnung für GPU-Hardware effizienter organisiere, ohne die zugrunde liegende Mathematik zu ändern. Der Autor verbindet diesen Aufwand mit längeren Antwortzeiten bei umfangreichen Eingaben und mit dem technischen Interesse an größeren Kontextfenstern.
Anschließend beschreibt der Beitrag viele aufeinanderfolgende Verarbeitungsschichten. Ihre Ausgaben würden jeweils zur Eingabe der nächsten Schicht; so entstünden zunehmend komplexe Repräsentationen, die laut Autor unter anderem Grammatik, Faktenbezüge, Muster des Schlussfolgerns und Stil erfassen. Weil spätere Schichten auf den Ergebnissen früherer aufbauten, lasse sich ein einzelner Verhaltensaspekt nach seiner Darstellung nicht ohne Weiteres isoliert austauschen.
Bei der Ausgabe erzeuge das Modell dem Artikel zufolge eine Wahrscheinlichkeitsverteilung über mögliche nächste Tokens und wähle eines aus, teils mit kontrollierter Zufälligkeit. Dieser Vorgang wiederhole sich, bis die Antwort endet. Claude plane demnach nicht erst den vollständigen Text, sondern bilde ihn Token für Token.
Als wichtige Grenze hält der Autor fest, dass Forschende den Übergang von nächstes-Token-Vorhersage zu Fähigkeiten, die wie mehrstufiges Denken wirken, mechanistisch noch nicht vollständig erklären könnten. Für die Praxis leitet er daraus ab, relevante statt unnötig umfangreiche Informationen bereitzustellen, Kontext bei neuen Sitzungen erneut mitzugeben und Rollen, Hintergrund sowie Anforderungen klar zu strukturieren. Die Aussagen über Sitzungen ohne dauerhaftes Gedächtnis und über die Wirkung von Prompt-Struktur werden als praktische Erklärung präsentiert, nicht durch im Beitrag berichtete Experimente belegt. Ergebnisse eigener Tests oder eine systematische Vergleichsmethode enthält der Artikel nicht; er ist ein erklärender Überblick und kündigt für Teil 2 einen Leitfaden zum Claude-Entwicklungsworkflow an.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurden beide von Luna gelieferten Fassungen. Die mittlere Fassung ist im Wesentlichen treu. Die kurze Fassung spricht von Empfehlungen für knappe Prompts, die der Artikel so nicht gibt, und sagt, der Rechenaufwand langer Kontexte sei nur teilweise erklärt, obwohl der Artikel die quadratische Skalierung ausdrücklich erläutert. Die Einordnung wurde unabhängig neu vergeben; Lunas Stufen 4 und 3 sind für alle drei Fragen zu hoch, da der Bericht zu Herkunft, Betriebsregeln und Selbstverbesserung keine belegenden Aussagen enthält.
Im Bericht, aber nicht in der Zusammenfassung
- Die Multi-Head-Attention als parallele Spezialisierung einzelner Köpfe auf verschiedene Beziehungstypen
- Die Begründung, dass Kontextfenster-Grenzen direkt aus dem quadratischen Rechenaufwand der Attention folgen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M2 Wie muss ein Meldekanal zwischen Staaten gebaut sein, damit er verlässlich arbeitet, auch in einer Krise?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 34 %gleiches Oberthema, hilft nicht
- JEV 44 %gleiches Oberthema, hilft nicht
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 55 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 81 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 77 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 50 %beantwortet teilweise oder widerspricht
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 68 %Hintergrund, keine Belege
- JEV 35 %beantwortet teilweise oder widerspricht
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 50 %einzelne zitierbare Belege
- JEV 49 %Hintergrund, keine Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv