The components of agent memory
Zusammenfassung
Kurz
Anthropic berichtet, dass Claude durch gespeicherte Notizen und nachträgliches „Dreaming“ Wissen über Sitzungen hinweg ordnen und Fehler anhand früherer Protokolle korrigieren kann. Die Tests zeigen Vorteile bei bestimmten Aufgaben, besonders wenn geprüfte Regeln oder Informationen aus mehreren Dokumenten gebraucht werden; zu umfangreiche, starre oder veraltete Erinnerungen können jedoch Aufwand verursachen oder wenig nützen.
Mittel
Anthropic beschreibt Claude-Gedächtnis als gestufte Ablage: Sitzungsprotokolle, ausgewählte Notizen, verknüpfte Wissensrepräsentationen wie Wikis und ein kleiner Teil, der automatisch in neue Sitzungen geladen wird. In Leerlaufphasen kann „Dreaming“ Protokolle und Notizen prüfen, Fehler korrigieren, Wikis pflegen und relevantes Wissen für spätere Aufgaben hervorheben.
In CL-Bench verbesserten gespeicherte, überprüfte Regeln die Ergebnisse mehrerer Modelle. Eine starre Vorgabe, nur Fehler zu speichern, schadete stärkeren Modellen; spezifische Anleitung half dagegen dem älteren Sonnet 4.6, seine Notizen zu verwenden und Vermutungen zu testen. Beim Pokémon-Spiel speicherte Sonnet 3.7 sehr viele veränderliche Details, während Fable 5 mit wenigen strategischen Notizen weiterkam. Dreaming korrigierte zudem eine falsche Ortsangabe anhand des Protokolls und ermöglichte Claude so, eine Höhle zu durchqueren.
Wikis halfen besonders bei Fragen, die Wissen aus mehreren Dokumenten verbanden, und in Verbindung mit Suche. Bei einfachen Suchaufgaben war kein klarer Vorteil erkennbar; ein Wiki wuchs sogar über die Größe seiner Quellen hinaus. Die Autoren nennen Rechenaufwand, veraltete Erinnerungen, Ablenkung durch Mitschreiben und begrenzten Kontext als offene Probleme. Die Ergebnisse stammen aus konkreten Tests und sind kein Nachweis allgemeiner Wirksamkeit.
Ausführlich lesen
Der Bericht von Anthropic beschreibt ein mehrschichtiges Gedächtnis für KI-Agenten und untersucht, wie Claude Erfahrungen über Sitzungen hinweg speichern, ordnen und später nutzen kann. Gemeint sind gespeicherte Informationen aus früheren Aufgaben und Interaktionen; Modellgewichte, Lernen innerhalb eines einzelnen Gesprächs und Gesprächszusammenfassungen zur Fortsetzung in einem neuen Kontextfenster zählen ausdrücklich nicht dazu. Als Leitidee dient die Arbeitsteilung zwischen dem Festhalten aktueller Erlebnisse und ihrer späteren Konsolidierung: Agenten können Sitzungsprotokolle sammeln und in Leerlaufzeiten durch sogenanntes „Dreaming“ daraus Notizen, Wissensstrukturen und gezielt bereitgestellten Kontext entwickeln.
In einem CL-Bench-Test zur Beantwortung wiederkehrender Datenbankfragen konnten Modelle nach Rückmeldung zu ihren Antworten in einer sitzungsübergreifenden Ablage lernen. Laut Bericht unterschieden sie sich darin, ob sie bloß Vermutungen notierten oder Fehler prüften und verifizierte Regeln für spätere Fragen festhielten. Opus 5 sowie Opus 5.5 und Sonnet 5.5 schlossen diesen Lernkreislauf; mit Gedächtnis erzielten mehrere Modelle deutlich bessere Ergebnisse als ohne. Eine feste Vorgabe, nur Fehler zu speichern, verringerte bei stärkeren Modellen den Nutzen des Gedächtnisses. Gezielte Anweisungen halfen dagegen besonders Sonnet 4.6, das seine Notizen sonst oft nicht nutzte oder Theorien nicht überprüfte.
Ein Pokémon-Red-Vergleich veranschaulicht, warum Auswahl und Aktualität wichtiger sein können als die Menge gespeicherter Details. Nach ungefähr 10.000 Spielschritten hatte Sonnet 3.7 laut Bericht 413 Dateien mit fast 978.000 Zeichen angelegt und einen Orden erreicht; Fable 5 nutzte zehn Dateien mit rund 43.000 Zeichen und hatte vier Orden. Sonnet 3.7 speicherte viele wechselnde Spielzustände, die schnell veralteten und zusätzlichen Suchaufwand verursachten. Fable 5 konzentrierte sich stärker auf Ziele, Pläne und erprobte Strategien. In einem konkreten Fall korrigierte ein Dreaming-Durchlauf eine falsche Ortsangabe anhand des ursprünglichen Protokolls. Mit der korrigierten Notiz fand Claude den Weg durch die Höhle bis Cerulean City; die Vergleichsläufe mit ungeprüfter Notiz oder ohne Gedächtnis schafften das nicht.
Der Bericht untersucht außerdem Wikis als verknüpfte Gedächtnisrepräsentationen. Beim Aufbau aus etwa 350.000 internen Dokumenten stieg der Anteil erfüllter Bewertungskriterien über 128 Dreaming-Sitzungen von 13 auf 48 Prozent, wenn Claude nur das Wiki nutzte. In Kombination mit Suche stieg die aggregierte Bewertung von 54 auf 61 Prozent; Suche allein erreichte 53 Prozent. Der Nutzen hing jedoch von der Aufgabe ab: Bei Fragen, die Informationen aus mehreren Dokumenten verbinden ließen, verbesserte das Wiki das Ergebnis, während es bei Kriterien, die sich meist aus einem Dokument erschließen ließen, keinen klaren Vorteil bot. In einem Fall wurde das Wiki sogar größer als die Quelldokumente.
Weitere Versuche zeigen, dass Dreaming Notizen in den automatisch geladenen Sitzungskontext heben, auf ein Ziel ausrichten und Lücken in Wikis schließen kann. Das Injizieren muss laut Anthropic begrenzt bleiben, weil es Kontextkapazität beansprucht und falsche oder zu umfangreiche Anweisungen problematisch sein können. Bei einer Aufgabe zu Vertragsbedingungen verbesserte eine angepasste Wiki-Anweisung mit getrennten Seiten und wörtlichen Zitaten die Abdeckung von 41 auf 57 von 57 Kriterien. Der Bericht betont zugleich offene Fragen: laufendes Mitschreiben lenkt vom Auftrag ab, Dreaming braucht Rechenaufwand, Erinnerungen können falsch oder veraltet sein, und auch Wikis können Fehler anhäufen oder unnötig anwachsen. Die beschriebenen Tests sind konkrete Benchmarks und Spiel- beziehungsweise Dokumentaufgaben; sie belegen keinen allgemeinen Nutzen für jede Aufgabe oder jedes Gedächtnissystem.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Sammelfragen enthalten keine Teilfragen, daher blieb der Abschnitt zu Teilfragen leer. Die Stufen wurden unabhängig von Lunas Einordnung vergeben.
Im Bericht, aber nicht in der Zusammenfassung
- Gedächtnis als Vorhersage: Eine geschriebene Regel sagt voraus, dass ein Muster in künftigen Sitzungen wieder relevant sein wird.
- Der Kontext, der in jede neue Sitzung geladen wird, muss klein bleiben, weil eingespeiste Notizen Tokens kosten und falsche Notizen in jede Sitzung getragen werden.
- Im Beispiel mit den Verträgen stieg die Quote korrekter Fakten von 72 % auf 100 %, nachdem jeder Vertrag eine eigene Seite mit wörtlich übernommenen Bedingungen erhielt.
- Opus 5 war das erste Modell im CL-Bench, das die Lernschleife vollständig schloss.
- Dreaming wird als Nachbearbeitung im Leerlauf beschrieben, die aber Rechenaufwand erfordert und Notizen, die während der Arbeit entstehen, nicht sofort verfügbar macht.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die Ergebnisse seien kein Nachweis allgemeiner Wirksamkeit, ist eine Wertung von Luna und steht so nicht im Bericht.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 28 %einzelne zitierbare Belege
- amos 25 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 29 %gleiches Oberthema, hilft nicht
- Luna 39 %Hintergrund, keine Belege
- JEV 28 %einzelne zitierbare Belege
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 44 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 30 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 44 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 37 %einzelne zitierbare Belege
- JEV 42 %umfangreiche Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 44 %einzelne zitierbare Belege
- amos 24 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 42 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv