A new model and dataset for long-range memory
Zusammenfassung
Kurz
DeepMind stellt den Compressive Transformer vor, der ältere Informationen für längere Textkontexte verdichtet, sowie PG-19, einen Datensatz aus rund 28.000 älteren Büchern. Der Beitrag berichtet von guten Benchmark-Ergebnissen und Verbesserungen bei langen Buchtexten, betont aber, dass das Modell kein in der realen Welt verankertes Sprachverständnis hat.
Mittel
Der DeepMind-Beitrag stellt den Compressive Transformer und den Buchdatensatz PG-19 als Beiträge zur Forschung an langfristigem Gedächtnis in Sprachmodellen vor. Er beschreibt, wie sich neuronale Speicher von LSTMs über externe Speicher und Transformer entwickelt haben, und hebt die Herausforderung hervor, große Informationsmengen mit effizientem Zugriff zu verarbeiten.
PG-19 umfasst laut Beitrag rund 28.000 vor 1919 veröffentlichte Project-Gutenberg-Bücher. Die Texte seien wenig vorverarbeitet; ihre Kontexte seien deutlich länger als bei früheren Benchmarks. Der Compressive Transformer speichert ältere Aktivierungen nicht einfach dauerhaft oder verwirft sie, sondern verdichtet sie zu einem Langzeitspeicher, der relevante Informationen bewahren soll.
DeepMind berichtet über damalige Spitzenleistungen auf WikiText-103 und Enwik8, gute Ergebnisse bei seltenen Wörtern sowie den Einsatz in einer Gedächtnisaufgabe. Besonders große Verbesserungen habe das Modell bei langen Buchkontexten auf PG-19 erzielt. Eine gezeigte Romanfortsetzung soll die Textkohärenz veranschaulichen. Zugleich räumt der Beitrag ein, dass das Modell kein in der realen Welt verankertes Sprachverständnis besitzt. Die Ergebnisse belegen daher längere Textzusammenhänge, nicht umfassendes Weltverständnis oder bereits gelöstes lebenslanges Denken.
Ausführlich lesen
Der DeepMind-Beitrag stellt zwei Beiträge zur Forschung an langfristigem Gedächtnis in Sprachmodellen vor: den Compressive Transformer und den Datensatz PG-19. Er ordnet sie in die Entwicklung neuronaler Speicher ein und argumentiert, dass Systeme für langfristiges Schlussfolgern relevante Informationen aus der Vergangenheit auswählen und verdichten müssen.
Der Text beschreibt zunächst Grenzen früherer Architekturen. LSTMs halten Informationen in einem kompakten Speicher, doch laut Beitrag steigt die Zahl ihrer lernbaren Parameter mit der Speichergröße quadratisch. Externe Speicher, etwa beim Differentiable Neural Computer, erweitern die Kapazität durch gezielten Zugriff. Transformer wiederum nutzen Aufmerksamkeit, um Informationen über Sequenzen hinweg zu verknüpfen. Sprachmodellierung gilt den Autorinnen und Autoren als geeignete Forschungsaufgabe, weil Modelle beim Vorhersagen des nächsten Wortes von längerem Kontext profitieren können. Der Beitrag verweist auch auf Beispiele, in denen große Sprachmodelle Wissen auf Aufgaben wie Fragenbeantwortung übertragen oder über mehrere Absätze hinweg wiederkehrende Figuren beibehalten.
PG-19 soll längere Kontexte für die Forschung bereitstellen. Der Datensatz umfasst laut Beitrag etwa 28.000 Bücher aus Project Gutenberg, die vor 1919 erschienen sind. Die Texte seien nur wenig vorverarbeitet worden; unter anderem seien weder der Wortschatz begrenzt noch Zahlen herausgefiltert worden. DeepMind gibt an, PG-19 sei mehr als doppelt so groß wie frühere Sprachmodell-Benchmarks und biete Kontexte, die über zehnmal länger seien als WikiText-103. Die durchschnittliche Kontextlänge wird in der Abbildung mit rund 69.000 Wörtern angegeben.
Der Compressive Transformer verbindet einen kurzfristigen Speicher mit einem komprimierten Langzeitspeicher. Während TransformerXL ältere Aktivierungen verwirft, verdichtet das neue Modell sie laut Beschreibung mithilfe eines neuronalen Netzes und eines zusätzlichen Lernziels, das auf aufgabenrelevante Informationen ausgerichtet ist. DeepMind berichtet von damaligen Spitzenwerten auf WikiText-103 und Enwik8 im Vergleich zu veröffentlichten Ergebnissen ohne zusätzliche Trainingsdaten. Außerdem soll das Modell Sprache effektiv modellieren, mit seltenen Wörtern besonders gut umgehen und in einem verstärkenden Lernagenten eine Gedächtnisaufgabe lösen. Auf PG-19 habe es den größten Leistungszuwachs bei langen Buchkontexten gezeigt; der Beitrag illustriert dies mit einer fortgesetzten Passage im Stil eines Romans.
Die Autorinnen und Autoren betonen jedoch eine Grenze: Das Modell verstehe Sprache nicht auf eine Weise, die in der realen Welt und ihren Ereignissen verankert sei. Längere Zusammenhänge könnten zwar kohärenteren Text hervorbringen, belegten aber kein solches Weltverständnis. Der Beitrag präsentiert PG-19 und das Modell als Schritte hin zu komprimierenden und selektiven Speichern für Systeme, die über lange Zeiträume arbeiten sollen, nicht als bereits gelöste Form lebenslangen Denkens.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung wurde in ihren Fassungen kurz und mittel gemeinsam geprüft. Die Teilfragen-Liste ist leer, daher gibt es dazu keine Bewertung. Die Stufen und Anteile aus Lunas Einordnung wurden unabhängig neu vergeben.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kompression ist vom Schlaf als Vorbild für die Gedächtniskonsolidierung inspiriert
- Eine Hilfsverlustfunktion (auxiliary loss) steuert, welche Informationen die Kompression behält
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 71 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 52 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV 35 %Hintergrund, keine Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 39 %einzelne zitierbare Belege
- amos 23 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 87 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv