Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind10. Februar 2020 · Q002136

A new model and dataset for long-range memory

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

DeepMind stellt den Compressive Transformer vor, der ältere Informationen für längere Textkontexte verdichtet, sowie PG-19, einen Datensatz aus rund 28.000 älteren Büchern. Der Beitrag berichtet von guten Benchmark-Ergebnissen und Verbesserungen bei langen Buchtexten, betont aber, dass das Modell kein in der realen Welt verankertes Sprachverständnis hat.

Mittel

Der DeepMind-Beitrag stellt den Compressive Transformer und den Buchdatensatz PG-19 als Beiträge zur Forschung an langfristigem Gedächtnis in Sprachmodellen vor. Er beschreibt, wie sich neuronale Speicher von LSTMs über externe Speicher und Transformer entwickelt haben, und hebt die Herausforderung hervor, große Informationsmengen mit effizientem Zugriff zu verarbeiten.

PG-19 umfasst laut Beitrag rund 28.000 vor 1919 veröffentlichte Project-Gutenberg-Bücher. Die Texte seien wenig vorverarbeitet; ihre Kontexte seien deutlich länger als bei früheren Benchmarks. Der Compressive Transformer speichert ältere Aktivierungen nicht einfach dauerhaft oder verwirft sie, sondern verdichtet sie zu einem Langzeitspeicher, der relevante Informationen bewahren soll.

DeepMind berichtet über damalige Spitzenleistungen auf WikiText-103 und Enwik8, gute Ergebnisse bei seltenen Wörtern sowie den Einsatz in einer Gedächtnisaufgabe. Besonders große Verbesserungen habe das Modell bei langen Buchkontexten auf PG-19 erzielt. Eine gezeigte Romanfortsetzung soll die Textkohärenz veranschaulichen. Zugleich räumt der Beitrag ein, dass das Modell kein in der realen Welt verankertes Sprachverständnis besitzt. Die Ergebnisse belegen daher längere Textzusammenhänge, nicht umfassendes Weltverständnis oder bereits gelöstes lebenslanges Denken.

Ausführlich lesen

Der DeepMind-Beitrag stellt zwei Beiträge zur Forschung an langfristigem Gedächtnis in Sprachmodellen vor: den Compressive Transformer und den Datensatz PG-19. Er ordnet sie in die Entwicklung neuronaler Speicher ein und argumentiert, dass Systeme für langfristiges Schlussfolgern relevante Informationen aus der Vergangenheit auswählen und verdichten müssen.

Der Text beschreibt zunächst Grenzen früherer Architekturen. LSTMs halten Informationen in einem kompakten Speicher, doch laut Beitrag steigt die Zahl ihrer lernbaren Parameter mit der Speichergröße quadratisch. Externe Speicher, etwa beim Differentiable Neural Computer, erweitern die Kapazität durch gezielten Zugriff. Transformer wiederum nutzen Aufmerksamkeit, um Informationen über Sequenzen hinweg zu verknüpfen. Sprachmodellierung gilt den Autorinnen und Autoren als geeignete Forschungsaufgabe, weil Modelle beim Vorhersagen des nächsten Wortes von längerem Kontext profitieren können. Der Beitrag verweist auch auf Beispiele, in denen große Sprachmodelle Wissen auf Aufgaben wie Fragenbeantwortung übertragen oder über mehrere Absätze hinweg wiederkehrende Figuren beibehalten.

PG-19 soll längere Kontexte für die Forschung bereitstellen. Der Datensatz umfasst laut Beitrag etwa 28.000 Bücher aus Project Gutenberg, die vor 1919 erschienen sind. Die Texte seien nur wenig vorverarbeitet worden; unter anderem seien weder der Wortschatz begrenzt noch Zahlen herausgefiltert worden. DeepMind gibt an, PG-19 sei mehr als doppelt so groß wie frühere Sprachmodell-Benchmarks und biete Kontexte, die über zehnmal länger seien als WikiText-103. Die durchschnittliche Kontextlänge wird in der Abbildung mit rund 69.000 Wörtern angegeben.

Der Compressive Transformer verbindet einen kurzfristigen Speicher mit einem komprimierten Langzeitspeicher. Während TransformerXL ältere Aktivierungen verwirft, verdichtet das neue Modell sie laut Beschreibung mithilfe eines neuronalen Netzes und eines zusätzlichen Lernziels, das auf aufgabenrelevante Informationen ausgerichtet ist. DeepMind berichtet von damaligen Spitzenwerten auf WikiText-103 und Enwik8 im Vergleich zu veröffentlichten Ergebnissen ohne zusätzliche Trainingsdaten. Außerdem soll das Modell Sprache effektiv modellieren, mit seltenen Wörtern besonders gut umgehen und in einem verstärkenden Lernagenten eine Gedächtnisaufgabe lösen. Auf PG-19 habe es den größten Leistungszuwachs bei langen Buchkontexten gezeigt; der Beitrag illustriert dies mit einer fortgesetzten Passage im Stil eines Romans.

Die Autorinnen und Autoren betonen jedoch eine Grenze: Das Modell verstehe Sprache nicht auf eine Weise, die in der realen Welt und ihren Ereignissen verankert sei. Längere Zusammenhänge könnten zwar kohärenteren Text hervorbringen, belegten aber kein solches Weltverständnis. Der Beitrag präsentiert PG-19 und das Modell als Schritte hin zu komprimierenden und selektiven Speichern für Systeme, die über lange Zeiträume arbeiten sollen, nicht als bereits gelöste Form lebenslangen Denkens.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassung wurde in ihren Fassungen kurz und mittel gemeinsam geprüft. Die Teilfragen-Liste ist leer, daher gibt es dazu keine Bewertung. Die Stufen und Anteile aus Lunas Einordnung wurden unabhängig neu vergeben.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kompression ist vom Schlaf als Vorbild für die Gedächtniskonsolidierung inspiriert
  • Eine Hilfsverlustfunktion (auxiliary loss) steuert, welche Informationen die Kompression behält

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 68 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 52 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 23 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 87 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →