Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind8. Dezember 2021 · Q003637

Improving language models by retrieving from trillions of tokens

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt RETRO, ein Sprachmodell, das passende Textpassagen aus einer Datenbank abruft, und berichtet von Leistungsgewinnen bis zu einer Datenbankgröße von zwei Billionen Tokens. Laut Autoren übertrifft ein 7,5-Milliarden-Parameter-Modell größere Vergleichsmodelle auf Teilen des Benchmarks The Pile; die Beispiele sollen zudem sachlichere und thematisch passendere Fortsetzungen zeigen. Wie Sicherheits- und Interpretierbarkeitsvorteile geprüft wurden, bleibt im Text offen.

Mittel

Der Bericht stellt RETRO vor, eine Transformer-Architektur, die für Textabschnitte ähnliche Passagen aus einer großen Datenbank abruft und zusammen mit deren Fortsetzungen zur Vorhersage nutzt. Dazu verbindet sie Selbstaufmerksamkeit auf Dokumentebene mit Kreuzaufmerksamkeit auf die abgerufenen Nachbarn. Die Autoren führen den Ansatz als Alternative zu immer größeren Modellen an, deren Training laut Bericht hohe Energiekosten verursacht.

In den Versuchen steigt die Leistung mit der Größe der Abrufdatenbank bis zu zwei Billionen Tokens. Ein RETRO-Modell mit 7,5 Milliarden Parametern soll auf The Pile in 10 von 16 Datensätzen Jurassic-1 mit 175 Milliarden Parametern und in 9 von 16 Gopher mit 280 Milliarden Parametern übertreffen. Beispielausgaben zeigen laut Bildbeschreibungen korrekt fortgesetzte Pi-Ziffern und thematisch passendere Texte über Biber als bei einer Baseline ohne Abruf.

Die Autoren sagen außerdem, der Abruf könne Vorhersagen nachvollziehbarer machen und Eingriffe zur Verbesserung der Sicherheit ermöglichen. Der Text beschreibt jedoch nicht genauer, wie diese Vorteile geprüft wurden; auch Grenzen etwa bei Kosten oder Übertragbarkeit werden nicht behandelt.

Ausführlich lesen

Der Bericht von Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann und Laurent Sifre stellt RETRO vor, eine Methode, die Transformer-Sprachmodelle durch den Abruf ähnlicher Textstellen aus einer großen Datenbank ergänzt. Die Autoren begründen den Ansatz mit den Kosten immer größerer Modelle: Bisherige Leistungssteigerungen durch mehr Modellparameter gingen mit deutlich höherem Energiebedarf einher, während zugleich Textsammlungen mit Billionen Wörtern verfügbar geworden seien.

Bei RETRO wird für jeden Textabschnitt – ungefähr einen Absatz – eine Ähnlichkeitssuche ausgeführt. Sie liefert verwandte Sequenzen aus der Trainingsdatenbank samt deren Fortsetzungen. Die Architektur verknüpft gewöhnliche Selbstaufmerksamkeit auf Dokumentebene mit Kreuzaufmerksamkeit auf die abgerufenen Textpassagen. Laut Bericht sollen diese Nachbarn dem Modell helfen, passende Fortsetzungen vorherzusagen.

Die Autoren berichten, dass die Sprachmodellleistung mit wachsender Abrufdatenbank weiter zunimmt, in ihren Versuchen bis zu einer Größe von zwei Billionen Tokens. Die zugehörige Grafik vergleicht vier RETRO-Größen und zeigt sinkende Bits-per-Byte-Werte, wobei niedrigere Werte besser sind. Der Bericht behauptet außerdem, dass ein RETRO-Modell mit 7,5 Milliarden Parametern auf dem Benchmark The Pile in 10 von 16 Datensätzen besser abschneidet als Jurassic-1 mit 175 Milliarden Parametern und in 9 von 16 Datensätzen besser als Gopher mit 280 Milliarden Parametern.

Als Beispiele für die Ausgaben vergleichen die Autoren ein Modell ohne Abruf mit RETRO: Bei einer Eingabe mit den ersten Ziffern von Pi gebe das Basismodell laut Bildbeschreibung nur zwei korrekte weitere Ziffern aus, während RETRO die Folge aus der Datenbank fortsetzen könne. Bei einem Text über Biber bleibe die RETRO-Ausgabe dem Thema treu und beschreibe den Dammbau; die Baseline schweife zu anderen Tieren ab. Diese Beispiele illustrieren die Behauptung, RETRO erzeuge sachlichere und thematisch passendere Fortsetzungen.

Der Bericht führt zudem an, dass der Abruf Vorhersagen nachvollziehbarer machen und direkte Eingriffe über die Datenbank ermöglichen könne, um die Sicherheit von Textfortsetzungen zu verbessern. Die Darstellung belegt jedoch nicht im Einzelnen, wie diese Interpretierbarkeit oder Sicherheitsinterventionen geprüft wurden. Auch sind die genannten Benchmark-Ergebnisse auf die berichteten 16 Datensätze begrenzt; weitere Einschränkungen, etwa zu Abrufkosten oder zur Übertragbarkeit auf andere Aufgaben, werden im vorliegenden Text nicht ausgeführt. Insgesamt präsentiert der Beitrag RETRO als Weg, große Textbestände beim Generieren nutzbar zu machen, ohne dafür ausschließlich die Parameterzahl des Modells zu erhöhen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Fassungen der Zusammenfassung (kurz und mittel); die Prüfung gilt für beide. Die kurze Fassung ist treu, die mittlere Fassung enthält keine Erfindungen, lässt aber den Kernbefund aus, dass RETRO nicht auf Trainingsdaten beschränkt ist. Bei der Einordnung weicht meine Bewertung deutlich von Lunas Stufen ab, vor allem bei SF-E4 (1 statt 3) und SF-E4-T02 (0 statt 0 bestätigt, Anteil ist nicht geprüft).

Im Bericht, aber nicht in der Zusammenfassung

  • RETRO ist nicht auf die Trainingsdaten beschränkt, sondern greift über den Abruf auf die gesamte Datenbank zu
  • Gegenüber Standard-Transformern mit gleicher Parameterzahl ergeben sich laut Bericht deutliche Leistungsgewinne

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 51 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 63 %einzelne zitierbare Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 67 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →