Improving language models by retrieving from trillions of tokens
Zusammenfassung
Kurz
Der Bericht beschreibt RETRO, ein Sprachmodell, das passende Textpassagen aus einer Datenbank abruft, und berichtet von Leistungsgewinnen bis zu einer Datenbankgröße von zwei Billionen Tokens. Laut Autoren übertrifft ein 7,5-Milliarden-Parameter-Modell größere Vergleichsmodelle auf Teilen des Benchmarks The Pile; die Beispiele sollen zudem sachlichere und thematisch passendere Fortsetzungen zeigen. Wie Sicherheits- und Interpretierbarkeitsvorteile geprüft wurden, bleibt im Text offen.
Mittel
Der Bericht stellt RETRO vor, eine Transformer-Architektur, die für Textabschnitte ähnliche Passagen aus einer großen Datenbank abruft und zusammen mit deren Fortsetzungen zur Vorhersage nutzt. Dazu verbindet sie Selbstaufmerksamkeit auf Dokumentebene mit Kreuzaufmerksamkeit auf die abgerufenen Nachbarn. Die Autoren führen den Ansatz als Alternative zu immer größeren Modellen an, deren Training laut Bericht hohe Energiekosten verursacht.
In den Versuchen steigt die Leistung mit der Größe der Abrufdatenbank bis zu zwei Billionen Tokens. Ein RETRO-Modell mit 7,5 Milliarden Parametern soll auf The Pile in 10 von 16 Datensätzen Jurassic-1 mit 175 Milliarden Parametern und in 9 von 16 Gopher mit 280 Milliarden Parametern übertreffen. Beispielausgaben zeigen laut Bildbeschreibungen korrekt fortgesetzte Pi-Ziffern und thematisch passendere Texte über Biber als bei einer Baseline ohne Abruf.
Die Autoren sagen außerdem, der Abruf könne Vorhersagen nachvollziehbarer machen und Eingriffe zur Verbesserung der Sicherheit ermöglichen. Der Text beschreibt jedoch nicht genauer, wie diese Vorteile geprüft wurden; auch Grenzen etwa bei Kosten oder Übertragbarkeit werden nicht behandelt.
Ausführlich lesen
Der Bericht von Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann und Laurent Sifre stellt RETRO vor, eine Methode, die Transformer-Sprachmodelle durch den Abruf ähnlicher Textstellen aus einer großen Datenbank ergänzt. Die Autoren begründen den Ansatz mit den Kosten immer größerer Modelle: Bisherige Leistungssteigerungen durch mehr Modellparameter gingen mit deutlich höherem Energiebedarf einher, während zugleich Textsammlungen mit Billionen Wörtern verfügbar geworden seien.
Bei RETRO wird für jeden Textabschnitt – ungefähr einen Absatz – eine Ähnlichkeitssuche ausgeführt. Sie liefert verwandte Sequenzen aus der Trainingsdatenbank samt deren Fortsetzungen. Die Architektur verknüpft gewöhnliche Selbstaufmerksamkeit auf Dokumentebene mit Kreuzaufmerksamkeit auf die abgerufenen Textpassagen. Laut Bericht sollen diese Nachbarn dem Modell helfen, passende Fortsetzungen vorherzusagen.
Die Autoren berichten, dass die Sprachmodellleistung mit wachsender Abrufdatenbank weiter zunimmt, in ihren Versuchen bis zu einer Größe von zwei Billionen Tokens. Die zugehörige Grafik vergleicht vier RETRO-Größen und zeigt sinkende Bits-per-Byte-Werte, wobei niedrigere Werte besser sind. Der Bericht behauptet außerdem, dass ein RETRO-Modell mit 7,5 Milliarden Parametern auf dem Benchmark The Pile in 10 von 16 Datensätzen besser abschneidet als Jurassic-1 mit 175 Milliarden Parametern und in 9 von 16 Datensätzen besser als Gopher mit 280 Milliarden Parametern.
Als Beispiele für die Ausgaben vergleichen die Autoren ein Modell ohne Abruf mit RETRO: Bei einer Eingabe mit den ersten Ziffern von Pi gebe das Basismodell laut Bildbeschreibung nur zwei korrekte weitere Ziffern aus, während RETRO die Folge aus der Datenbank fortsetzen könne. Bei einem Text über Biber bleibe die RETRO-Ausgabe dem Thema treu und beschreibe den Dammbau; die Baseline schweife zu anderen Tieren ab. Diese Beispiele illustrieren die Behauptung, RETRO erzeuge sachlichere und thematisch passendere Fortsetzungen.
Der Bericht führt zudem an, dass der Abruf Vorhersagen nachvollziehbarer machen und direkte Eingriffe über die Datenbank ermöglichen könne, um die Sicherheit von Textfortsetzungen zu verbessern. Die Darstellung belegt jedoch nicht im Einzelnen, wie diese Interpretierbarkeit oder Sicherheitsinterventionen geprüft wurden. Auch sind die genannten Benchmark-Ergebnisse auf die berichteten 16 Datensätze begrenzt; weitere Einschränkungen, etwa zu Abrufkosten oder zur Übertragbarkeit auf andere Aufgaben, werden im vorliegenden Text nicht ausgeführt. Insgesamt präsentiert der Beitrag RETRO als Weg, große Textbestände beim Generieren nutzbar zu machen, ohne dafür ausschließlich die Parameterzahl des Modells zu erhöhen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Fassungen der Zusammenfassung (kurz und mittel); die Prüfung gilt für beide. Die kurze Fassung ist treu, die mittlere Fassung enthält keine Erfindungen, lässt aber den Kernbefund aus, dass RETRO nicht auf Trainingsdaten beschränkt ist. Bei der Einordnung weicht meine Bewertung deutlich von Lunas Stufen ab, vor allem bei SF-E4 (1 statt 3) und SF-E4-T02 (0 statt 0 bestätigt, Anteil ist nicht geprüft).
Im Bericht, aber nicht in der Zusammenfassung
- RETRO ist nicht auf die Trainingsdaten beschränkt, sondern greift über den Abruf auf die gesamte Datenbank zu
- Gegenüber Standard-Transformern mit gleicher Parameterzahl ergeben sich laut Bericht deutliche Leistungsgewinne
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 47 %gleiches Oberthema, hilft nicht
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 74 %gleiches Oberthema, hilft nicht
- d3-ultra 64 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 51 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 63 %einzelne zitierbare Belege
- JEV 38 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H3-T06 Welcher unabhängig prüfbare Mindestbeleg zeigt, dass eine bestimmte Person, Organisation oder ein geschützter Datensatz aus einem veröffentlichten Modell und seinen Adaptern (Zusatzmodulen) verlernt wurde, und welches Restrisiko einer Extraktion lässt sich womöglich nie auf null senken?
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 67 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %nur am Rande erwähnt
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv