Generative modeling with sparse transformers
Zusammenfassung
Kurz
OpenAI beschreibt Sparse Transformer als Ansatz, der den Speicherbedarf langer Sequenzen durch dünn besetzte Aufmerksamkeit und erneutes Berechnen von Matrizen senken soll. Der Bericht nennt starke Benchmarkwerte sowie Bild- und Audiobeispiele, betont aber, dass die Aufmerksamkeitsmuster vorläufig sind und sehr hochauflösende autoregressive Bild- oder Videogenerierung weiterhin unpraktisch bleibt.
Mittel
Der Bericht beschreibt OpenAIs Sparse Transformer, der lange Text-, Bild- und Audiofolgen effizienter verarbeiten soll. Bei gewöhnlicher Transformer-Aufmerksamkeit wächst die Matrix laut Beitrag quadratisch mit der Zahl der Positionen und verursacht besonders bei Bildern und Audio hohe Speicheranforderungen. OpenAI begegnet dem mit erneutem Berechnen der Matrix beim Rückwärtsdurchlauf sowie mit dünn besetzten Aufmerksamkeitsmustern, bei denen jede Position nur ausgewählte andere Positionen berücksichtigt. Dadurch sinke die angegebene Komplexität von O(N²) auf O(N√N). Strukturierte Muster wie Strided Attention und Fixed Attention sollen Informationen in mehreren Schritten zusammenführen und auch globale Bezüge ermöglichen.
OpenAI berichtet über Bestwerte in den aufgeführten Dichteschätzungs-Benchmarks: 2,80 Bits pro Dimension bei CIFAR-10, 0,99 Bits pro Byte bei Enwik8 und 3,44 Bits pro Dimension bei ImageNet 64×64. Außerdem seien Bildvervollständigungen, unbedingte Bildstichproben und etwa fünf Sekunden lange rohe Audiofolgen erzeugt worden; GPU-Kernel und Beispielcode wurden veröffentlicht. Der Beitrag wertet die Muster jedoch als vorläufig. Er erklärt hochauflösende autoregressive Bild- und Videogenerierung weiterhin für unpraktisch. Ergebnisse und Leistungsangaben sind Behauptungen des OpenAI-Berichts, keine unabhängige Prüfung.
Ausführlich lesen
Der Bericht stellt den von OpenAI entwickelten Sparse Transformer vor. OpenAI zufolge soll das Modell lange Folgen aus Text, Bildern und Audio besser verarbeiten und bei Vorhersageaufgaben neue Bestwerte erzielt haben. Das zentrale Problem seien die hohen Speicher- und Rechenkosten der üblichen Transformer-Aufmerksamkeit: In jeder Schicht und jedem Aufmerksamkeitskopf werden grundsätzlich alle Eingabepositionen miteinander verknüpft. Die dafür benötigte Aufmerksamkeitsmatrix wächst quadratisch mit der Sequenzlänge und wird bei Bild- oder Audiodaten sehr groß.
Als eine Entlastung beschreibt der Bericht das erneute Berechnen der Aufmerksamkeitsmatrix während des Rückwärtsdurchlaufs, statt sie im Speicher zu behalten. Das kostet laut Darstellung zusätzliche Rechenarbeit, verringert aber den Speicherbedarf. OpenAI berichtet, dass so tiefere Netze trainiert werden konnten und Modelle mit bis zu 128 Schichten bei CIFAR-10 flachere Modelle übertrafen. Dafür seien außerdem die Reihenfolge von Operationen und die Initialisierung angepasst worden.
Für sehr lange Eingaben verwendet der Ansatz nach Darstellung des Berichts dünn besetzte Aufmerksamkeit: Jede Position berücksichtigt nur eine Auswahl anderer Positionen. Bei einer Auswahl in der Größenordnung von √N statt aller N Positionen gibt OpenAI eine Komplexität von O(N√N) statt O(N²) an. Die Forschenden hätten gelernte Aufmerksamkeitsmuster in Bildmodellen untersucht und dabei sowohl strukturierte, dünne Muster als auch datenabhängige und positionsbezogene Muster beobachtet. Zwei aufeinanderfolgende Schritte können demnach Informationen über Zeilen und Spalten zusammenführen. Als Varianten nennt der Bericht Strided Attention für zweidimensionale Strukturen sowie Fixed Attention, die sich auch für Daten wie Text eignen soll. Eine Faktorisierung in zwei Dimensionen soll globale Verknüpfungen ermöglichen, obwohl einzelne Schritte dünn besetzt sind.
Als Ergebnisse führt der Bericht Vergleichswerte zur Dichteschätzung an. Für CIFAR-10 erreicht das Sparse-Transformer-Modell 2,80 Bits pro Dimension und liegt damit in der Tabelle vor den aufgeführten Vergleichsmodellen. Für Enwik8 werden 0,99 Bits pro Byte genannt, gleichauf mit dem besten dort aufgeführten Transformer-XL-Wert. Für ImageNet mit 64×64 Pixeln nennt die Tabelle 3,44 Bits pro Dimension und damit den niedrigsten aufgeführten Wert. OpenAI berichtet zudem, dass Sparse Attention in eigenen Vergleichen einen niedrigeren Verlust als volle Aufmerksamkeit bei höherer Geschwindigkeit erreicht habe; der Beitrag erwägt als Erklärung einen nützlichen Bias der Muster oder Optimierungsprobleme dichter Aufmerksamkeit.
Der Bericht zeigt außerdem Bildvervollständigungen und unbedingte Bildstichproben und beschreibt die Erzeugung roher klassischer Musik-Audiofolgen von etwa 65.000 Samples, ungefähr fünf Sekunden. Unbedingte Stichproben können laut OpenAI merkwürdig wirken, weil das verwendete Maximum-Likelihood-Ziel die gesamte Datenverteilung abdecken soll, auch mögliche, tatsächlich nicht vorkommende Modi. Zur Unterstützung weiterer Experimente seien GPU-Kernel und Beispielcode für Sparse Attention veröffentlicht worden.
Die Aussagen sind Darstellungen von OpenAI und werden im Bericht nicht unabhängig überprüft. OpenAI bezeichnet die vorgeschlagenen Aufmerksamkeitsmuster selbst als vorläufig und sieht weiteres Potenzial in anderen oder erlernten Mustern. Außerdem hält der Beitrag autoregressive Erzeugung sehr hochauflösender Bilder oder von Videos trotz der Verbesserungen weiterhin für unpraktisch. Die genannten Benchmarkwerte und Beispiele belegen daher keine allgemeine Lösung für beliebig lange Folgen oder hochauflösende Generierung.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen (kurz und mittel); beide wurden gemeinsam geprüft. Beide sind inhaltlich zutreffend, ohne erkennbare Erfindungen, lassen aber zentrale Aussagen zu Tiefe, Verlust und Skalierung aus. Die Anteilswerte in Lunas Einordnung wurden nicht bewertet, nur die Stufen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Behauptung, Sequenzen bis zu 30-mal länger als bisher verarbeiten zu können
- Dass Tiefen von bis zu 128 Schichten trainierbar wurden und tiefere Netze bei Benchmarks wie CIFAR-10 besser abschnitten
- Dass spärliche Aufmerksamkeit einen geringeren Verlust erreichte als volle Aufmerksamkeit
- Dass die kurze Zusammenfassung die konkreten Benchmarkwerte und die Veröffentlichung der Block-Sparse-Kernel nicht nennt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 41 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV 26 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 26 %Hintergrund, keine Belege
- JEV 48 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 40 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 57 %Hintergrund, keine Belege
- JEV 28 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv