Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai23. April 2019 · Q008338

Generative modeling with sparse transformers

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI beschreibt Sparse Transformer als Ansatz, der den Speicherbedarf langer Sequenzen durch dünn besetzte Aufmerksamkeit und erneutes Berechnen von Matrizen senken soll. Der Bericht nennt starke Benchmarkwerte sowie Bild- und Audiobeispiele, betont aber, dass die Aufmerksamkeitsmuster vorläufig sind und sehr hochauflösende autoregressive Bild- oder Videogenerierung weiterhin unpraktisch bleibt.

Mittel

Der Bericht beschreibt OpenAIs Sparse Transformer, der lange Text-, Bild- und Audiofolgen effizienter verarbeiten soll. Bei gewöhnlicher Transformer-Aufmerksamkeit wächst die Matrix laut Beitrag quadratisch mit der Zahl der Positionen und verursacht besonders bei Bildern und Audio hohe Speicheranforderungen. OpenAI begegnet dem mit erneutem Berechnen der Matrix beim Rückwärtsdurchlauf sowie mit dünn besetzten Aufmerksamkeitsmustern, bei denen jede Position nur ausgewählte andere Positionen berücksichtigt. Dadurch sinke die angegebene Komplexität von O(N²) auf O(N√N). Strukturierte Muster wie Strided Attention und Fixed Attention sollen Informationen in mehreren Schritten zusammenführen und auch globale Bezüge ermöglichen.

OpenAI berichtet über Bestwerte in den aufgeführten Dichteschätzungs-Benchmarks: 2,80 Bits pro Dimension bei CIFAR-10, 0,99 Bits pro Byte bei Enwik8 und 3,44 Bits pro Dimension bei ImageNet 64×64. Außerdem seien Bildvervollständigungen, unbedingte Bildstichproben und etwa fünf Sekunden lange rohe Audiofolgen erzeugt worden; GPU-Kernel und Beispielcode wurden veröffentlicht. Der Beitrag wertet die Muster jedoch als vorläufig. Er erklärt hochauflösende autoregressive Bild- und Videogenerierung weiterhin für unpraktisch. Ergebnisse und Leistungsangaben sind Behauptungen des OpenAI-Berichts, keine unabhängige Prüfung.

Ausführlich lesen

Der Bericht stellt den von OpenAI entwickelten Sparse Transformer vor. OpenAI zufolge soll das Modell lange Folgen aus Text, Bildern und Audio besser verarbeiten und bei Vorhersageaufgaben neue Bestwerte erzielt haben. Das zentrale Problem seien die hohen Speicher- und Rechenkosten der üblichen Transformer-Aufmerksamkeit: In jeder Schicht und jedem Aufmerksamkeitskopf werden grundsätzlich alle Eingabepositionen miteinander verknüpft. Die dafür benötigte Aufmerksamkeitsmatrix wächst quadratisch mit der Sequenzlänge und wird bei Bild- oder Audiodaten sehr groß.

Als eine Entlastung beschreibt der Bericht das erneute Berechnen der Aufmerksamkeitsmatrix während des Rückwärtsdurchlaufs, statt sie im Speicher zu behalten. Das kostet laut Darstellung zusätzliche Rechenarbeit, verringert aber den Speicherbedarf. OpenAI berichtet, dass so tiefere Netze trainiert werden konnten und Modelle mit bis zu 128 Schichten bei CIFAR-10 flachere Modelle übertrafen. Dafür seien außerdem die Reihenfolge von Operationen und die Initialisierung angepasst worden.

Für sehr lange Eingaben verwendet der Ansatz nach Darstellung des Berichts dünn besetzte Aufmerksamkeit: Jede Position berücksichtigt nur eine Auswahl anderer Positionen. Bei einer Auswahl in der Größenordnung von √N statt aller N Positionen gibt OpenAI eine Komplexität von O(N√N) statt O(N²) an. Die Forschenden hätten gelernte Aufmerksamkeitsmuster in Bildmodellen untersucht und dabei sowohl strukturierte, dünne Muster als auch datenabhängige und positionsbezogene Muster beobachtet. Zwei aufeinanderfolgende Schritte können demnach Informationen über Zeilen und Spalten zusammenführen. Als Varianten nennt der Bericht Strided Attention für zweidimensionale Strukturen sowie Fixed Attention, die sich auch für Daten wie Text eignen soll. Eine Faktorisierung in zwei Dimensionen soll globale Verknüpfungen ermöglichen, obwohl einzelne Schritte dünn besetzt sind.

Als Ergebnisse führt der Bericht Vergleichswerte zur Dichteschätzung an. Für CIFAR-10 erreicht das Sparse-Transformer-Modell 2,80 Bits pro Dimension und liegt damit in der Tabelle vor den aufgeführten Vergleichsmodellen. Für Enwik8 werden 0,99 Bits pro Byte genannt, gleichauf mit dem besten dort aufgeführten Transformer-XL-Wert. Für ImageNet mit 64×64 Pixeln nennt die Tabelle 3,44 Bits pro Dimension und damit den niedrigsten aufgeführten Wert. OpenAI berichtet zudem, dass Sparse Attention in eigenen Vergleichen einen niedrigeren Verlust als volle Aufmerksamkeit bei höherer Geschwindigkeit erreicht habe; der Beitrag erwägt als Erklärung einen nützlichen Bias der Muster oder Optimierungsprobleme dichter Aufmerksamkeit.

Der Bericht zeigt außerdem Bildvervollständigungen und unbedingte Bildstichproben und beschreibt die Erzeugung roher klassischer Musik-Audiofolgen von etwa 65.000 Samples, ungefähr fünf Sekunden. Unbedingte Stichproben können laut OpenAI merkwürdig wirken, weil das verwendete Maximum-Likelihood-Ziel die gesamte Datenverteilung abdecken soll, auch mögliche, tatsächlich nicht vorkommende Modi. Zur Unterstützung weiterer Experimente seien GPU-Kernel und Beispielcode für Sparse Attention veröffentlicht worden.

Die Aussagen sind Darstellungen von OpenAI und werden im Bericht nicht unabhängig überprüft. OpenAI bezeichnet die vorgeschlagenen Aufmerksamkeitsmuster selbst als vorläufig und sieht weiteres Potenzial in anderen oder erlernten Mustern. Außerdem hält der Beitrag autoregressive Erzeugung sehr hochauflösender Bilder oder von Videos trotz der Verbesserungen weiterhin für unpraktisch. Die genannten Benchmarkwerte und Beispiele belegen daher keine allgemeine Lösung für beliebig lange Folgen oder hochauflösende Generierung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen (kurz und mittel); beide wurden gemeinsam geprüft. Beide sind inhaltlich zutreffend, ohne erkennbare Erfindungen, lassen aber zentrale Aussagen zu Tiefe, Verlust und Skalierung aus. Die Anteilswerte in Lunas Einordnung wurden nicht bewertet, nur die Stufen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Behauptung, Sequenzen bis zu 30-mal länger als bisher verarbeiten zu können
  • Dass Tiefen von bis zu 128 Schichten trainierbar wurden und tiefere Netze bei Benchmarks wie CIFAR-10 besser abschnitten
  • Dass spärliche Aufmerksamkeit einen geringeren Verlust erreichte als volle Aufmerksamkeit
  • Dass die kurze Zusammenfassung die konkreten Benchmarkwerte und die Veröffentlichung der Block-Sparse-Kernel nicht nennt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 46 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 67 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV 26 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 26 %Hintergrund, keine Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →