Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind24. Februar 2024 · Q005870

On Limitations of the Transformer Architecture

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist nur ein Abstract-Auszug. Die Autorinnen und Autoren behaupten, Transformer-Layer könnten bei ausreichend großen Definitionsbereichen Funktionen nicht zuverlässig zusammensetzen; Beispiele deuteten laut ihnen auf Schwierigkeiten schon bei kleinen Bereichen hin, während weitere Aussagen zu mathematischen Aufgaben von bestimmten Komplexitätsvermutungen abhängen.

Mittel

Der bereitgestellte Bericht ist nur ein Auszug: Er enthält den Abstract, nicht die vollständige Studie. Darin untersuchen Binghui Peng, Srini Narayanan und Christos Papadimitriou mögliche Grenzen von Transformer-Layern und deren Bedeutung für Halluzinationen in großen Sprachmodellen.

Die Verfassenden behaupten, mit Methoden der Kommunikationstheorie der Komplexität zu zeigen, dass Transformer Funktionen bei ausreichend großen Definitionsbereichen nicht zusammensetzen können. Als Beispiel nennen sie das Ermitteln eines Großelternteils aus einer Genealogie. Außerdem berichten sie, dass Beispiele diese Schwierigkeit bereits bei kleinen Definitionsbereichen empirisch erkennen ließen. Für bestimmte mathematische Aufgaben erwarten sie ebenfalls Grenzen bei großen Instanzen, falls bestimmte weithin akzeptierte Vermutungen der Komplexitätstheorie zutreffen.

Der Abstract nennt weder die Beweise und Beispiele im Einzelnen noch die gemeinten Aufgaben und Vermutungen. Die Aussagen lassen sich anhand dieses Auszugs daher nicht unabhängig beurteilen.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort, aber keine vollständige Studie. Der Abstract behandelt mögliche strukturelle Grenzen der Transformer-Architektur und deren Zusammenhang mit Halluzinationen in großen Sprachmodellen.

Die Autorinnen und Autoren behaupten, mithilfe der Kommunikationstheorie der Komplexität zu beweisen, dass ein Transformer-Layer Funktionen nicht zusammensetzen kann, wenn deren Definitionsbereiche ausreichend groß sind. Als Beispiel nennen sie die Aufgabe, in einer Genealogie den Großelternteil einer Person zu bestimmen. Sie berichten außerdem von Beispielen, die nach ihrer Darstellung zeigen, dass sich diese Schwierigkeit empirisch bereits bei vergleichsweise kleinen Definitionsbereichen bemerkbar macht.

Darüber hinaus verweisen die Verfassenden auf mathematische Aufgaben, die sie als zentrale Beispiele für Komposition betrachten. Sie halten es für unwahrscheinlich, dass Transformer diese Aufgaben für hinreichend große Instanzen lösen können, sofern bestimmte weithin akzeptierte Vermutungen der Komplexitätstheorie zutreffen.

Der Auszug nennt Kommunikationstheorie der Komplexität als Begründungsansatz und erwähnt empirische Beispiele, beschreibt aber weder deren konkretes Vorgehen noch Ergebnisse im Einzelnen. Er führt auch die betreffenden mathematischen Aufgaben und Komplexitätsvermutungen nicht näher aus. Die Aussagen sind daher als Zusammenfassung der Behauptungen im Abstract zu verstehen; der bereitgestellte Text erlaubt keine Prüfung der Beweise oder eine umfassende Einordnung der Studie. Als Veröffentlichungsort nennt der Auszug arXiv.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 45 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 34 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →