Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind26. November 2024 · Q005575

How Well Do Large Language Models Perform Latent Multi-Hop Reasoning without Exploiting Shortcuts?

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der vorliegende Quelltext ist nur der Abstract einer Studie, die mit dem Datensatz SOCRATES Abkürzungen bei der Prüfung latenter Mehrschritt-Schlussfolgerungen von Sprachmodellen eindämmen soll. Laut Abstract liegen die Ergebnisse je nach Brückenentität weit auseinander: etwa fünf Prozent bei einem Jahr, über 80 Prozent bei einem Land; außerdem zeigt sich eine deutliche Lücke zum expliziten Chain-of-Thought-Schlussfolgern.

Mittel

Der vorliegende Quelltext enthält nur den Abstract, nicht den vollständigen Bericht. Darin untersuchen die Autorinnen und Autoren, ob Sprachmodelle einzeln gelernte Fakten intern zu mehrstufigen Schlussfolgerungen verbinden können. Ihre Messung soll Abkürzungen wie direkte gemeinsame Erwähnungen von Frage und Antwort oder häufigkeitsbasiertes Raten möglichst ausschließen. Dafür erstellen sie SOCRATES und entfernen nach ihrer Beschreibung Testfragen, bei denen Aliasnamen der Ausgangs- und Antwortentität in Dokumenten mehrerer Vortrainingskorpora gemeinsam vorkommen; teilweise prüfen sie auch Google-Suchen.

Auf diesem Datensatz zeigen selbst die besten Modelle laut Abstract stark unterschiedliche Ergebnisse je nach Brückenentität: Bei einem Jahr als Zwischenschritt beträgt die latente Kompositionalität etwa fünf Prozent, bei einem Land mehr als 80 Prozent. Sie nimmt tendenziell mit der Zahl bekannter Einzelfakten und bei größeren Modellen zu, wobei diese Effekte je nach Entitätstyp variieren. Der Vergleich mit Chain-of-Thought-Schlussfolgern deutet laut Autorinnen und Autoren auf eine deutliche Lücke zwischen latentem und explizitem Schlussfolgern hin. Der Abstract nennt SOCRATES als Ressource für weitere Forschung, enthält aber keine vollständigen Angaben zu Datensatz, Experimenten oder den erwähnten Hypothesen.

Ausführlich lesen

Der vorliegende Quelltext enthält nur den Abstract der Veröffentlichung, nicht den vollständigen Bericht. Der Abstract beschreibt eine Untersuchung dazu, wie gut große Sprachmodelle Fakten, die sie während des Trainings einzeln gelernt haben, intern zu mehrstufigen Schlussfolgerungen verbinden können. Diese Fähigkeit bezeichnen die Autorinnen und Autoren als latente Kompositionalität. Als Beispiel nennen sie eine Frage, die Scarlett Johanssons Geburtsjahr mit dem Austragungsland der Olympischen Sommerspiele in diesem Jahr verknüpft.

Die Autorinnen und Autoren betonen, dass solche Fähigkeiten schwer zuverlässig zu messen sind: Ein Modell könnte die gesuchte Antwort bereits zusammen mit der Ausgangsperson gesehen haben oder aufgrund einer häufigen Antwort raten, ohne tatsächlich die Zwischenschritte zu verbinden. Um solche Abkürzungen möglichst zu vermeiden, formulieren sie Anforderungen an Datensatz und Auswertung und erstellen SOCRATES. Dafür wählen sie nach eigener Darstellung geeignete Relationskombinationen und Fakten aus. Testfragen werden ausgeschlossen, wenn Kombinationen aus Aliasnamen der Ausgangs- und Antwortentität in Dokumenten mehrerer Vortrainingskorpora gemeinsam vorkommen; in manchen Fällen beziehen sie auch Google-Suchen ein. Ein Vergleich mit einer anfälligeren Datensatzvariante soll zeigen, wie Abkürzungen Ergebnisse verfälschen können. Der Abstract erläutert jedoch nicht die vollständigen Auswahlregeln, Datensatzgröße oder konkrete Auswertungsdetails.

Nach den berichteten Ergebnissen zeigen selbst die besten untersuchten Modelle auf dem als abkürzungsfrei angelegten Datensatz nur begrenzte Fähigkeit zur latenten Verknüpfung. Die Erfolgswerte unterscheiden sich stark nach Art der Brückenentität: Bei einem Jahr als Zwischenschritt liege die latente Kompositionalität der besten Modelle bei etwa fünf Prozent, bei einem Land dagegen über 80 Prozent. Sie steige tendenziell ungefähr linear mit der Zahl bekannter Einzelfakten. Größere Modelle schnitten tendenziell besser ab, wobei sowohl der Zuwachs mit mehr Fakten als auch der Vorteil größerer Modelle je nach Brückenentität deutlich variiere.

Der Vergleich mit explizitem Schlussfolgern anhand von Chain of Thought weise laut Abstract auf eine erhebliche Lücke zwischen explizitem und latentem Schlussfolgern hin. Die Autorinnen und Autoren stellen außerdem erste Hypothesen zu möglichen Einflussfaktoren vor; der Abstract bezeichnet einige als plausibel und andere als unwahrscheinlich, führt sie hier aber nicht aus. Als Beitrag nennt er die Ressource SOCRATES sowie Impulse für präzisere Messung, Verständnis und Verbesserung latenten Schlussfolgerns. Da nur der Abstract vorliegt, lassen sich Details zu Experimenten, Unsicherheiten und den Hypothesen nicht weiter beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna nennt für SF-V5 einen Anteil von 22 %, dieses Feld ist im Schema nicht vorgesehen und wurde daher nicht übernommen. Die Quelle ist nur ein Abstract, weshalb die Einordnung der Sammelfrage vorsichtig bleibt.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Abstract stellt fest, dass selbst die besten Modelle latente Kompositionalität nicht generalisieren ("lack generalization"), was beide Zusammenfassungen nicht ausdrücklich nennen.
  • Der Vergleich mit einer auf Abkürzungen anfälligen Datenversion zeigt, dass diese irreführende Ergebnisse liefert; das wird nur angedeutet, nicht erklärt.
  • Die kurze Zusammenfassung lässt den Zusammenhang mit der Zahl bekannter Einzelfakten und der Modellgröße aus.
  • Die mittlere Zusammenfassung nennt die Hypothesen zu den Einflussfaktoren nicht inhaltlich, sondern nur als fehlend im Quelltext.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 22 %Hintergrund, keine Belege
    • JEV offen
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →