Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmindohne Datum · Q002757

Language models, like humans, show content effects on reasoning tasks

pmc.ncbi.nlm.nih.gov · Originalbericht öffnen ↗

Zusammenfassung

Kurz

In drei Logiktests waren Menschen und Sprachmodelle genauer, wenn der Inhalt die logisch richtige Antwort unterstützte; bei einfachen Schlussfolgerungen war dieser Effekt gering, bei Syllogismen und der Wason-Aufgabe deutlicher. Modelle schnitten bei der schwierigen Wason-Aufgabe meist besser ab als Menschen, machten aber andere Fehler. Die Studie zeigt ähnliche Verhaltensmuster in den untersuchten Aufgaben, klärt deren Ursache jedoch nicht und ist durch die begrenzte Aufgabenauswahl sowie Unterschiede zwischen menschlichen und maschinellen Tests eingeschränkt.

Mittel

Die Studie vergleicht Menschen und große Sprachmodelle bei drei logischen Aufgaben: Satzschlussfolgerungen, Syllogismen und der Wason-Kartenauswahl. Dafür wurden neue Beispiele mit gleichbleibender Logik, aber plausiblen, erwartungswidrigen oder bedeutungslosen Inhalten erstellt, um mögliche Überschneidungen mit Trainingsdaten zu verringern.

Bei einfachen Satzschlussfolgerungen waren beide Gruppen meist treffsicher; ein Einfluss des Inhalts auf die Genauigkeit ließ sich nicht statistisch nachweisen. Bei Syllogismen urteilten Menschen und alle getesteten Modelle genauer, wenn die Bedeutung die logische Antwort unterstützte. Plausible Schlussfolgerungen wurden dabei oft als gültig bewertet, selbst wenn die Argumente logisch ungültig waren. Die Wason-Aufgabe fiel Menschen schwer: Insgesamt lagen sie nicht signifikant über Zufallsniveau, während realistische Regeln und längere Antwortzeiten mit besserer Leistung verbunden waren. Modelle profitierten ebenfalls von realistischen Regeln und übertrafen Menschen meist, zeigten aber andere Fehlermuster.

Die Forschenden berichten außerdem Zusammenhänge zwischen Modellkonfidenz und menschlichen Antwortzeiten sowie Verbesserungen durch schrittweises Begründen in einzelnen Bedingungen. Die Befunde zeigen ähnliche Inhaltseffekte in diesen Tests, klären aber deren Ursache nicht. Grenzen sind die kleine Auswahl an Aufgaben, die schwache menschliche Wason-Leistung, Unterschiede der Testformate und die viel größeren Trainingsdatenmengen der Modelle.

Ausführlich lesen

Der Bericht untersucht, ob große Sprachmodelle bei logischen Aufgaben ähnlich wie Menschen durch den Bedeutungsgehalt der Beispiele beeinflusst werden. Abstraktes Schlussfolgern sollte unabhängig davon funktionieren, ob eine Aussage vertraut, plausibel oder ungewöhnlich klingt. Menschen sind darin jedoch oft zuverlässiger, wenn ihr Alltagswissen die logisch richtige Antwort stützt, und machen mehr Fehler, wenn Logik und Erwartungen auseinandergehen. Die Forschenden prüften, ob sich solche „Inhaltseffekte“ auch bei Sprachmodellen zeigen.

Verglichen wurden Menschen und mehrere Sprachmodelle anhand neu erstellter Aufgaben aus drei Bereichen: einfache Schlussfolgerungen zwischen Sätzen, die Gültigkeitsprüfung von Syllogismen sowie die Wason-Kartenauswahlaufgabe. Die Aufgaben behielten ihre logische Struktur bei, variierten aber den Inhalt: Er konnte mit üblichen Erwartungen übereinstimmen, ihnen widersprechen oder aus bedeutungslosen Kunstwörtern bestehen. Neue Beispiele sollten das Risiko verringern, dass Modelle die Aufgaben bereits aus ihren Trainingsdaten kannten. Die menschlichen Daten stammten von englischsprachigen Teilnehmenden im Vereinigten Königreich. Die Antworten der Modelle wurden anhand von Wahrscheinlichkeiten für vorgegebene Antwortoptionen bewertet; ergänzend untersuchten die Forschenden unter anderem Modellkonfidenz und menschliche Antwortzeiten.

Bei den einfachen Satzschlussfolgerungen erzielten Menschen und Modelle hohe Genauigkeit. Ein Einfluss des Inhalts auf die Trefferquote war hier gering und statistisch nicht nachweisbar. Bei Syllogismen war die Leistung niedriger, und sowohl Menschen als auch alle untersuchten Modelle antworteten genauer, wenn die Bedeutung die logische Schlussfolgerung stützte. Besonders ausgeprägt war die Neigung, ein Argument als gültig einzustufen, wenn seine Schlussfolgerung plausibel klang – auch wenn es logisch ungültig war. Bei der schwierigeren Wason-Aufgabe schnitten Menschen insgesamt schlecht ab und lagen in der Gesamtauswertung nicht signifikant über Zufallsniveau. Realistische Regeln erleichterten die Aufgabe jedoch: Ein Teil der langsamer antwortenden Menschen lag bei diesen Beispielen über Zufallsniveau. Sprachmodelle zeigten ebenfalls Vorteile bei realistischen Regeln und übertrafen Menschen meist, unterschieden sich aber in ihren Fehlermustern. Menschen wählten häufig Karten, deren sichtbare Werte zur Regel passten; Modelle machten diese Fehler seltener, wählten dafür häufiger andere falsche Karten.

Weitere Analysen ergaben, dass Modelle bei korrekten Antworten oft sicherer waren. Bei den Satzschlussfolgerungen und Syllogismen hing ihre Konfidenz außerdem damit zusammen, wie schnell Menschen dieselben Aufgaben beantworteten: Bei Aufgaben mit kürzeren menschlichen Antwortzeiten waren Modelle tendenziell sicherer. In einzelnen Wason-Versuchen verbesserte schrittweises Begründen die Modellleistung unter abstrakten oder bedeutungsarmen Bedingungen. Variationen bei Anweisungen, Bewertungsverfahren und Beispielen im Prompt beseitigten die allgemeinen Inhaltseffekte nicht. Ergebnisse und Stärke dieser Effekte unterschieden sich aber teilweise zwischen Modellen und Aufgaben.

Die Autorinnen und Autoren deuten die Befunde als Hinweis darauf, dass Sprachmodelle und Menschen Bedeutung und Logik beim Antworten vermischen können. Sie legen sich nicht darauf fest, wodurch die Ähnlichkeit entsteht: Modelle könnten menschliche Antwortmuster aus Texten übernehmen oder unabhängig davon durch erlernte Bedeutungszusammenhänge zu ähnlichen Effekten gelangen. Die Studie belegt weder, welcher Mechanismus ursächlich ist, noch dass Modelle menschliche Denkprozesse besitzen. Zu den Grenzen zählen die Beschränkung auf drei Aufgaben, die niedrige menschliche Leistung bei der Wason-Aufgabe, mögliche Unterschiede zwischen den Antwortformaten von Menschen und Modellen sowie die sehr viel größeren Sprachmengen, mit denen Modelle trainiert werden. Die Untersuchung bestimmt auch nicht, welche konkreten Trainingsdaten die Effekte hervorbringen. Die Ergebnisse sprechen daher für vergleichbare Verhaltensmuster in diesen Tests, nicht für eine allgemeine Gleichheit menschlichen und maschinellen Denkens.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung bezieht sich auf die drei angegebenen Sammelfragen, Teilfragen lagen nicht vor. Die Metadaten des Berichts (Abrufdatum, Prüfvermerk) wurden nicht bewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Item-Ebenen-Zusammenhang zwischen menschlicher und Modellgenauigkeit bei NLI und Syllogismen
  • Die zwei Erklärungen für den Ursprung der Inhaltseffekte: Nachahmung menschlicher Muster aus Trainingsdaten oder Konvergenz über reale Semantik
  • Die Schlussfolgerung, dass ein einzelnes Transformer-Modell duales Verhalten ohne explizites symbolisches System 2 zeigen kann

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 43 %beantwortet teilweise oder widerspricht
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 22 %Hintergrund, keine Belege
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 42 %einzelne zitierbare Belege
    • JEV 40 %umfangreiche Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →