Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind6. Dezember 2023 · Q005949

A Benchmark for Reasoning with Spatial Prepositions

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Auszug beschreibt einen englisch-rumänischen Benchmark zum Schlussfolgern über räumliche Präpositionen, mit dem PaLM- und GPT-3-Modelle getestet wurden. Laut Abstract variierte ihre Leistung je nach Modellgröße, Prompt und Sprache; keines erreichte menschliches Niveau. Details zu Messwerten und Versuchsaufbau fehlen im Auszug.

Mittel

Der vorliegende Text enthält nur das Abstract und bibliografische Angaben, keine ausführliche Beschreibung der Studie. Iulia Comșa und Srini Narayanan präsentieren einen Benchmark, der das Schlussfolgern über räumliche Präpositionen und Beziehungen prüfen soll. Er umfasst eigens erstellte Datensätze auf Englisch und Rumänisch. Die Autorinnen und Autoren testeten mithilfe von Prompt Engineering die Sprachmodellfamilien PaLM und GPT-3.

Laut Abstract schwankte die Leistung deutlich zwischen kleineren und größeren Modellen sowie abhängig von Eingabeaufforderung und Sprache. Keines der getesteten Modelle erreichte demnach menschliches Leistungsniveau. Der Auszug enthält keine konkreten Messwerte oder genügend Angaben zu Datensätzen und Versuchsaufbau, um die Ergebnisse genauer einzuordnen. Der Beitrag wurde bei EMNLP 2023 veröffentlicht.

Ausführlich lesen

Der vorliegende Berichtsauszug besteht aus dem Abstract sowie Angaben zu Autorenschaft und Veröffentlichungsort; ausführliche Methoden und Ergebnisse sind darin nicht enthalten. Iulia Comșa und Srini Narayanan stellen einen Benchmark vor, mit dem sich Schlussfolgerungen aus Aussagen über räumliche Präpositionen untersuchen lassen. Räumliches Schlussfolgern beschreiben sie als wichtigen Bestandteil menschlicher Kognition, der beim Darstellen, Verankern und Erschließen physischer und abstrakter Begriffe hilft.

Der Benchmark umfasst laut Abstract eigens erstellte Datensätze auf Englisch und Rumänisch. Er soll untersuchen, wo die Grenzen großer Sprachmodelle beim Schlussfolgern über räumliche Beziehungen liegen. Die Autorinnen und Autoren nutzten Prompt Engineering, um zwei Modellfamilien zu prüfen: PaLM und GPT-3.

Als Ergebnis berichten sie von deutlichen Leistungsunterschieden zwischen kleineren und größeren Modellen sowie je nach verwendeter Eingabeaufforderung und Sprache. Keines der untersuchten Modelle habe menschliches Leistungsniveau erreicht. Der Auszug nennt jedoch keine konkreten Messwerte, Beispiele, Größen der Datensätze oder Einzelheiten des Versuchsaufbaus. Deshalb lassen sich daraus weder die genaue Stärke der Unterschiede noch die Übertragbarkeit der Ergebnisse beurteilen. Der Beitrag erschien laut Quellenangabe bei EMNLP 2023.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 32 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 47 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →