A Benchmark for Reasoning with Spatial Prepositions
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorliegende Auszug beschreibt einen englisch-rumänischen Benchmark zum Schlussfolgern über räumliche Präpositionen, mit dem PaLM- und GPT-3-Modelle getestet wurden. Laut Abstract variierte ihre Leistung je nach Modellgröße, Prompt und Sprache; keines erreichte menschliches Niveau. Details zu Messwerten und Versuchsaufbau fehlen im Auszug.
Mittel
Der vorliegende Text enthält nur das Abstract und bibliografische Angaben, keine ausführliche Beschreibung der Studie. Iulia Comșa und Srini Narayanan präsentieren einen Benchmark, der das Schlussfolgern über räumliche Präpositionen und Beziehungen prüfen soll. Er umfasst eigens erstellte Datensätze auf Englisch und Rumänisch. Die Autorinnen und Autoren testeten mithilfe von Prompt Engineering die Sprachmodellfamilien PaLM und GPT-3.
Laut Abstract schwankte die Leistung deutlich zwischen kleineren und größeren Modellen sowie abhängig von Eingabeaufforderung und Sprache. Keines der getesteten Modelle erreichte demnach menschliches Leistungsniveau. Der Auszug enthält keine konkreten Messwerte oder genügend Angaben zu Datensätzen und Versuchsaufbau, um die Ergebnisse genauer einzuordnen. Der Beitrag wurde bei EMNLP 2023 veröffentlicht.
Ausführlich lesen
Der vorliegende Berichtsauszug besteht aus dem Abstract sowie Angaben zu Autorenschaft und Veröffentlichungsort; ausführliche Methoden und Ergebnisse sind darin nicht enthalten. Iulia Comșa und Srini Narayanan stellen einen Benchmark vor, mit dem sich Schlussfolgerungen aus Aussagen über räumliche Präpositionen untersuchen lassen. Räumliches Schlussfolgern beschreiben sie als wichtigen Bestandteil menschlicher Kognition, der beim Darstellen, Verankern und Erschließen physischer und abstrakter Begriffe hilft.
Der Benchmark umfasst laut Abstract eigens erstellte Datensätze auf Englisch und Rumänisch. Er soll untersuchen, wo die Grenzen großer Sprachmodelle beim Schlussfolgern über räumliche Beziehungen liegen. Die Autorinnen und Autoren nutzten Prompt Engineering, um zwei Modellfamilien zu prüfen: PaLM und GPT-3.
Als Ergebnis berichten sie von deutlichen Leistungsunterschieden zwischen kleineren und größeren Modellen sowie je nach verwendeter Eingabeaufforderung und Sprache. Keines der untersuchten Modelle habe menschliches Leistungsniveau erreicht. Der Auszug nennt jedoch keine konkreten Messwerte, Beispiele, Größen der Datensätze oder Einzelheiten des Versuchsaufbaus. Deshalb lassen sich daraus weder die genaue Stärke der Unterschiede noch die Übertragbarkeit der Ergebnisse beurteilen. Der Beitrag erschien laut Quellenangabe bei EMNLP 2023.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 47 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv