QuestBench: Can LLMs ask the right question to acquire information in reasoning tasks?
Zusammenfassung
Kurz
Der vorliegende Bericht ist nur ein Abstract zu QuestBench, einem Benchmark dafür, ob Sprachmodelle bei unvollständigen Denkaufgaben die richtige Rückfrage auswählen. Laut Verfassenden schneiden aktuelle Modelle bei Matheaufgaben gut, bei Logik und Planung mit 40 bis 50 Prozent Genauigkeit deutlich schwächer ab; das Abstract enthält keine ausführlichen Angaben zu Stichprobe oder Versuchsaufbau.
Mittel
Der bereitgestellte Bericht enthält nur das Abstract und bibliografische Angaben, nicht den vollständigen Artikel. Er stellt QuestBench vor, einen Benchmark dafür, ob Sprachmodelle bei unvollständigen Denkaufgaben die notwendige Klärungsfrage auswählen. Der vereinfachte Aufgabenfall enthält höchstens eine fehlende Angabe. Vier Bereiche werden genannt: logische Aufgaben, PDDL-Planung mit teilweise unbekannten Anfangszuständen sowie Grundschul-Matheaufgaben in Text- und Gleichungsform. Die Modelle wählen aus vorgegebenen Optionen.
Laut Abstract erzielen aktuelle Spitzenmodelle gute Ergebnisse bei den beiden Mathebereichen, aber nur 40 bis 50 Prozent Genauigkeit bei Logik und Planung. Die Verfassenden berichten außerdem, dass das Lösen einer vollständig beschriebenen Aufgabe nicht sicherstellt, dass ein Modell zuvor die richtige Rückfrage erkennt. Im Planungsbereich wählen die Modelle selten „nicht sicher“, obwohl diese Antwort angeboten wird. Die Autorinnen und der Autor leiten daraus weiteren Untersuchungsbedarf zur Informationsbeschaffung durch Modelle ab. Das Abstract nennt keine Stichprobengrößen, konkreten Modellnamen oder ausführlichen Angaben zum Versuchsaufbau.
Ausführlich lesen
Der bereitgestellte Bericht besteht aus dem Abstract und bibliografischen Angaben; ein vollständiger Artikel liegt hier nicht vor. Er beschreibt QuestBench, einen Benchmark zur Frage, ob große Sprachmodelle bei unvollständig beschriebenen Denkaufgaben die passende Rückfrage auswählen können. Die Autorinnen und der Autor stellen das Problem als Constraint-Satisfaction-Aufgabe mit fehlenden Variablenbelegungen dar. Untersucht wird ein vereinfachter Fall, in dem höchstens eine notwendige Angabe fehlt. So soll messbar werden, ob ein Modell die minimal erforderliche Frage erkennt und wie schwierig einzelne Aufgaben sind.
QuestBench umfasst laut Abstract vier Bereiche: Logic-Q mit logischen Aufgaben und einer fehlenden Aussage, Planning-Q mit teilweise unbekannten Anfangszuständen in PDDL-Planungsproblemen, GSM-Q mit von Menschen annotierten Grundschul-Matheaufgaben und einer fehlenden Variablenbelegung sowie GSME-Q, bei dem menschliche Annotierende die Textaufgaben in Gleichungen übertragen haben. Die Modelle sollen die passende Klärungsfrage aus vorgegebenen Optionen auswählen.
Als Ergebnisse berichten die Verfassenden, dass aktuelle Spitzenmodelle bei GSM-Q und GSME-Q gut abschneiden, in Logic-Q und Planning-Q jedoch nur 40 bis 50 Prozent Genauigkeit erreichen. Ihrer Analyse zufolge reicht die Fähigkeit, eine vollständig spezifizierte Aufgabe zu lösen, nicht unbedingt aus: Modelle können Schwierigkeiten haben, die richtige Rückfrage zu erkennen, obwohl sie die vervollständigte Aufgabe lösen können. Für Planning-Q berichten sie zudem, dass Modelle selten mit „nicht sicher“ reagieren, selbst wenn diese Option angeboten wird.
Die Autorinnen und der Autor sehen darin einen Anlass, die Fähigkeit von Modellen zur Informationsbeschaffung genauer zu untersuchen. Die belegte Reichweite der Zusammenfassung ist jedoch begrenzt: Sie stützt sich ausschließlich auf das bereitgestellte Abstract. Angaben etwa zu Stichprobengrößen, einzelnen Modellen, Versuchsaufbau und weiteren Einschränkungen sind darin nicht enthalten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas mittlere Zusammenfassung ist treu und vollständig, die kurze lässt zwei zentrale Befunde aus. Lunas Stufe 3 für SF-V5 ist zu hoch angesetzt, weil der Bericht keine Hintergrund- oder Belegaussagen zur Frage enthält; Stufe 1 trifft den Bezug besser.
Im Bericht, aber nicht in der Zusammenfassung
- In der Kurzfassung fehlt der Befund, dass Modelle die richtige Rückfrage schlecht erkennen, obwohl sie die vollständig beschriebene Aufgabe lösen können
- In der Kurzfassung fehlt die Beobachtung, dass Modelle im Planungsbereich selten „nicht sicher“ wählen, obwohl diese Option angeboten wird
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 56 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht