Grammar Prompting for Domain-Specific Language Generation with Large Language Models
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Text ist nur ein Auszug mit Abstract sowie Autoren- und Publikationsangaben. Er beschreibt Grammar Prompting, bei dem ein Sprachmodell zunächst eine passende BNF-Grammatik vorhersagt und dann regelgeleitet eine domänenspezifische Ausgabe erzeugt; laut Abstract war das Verfahren bei mehreren Aufgaben konkurrenzfähig. Versuchsdetails und Messwerte sind im Auszug nicht enthalten.
Mittel
Der bereitgestellte Text ist nur ein Auszug: Er umfasst den Abstract sowie Autoren- und Publikationsangaben, nicht den vollständigen Bericht. Die Arbeit stellt „Grammar Prompting“ für die Erzeugung domänenspezifischer, stark strukturierter Sprachen mit großen Sprachmodellen vor. Die Autorinnen und Autoren beschreiben, dass Modelle bei solchen Aufgaben oft schwer aus wenigen Beispielen verallgemeinern. Ihr Verfahren ergänzt Demonstrationen um jeweils passende BNF-Grammatiken, die auf die jeweilige Beispielausgabe zugeschnittene Teilmengen der vollständigen DSL-Grammatik sind. Bei einer neuen Eingabe sagt das Modell zunächst eine Grammatik voraus und erzeugt danach regelgeleitet die Ausgabe. Laut Abstract erzielten Experimente konkurrenzfähige Ergebnisse bei semantischem Parsen (SMCalFlow, Overnight und GeoQuery), PDDL-Planung und SMILES-basierter Molekülerzeugung. Angaben zu Versuchsdetails, Messwerten oder konkreten Vergleichen fehlen im Auszug; die Leistungsbewertung lässt sich daher nicht näher prüfen. Die Arbeit wird NeurIPS 2023 zugeordnet.
Ausführlich lesen
Der bereitgestellte Text ist nur ein Auszug aus dem Bericht: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort, nicht den vollständigen Artikel. Die Arbeit „Grammar Prompting for Domain-Specific Language Generation with Large Language Models“ von Bailin Wang, Zi Wang, Xuezhi Wang, Yuan Cao, Rif A. Saurous und Yoon Kim erschien laut Auszug bei NeurIPS 2023.
Der Abstract beschreibt eine Schwierigkeit beim Einsatz großer Sprachmodelle: Sie können laut den Autorinnen und Autoren viele Aufgaben anhand weniger Beispiele im Kontext erlernen, verallgemeinern aber bei der Erzeugung stark strukturierter Sprachen, etwa komplexer domänenspezifischer Sprachen, nur schwer aus wenigen Beispielen. Als Ansatz schlagen die Forschenden „Grammar Prompting“ vor. Dabei werden Demonstrationsbeispiele jeweils um eine spezialisierte Grammatik in Backus-Naur-Form (BNF) ergänzt. Diese Grammatik soll gerade ausreichen, um die Ausgabe des jeweiligen Beispiels zu erzeugen, und ist eine Teilmenge der vollständigen Grammatik der domänenspezifischen Sprache.
Für eine neue Eingabe soll das Modell zunächst eine passende BNF-Grammatik vorhersagen und anschließend anhand ihrer Regeln die Ausgabe erzeugen. Der Abstract berichtet, dass Experimente mit diesem Verfahren auf mehreren Aufgaben konkurrenzfähige Ergebnisse erzielt hätten: semantisches Parsen mit SMCalFlow, Overnight und GeoQuery, Planung mit PDDL sowie die Erzeugung von Molekülen auf Grundlage von SMILES.
Der Auszug liefert jedoch keine Einzelheiten zu Versuchsaufbau, Vergleichsverfahren, Messwerten oder konkreten Ergebnissen der einzelnen Aufgaben. Daher lässt sich daraus weder die Stärke der berichteten Leistung genauer einschätzen noch ableiten, unter welchen Bedingungen das Verfahren besonders gut oder schlecht funktioniert. Die Aussagen zu den Ergebnissen sind hier ausschließlich als Zusammenfassung der Behauptungen im Abstract wiedergegeben.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 25 %Hintergrund, keine Belege
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug