SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization Evaluation
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Auszug stellt SEAHORSE vor: einen Datensatz mit 96.000 menschlich bewerteten Zusammenfassungen aus sechs Sprachen, die anhand von sechs Qualitätsdimensionen beurteilt werden. Laut Abstract erzielen damit trainierte Metriken starke Ergebnisse auf TRUE und mFACE; Details zur Methode und zu konkreten Leistungswerten fehlen im Auszug.
Mittel
Der bereitgestellte Bericht ist ein Auszug mit Abstract, Autorenliste und Veröffentlichungsangabe (EMNLP 2023). Er stellt SEAHORSE vor, einen Datensatz zur mehrsprachigen Bewertung von Zusammenfassungen. Laut Abstract enthält er 96.000 menschlich bewertete Zusammenfassungen aus sechs Sprachen, neun Systemen und vier Datensätzen. Bewertet werden sechs Dimensionen: Verständlichkeit, Wiederholungen, Grammatik, Zuschreibung, zentrale Inhalte und Kürze.
Die Autoren sehen SEAHORSE sowohl als Benchmark für Bewertungsmetriken als auch als Trainingsressource. Sie berichten, dass damit trainierte Metriken auf den domänenfremden Benchmarks TRUE und mFACE starke Leistungen erreichen. Datensatz und Metriken seien öffentlich verfügbar.
Der Auszug nennt keine Einzelheiten zur Datenerhebung oder Bewertungsmethode und enthält keine konkreten Leistungswerte. Diese Aspekte und mögliche Grenzen der Studie lassen sich anhand des bereitgestellten Textes nicht einschätzen.
Ausführlich lesen
Der bereitgestellte Bericht ist ein Auszug: Er enthält den Abstract, die Autorenliste und die Angabe zur Veröffentlichung bei EMNLP 2023. Der Abstract beschreibt SEAHORSE, einen mehrsprachigen Datensatz zur Bewertung von Zusammenfassungen. Als Motivation nennt er, dass die automatische Bewertung schwierig und vielschichtig sei und menschliche Bewertungen besonders für andere Sprachen als Englisch nur begrenzt vorlägen.
Laut Abstract umfasst SEAHORSE 96.000 Zusammenfassungen mit menschlichen Bewertungen in sechs Qualitätsdimensionen: Verständlichkeit, Wiederholungen, Grammatik, Zuschreibung, zentrale Inhalte und Kürze. Der Datensatz decke sechs Sprachen, neun Systeme und vier Datensätze ab. Die Autoren schlagen vor, ihn sowohl als Benchmark für erlernte Bewertungsmetriken als auch als umfangreiche Trainingsgrundlage für solche Metriken zu nutzen.
Als Ergebnis berichtet der Abstract, dass mit SEAHORSE trainierte Metriken bei den domänenfremden Meta-Evaluierungsbenchmarks TRUE und mFACE starke Leistungen erzielen. Datensatz und Metriken seien für weitere Forschung öffentlich verfügbar gemacht worden.
Der vorliegende Auszug erläutert jedoch weder die Erhebungs- und Bewertungsmethode im Detail noch die konkreten Leistungswerte, die Sprachverteilung oder mögliche Einschränkungen der Untersuchung. Daher lassen sich diese Punkte aus dem bereitgestellten Text nicht beurteilen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug