Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind6. Dezember 2023 · Q005944

SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization Evaluation

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Auszug stellt SEAHORSE vor: einen Datensatz mit 96.000 menschlich bewerteten Zusammenfassungen aus sechs Sprachen, die anhand von sechs Qualitätsdimensionen beurteilt werden. Laut Abstract erzielen damit trainierte Metriken starke Ergebnisse auf TRUE und mFACE; Details zur Methode und zu konkreten Leistungswerten fehlen im Auszug.

Mittel

Der bereitgestellte Bericht ist ein Auszug mit Abstract, Autorenliste und Veröffentlichungsangabe (EMNLP 2023). Er stellt SEAHORSE vor, einen Datensatz zur mehrsprachigen Bewertung von Zusammenfassungen. Laut Abstract enthält er 96.000 menschlich bewertete Zusammenfassungen aus sechs Sprachen, neun Systemen und vier Datensätzen. Bewertet werden sechs Dimensionen: Verständlichkeit, Wiederholungen, Grammatik, Zuschreibung, zentrale Inhalte und Kürze.

Die Autoren sehen SEAHORSE sowohl als Benchmark für Bewertungsmetriken als auch als Trainingsressource. Sie berichten, dass damit trainierte Metriken auf den domänenfremden Benchmarks TRUE und mFACE starke Leistungen erreichen. Datensatz und Metriken seien öffentlich verfügbar.

Der Auszug nennt keine Einzelheiten zur Datenerhebung oder Bewertungsmethode und enthält keine konkreten Leistungswerte. Diese Aspekte und mögliche Grenzen der Studie lassen sich anhand des bereitgestellten Textes nicht einschätzen.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug: Er enthält den Abstract, die Autorenliste und die Angabe zur Veröffentlichung bei EMNLP 2023. Der Abstract beschreibt SEAHORSE, einen mehrsprachigen Datensatz zur Bewertung von Zusammenfassungen. Als Motivation nennt er, dass die automatische Bewertung schwierig und vielschichtig sei und menschliche Bewertungen besonders für andere Sprachen als Englisch nur begrenzt vorlägen.

Laut Abstract umfasst SEAHORSE 96.000 Zusammenfassungen mit menschlichen Bewertungen in sechs Qualitätsdimensionen: Verständlichkeit, Wiederholungen, Grammatik, Zuschreibung, zentrale Inhalte und Kürze. Der Datensatz decke sechs Sprachen, neun Systeme und vier Datensätze ab. Die Autoren schlagen vor, ihn sowohl als Benchmark für erlernte Bewertungsmetriken als auch als umfangreiche Trainingsgrundlage für solche Metriken zu nutzen.

Als Ergebnis berichtet der Abstract, dass mit SEAHORSE trainierte Metriken bei den domänenfremden Meta-Evaluierungsbenchmarks TRUE und mFACE starke Leistungen erzielen. Datensatz und Metriken seien für weitere Forschung öffentlich verfügbar gemacht worden.

Der vorliegende Auszug erläutert jedoch weder die Erhebungs- und Bewertungsmethode im Detail noch die konkreten Leistungswerte, die Sprachverteilung oder mögliche Einschränkungen der Untersuchung. Daher lassen sich diese Punkte aus dem bereitgestellten Text nicht beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →