Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind27. März 2024 · Q005417

Long-form factuality in large language models

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text ist ein Abstract: Er beschreibt LongFact als Fragenkatalog und SAFE als suchgestütztes Verfahren zur Prüfung einzelner Aussagen in langen Modellantworten. Laut den Forschenden erzielte SAFE in Vergleichen gute Übereinstimmung mit menschlichen Bewertungen und geringere Kosten; größere Modelle waren im Allgemeinen faktisch zuverlässiger. Der Auszug enthält keine detaillierten Versuchsangaben oder ausführliche Grenzendiskussion.

Mittel

Der bereitgestellte Text ist ein Abstract, kein vollständiger Bericht. Er stellt LongFact vor, einen Fragenkatalog mit mehreren tausend offenen Fragen aus 38 Themengebieten, sowie SAFE, ein Verfahren zur automatisierten Prüfung langer Antworten. SAFE zerlegt Antworten in einzelne Aussagen, sucht mit Google Search nach Belegen und bewertet, ob die Suchergebnisse die Aussagen stützen. Für die Gesamtbewertung schlagen die Forschenden eine angepasste F1-Kennzahl vor, die Beleganteil und Antwortumfang gegenüber einer einstellbaren Wunschlänge verbindet.

Laut Abstract stimmte SAFE bei rund 16.000 Aussagen in 72 Prozent der Fälle mit menschlichen Annotatoren überein. In einer zufälligen Stichprobe von 100 strittigen Fällen habe SAFE in 76 Prozent besser bewertet; außerdem sei das Verfahren mehr als zwanzigmal günstiger als menschliche Annotation. Ein Vergleich von 13 Modellen aus vier Familien habe ergeben, dass größere Modelle im Allgemeinen faktisch zuverlässiger lange Antworten erzeugen. Der Auszug enthält keine detaillierten Ergebnisse oder eine ausführliche Diskussion der Grenzen, daher lassen sich diese daraus nicht beurteilen.

Ausführlich lesen

Der bereitgestellte Text ist ein Abstract mit Angaben zu Autorinnen und Autoren sowie zum Veröffentlichungsort, kein vollständiger Bericht. Er beschreibt ein Verfahren zur Bewertung der faktischen Zuverlässigkeit langer Antworten von Sprachmodellen bei offenen Wissensfragen. Ausgangspunkt ist die Beobachtung der Forschenden, dass solche Antworten häufig Sachfehler enthalten können.

Für den Vergleich erstellen die Autorinnen und Autoren LongFact, einen Fragenkatalog mit mehreren tausend Fragen aus 38 Themenbereichen. Außerdem schlagen sie SAFE vor, einen automatisierten Bewerter, der eine lange Antwort in einzelne überprüfbare Aussagen zerlegt. Ein Sprachmodell führt dazu mehrere Denkschritte aus, stellt Suchanfragen an Google Search und beurteilt anhand der Suchergebnisse, ob die jeweilige Aussage gestützt wird.

Zur Gesamtbewertung erweitern die Forschenden den F1-Ansatz: Die Kennzahl soll sowohl den Anteil belegter Aussagen in einer Antwort (Präzision) als auch den Anteil der gegebenen Aussagen im Verhältnis zu einer einstellbaren, vom Nutzer gewünschten Antwortlänge (Recall) berücksichtigen. Der Abstract berichtet, SAFE habe bei rund 16.000 Einzelaussagen in 72 Prozent der Fälle mit Einschätzungen menschlicher Crowd-Annotatoren übereingestimmt. In einer zufälligen Teilmenge von 100 Fällen, in denen Mensch und SAFE voneinander abwichen, habe SAFE in 76 Prozent der Fälle besser abgeschnitten. Laut den Forschenden sei SAFE zudem mehr als zwanzigmal günstiger als menschliche Annotation.

Zusätzlich wurden laut Abstract 13 Sprachmodelle aus den Familien Gemini, GPT, Claude und PaLM 2 mit LongFact verglichen. Als allgemeines Ergebnis berichten die Autorinnen und Autoren, dass größere Modelle meist eine höhere faktische Zuverlässigkeit bei langen Antworten erzielen. Der vorliegende Auszug enthält jedoch keine ausführlichen Angaben zu Versuchsaufbau, Unsicherheiten, konkreten Modellwerten oder Grenzen der Bewertung; solche Einzelheiten lassen sich daraus nicht ableiten. Der Text verweist auf eine öffentliche Bereitstellung von LongFact, SAFE und dem experimentellen Code.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
Vertrauen in Modelle
Agenten und vernetzte Systeme
Modelle teilen und schützen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →