Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
mistral9. April 2025 · Q001239

Evaluating RAG with LLM as a Judge

mistral.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Mistral-Beitrag empfiehlt, RAG-Systeme anhand von Kontextrelevanz, Fundierung der Antwort und Antwortrelevanz zu bewerten, gegebenenfalls mit einem Sprachmodell als Richter. Strukturierte API-Ausgaben sollen die Ergebnisse maschinenlesbar machen; der Bericht beschreibt den Ansatz und Beispielcode, legt aber keine experimentellen Resultate oder Vergleichswerte vor.

Mittel

Der Mistral-Beitrag beschreibt, wie ein Sprachmodell als „Richter“ die Qualität von RAG-Systemen bewerten kann. Dabei erhält ein Bewertungsmodell die Antwort eines erzeugenden Modells und prüft sie anhand festgelegter Kriterien; Noten können numerisch, binär oder verbal sein. Der Bericht betont, dass neben der Antwort auch die abgerufenen Quellen beurteilt werden sollten.

Dazu stellt er die RAG-Triade vor: Kontextrelevanz prüft, ob abgerufene Dokumente zur Anfrage passen; Fundierung, ob die Antwort durch diesen Kontext gestützt wird; und Antwortrelevanz, ob sie die eigentliche Frage beantwortet. Als praktische Hilfe beschreibt Mistral strukturierte API-Ausgaben, mit denen Erklärungen und Bewertungen in einem maschinenlesbaren Schema festgehalten werden können. Ein Python-Beispiel skizziert entsprechende Datenmodelle; für vollständigen Code verweist der Beitrag auf ein Notebook.

Der Text erläutert einen Ansatz, berichtet aber keine Messungen oder Vergleichsergebnisse. Seine Aussage, die Kombination bilde einen robusten Bewertungsrahmen, ist die Einschätzung des Mistral-Teams und wird im Beitrag nicht experimentell belegt.

Ausführlich lesen

Der Bericht des Mistral-Teams behandelt, wie sich Retrieval-Augmented-Generation-Systeme (RAG) mit einem Sprachmodell als automatisiertem Bewertungsrichter prüfen lassen. RAG verbindet ein Sprachmodell mit einem Abrufsystem, das passende Informationen bereitstellt. Laut Bericht kann diese Verbindung Antworten besser in aktuellen und relevanten Quellen verankern und so das Risiko überzeugend formulierter, aber erfundener Aussagen verringern. Die Bewertung solcher Systeme sei jedoch anspruchsvoll: Es reicht nicht, nur die Antwort auf Plausibilität zu prüfen. Auch die Relevanz und Richtigkeit der abgerufenen Informationen sowie deren Bezug zur Antwort müssten berücksichtigt werden.

Als Möglichkeit für Bewertungen in großem Umfang beschreibt der Artikel „LLM as a Judge“: Ein Richtermodell erhält die Antwort eines erzeugenden Modells und bewertet sie anhand vorgegebener Kriterien. Die Bewertung kann numerisch, binär oder verbal erfolgen. Einzelnoten aus einem Evaluationsdatensatz lassen sich laut Bericht zu einem Gesamtscore zusammenfassen. Kriterien können etwa Genauigkeit, Relevanz und Quellenbezug betreffen. Der Beitrag stellt Mistral-Modelle als mögliche Modelle für beide Rollen vor.

Für RAG schlägt der Bericht die von TruLens eingeführte RAG-Triade vor und verweist auf ähnliche Ansätze wie RAGAS. Sie umfasst drei Prüfpunkte: **Kontextrelevanz** fragt, ob die abgerufenen Dokumente zur Nutzeranfrage passen. **Fundierung** prüft, ob die Antwort durch den abgerufenen Kontext gestützt wird. **Antwortrelevanz** bewertet, ob die Antwort die ursprüngliche Frage trifft. Zusammen sollen diese Kriterien laut Artikel sowohl den Abruf- als auch den Generierungsschritt sichtbar machen und die Korrektheit der Antwort im Verhältnis zu den Quellen prüfen.

Als praktische Umsetzung nennt Mistral strukturierte Ausgaben der API. Ein festgelegtes Schema soll die Kriterien und Ergebnisse in einem maschinenlesbaren Format erfassen. Der enthaltene Python-Beispielcode skizziert dafür Datenmodelle mit jeweils einer Erklärung und einem Wert für Kontextrelevanz, Antwortrelevanz und Fundierung. Die Werte können laut Beschreibung numerisch oder kategorial sein. Der Beitrag verweist für vollständigen Code auf ein Notebook im Mistral-Cookbook.

Der Bericht erläutert damit einen Bewertungsansatz und zeigt eine mögliche Schema-Struktur; er präsentiert jedoch keine gemessenen Versuchsergebnisse, Vergleichswerte oder Nachweise, dass das Verfahren in allen Fällen zuverlässig ist. Auch konkrete Kalibrierungsregeln oder eine systematische Behandlung möglicher Fehler des Richtermodells werden im Text nicht ausgeführt. Die Schlussfolgerung, Triade und strukturierte Ausgaben böten einen robusten Rahmen, ist daher eine Einschätzung des Mistral-Teams und kein im Bericht durch Experimente belegtes Ergebnis.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung bezieht sich auf die drei genannten Sammelfragen; Teilfragen wurden nicht angegeben. Lunas Stufen liegen bei SF-O2 und SF-E3 zu hoch, da der Bericht zu diesen Fragen nichts enthält.

Im Bericht, aber nicht in der Zusammenfassung

  • Motivation: LLM-as-Judge wird vor allem eingesetzt, wenn Bewertungen in großem Umfang nötig sind und menschliche Prüfer fehlen
  • Viele Domänen haben keine klaren quantitativen Metriken, daher sind qualitative Bewertungen nötig
  • Mistral-Modelle können sowohl als Generator als auch als Richter eingesetzt werden
  • Die RAG-Triade wurde von TruLens eingeführt; ähnliche Rahmen wie RAGAS existieren

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 44 %gleiches Oberthema, hilft nicht
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %Hintergrund, keine Belege
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 51 %gleiches Oberthema, hilft nicht
    • JEV 47 %Hintergrund, keine Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 30 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →