Evaluating RAG with LLM as a Judge
Zusammenfassung
Kurz
Der Mistral-Beitrag empfiehlt, RAG-Systeme anhand von Kontextrelevanz, Fundierung der Antwort und Antwortrelevanz zu bewerten, gegebenenfalls mit einem Sprachmodell als Richter. Strukturierte API-Ausgaben sollen die Ergebnisse maschinenlesbar machen; der Bericht beschreibt den Ansatz und Beispielcode, legt aber keine experimentellen Resultate oder Vergleichswerte vor.
Mittel
Der Mistral-Beitrag beschreibt, wie ein Sprachmodell als „Richter“ die Qualität von RAG-Systemen bewerten kann. Dabei erhält ein Bewertungsmodell die Antwort eines erzeugenden Modells und prüft sie anhand festgelegter Kriterien; Noten können numerisch, binär oder verbal sein. Der Bericht betont, dass neben der Antwort auch die abgerufenen Quellen beurteilt werden sollten.
Dazu stellt er die RAG-Triade vor: Kontextrelevanz prüft, ob abgerufene Dokumente zur Anfrage passen; Fundierung, ob die Antwort durch diesen Kontext gestützt wird; und Antwortrelevanz, ob sie die eigentliche Frage beantwortet. Als praktische Hilfe beschreibt Mistral strukturierte API-Ausgaben, mit denen Erklärungen und Bewertungen in einem maschinenlesbaren Schema festgehalten werden können. Ein Python-Beispiel skizziert entsprechende Datenmodelle; für vollständigen Code verweist der Beitrag auf ein Notebook.
Der Text erläutert einen Ansatz, berichtet aber keine Messungen oder Vergleichsergebnisse. Seine Aussage, die Kombination bilde einen robusten Bewertungsrahmen, ist die Einschätzung des Mistral-Teams und wird im Beitrag nicht experimentell belegt.
Ausführlich lesen
Der Bericht des Mistral-Teams behandelt, wie sich Retrieval-Augmented-Generation-Systeme (RAG) mit einem Sprachmodell als automatisiertem Bewertungsrichter prüfen lassen. RAG verbindet ein Sprachmodell mit einem Abrufsystem, das passende Informationen bereitstellt. Laut Bericht kann diese Verbindung Antworten besser in aktuellen und relevanten Quellen verankern und so das Risiko überzeugend formulierter, aber erfundener Aussagen verringern. Die Bewertung solcher Systeme sei jedoch anspruchsvoll: Es reicht nicht, nur die Antwort auf Plausibilität zu prüfen. Auch die Relevanz und Richtigkeit der abgerufenen Informationen sowie deren Bezug zur Antwort müssten berücksichtigt werden.
Als Möglichkeit für Bewertungen in großem Umfang beschreibt der Artikel „LLM as a Judge“: Ein Richtermodell erhält die Antwort eines erzeugenden Modells und bewertet sie anhand vorgegebener Kriterien. Die Bewertung kann numerisch, binär oder verbal erfolgen. Einzelnoten aus einem Evaluationsdatensatz lassen sich laut Bericht zu einem Gesamtscore zusammenfassen. Kriterien können etwa Genauigkeit, Relevanz und Quellenbezug betreffen. Der Beitrag stellt Mistral-Modelle als mögliche Modelle für beide Rollen vor.
Für RAG schlägt der Bericht die von TruLens eingeführte RAG-Triade vor und verweist auf ähnliche Ansätze wie RAGAS. Sie umfasst drei Prüfpunkte: **Kontextrelevanz** fragt, ob die abgerufenen Dokumente zur Nutzeranfrage passen. **Fundierung** prüft, ob die Antwort durch den abgerufenen Kontext gestützt wird. **Antwortrelevanz** bewertet, ob die Antwort die ursprüngliche Frage trifft. Zusammen sollen diese Kriterien laut Artikel sowohl den Abruf- als auch den Generierungsschritt sichtbar machen und die Korrektheit der Antwort im Verhältnis zu den Quellen prüfen.
Als praktische Umsetzung nennt Mistral strukturierte Ausgaben der API. Ein festgelegtes Schema soll die Kriterien und Ergebnisse in einem maschinenlesbaren Format erfassen. Der enthaltene Python-Beispielcode skizziert dafür Datenmodelle mit jeweils einer Erklärung und einem Wert für Kontextrelevanz, Antwortrelevanz und Fundierung. Die Werte können laut Beschreibung numerisch oder kategorial sein. Der Beitrag verweist für vollständigen Code auf ein Notebook im Mistral-Cookbook.
Der Bericht erläutert damit einen Bewertungsansatz und zeigt eine mögliche Schema-Struktur; er präsentiert jedoch keine gemessenen Versuchsergebnisse, Vergleichswerte oder Nachweise, dass das Verfahren in allen Fällen zuverlässig ist. Auch konkrete Kalibrierungsregeln oder eine systematische Behandlung möglicher Fehler des Richtermodells werden im Text nicht ausgeführt. Die Schlussfolgerung, Triade und strukturierte Ausgaben böten einen robusten Rahmen, ist daher eine Einschätzung des Mistral-Teams und kein im Bericht durch Experimente belegtes Ergebnis.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung bezieht sich auf die drei genannten Sammelfragen; Teilfragen wurden nicht angegeben. Lunas Stufen liegen bei SF-O2 und SF-E3 zu hoch, da der Bericht zu diesen Fragen nichts enthält.
Im Bericht, aber nicht in der Zusammenfassung
- Motivation: LLM-as-Judge wird vor allem eingesetzt, wenn Bewertungen in großem Umfang nötig sind und menschliche Prüfer fehlen
- Viele Domänen haben keine klaren quantitativen Metriken, daher sind qualitative Bewertungen nötig
- Mistral-Modelle können sowohl als Generator als auch als Richter eingesetzt werden
- Die RAG-Triade wurde von TruLens eingeführt; ähnliche Rahmen wie RAGAS existieren
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 44 %gleiches Oberthema, hilft nicht
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 47 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 32 %Hintergrund, keine Belege
- SubQ 32 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 66 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 51 %gleiches Oberthema, hilft nicht
- JEV 47 %Hintergrund, keine Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 66 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 30 %Hintergrund, keine Belege
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 54 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 55 %gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 64 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Alle Berichte im Archiv