Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi14. August 2026 · Q000942

Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text ist nur ein Auszug, im Wesentlichen der Abstract, und nicht der vollständige Beitrag. Darin wird behauptet, optstop könne LLM-Evaluationen nach verbleibender Unsicherheit adaptiv abtasten; in einem illustrativen Versuch habe es 57 bis 97 Prozent der geplanten Versuche eingespart, wobei die Ergebnisse vom Evaluationsdesign abhängen.

Mittel

Der bereitgestellte Text ist nur ein Auszug der AISI-Seite und enthält im Wesentlichen den Abstract, nicht den vollständigen Beitrag oder das Paper. Er stellt „optstop“ vor, ein adaptives Verfahren für LLM-Evaluationen, das weitere Stichproben dort einsetzt, wo noch Unsicherheit besteht, und Messungen beendet, sobald Schätzungen präzise oder stabil genug sind. Laut Abstract basiert es auf hierarchischer Bayes’scher Inferenz, unterstützt binäre, ordinale und kontinuierliche Ergebnisse und benötigt keinen vorab kalibrierten Item-Bestand. Es kann während einer Evaluation oder rückblickend laufen. Bei gemessener Leistung nahe null soll es vorsichtiger Stichproben nehmen, da seltene Erfolge dort besonders zählen.

In einem illustrativen Versuch mit 200 Items und 10 Epochen habe optstop in neun Validierungsszenarien 57 bis 97 Prozent der geplanten Versuche eingespart, wobei die Gesamtschlussfolgerungen denen des vollständigen Durchlaufs entsprochen hätten. Der Abstract betont, dass die Einsparungen vom Evaluationsdesign abhängen. Details zu Versuchen und Gleichwertigkeitsprüfung fehlen im Auszug; daraus allein lässt sich die allgemeine Übertragbarkeit nicht beurteilen.

Ausführlich lesen

Der bereitgestellte Text ist nur ein Auszug der AISI-Seite und enthält im Wesentlichen den Abstract; die Seite fordert außerdem dazu auf, JavaScript zu aktivieren. Die folgenden Angaben geben daher die Aussagen des Abstracts wieder und fassen nicht den vollständigen Beitrag oder das vollständige Paper zusammen.

Der Abstract beschreibt „optstop“, ein Verfahren zur adaptiven Verteilung von Rechenaufwand bei LLM-Evaluationen. Als Ausgangsproblem nennt er feste Stichprobenbudgets: Häufig werden alle Testpunkte gleich oft geprüft, auch wenn ihre Schätzwerte bereits hinreichend präzise sind. Optstop soll stattdessen als sequenzielles Messverfahren jeweils dort weitere Stichproben nehmen, wo noch viel Unsicherheit besteht, und die Messung beenden, wenn Schätzungen präzise oder stabil genug sind.

Laut Abstract basiert das Verfahren auf hierarchischer Bayes’scher Inferenz und unterstützt binäre, ordinale sowie kontinuierliche Ergebnisse. Jeder Benchmark-Punkt bleibt für weitere Stichproben auswählbar; ein zuvor kalibrierter Bestand von Testpunkten sei dafür nicht erforderlich. Optstop könne während einer laufenden Evaluation oder rückblickend eingesetzt werden. Als zusätzliche Vorsichtsmaßnahme werde bei gemessener Leistung nahe null zurückhaltender gestoppt, weil dort seltene Erfolge besonders relevant seien.

Als illustratives Ergebnis nennt der Abstract eine Evaluation mit 200 Items und 10 Epochen. In neun Validierungsszenarien habe das Verfahren 57 bis 97 Prozent der geplanten Versuche eingespart; die Gesamtschlussfolgerungen seien dabei denen des vollständigen Durchlaufs gleichwertig gewesen. Der Text folgert daraus, dass Evaluationsaufwand nach Unsicherheit statt nach einer festen Zahl von Wiederholungen verteilt werden kann.

Die Grenzen der Aussage sind im Auszug deutlich: Es handelt sich um ein illustratives Beispiel mit neun Validierungsszenarien, und die Höhe der Einsparungen hängt laut Abstract vom Evaluationsdesign ab. Details zu den Szenarien, zur Gleichwertigkeitsprüfung und zu den konkreten Ergebnissen enthält der bereitgestellte Text nicht. Daher lässt sich aus diesem Auszug allein weder die allgemeine Übertragbarkeit noch die genaue Leistungsfähigkeit des Verfahrens beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 24 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 53 %einzelne zitierbare Belege
    • JEV 24 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 26 %Hintergrund, keine Belege
    • JEV 22 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Vertrauen in Modelle
Offenlegung und Rechenschaft

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →