Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Text ist nur ein Auszug, im Wesentlichen der Abstract, und nicht der vollständige Beitrag. Darin wird behauptet, optstop könne LLM-Evaluationen nach verbleibender Unsicherheit adaptiv abtasten; in einem illustrativen Versuch habe es 57 bis 97 Prozent der geplanten Versuche eingespart, wobei die Ergebnisse vom Evaluationsdesign abhängen.
Mittel
Der bereitgestellte Text ist nur ein Auszug der AISI-Seite und enthält im Wesentlichen den Abstract, nicht den vollständigen Beitrag oder das Paper. Er stellt „optstop“ vor, ein adaptives Verfahren für LLM-Evaluationen, das weitere Stichproben dort einsetzt, wo noch Unsicherheit besteht, und Messungen beendet, sobald Schätzungen präzise oder stabil genug sind. Laut Abstract basiert es auf hierarchischer Bayes’scher Inferenz, unterstützt binäre, ordinale und kontinuierliche Ergebnisse und benötigt keinen vorab kalibrierten Item-Bestand. Es kann während einer Evaluation oder rückblickend laufen. Bei gemessener Leistung nahe null soll es vorsichtiger Stichproben nehmen, da seltene Erfolge dort besonders zählen.
In einem illustrativen Versuch mit 200 Items und 10 Epochen habe optstop in neun Validierungsszenarien 57 bis 97 Prozent der geplanten Versuche eingespart, wobei die Gesamtschlussfolgerungen denen des vollständigen Durchlaufs entsprochen hätten. Der Abstract betont, dass die Einsparungen vom Evaluationsdesign abhängen. Details zu Versuchen und Gleichwertigkeitsprüfung fehlen im Auszug; daraus allein lässt sich die allgemeine Übertragbarkeit nicht beurteilen.
Ausführlich lesen
Der bereitgestellte Text ist nur ein Auszug der AISI-Seite und enthält im Wesentlichen den Abstract; die Seite fordert außerdem dazu auf, JavaScript zu aktivieren. Die folgenden Angaben geben daher die Aussagen des Abstracts wieder und fassen nicht den vollständigen Beitrag oder das vollständige Paper zusammen.
Der Abstract beschreibt „optstop“, ein Verfahren zur adaptiven Verteilung von Rechenaufwand bei LLM-Evaluationen. Als Ausgangsproblem nennt er feste Stichprobenbudgets: Häufig werden alle Testpunkte gleich oft geprüft, auch wenn ihre Schätzwerte bereits hinreichend präzise sind. Optstop soll stattdessen als sequenzielles Messverfahren jeweils dort weitere Stichproben nehmen, wo noch viel Unsicherheit besteht, und die Messung beenden, wenn Schätzungen präzise oder stabil genug sind.
Laut Abstract basiert das Verfahren auf hierarchischer Bayes’scher Inferenz und unterstützt binäre, ordinale sowie kontinuierliche Ergebnisse. Jeder Benchmark-Punkt bleibt für weitere Stichproben auswählbar; ein zuvor kalibrierter Bestand von Testpunkten sei dafür nicht erforderlich. Optstop könne während einer laufenden Evaluation oder rückblickend eingesetzt werden. Als zusätzliche Vorsichtsmaßnahme werde bei gemessener Leistung nahe null zurückhaltender gestoppt, weil dort seltene Erfolge besonders relevant seien.
Als illustratives Ergebnis nennt der Abstract eine Evaluation mit 200 Items und 10 Epochen. In neun Validierungsszenarien habe das Verfahren 57 bis 97 Prozent der geplanten Versuche eingespart; die Gesamtschlussfolgerungen seien dabei denen des vollständigen Durchlaufs gleichwertig gewesen. Der Text folgert daraus, dass Evaluationsaufwand nach Unsicherheit statt nach einer festen Zahl von Wiederholungen verteilt werden kann.
Die Grenzen der Aussage sind im Auszug deutlich: Es handelt sich um ein illustratives Beispiel mit neun Validierungsszenarien, und die Höhe der Einsparungen hängt laut Abstract vom Evaluationsdesign ab. Details zu den Szenarien, zur Gleichwertigkeitsprüfung und zu den konkreten Ergebnissen enthält der bereitgestellte Text nicht. Daher lässt sich aus diesem Auszug allein weder die allgemeine Übertragbarkeit noch die genaue Leistungsfähigkeit des Verfahrens beurteilen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 24 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %gleiches Oberthema, hilft nicht
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 53 %einzelne zitierbare Belege
- JEV 24 %Hintergrund, keine Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 36 %gleiches Oberthema, hilft nicht
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist?
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 26 %Hintergrund, keine Belege
- JEV 22 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt?
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 37 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Alle Berichte im Archiv