Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi12. Mai 2025 · Q002165

HiBayES: Improving LLM evaluation with hierarchical Bayesian modelling

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht stellt HiBayES vor, ein hierarchisches bayessches Verfahren, das laut den Autorinnen und Autoren LLM-Leistung in komplexen und kleinen Benchmarks differenzierter schätzt und Unsicherheit über mehrere Datenebenen erfasst. Die berichteten Beispiele betreffen einzelne Modelle, Modellvergleiche und agentische GAIA-Aufgaben; die Ergebnisse beruhen auf öffentlichen Benchmarks mit Inspect und bestätigen ausdrücklich keine Herstellerangaben zu Modellfähigkeiten.

Mittel

Der Bericht beschreibt HiBayES, ein hierarchisches bayessches Verfahren zur Auswertung komplexer LLM-Benchmarks. Laut den Autorinnen und Autoren übersehen einfache statistische Methoden wie t-Tests auf gemittelten Daten oft die Verschachtelung von Aufgaben, Unterdomänen und Domänen. Bei kleinen, ungleich großen Datensätzen könne dies Leistungsschätzungen verzerren und Unsicherheit unzureichend erfassen.

HiBayES nutzt Mehrebenen-GLMs, bayessche Parameterschätzung und Informationskriterien zum Modellvergleich. In drei beschriebenen Anwendungen soll es ein einzelnes Modell über Benchmarks mit unterschiedlich vielen Aufgaben auswerten, Unterschiede zwischen zwei Modellen samt Unsicherheit darstellen und agentische GAIA-Daten zu verschieden schwierigen Aufgaben analysieren. Für letztere berichtet der Text, ein Reasoning-Beta-Binomial-Modell habe besser zu den Daten gepasst als ein Binomial-Modell und ein Nullmodell; mehr Reasoning-Aufwand habe die Leistung mancher Modelle verbessert.

Die Verfasser schreiben dem Verfahren robuste Schätzungen auch bei kleinen Datenmengen zu und erwarten mögliche Einsparungen bei Daten und Kosten. Die Resultate stammen jedoch aus öffentlich verfügbaren Benchmarks, ausgewertet mit Inspect. Der Bericht beansprucht nicht, damit Herstellerangaben zu Modellfähigkeiten zu bestätigen.

Ausführlich lesen

Der Bericht stellt HiBayES vor, ein hierarchisches bayessches Verfahren zur Auswertung von Large Language Models (LLMs). Nach Darstellung der Autorinnen und Autoren reichen einfache Frage-Antwort-Benchmarks und statistische Verfahren wie t-Tests auf vorab gemittelten Daten für komplexe, agentische Evaluationen oft nicht aus. Solche Tests können die verschachtelte Struktur der Daten über Aufgaben, Unterdomänen und Domänen ignorieren, bei kleinen oder unterschiedlich großen Stichproben problematisch sein und Unsicherheit über die verschiedenen Ebenen hinweg unzureichend abbilden. Da anspruchsvolle Tests zudem teuer sein können, stehen häufig nur kleinere Datensätze zur Verfügung.

HiBayES soll diese Herausforderungen mit hierarchischen bayesschen verallgemeinerten linearen Mehrebenenmodellen (GLMs) angehen. Das Verfahren modelliert die Datenstruktur und ihre Verteilung, schätzt Parameter bayessch und beziffert Unsicherheit; zum Vergleich von Modellen verwendet es Informationskriterien. Der Bericht beschreibt drei Anwendungsszenarien. Bei der Auswertung eines einzelnen LLM über Benchmarks mit unterschiedlich vielen Aufgaben soll HiBayES Leistungsunterschiede erkennen, ohne Daten wie bei manchen konventionellen Vergleichen auffüllen oder reduzieren zu müssen. Beim Vergleich zweier LLMs ergaben sich laut Bericht ähnliche Unterschiede wie mit t-Tests; HiBayES stelle aber deren Größenordnung und Unsicherheit differenzierter dar. In einer agentischen Auswertung des GAIA-Benchmarks mit unterschiedlich schwierigen Aufgaben habe das Verfahren auch Aufgaben behandelt, die stets oder nie korrekt gelöst wurden. Die Analyse lege nahe, dass ein höherer Reasoning-Aufwand die Leistung mancher Modelle verbessert. Für diese Auswertung berichtet der Text, dass ein Reasoning-Beta-Binomial-GLM die Daten besser abbildete als ein Reasoning-Binomial-GLM und ein Nullmodell.

Die Autorinnen und Autoren folgern, HiBayES ermögliche robuste Parameterschätzungen und eine nachvollziehbare Quantifizierung von Unsicherheit auch bei kleinen, komplexen Datensätzen. Sie erwarten, dass dadurch weniger Evaluationsdaten benötigt und Kosten möglicherweise gesenkt werden können; außerdem soll sich das Verfahren auf mehrere Modelle und Benchmarks anwenden lassen. Das sind im Bericht formulierte praktische Vorteile, keine unabhängig bestätigten Ergebnisse. Als mögliche Erweiterungen nennt er Vorhersagen zu Zusammenhängen zwischen Aufgaben und Domänen sowie Prognosen für Resultate realer Anwendungen anhand automatisierter Benchmarks. Eine Software mit Schritt-für-Schritt-Anleitung werde bereitgestellt.

Die Aussagekraft der berichteten Modellresultate ist ausdrücklich begrenzt: Sie beruhen auf öffentlich verfügbaren Benchmarks, ausgewertet mit dem Inspect-Verfahren des britischen AI Security Institute. Der Bericht beansprucht deshalb nicht, die von Modellherstellern angegebenen Fähigkeiten ihrer Systeme zu bestätigen. Er liefert außerdem keine hier wiedergegebenen Zahlenwerte oder unabhängige Replikation der beschriebenen Vorteile.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassungen sind weitgehend treu; der einzige Mangel ist die Verschärfung des Disclaimers zu herstellerberichteten Fähigkeiten. Die Einordnung stützt sich nur auf die Aussagen des Berichts und lässt die Fragen selbst unbeantwortet, wo der Bericht schweigt.

Im Bericht, aber nicht in der Zusammenfassung

  • Im Zwei-Modell-Vergleich liefert HiBayES ähnliche Unterschiede wie t-Tests, quantifiziert deren Größe und Unsicherheit aber differenzierter
  • Das Software-Paket mit Anleitung zur Umsetzung mehrstufiger Bayes-GLMs wird als frei verfügbar genannt
  • Der Ausblick nennt mögliche Erweiterungen wie Korrelationen zwischen Aufgaben und Vorhersagen für reale Anwendungen wie Human-Uplift-Studien

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • ausdrücklich bestätigen keine Herstellerangaben (der Bericht sagt nur, dass er keine Aussagen zur Integrität herstellerberichteter Fähigkeiten macht)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 52 %einzelne zitierbare Belege
    • JEV 47 %Hintergrund, keine Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 84 %Hintergrund, keine Belege
    • JEV 27 %Hintergrund, keine Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-F2-T01 Wenn ein Ministerium ein Modell als Beleg nennt, dass eine Schwelle überschritten ist: Veröffentlicht das Ministerium die Tests, die Modellversion und was es gemessen hat, und veröffentlicht das Labor die Cyber-Prüfung dieser Version auch in der Sprache des Ministeriums? Und welches Ergebnis würde das Ministerium dazu bringen, seine Behauptung zurückzunehmen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 46 %gleiches Oberthema, hilft nicht
    • amos 26 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 73 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 20 %gleiches Oberthema, hilft nicht
    • Luna 59 %einzelne zitierbare Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 33 %Hintergrund, keine Belege
    • SubQ 27 %gleiches Oberthema, hilft nicht
    • drex 26 %Hintergrund, keine Belege
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 68 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 63 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 36 %nur am Rande erwähnt
    • amos 28 %nur am Rande erwähnt
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →