Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi13. November 2024 · Q002284

Announcing Inspect Evals | AISI Work

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Inspect Evals ist laut Bericht eine gemeinschaftliche Sammlung quelloffener Sprachmodell-Benchmarks, die verschiedene Themen von Programmierung bis Sicherheit abdeckt und auf dem Framework Inspect AI aufbaut. Das Projekt soll Evaluationen leichter ausführbar und gemeinschaftliche Beiträge einfacher machen; unabhängige Qualitäts- oder Vergleichsdaten liefert die Ankündigung nicht.

Mittel

Der Bericht stellt Inspect Evals vor: eine gemeinschaftlich beigesteuerte Sammlung quelloffener Benchmarks für die Bewertung großer Sprachmodelle. Sie umfasst laut den Verfassenden Dutzende Evaluationen zu Programmierung, Mathematik, Cybersicherheit, Schutzmaßnahmen, Schlussfolgern und Allgemeinwissen, darunter viele häufig von Anbietern führender Modelle berichtete Benchmarks.

Das Projekt baut auf Inspect AI auf, einem quelloffenen Framework des damaligen UK AI Safety Institute. Mehr als 50 Personen hätten zu diesem Framework beigetragen. Inspect Evals könne als Python-Paket installiert und über die Kommandozeile oder eine Python-Schnittstelle genutzt werden. Für Agenten-Benchmarks wie GAIA, SWE-Bench, GDM CTF und Cybench ermögliche es laut Bericht einen Start mit einem einzigen Befehl, während Einrichtung und Ausführung zuvor oft aufwendig gewesen seien.

Die Initiative soll getrennte Benchmark-Implementierungen zusammenführen und so doppelte Arbeit, geringe gegenseitige Prüfung und zu wenige Evaluationen verringern. Bereits Beiträge von mehr als zwölf Nutzenden seien übernommen worden. Der Bericht ist eine Projektankündigung; unabhängige Qualitätsprüfungen, Vergleichsergebnisse oder Messdaten zu den behaupteten Vereinfachungen enthält er nicht.

Ausführlich lesen

Der Bericht kündigt Inspect Evals an, eine Sammlung gemeinschaftlich beigesteuerter Benchmarks zur Bewertung großer Sprachmodelle. Nach Darstellung der Autorinnen und Autoren umfasst sie Dutzende quelloffene Evaluationen für Sicherheitsforschung. Die Themen reichen von Programmierung und Mathematik über Cybersicherheit, Schutzmaßnahmen und Schlussfolgern bis zu Allgemeinwissen. Zudem seien die meisten Benchmarks aufgenommen worden, über die Anbieter führender Modelle häufig berichten.

Als Anlass nennt der Bericht die wachsende Bedeutung von Evaluationen für die Beobachtung der Fähigkeiten fortgeschrittener Modelle. Zugleich gebe es in der weltweiten Evaluationsgemeinschaft praktische Schwierigkeiten: Die Umsetzung sei oft anspruchsvoll, und gemeinsame Messstandards fehlten. Inspect Evals solle erste Schritte zur Bewältigung dieser Probleme ermöglichen.

Die Sammlung baut auf Inspect AI auf, einem quelloffenen Evaluationsframework des damaligen UK AI Safety Institute. Laut Bericht wurde Inspect AI im Mai desselben Jahres veröffentlicht und anschließend von der breiteren Gemeinschaft genutzt und erweitert. Mehr als 50 Personen hätten dazu beigetragen, darunter weitere Institute für KI-Sicherheit, führende KI-Labore und größere Sicherheitsforschungsorganisationen.

Inspect Evals lasse sich als Python-Paket installieren und über die Kommandozeile oder eine Python-Schnittstelle ausführen. Genannt werden unter anderem die Agenten-Benchmarks GAIA, SWE-Bench, GDM CTF und Cybench. Solche Tests seien zuvor zeitaufwendig und kompliziert einzurichten gewesen; mit Inspect Evals könnten sie laut Bericht nun mit einem einzigen Befehl gegen beliebige Modelle ausgeführt werden.

Als weiteres Ziel beschreibt der Bericht, Evaluationen aus getrennten Organisationssammlungen zusammenzuführen. Die bisherige Zersplitterung habe nach Ansicht der Verfassenden doppelte Arbeit, wenig gegenseitige Prüfung und eine geringere Zahl durchgeführter Tests begünstigt. Inspect Evals solle stattdessen gemeinschaftliche Beiträge zu hochwertigen Evaluationen erleichtern. Zum Zeitpunkt der Veröffentlichung seien bereits Beiträge von mehr als zwölf Nutzenden übernommen worden; weitere Beiträge würden gesucht.

Der Text stellt das Projekt und seine Ziele vor, enthält aber keine unabhängige Prüfung der Qualität oder Vergleichsergebnisse zu den Benchmarks. Auch die Aussagen zur Vereinfachung des Betriebs und zur bisherigen Nutzung werden im Bericht selbst nicht durch Messdaten näher belegt. Die Seite vermerkt außerdem, dass die Organisation am 14. Februar 2025 ihren Namen in AI Security Institute änderte.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Urteile zur Einordnung sind unabhängig von Lunas Stufen gebildet. Lunas Stufe 4 bei SF-P3 und die Anteilswerte in Lunas Einordnung halten dem Bericht nicht stand. Der Bericht ist eine Projektankündigung ohne Messdaten, deshalb sind alle Einordnungen eher niedrig.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Zusammenarbeit mit Arcadia Impact und dem Vector Institute bei diesem Projekt
  • Der Hinweis, dass das Projekt Evaluationen für Sicherheitsforschung (safety research) bereitstellen soll

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 65 %einzelne zitierbare Belege
    • JEV 52 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 28 %einzelne zitierbare Belege
    • drex 31 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 4 · 35 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 4 · 30 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
    • SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-F1-T10 Was wäre nötig, damit eine staatliche Aufsichtsplattform für KI-Sicherheit und unabhängige Prüfer mit dauerhaftem Zugang im Labor nach einem gemeinsamen öffentlichen Protokoll dieselben Cyber-Tests in einer gemeinsamen Testumgebung durchführen, die Prüfer zweier Staaten jeweils am Modell des anderen, und die Ergebnisse in beiden veröffentlichen? Und könnten zwei Staaten eine gemeinsam bezeugte Prüfung desselben führenden KI-Modells durchführen und übereinstimmende Prüfsummen (Hashes) der Ergebnisse veröffentlichen? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 28 %einzelne zitierbare Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 28 %gleiches Oberthema, hilft nicht
    • Luna 31 %Hintergrund, keine Belege
    • JEV 38 %gleiches Oberthema, hilft nicht
    • amos 28 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F4-T04 Wie wird ein Modell als sicher bescheinigt, bevor es von einem harmlosen Bereich wie Chat in einen folgenreichen Einsatzbereich wie Angriff, Führung und Kontrolle oder Cyber wechselt, in dem seine Entwickler es nie eingesetzt haben, und welches gemeinsame Verfahren erkennt gefährliches, neu auftretendes Verhalten vor dem Wechsel? Luna: Stufe 3 · 25 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 29 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 43 %Hintergrund, keine Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 46 %gleiches Oberthema, hilft nicht
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 48 %einzelne zitierbare Belege
    • JEV 46 %Hintergrund, keine Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 29 %einzelne zitierbare Belege
    • drex 32 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 28 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 33 %Hintergrund, keine Belege
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 77 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 28 %Hintergrund, keine Belege
    • amos 33 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 29 %Hintergrund, keine Belege
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 31 %Hintergrund, keine Belege
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 22 %Hintergrund, keine Belege
    • Luna 49 %Hintergrund, keine Belege
    • JEV 45 %Hintergrund, keine Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 32 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 28 %gleiches Oberthema, hilft nicht
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 31 %einzelne zitierbare Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 28 %gleiches Oberthema, hilft nicht
    • amos 29 %nur am Rande erwähnt
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-E1-T09 Bekommen zivile Forschende an Hochschulen und unabhängige Organisationen der Zivilgesellschaft geregelten Zugang zu Modellen, Daten und Befunden der Prüfer, oder bleibt die Prüfung bei staatlich bestellten Stellen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 26 %Hintergrund, keine Belege
    • Luna 50 %einzelne zitierbare Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 31 %einzelne zitierbare Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 24 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 26 %Hintergrund, keine Belege
    • Luna 47 %einzelne zitierbare Belege
    • JEV 58 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →