Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr29. Februar 2024 · Q002941

Portable Evaluation Tasks via the METR Task Standard

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR stellt einen Standard vor, mit dem sich Aufgaben für KI-Agenten einheitlich beschreiben, ausführen, bewerten und zwischen Organisationen austauschen lassen. Laut Beitrag umfasst er bereits über 1.000 Aufgaben; Grenzen sind unter anderem reine Texttests und noch nicht unterstützte Anforderungen, und künftige Versionen könnten Änderungen mit Kompatibilitätsfolgen bringen.

Mittel

Der Beitrag beschreibt METRs offenen Task Standard zur Definition und Ausführung von Aufgaben für KI-Agenten. METR gibt an, damit bereits mehr als 1.000 Aufgaben aus Bereichen wie KI-Forschung, Cybersicherheit und autonomer Leistungsfähigkeit abzudecken; auch andere Einrichtungen, darunter das britische AI Safety Institute, nutzten das Format zum Austausch von Aufgaben.

Als Vorteile nennt METR die leichtere Übertragbarkeit und eine präzisere Spezifikation. Das Repository stelle zudem erprobten Code für Aufgabenanweisungen, Materialien, Internetberechtigungen, Container oder virtuelle Maschinen sowie Bewertung bereit. Technisch benötigt eine Aufgabenfamilie mindestens zwei Funktionen: `get_tasks` liefert die Aufgabendaten und `get_instructions` die Agentenanweisungen. Weitere Funktionen können Einrichtung, Dienste und automatische Bewertung ergänzen.

Der Standard eigne sich laut Beitrag weniger für reine Texttests ohne Umgebungsinteraktion oder für noch nicht unterstützte Anforderungen. Künftige Versionen könnten inkompatible Änderungen enthalten, die METR möglichst begrenzen wolle. METR beschreibt das Format als noch jung und strebt langfristig ein öffentliches Gemeinschaftsgut an. Nutzungs- und Nutzenangaben sind Selbstauskünfte des Beitrags; unabhängige Vergleichsdaten nennt er nicht.

Ausführlich lesen

Der Beitrag stellt den von METR veröffentlichten Task Standard vor, ein gemeinsames Format zur Beschreibung und Ausführung von Aufgaben für die Bewertung von KI-Agenten. METR berichtet, den Standard bereits für mehr als 1.000 Aufgaben aus Bereichen wie KI-Forschung und -Entwicklung, Cybersicherheit und allgemeiner autonomer Leistungsfähigkeit zu verwenden. Auch andere Organisationen, darunter das britische AI Safety Institute, nutzten ihn laut Beitrag, um Aufgaben einfacher mit METR auszutauschen.

Als Hauptnutzen nennt METR die Übertragbarkeit: Organisationen können Aufgaben teilen und Aufgaben anderer übernehmen. Eine standardisierte Spezifikation soll dabei das Verhalten einer Aufgabe klarer festlegen. Wenn Einrichtungen Adapter zu ihren eigenen Systemen schreiben, könnten Aufgaben dadurch zuverlässiger wie vorgesehen funktionieren. METR zufolge erfordert das Übertragen von Aufgaben ansonsten häufig zusätzliche Klärungen, technische Arbeit für einzelne Aufgaben und Qualitätssicherung. Außerdem enthalte das Repository erprobten Code zum Festlegen von Anweisungen, Materialien und Internetzugang, zum Einrichten einer passenden Container- oder VM-Umgebung und zur Bewertung der Ergebnisse.

Der technische Kern: Eine Aufgabenfamilie wird durch zwei bis sechs Funktionen und eine Konstante beschrieben. Verpflichtend sind `get_tasks`, das Aufgabendaten bereitstellt, und `get_instructions`, das die jeweiligen Agentenanweisungen festlegt. Optionale Funktionen können unter anderem Berechtigungen wie Internetzugang, die Installation und den Start von Diensten, zusätzliche virtuelle Maschinen oder eine automatische Bewertung konfigurieren. Ein Beispiel veranschaulicht eine Aufgabe, bei der ein Agent ein Wort anhand seines SHA-256-Hashes finden soll.

Der Beitrag benennt auch Grenzen. Der Standard sei weniger passend für Aufgaben ohne Agenteninteraktion mit einer Umgebung, etwa reine Textevaluationen, oder für Anforderungen, die er noch nicht unterstütze. METR verweist auf geplante Erweiterungen und erklärt, gewünschte Funktionen vermutlich innerhalb von weniger als einer Woche ergänzen zu können. Zudem könnten künftige Versionen inkompatible Änderungen enthalten; METR beabsichtige, solche Änderungen zu begrenzen und Adapter zwischen Versionen praktikabel zu halten.

METR beschreibt den Standard als noch in der Entwicklung und erklärt, ihn langfristig als öffentliches Gemeinschaftsgut statt als eigenes Produkt etablieren zu wollen. Der Beitrag lädt zu Rückmeldungen ein. Die Angaben zur Nutzung, zu Vorteilen und zur möglichen Geschwindigkeit von Erweiterungen stammen von METR; unabhängige Nachweise oder Vergleichsmessungen werden im Text nicht vorgelegt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die mittlere Zusammenfassung; die kurze Fassung ist ebenfalls treu, lässt aber Angaben zu Nutzern wie dem britischen AI Safety Institute aus. Der Bericht ist ein Technikbeitrag zu einem Aufgabenstandard und beantwortet die Sammelfragen nur teilweise, sodass die Einordnungen niedrig bis mittel ausfallen.

Im Bericht, aber nicht in der Zusammenfassung

  • Motivation: Aufgaben zu erstellen und zu validieren ist aufwendig, daher der Wunsch, Aufgaben anderer wiederzuverwenden
  • Adaptoren zwischen dem Standard und internen Systemen machen Aufgaben wahrscheinlicher wie beabsichtigt funktionsfähig und verringern Spezifikations- und Prüfaufwand
  • Standardmäßig ist kein Internetzugang möglich; eine optionale Zusatz-VM dient dazu, schwer sicher containerisierbare Aufgaben zu unterstützen

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • „offenen“ als Beschreibung des Task Standards: Der Bericht nennt ihn nicht ausdrücklich offen, sondern spricht nur von einem künftigen öffentlichen Gemeinschaftsgut

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 20 %beantwortet teilweise oder widerspricht
    • Luna 52 %einzelne zitierbare Belege
    • JEV 35 %beantwortet teilweise oder widerspricht
    • amos 36 %einzelne zitierbare Belege
    • SubQ 27 %einzelne zitierbare Belege
    • drex 28 %umfangreiche Belege
    • d3-ultra 51 %einzelne zitierbare Belege
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 4 · 43 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 4 · 33 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-F1-T10 Was wäre nötig, damit eine staatliche Aufsichtsplattform für KI-Sicherheit und unabhängige Prüfer mit dauerhaftem Zugang im Labor nach einem gemeinsamen öffentlichen Protokoll dieselben Cyber-Tests in einer gemeinsamen Testumgebung durchführen, die Prüfer zweier Staaten jeweils am Modell des anderen, und die Ergebnisse in beiden veröffentlichen? Und könnten zwei Staaten eine gemeinsam bezeugte Prüfung desselben führenden KI-Modells durchführen und übereinstimmende Prüfsummen (Hashes) der Ergebnisse veröffentlichen? Luna: Stufe 4 · 37 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 25 %einzelne zitierbare Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 29 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 63 %gleiches Oberthema, hilft nicht
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 44 %gleiches Oberthema, hilft nicht
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 20 %Hintergrund, keine Belege
    • Luna 59 %einzelne zitierbare Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 25 %einzelne zitierbare Belege
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 37 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 36 %gleiches Oberthema, hilft nicht
    • Luna 25 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 36 %nur am Rande erwähnt
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 68 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 25 %Hintergrund, keine Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 65 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 26 %Hintergrund, keine Belege
    • Luna 51 %einzelne zitierbare Belege
    • JEV 38 %beantwortet teilweise oder widerspricht
    • amos 25 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 27 %nur am Rande erwähnt
    • Luna 52 %einzelne zitierbare Belege
    • JEV 47 %nur am Rande erwähnt
    • amos 30 %nur am Rande erwähnt
    • SubQ 32 %nur am Rande erwähnt
    • drex 51 %nur am Rande erwähnt
    • d3-ultra 58 %nur am Rande erwähnt
    • Haiku-Prüfung nur am Rande erwähnt
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →