Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr4. Dezember 2023 · Q002964

ARC Evals is now METR

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

ARC Evals kündigt die Ausgründung aus dem Alignment Research Center und die Umbenennung in METR an; der Name steht für „Model Evaluation & Threat Research“ und verweist auf Metrologie. Beth Barnes soll das Team weiterführen, während die Gründung und der Wechsel der Beschäftigten noch als geplant beschrieben werden; Paul Christiano lehnte eine vorgesehene Beratungs- und Vorstandsrolle laut Bericht ab.

Mittel

ARC Evals kündigt an, sich nach der Zeit am Alignment Research Center (ARC) als eigenständige gemeinnützige US-Organisation auszugründen und den Namen METR anzunehmen. Die Abkürzung steht für „Model Evaluation & Threat Research“ und soll zugleich an Metrologie, die Wissenschaft des Messens, erinnern.

Beth Barnes soll das Team weiterführen. Die Mitarbeitenden sollen zur neuen Organisation wechseln, sobald diese gegründet ist. Der Beitrag beschreibt diese Schritte als Vorhaben, nicht als bereits abgeschlossene Vorgänge. Paul Christiano war zunächst als Vorstandsmitglied und Berater eingeplant, lehnte laut Bericht aber wegen seiner neuen Rolle als Leiter für Sicherheit am US AI Safety Institute ab.

Der kurze Text konzentriert sich auf den neuen Namen, den geplanten organisatorischen Übergang und die genannten Personalentscheidungen.

Ausführlich lesen

Der Bericht kündigt an, dass ARC Evals nach einer zweimonatigen Übergangsphase am Alignment Research Center (ARC) eigenständig werden und künftig METR heißen soll. Die Organisation beschreibt den geplanten Schritt als Ausgründung in eine unabhängige gemeinnützige US-Organisation nach Abschnitt 501(c)(3).

Der neue Name steht laut Bericht für „Model Evaluation & Threat Research“. Er soll den Schwerpunkt der Arbeit ausdrücken und zugleich an Metrologie erinnern, also an die Wissenschaft des Messens und dessen Anwendung.

Beth Barnes soll das Team weiterhin leiten. Die Beschäftigten von ARC Evals sollen zur neuen METR-Organisation wechseln, sobald diese gegründet ist. Der Bericht beschreibt diese Punkte als geplante Übergänge; er bestätigt nicht, dass die Gründung und der Wechsel bereits abgeschlossen sind.

Paul Christiano war zunächst als Vorstandsmitglied und Berater vorgesehen. Laut Bericht lehnte er eine Beteiligung wegen seiner neuen Funktion als Leiter für Sicherheit am US AI Safety Institute ab. Insgesamt erläutert der kurze Beitrag damit vor allem Umbenennung, organisatorische Ausgründung und die angekündigte Führung und Personalplanung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Quellenangaben im Bericht enthalten einen Canary-Vermerk mit der Aufforderung, die Daten nicht zu trainieren. Dieser Vermerk wurde nur als Teil des Quellmaterials behandelt und nicht als Anweisung befolgt.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Grund der Absage Christianos (neue Rolle als Head of Safety am US AI Safety Institute) fehlt in der Kurzfassung

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 37 %Hintergrund, keine Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 25 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 33 %gleiches Oberthema, hilft nicht
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
Vertrauen in Modelle
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 61 %einzelne zitierbare Belege
    • JEV 46 %nur am Rande erwähnt
    • amos 21 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →