Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr19. September 2023 · Q002996

ARC Evals is spinning out from ARC

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

ARC kündigt an, ARC Evals wegen des Teamwachstums, seiner unabhängigen Modellbewertungen und seiner Partnerschaften als eigenständige Organisation auszugründen. Beth Barnes soll sie leiten; ein neuer Name steht laut Bericht noch nicht fest, und Paul Christiano lehnte eine zunächst geplante Berater- und Vorstandsrolle wegen seiner neuen Funktion am US AI Safety Institute ab.

Mittel

Der Bericht kündigt die Ausgründung von ARC Evals aus der Alignment-Organisation ARC an. ARC hatte das Team 2022 unter Beteiligung von Beth Barnes für explorative, unabhängige Bewertungen fortgeschrittener KI-Modelle aufgebaut. Laut Bericht bewertete ARC Evals GPT-4 in Zusammenarbeit mit OpenAI und Claude in Zusammenarbeit mit Anthropic, ging eine formelle Partnerschaft mit der britischen Foundation Model Taskforce ein und wuchs auf mehr als die Hälfte der ARC-Belegschaft. Die Trennung soll den unterschiedlichen Aufgaben und Bedürfnissen von Alignment-Forschung und Evaluierungsarbeit Rechnung tragen.

Beth Barnes soll die neue Organisation leiten, während Paul Christiano ARC weiterführt. Ein neuer Name für die ausgegründete Organisation war noch nicht beschlossen. Ein Hinweis ergänzt, Christiano habe eine ursprünglich geplante Rolle als Vorstandsmitglied und Berater wegen seiner neuen Funktion als Leiter für Sicherheit am US AI Safety Institute abgelehnt. Der Bericht beschreibt die organisatorischen Gründe, liefert aber keine näheren Angaben zu Finanzierung, Aufbau oder Zeitplan.

Ausführlich lesen

Der Bericht kündigt an, dass ARC Evals aus der Alignment-Organisation ARC ausgegründet wird. ARC war als kleine Organisation für Alignment-Theorie unter der Leitung von Paul Christiano gegründet worden. 2022 stellte ARC Beth Barnes ein und baute ARC Evals für explorative Arbeit an unabhängigen Bewertungen fortgeschrittener KI-Modelle auf. Christiano konzentrierte sich weiterhin auf Theorie, beaufsichtigte und beriet die Evaluierungsarbeit laut Bericht aber einen erheblichen Teil seiner Zeit.

Als Gründe für die Verselbstständigung nennt der Bericht das Wachstum und die Arbeit des Teams: ARC Evals habe unabhängige Bewertungen von GPT-4 in Zusammenarbeit mit OpenAI und von Claude in Zusammenarbeit mit Anthropic abgeschlossen. Außerdem habe das Team eine formelle Partnerschaft mit der Foundation Model Taskforce des Vereinigten Königreichs geschlossen und stelle inzwischen die Mehrheit der Beschäftigten von ARC. Die Ausgründung soll den unterschiedlichen Aufgaben und Bedürfnissen der Alignment-Forschung bei ARC und der Evaluierungsarbeit Rechnung tragen.

Beth Barnes soll die neue Organisation leiten; Paul Christiano bleibt Leiter von ARC. Ein neuer Name für die eigenständige, auf Evaluierungen ausgerichtete Organisation stand zum Zeitpunkt des Berichts noch nicht fest. Der ergänzende Hinweis besagt, Christiano habe zunächst als Vorstandsmitglied und Berater mitwirken sollen, sich dann aber wegen seiner neuen Rolle als Leiter für Sicherheit am US AI Safety Institute dagegen entschieden.

Der Text beschreibt die angekündigte organisatorische Trennung und führt dafür Teamgröße, Kooperationen und abgeschlossene Bewertungen an. Er enthält jedoch keine näheren Angaben zu Aufbau, Finanzierung oder Zeitplan der Ausgründung und stellt die genannten Evaluierungsergebnisse nicht selbst ausführlich dar.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich allein auf den Berichtstext. Der Canary-Vermerk am Ende ist ein Metadatenhinweis ohne inhaltlichen Bezug zu den Fragen und wurde deshalb nicht gewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Paul Christiano bleibt Leiter von ARC und war vorher hauptsächlich mit Theorieforschung befasst, widmete der Evaluierungsarbeit aber einen erheblichen Teil seiner Zeit
  • ARC Evals wurde 2022 zunächst als Inkubation innerhalb von ARC aufgebaut, und ARC war ursprünglich eine kleine Alignment-Theorie-Organisation
  • Die konkreten Evaluierungen von GPT-4 (mit OpenAI) und Claude (mit Anthropic) werden in der Kurzfassung nicht genannt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %einzelne zitierbare Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 28 %Hintergrund, keine Belege
    • Luna 47 %Hintergrund, keine Belege
    • JEV 44 %Hintergrund, keine Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 25 % · Hintergrund, keine Belege
    • SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
    • SF-F1-T10 Was wäre nötig, damit eine staatliche Aufsichtsplattform für KI-Sicherheit und unabhängige Prüfer mit dauerhaftem Zugang im Labor nach einem gemeinsamen öffentlichen Protokoll dieselben Cyber-Tests in einer gemeinsamen Testumgebung durchführen, die Prüfer zweier Staaten jeweils am Modell des anderen, und die Ergebnisse in beiden veröffentlichen? Und könnten zwei Staaten eine gemeinsam bezeugte Prüfung desselben führenden KI-Modells durchführen und übereinstimmende Prüfsummen (Hashes) der Ergebnisse veröffentlichen? Luna: Stufe 3 · 26 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-F2-T02 Wenn ein Staat fremde Modelle als Zeichen einer neuen Stufe nennt: Beruht das auf eigenen Messungen, die er so veröffentlichen könnte wie andere ihre Messungen? Und haben Labore vergleichbare Prüfungen fremder Modelle durchgeführt und sich entschieden, sie nicht zu veröffentlichen? Gefragt wurde das zu Minister Chen Yixins Nennung von Claude Mythos und GPT-5.5-Cyber als Zeichen der Phase „KI gegen KI“ bei Cyberangriff und -abwehr, nachdem die US-Prüfstelle CAISI Messungen von GLM-5.3 (17. September 2026) und, mit dem britischen AI Security Institute, von Kimi K3 (Juli 2026) veröffentlicht hatte, und zu Prüfungen von OpenAI und Anthropic an Modellen von DeepSeek, GLM, Qwen oder Kimi. Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %Hintergrund, keine Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-P1-T01 Wie ließen sich unabhängige Zertifizierungsstellen für KI-Sicherheit schaffen, die alle Seiten anerkennen? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 18 %Hintergrund, keine Belege
    • Luna 36 %Hintergrund, keine Belege
    • JEV 55 %einzelne zitierbare Belege
    • amos 33 %einzelne zitierbare Belege
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 25 %nur am Rande erwähnt
    • d3-ultra 33 %Hintergrund, keine Belege

    • SF-P2-T01 Wer wählt die Prüfer aus, wer bezahlt sie, wer darf sie entlassen, und wird dieser Vertrag vor dem ersten Befund veröffentlicht? Welchen Mindestvertrag, der ihre Unabhängigkeit wahrt, könnten Labore jetzt unterschreiben, ohne auf ein Gesetz zu warten, einschließlich der Frage, wie Berichte veröffentlicht werden? Und wie bleiben die Prüfer unabhängig, wenn Geld oder Infrastruktur vom geprüften Labor kommen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
    • SF-P2-T02 Bevor eine Prüfvereinbarung zwischen Staaten auf eingebetteten Prüfungen aufbaut, also auf unabhängigen Prüfern mit dauerhaftem, mitarbeiterähnlichem Zugang in KI-Firmen: Sagen die Labore jeweils zu, dass keine eingebettete Prüfung, die das geprüfte Labor selbst bezahlt, in diesem Zusammenhang als Beleg dient? Und behandeln die Regierungen eine vom Labor bezahlte Prüfung für sich genommen als unzureichend für Tests von Modellen auf akute Risiken vor der Veröffentlichung, damit die ersten Berichte nicht stillschweigend einen Präzedenzfall setzen? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %Hintergrund, keine Belege
    • Luna 63 %einzelne zitierbare Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 4 · 44 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-P3-T03 Welche Rolle spielten Modelle der geprüften Modellfamilie, wenn überhaupt, beim Entwerfen, Durchführen oder Bewerten von Prüfungen oder Sicherheitsberichten, die Regierungen vorgelegt werden, und wird diese Rolle offengelegt? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 4 · 46 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Tempo und Grenzen
Vertrauen in Modelle
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 51 %einzelne zitierbare Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-O2-T05 Welche öffentlichen Zusagen eines Spitzenlabors macht die juristische Person, die bei einem Bruch verklagt würde, und welche nur das Forschungsteam, und veröffentlichen die Labore das für jede Zusage? Luna: Stufe 3 · 24 % · Hintergrund, keine Belege
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-E1-T09 Bekommen zivile Forschende an Hochschulen und unabhängige Organisationen der Zivilgesellschaft geregelten Zugang zu Modellen, Daten und Befunden der Prüfer, oder bleibt die Prüfung bei staatlich bestellten Stellen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 24 %nur am Rande erwähnt
    • Luna 70 %einzelne zitierbare Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 30 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 28 %nur am Rande erwähnt
    • d3-ultra 44 %nur am Rande erwähnt
    • Haiku-Prüfung Hintergrund, keine Belege
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →