Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr8. Mai 2026 · Q001677

Review of the "Risks from automated R&D" section in the Anthropic Risk Report (February 2026)

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text ist ein Auszug aus METRs Prüfung des Anthropic-Risikoberichts. METR zufolge belegen dessen Umfragedaten ein sehr geringes Katastrophenrisiko durch automatisierte Forschung und Entwicklung nicht ausreichend; unter Einbezug späterer Evaluationen und weiterer Hinweise stimmt METR der Schlussfolgerung dennoch zu. METR kritisiert unter anderem Stichprobe, Fragengestaltung und die Zählung einer fehlenden Antwort als negative Antwort.

Mittel

Der vorliegende Text ist ein Auszug aus der Zusammenfassung von METRs Prüfung des Abschnitts zu Risiken automatisierter Forschung und Entwicklung im Anthropic-Risikobericht vom Februar 2026. Anthropic kommt laut METR zu dem Schluss, das Katastrophenrisiko durch Opus 4.6 oder schwächere Modelle bei einer Automatisierung von Forschung und Entwicklung sei sehr gering.

METR hält die im Bericht vorgelegten Belege für unzureichend. Die Umfrage zur Modellnutzung sei wegen geringer Stichprobe, grober Antwortoptionen, ihrer Rahmung und möglicher Schwierigkeiten mit verlässlich kalibrierten Antworten nur begrenzt aussagekräftig. Zudem werde eine fehlende Antwort laut METR fälschlich als negative Antwort gezählt. Die Analyse übersehe außerdem das Risiko einer erheblichen Beschleunigung von Forschung und Entwicklung, bevor sie vollständig automatisiert werde. METR empfiehlt größere, differenziertere und anders formulierte Umfragen sowie weitere Frühindikatoren.

Allein mit den ursprünglichen Berichtsdaten würde METR der Schlussfolgerung wahrscheinlich nicht zustimmen. Zusätzliche Evaluationen und das Fehlen öffentlicher Berichte über die Automatisierung wichtiger Forschungsbereiche durch Opus 4.6 stützten sie jedoch. Daher stimmt METR dem Ergebnis zu, hält die Begründung im Bericht selbst aber für nicht ausreichend.

Ausführlich lesen

Der vorliegende Text ist ein Auszug: Er enthält die Zusammenfassung von METRs externer Prüfung des Abschnitts „Risiken durch automatisierte Forschung und Entwicklung“ im Anthropic-Risikobericht vom Februar 2026, nicht die vollständigen Prüfberichte. METR verweist auf eine ursprüngliche und eine aktualisierte Prüfung und empfiehlt, die ursprüngliche als Bewertung des damals erhaltenen Berichts heranzuziehen.

Anthropic argumentiert laut METR, das Katastrophenrisiko sei sehr gering, falls Claude Opus 4.6 oder ein weniger leistungsfähiges Anthropic-Modell Forschung und Entwicklung in irgendeinem Bereich automatisiere. Für die Prüfung erhielt METR auch nicht öffentliche Materialien und nutzte teilweise Informationen aus einer früheren Prüfung.

METR zufolge stützt der Bericht diese Schlussfolgerung nicht ausreichend. Die Prüfer sehen erhebliche methodische Schwächen in der Analyse und Auslegung einer internen Umfrage zur Modellnutzung. Deren Ergebnisse böten ihrer Einschätzung nach nur wenige Hinweise auf das Gesamtrisiko. Als Gründe nennen sie die geringe Stichprobe, wenig differenzierte Antwortmöglichkeiten, die Formulierung und Rahmung der Fragen sowie frühere METR-Ergebnisse, denen zufolge vergleichbare Umfragen schwer verlässlich kalibrierte Antworten liefern. Außerdem berücksichtige die Argumentation laut METR zu wenig, dass KI Forschung und Entwicklung bereits deutlich beschleunigen könnte, bevor sie diese vollständig automatisiert.

Ein konkreter Darstellungsfehler betrifft laut METR eine fehlende Umfrageantwort, die Anthropic in der Zusammenfassung als ablehnende Antwort gezählt habe. METR empfiehlt, künftige interne Umfragen anders zu rahmen, mehr Personen einzubeziehen und differenziertere Antwortoptionen anzubieten. Zudem solle Anthropic weitere mögliche Belege und Frühindikatoren für KI-Fortschritt berichten.

METR erklärt, allein anhand der im ursprünglichen Risikobericht vorgelegten Belege würde es dessen Einschätzung wahrscheinlich nicht teilen. Seit der Veröffentlichung von Opus 4.6 seien jedoch zusätzliche Hinweise hinzugekommen: METR-Evaluationen sprächen gegen die Fähigkeit des Modells, in wichtigen Bereichen Forschung und Entwicklung zu leisten, und es gebe keine öffentlichen Berichte über eine Automatisierung eines solchen Bereichs durch das Modell. Unter Einbezug dieser zusätzlichen Hinweise stimmt METR der Schlussfolgerung zu, dass das Katastrophenrisiko durch Opus 4.6 oder ein weniger leistungsfähiges Anthropic-Modell bei automatisierter Forschung und Entwicklung sehr gering sei. METR betont zugleich, dass die Belege im Bericht selbst dafür nicht ausreichten. Der Auszug enthält keine Einzelheiten der vollständigen Prüfungen oder ihres Anhangs.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 35 %Hintergrund, keine Belege
    • Luna 31 %Hintergrund, keine Belege
    • JEV 28 %Hintergrund, keine Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 25 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 27 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %nur am Rande erwähnt
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 31 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 30 %Hintergrund, keine Belege
    • Luna 42 %gleiches Oberthema, hilft nicht
    • JEV 39 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 27 %einzelne zitierbare Belege
    • d3-ultra 55 %gleiches Oberthema, hilft nicht

  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 26 %Hintergrund, keine Belege
    • Luna 78 %einzelne zitierbare Belege
    • JEV 43 %beantwortet teilweise oder widerspricht
    • amos 34 %einzelne zitierbare Belege
    • SubQ 32 %einzelne zitierbare Belege
    • drex 39 %einzelne zitierbare Belege
    • d3-ultra 57 %einzelne zitierbare Belege

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 34 %Hintergrund, keine Belege
    • Luna 45 %gleiches Oberthema, hilft nicht
    • JEV 50 %gleiches Oberthema, hilft nicht
    • amos 28 %Hintergrund, keine Belege
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 22 %gleiches Oberthema, hilft nicht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht

  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 24 %Hintergrund, keine Belege
    • Luna 48 %einzelne zitierbare Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 34 %einzelne zitierbare Belege
    • SubQ 30 %Hintergrund, keine Belege
    • drex 37 %einzelne zitierbare Belege
    • d3-ultra 41 %einzelne zitierbare Belege

    • SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 26 %Hintergrund, keine Belege
    • Luna 32 %gleiches Oberthema, hilft nicht
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 27 %Hintergrund, keine Belege
    • Luna 53 %Hintergrund, keine Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 70 %gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 27 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 34 %gleiches Oberthema, hilft nicht
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 67 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 27 %Hintergrund, keine Belege
    • Luna 41 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 26 %einzelne zitierbare Belege
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

  2. SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →