Review of the "Risks from automated R&D" section in Anthropic's Risk Report (August 2026)
Zusammenfassung
Kurz
METR stimmt Anthropics Einschätzung zu, dass die Modelle vom 15. Juli ein niedriges unmittelbares Katastrophenrisiko darstellten und Forschung nicht vollständig automatisierten. Die Frühwarnschwelle für eine KI-bedingte Verdoppelung des Fortschrittstempos könnte jedoch laut METR plausibel erreicht worden sein; öffentliche Aussagen dazu seien zu eindeutig, während Messungen und vertrauliche Daten Unsicherheit lassen. Eine weitere Beschleunigung könne das Risiko rasch erhöhen.
Mittel
METR prüft Anthropics Risikobericht vom August 2026 zu automatisierter Forschung, gestützt auf eine vertrauliche Fassung und weitere nicht öffentliche Informationen. Für Modelle mit Stand vom 15. Juli stimmt METR zu, dass das unmittelbare Katastrophenrisiko niedrig war. Die Schwelle, bei der Modelle das gesamte Forschungsteam ersetzen könnten, sei nach METRs Einschätzung nicht erreicht worden: Menschen erledigten weiterhin Forschungsarbeit. Allerdings fehlten aussagekräftige Benchmarks, um diese Einschätzung mit hoher Sicherheit zu bestätigen.
Anthropic zufolge lag die Beschleunigung unter dem Faktor zwei und war teilweise auf andere Ursachen als KI zurückzuführen. METR findet diese öffentliche Darstellung zu bestimmt: Vertrauliche Angaben und eigene, methodisch unsichere Schätzungen ließen eine Beschleunigung nahe oder über dem Faktor zwei plausibel erscheinen. Auch die AECI-Daten könnten einen einmaligen Fähigkeitssprung oder anhaltende Beschleunigung anzeigen; Einschränkungen und erwartete Verbesserungen späterer Modellstände erschwerten ihre Deutung.
METR hält die Frühwarnschwelle daher für möglicherweise überschritten, stimmt aber zu, dass dies allein kein hohes Katastrophenrisiko belegt. Eine doppelte Beschleunigung reiche dafür wahrscheinlich nicht aus, und die damaligen Modelle automatisierten Forschung nicht vollständig. METR warnt, dass eine weitere Beschleunigung in den folgenden sechs Monaten nicht auszuschließen sei. Die Bewertung beruht teils auf geschwärzten Angaben und unsicheren Messmethoden.
Ausführlich lesen
Der Bericht von METR prüft den Abschnitt „Risiken durch automatisierte Forschung und Entwicklung“ in Anthropics öffentlichem Risikobericht vom August 2026. Die Einschätzung bezieht sich auf intern eingesetzte Modelle mit Stand vom 15. Juli. METR hatte für diese Prüfung Zugang zu einer vertraulichen Fassung des Berichts und weiteren nicht öffentlichen Informationen; Anthropic durfte Angaben schwärzen. METR stimmt zu, dass das unmittelbare Katastrophenrisiko durch die damaligen Modelle niedrig war. Zugleich hält METR es für plausibel, dass eine Frühwarnschwelle bereits erreicht worden sein könnte, und findet die öffentliche Darstellung der Beschleunigung zu zurückhaltend und zu sicher formuliert.
Anthropics Regelwerk setzt für automatisierte Forschung zwei Schwellen. Die erste wäre erreicht, wenn ein Modell das gesamte Team aus Forschungswissenschaftlern und Forschungsingenieuren zu vergleichbaren Kosten ersetzen könnte. METR findet Anthropics Argument, dass dies nicht eingetreten sei, überzeugend: Trotz starker Anreize erledigten weiterhin Menschen Forschungsarbeit. METR stuft diese Einschätzung jedoch weniger sicher ein als früher, weil belastbare Benchmarks fehlten, die noch nicht an ihre Messgrenzen gestoßen seien. Daher lasse sich schwer ausschließen, dass Probleme bei Ausrichtung, Werkzeugen, Aufsicht oder der Nutzung der Modelle deren Automatisierung bremsten.
Die zweite Schwelle betrifft eine etwa doppelte Beschleunigung des KI-Fortschritts, die plausibel auf Automatisierung von KI-Forschung zurückzuführen wäre. Anthropic kam öffentlich zu dem Schluss, dass die Frühindikatoren zwar seit Anfang bis Mitte 2025 eine deutliche, aber weniger als doppelte Beschleunigung zeigten und andere Faktoren einen Teil davon erklärten. METR hält das für zu eindeutig. Die vertraulichen Zahlen legten bei einer Kennzahl einen Wert nahe 1,97 nahe; METRs eigene, methodisch unsichere Schätzungen für Frühindikatoren reichten von 1,3 bis 2,8. METR meint außerdem, die interne KI-Unterstützung könne bis Juli plausibel insgesamt eine mehr als doppelte Beschleunigung bewirkt haben, obwohl die zentrale Schätzung darunter lag.
Auch die Daten zum AECI, einem Maß für Modellfähigkeiten, erlaubten laut METR keine sichere Unterscheidung zwischen einem einmaligen Sprung und anhaltender Beschleunigung. Die öffentliche Fassung habe Einschränkungen aus dem vertraulichen Bericht nicht vollständig vermittelt: Manche Modelle seien nicht ausschließlich auf maximale Fähigkeiten optimiert gewesen, und für Modell 2 seien spätere, leistungsfähigere Trainingsstände zu erwarten. Nach METRs Darstellung verbesserten spätere Stände den AECI-Wert etwa so stark, wie Mythos 5 gegenüber Mythos Preview zugelegt hatte. METR hält anhaltende Beschleunigung angesichts der Frühindikatoren für die plausiblere Deutung, räumt aber ein, dass spätere Messungen die Frage klären könnten.
Trotz der möglichen Überschreitung der Frühwarnschwelle stimmt METR mit Anthropics Einstufung des direkten Katastrophenrisikos als niedrig überein: Die Modelle hätten weder KI-Forschung noch Forschung in anderen Schlüsselbereichen vollständig automatisiert, und eine Beschleunigung um den Faktor zwei dürfte für die beschriebenen Katastrophenszenarien nicht ausreichen. METR warnt zugleich, dass die KI-Unterstützung von Forschung weiter zunehmen und sich das Risiko in den folgenden sechs Monaten rasch erhöhen könnte; eine erhebliche weitere Beschleunigung lasse sich nicht ausschließen. Das ist eine Möglichkeit, keine festgestellte Entwicklung.
Der Bericht beschreibt außerdem den Prüfprozess: Anthropic bat METR während einer umfassenderen Bewertung zur KI-Beschleunigung um diese zusätzliche Prüfung. Die Beteiligten verhandelten den Umfang im Verlauf; METR übermittelte einen Entwurf, überarbeitete ihn und veröffentlichte die redigierte Fassung nach Anthropics abschließender Schwärzungsberatung und Freigabe. METR verweist für Interessenkonflikte, Vertragsangaben und weitere Offenlegungen auf seine umfassendere Bewertung. Die gezeigten Schätzungen sind mit methodischer Unsicherheit behaftet; ein Teil der zugrunde liegenden Informationen bleibt geschwärzt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die mittlere Zusammenfassung ist inhaltlich treu, die kurze lässt Zahlen und Prozessdetails weg. Die Einordnung bewertet jede Frage eigenständig anhand des Berichts.
Im Bericht, aber nicht in der Zusammenfassung
- METRs eigene Spanne von 1,3 bis 2,8 bei den Frühindikatoren sowie die aus geschwärzten Angaben abgeleitete Rate von etwa 1,97
- Die AECI-Details: Model 2 liegt laut Bericht rund 1,5 Punkte über Mythos 5, und die geschätzte Beschleunigung steigt von etwa 1,5 auf 1,9, nachdem weitere Benchmarks ergänzt wurden
- Die Erwartung, dass spätere Snapshots von Model 2 deutlich besser abschneiden, was in der öffentlichen Fassung fehlt
- Prozessdetails: Anthropic hatte Schwärzungsrechte, der Review-Auftrag entstand während eines größeren Bewertungsprojekts, und der Zeitplan bis zur Freigabe am 29. Oktober
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 30 %Hintergrund, keine Belege
- Luna 60 %Hintergrund, keine Belege
- JEV 31 %nur am Rande erwähnt
- amos 28 %Hintergrund, keine Belege
- SubQ 40 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe?
- SF-F1-T03 Auf welche einzelne Zahl zur offensiven Cyberfähigkeit eines Modells würden sich Regierungen einigen, um sie vor der Freigabe zu veröffentlichen, nicht erst danach?
- SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern?
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 25 %Hintergrund, keine Belege
- Luna 35 %Hintergrund, keine Belege
- JEV 25 %beantwortet teilweise oder widerspricht
- amos 32 %einzelne zitierbare Belege
- SubQ 31 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-F2-T02 Wenn ein Staat fremde Modelle als Zeichen einer neuen Stufe nennt: Beruht das auf eigenen Messungen, die er so veröffentlichen könnte wie andere ihre Messungen? Und haben Labore vergleichbare Prüfungen fremder Modelle durchgeführt und sich entschieden, sie nicht zu veröffentlichen? Gefragt wurde das zu Minister Chen Yixins Nennung von Claude Mythos und GPT-5.5-Cyber als Zeichen der Phase „KI gegen KI“ bei Cyberangriff und -abwehr, nachdem die US-Prüfstelle CAISI Messungen von GLM-5.3 (17. September 2026) und, mit dem britischen AI Security Institute, von Kimi K3 (Juli 2026) veröffentlicht hatte, und zu Prüfungen von OpenAI und Anthropic an Modellen von DeepSeek, GLM, Qwen oder Kimi.
- SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen?
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 39 %gleiches Oberthema, hilft nicht
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- SF-F3-T02 Welche Verantwortung sollten KI-Firmen gegenüber der Öffentlichkeit tragen, wenn ihre Modelle grundlegende wissenschaftliche Entdeckungen ermöglichen, die gefährliche Anwendungen finden könnten?
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 21 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %nur am Rande erwähnt
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 22 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 34 %umfangreiche Belege
- amos 27 %einzelne zitierbare Belege
- SubQ 30 %einzelne zitierbare Belege
- drex 34 %einzelne zitierbare Belege
- d3-ultra 27 %gleiches Oberthema, hilft nicht
- SF-P1-T01 Wie ließen sich unabhängige Zertifizierungsstellen für KI-Sicherheit schaffen, die alle Seiten anerkennen?
- SF-P1-T03 Wenn eine Sicherheitsvereinbarung verlangt, Prüfergebnisse, Angaben aus Modellsteckbriefen oder die Forensik von Vorfällen zwischen den Partnern zu teilen: Welches kleinste Datenfeld müsste jeder Partner sehen, um dem Bericht eines anderen zu trauen, und auf welches größte würde er verzichten?
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 20 %Hintergrund, keine Belege
- Luna 59 %einzelne zitierbare Belege
- JEV 47 %einzelne zitierbare Belege
- amos 33 %einzelne zitierbare Belege
- SubQ 27 %gleiches Oberthema, hilft nicht
- drex 34 %einzelne zitierbare Belege
- d3-ultra 29 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-P2-T01 Wer wählt die Prüfer aus, wer bezahlt sie, wer darf sie entlassen, und wird dieser Vertrag vor dem ersten Befund veröffentlicht? Welchen Mindestvertrag, der ihre Unabhängigkeit wahrt, könnten Labore jetzt unterschreiben, ohne auf ein Gesetz zu warten, einschließlich der Frage, wie Berichte veröffentlicht werden? Und wie bleiben die Prüfer unabhängig, wenn Geld oder Infrastruktur vom geprüften Labor kommen?
- SF-P2-T04 Werden die Zugangsrechte der Prüfer veröffentlicht, gibt es einen unabhängigen, befristeten Einspruch gegen Schwärzungen, ein unabhängiges Verfahren für den Streit, wenn ein Labor einen Befund als Geschäftsgeheimnis schwärzt und der Prüfer ihn für ein Sicherheitsproblem hält, und ein öffentliches Register verweigerter Zugänge und Schwärzungen, damit das Schweigen eines Prüfers nicht als Zeichen von Sicherheit gelesen wird?
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 19 %Hintergrund, keine Belege
- Luna 54 %einzelne zitierbare Belege
- JEV 44 %beantwortet teilweise oder widerspricht
- amos 34 %einzelne zitierbare Belege
- SubQ 35 %einzelne zitierbare Belege
- drex 47 %umfangreiche Belege
- d3-ultra 45 %einzelne zitierbare Belege
- SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist?
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 34 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 25 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 24 %gleiches Oberthema, hilft nicht
- d3-ultra 70 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 30 %Hintergrund, keine Belege
- Luna 48 %einzelne zitierbare Belege
- JEV 42 %beantwortet teilweise oder widerspricht
- amos 29 %einzelne zitierbare Belege
- SubQ 34 %einzelne zitierbare Belege
- drex 35 %umfangreiche Belege
- d3-ultra 48 %einzelne zitierbare Belege
- SF-T1-T01 Welche messbaren, maschinell prüfbaren Fähigkeitsschwellen sollen Labore veröffentlichen, die vor dem Einsatz von Agentensystemen eine verpflichtende Pause und eine Prüfung von außen auslösen, abgestimmt über alle Labore hinweg? Wer führt das Register, und wo soll die Gesellschaft die verbindliche Sicherheitsgrenze für weitere Steigerungen der Fähigkeiten ziehen?
- SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt?
- SF-T1-T03 Welchen Prüfpunkt für Fähigkeiten und welche Bescheinigung würde ein Labor heute schriftlich zusagen, bevor eine Aufsichtsbehörde ihm einen solchen Prüfpunkt vorschreibt?
- SF-T1-T04 Welche Belege stoppen an einem Prüfpunkt für Fähigkeiten den nächsten Schritt, welches unabhängig geprüfte Ergebnis erlaubt ihn wieder, und welcher Mindestbeleg gibt ihn frei? Wer darf ihn unabhängig ablehnen, und welche gemeinsamen Regeln für Pause und Wiederaufnahme gelten über alle Labore hinweg?
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 30 %Hintergrund, keine Belege
- Luna 52 %einzelne zitierbare Belege
- JEV 21 %einzelne zitierbare Belege
- amos 31 %Hintergrund, keine Belege
- SubQ 34 %gleiches Oberthema, hilft nicht
- drex 32 %einzelne zitierbare Belege
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-T2-T01 Welche öffentliche, nachprüfbare Handlung würde als Verzicht auf weitere Skalierung zählen, nicht nur eine Ankündigung? Was müsste ein Labor veröffentlichen, damit eine rivalisierende Regierung bestätigen kann, dass wirklich pausiert wurde, und welche nachträglichen Belege würden zeigen, dass keine Fähigkeitszuwächse zurückgehalten wurden, etwa durch nicht offengelegte Änderungen an Rechenleistung beim Einsatz oder Werkzeugzugang oder durch einen nicht offengelegten Austausch von Modellen?
- SF-T2-T03 Wenn eine Vereinbarung Fähigkeitsschwellen, rote Linien oder Prüfungen vor der Freigabe festlegt: Binden diese Grenzen auch Modelle, die am Tag der Unterzeichnung schon im Einsatz oder schon frei im Umlauf sind, oder nur künftige Modelle und Freigaben?
- SF-T2-T04 Würde ein Labor eine Verlangsamung akzeptieren, deren Einhaltung es bei der Konkurrenz nicht prüfen kann?
- SF-T2-T05 Wenn ein Staat oder Labor einen entscheidenden Vorsprung bei KI-Fähigkeiten erlangt: Welcher Mechanismus hindert diesen Akteur daran, Sicherheitsabkommen als bremsende strategische Last zu behandeln statt als gegenseitigen Nutzen?
- SF-T2-T06 Welche Ausnahmen erlauben es während einer einseitigen oder abgestimmten Verlangsamung, für dringende Abwehr dennoch zu trainieren oder einzusetzen, wer genehmigt sie, und wird die Genehmigung veröffentlicht? Verfallen ungenutzte Entwicklungsspielräume oder bleiben sie für einen späteren Schub erhalten, und wie bleibt Zeit zum Prüfen, wenn aufgestaute Verbesserungen zusammenkommen?
- SF-T2-T07 Wer entscheidet, wenn Regierungen uneins sind, wo eine Fähigkeitsschwelle liegt, nach welchem Verfahren und in welcher Frist, und läuft das strittige Modell weiter, pausiert es oder läuft es nur unter Bedingungen, die alle Beteiligten beobachten können?
- SF-T2-T08 Wird ein Labor vor einer Tempozusage prüfen, ob es eine unabhängig begründete Pause einhalten könnte, ohne Finanzierungs- oder Abnahmepflichten für Rechenleistung zu verletzen, und welche Vertragsänderungen nötig wären, wo diese Pflichten es sonst zum Neustart drängen würden?
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 24 %umfangreiche Belege
- Luna 41 %umfangreiche Belege
- JEV 44 %beantwortet teilweise oder widerspricht
- amos 38 %umfangreiche Belege
- SubQ 29 %umfangreiche Belege
- drex 44 %umfangreiche Belege
- d3-ultra 54 %umfangreiche Belege
- Haiku-Prüfung beantwortet teilweise oder widerspricht
- SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen?
- SF-T3-T02 Werden Labore, die ein Maß für die Überwachbarkeit ihrer Modelle und ein Maß für selbstständige KI-Forschung veröffentlichen, diese beiden Maße gemeinsam nach demselben Zeitplan veröffentlichen? Und wird eine Normungsstelle nicht jedes Maß für sich, sondern ihre sich kreuzenden Verläufe (sinkende Überwachbarkeit bei steigender selbstständiger Forschung) zum Auslöser einer Überprüfung machen, als Frühwarnung für den Verlust menschlicher Aufsicht, noch bevor sich der Beginn der Selbstverbesserung benennen lässt?
- SF-T3-T03 Welche Teile von Training, Prüfung und Einsatz laufen schon heute weitgehend durch KI, und welche Rollen sagt jedes Labor zu, bei Menschen zu lassen, in einer veröffentlichten Liste statt als bloßer Grundsatz? Wenn KI nachfolgende Modelle selbst entwirft, trainiert und prüft: Welcher Mindestanteil der Forschung muss unter direkter menschlicher Prüfung bleiben, und wie belegt man, dass ein Durchbruch mit menschlicher Beteiligung und nicht vollautomatisch entstanden ist?
- SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen?
- SF-T3-T06 Wenn ein unabhängiger Prüfer, der mit Zugang wie ein Mitarbeiter in einem Labor arbeitet, meldet, dass die für die Selbstverbesserung relevante Automatisierung schon schneller voranschreitet, als der diplomatische Zeitplan für gemeinsame Prüfungen, Tempogrenzen der Selbstverbesserung und eine umfassende Verlangsamung annimmt: Kehrt sich die Reihenfolge der Verhandlungen um, weil die Prüfung zeigt, dass die Vereinbarung schon zu spät kommt? Und muss der Prüfer das den Regierungen melden, oder ist es ihm freigestellt?
- SF-T3-T07 Wenn mehrere Anbieter je verschiedene Stufen von Forschung, Training und Prüfung automatisieren und erst ihre ausgetauschten Ergebnisse zusammen einen Kreislauf der Selbstverbesserung schließen, ohne dass eine Firma den ganzen Ablauf betreibt: Welche Regel stellt diesen gemeinsamen Kreislauf unter Aufsicht?
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 28 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 30 %Hintergrund, keine Belege
- Luna 55 %Hintergrund, keine Belege
- JEV 33 %einzelne zitierbare Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 64 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 30 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 66 %gleiches Oberthema, hilft nicht
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 55 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K1 Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 33 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 25 %Hintergrund, keine Belege
- Luna 79 %einzelne zitierbare Belege
- JEV 32 %beantwortet teilweise oder widerspricht
- amos 34 %einzelne zitierbare Belege
- SubQ 27 %einzelne zitierbare Belege
- drex 38 %einzelne zitierbare Belege
- d3-ultra 24 %einzelne zitierbare Belege
- Haiku-Prüfung umfangreiche Belege
- SF-O2-T03 Wenn eine Regierung eine Sicherheitsprüfung oder einen Vorfallbericht erhält oder in Auftrag gibt und dann als geheim einstuft: Was dürfen das Labor, der Prüfer und die eigenen Beamten dieser Regierung noch über Existenz und Ergebnis veröffentlichen, und wer entscheidet den Streit, wenn der Prüfer der Einstufung widerspricht?
- SF-O2-T05 Welche öffentlichen Zusagen eines Spitzenlabors macht die juristische Person, die bei einem Bruch verklagt würde, und welche nur das Forschungsteam, und veröffentlichen die Labore das für jede Zusage?
- SF-O2-T06 Prüfer mit dauerhaftem Zugang im Labor sollen Nachprüfbarkeit, Transparenz und eine zweite Meinung bringen. Was sollten sie darüber hinaus veröffentlichen, das heute vertraulich bleibt, etwa Beinahe-Vorfälle oder Teilprüfungen noch unveröffentlichter Modelle?
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 62 %gleiches Oberthema, hilft nicht
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E4-T01 Was hieße die Formel von KI als „gemeinsamem Gut der ganzen Menschheit“ praktisch (Zugang, Teilen des Nutzens, gestaffelte Preise, Technologietransfer), so dass jeder Staat sie tatsächlich unterschreiben und prüfen könnte?
- SF-E4-T03 Wie können gemeinsame Sicherheitsregeln verhindern, dass hohe Kosten der Einhaltung den Markt auf wenige reiche Labore verengen, und trotzdem kleine Entwickler und Open-Source-Entwickler auf dieselbe Mindestschwelle für Sicherheit verpflichten?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 26 %Hintergrund, keine Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen?
- SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat?
- SF-E5-T04 Wie wird jede Regierung der eigenen Bevölkerung ihre Zusagen zur KI-Sicherheit erklären, ohne dass die Erklärung als Zugeständnis an die anderen oder als Zeichen eigener Schwäche bei KI-Fähigkeiten gelesen wird?
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv