Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
anthropic15. Juli 2025 · Q001070

Cyber evaluations of Claude 4

anthropic.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Anthropic berichtet, dass Claude Opus 4 in Tests mit Pattern Labs Schwachstellen besser erkannte, mehrstufige Angriffsketten erfolgreicher ausführte und flexibler auf Aufgaben reagierte als frühere Modelle. Bei langfristigen Plänen geriet es jedoch weiterhin aus dem Tritt, wenn unerwartete Hindernisse auftraten; konkrete Messwerte enthält der bereitgestellte Text nicht.

Mittel

Anthropic berichtet über eine gemeinsame Evaluation mit Pattern Labs zu den Cyber-Offensivfähigkeiten von Claude Opus 4 und Claude Sonnet 4. Die Tests reichten von Capture-the-Flag-Aufgaben bis zu Simulationen komplexer Netzwerkumgebungen. Anthropic ordnet die Arbeit seiner Sicherheitsprüfung leistungsfähiger Modelle zu.

Laut Bericht machte Opus 4 gegenüber früheren Modellen deutliche Fortschritte: Es passte seine Vorgehensweise flexibler an Herausforderungen an, identifizierte Schwachstellen besser und bewältigte komplexe, mehrstufige Angriffsketten, bei denen frühere Modelle gescheitert waren. Zugleich blieben Grenzen bestehen. Insbesondere fiel es dem Modell schwer, langfristige Pläne und Ziele kohärent weiterzuverfolgen, wenn unerwartete Hindernisse auftraten.

Der bereitgestellte Text enthält weder konkrete Messwerte noch eine detaillierte Beschreibung der Tests. Er fasst die Ergebnisse zusammen und verweist für Einzelheiten auf den vollständigen Bericht von Pattern Labs. Die Fortschrittsangaben sind somit Anthropics Darstellung der Evaluation.

Ausführlich lesen

Der bereitgestellte Bericht von Anthropic beschreibt Tests der Cyber-Offensivfähigkeiten von Claude Opus 4 und Claude Sonnet 4. Anthropic erklärt, dass KI-Modelle in bestimmten Szenarien Fähigkeiten entwickeln, die sich menschlichem Niveau bei offensiven Cyberaufgaben annähern könnten. Das Unternehmen stellt die Tests als Teil seiner Sicherheitsarbeit an leistungsfähigen Modellen dar.

Für die Evaluation arbeitete Anthropic mit Pattern Labs zusammen. Untersucht wurden unterschiedliche Aufgaben: von eigenständigen Capture-the-Flag-Herausforderungen bis zu Simulationen komplexer Netzwerkumgebungen. Der Bericht nennt keine konkreten Aufgaben, Messwerte oder detaillierten Vergleichsdaten, sondern fasst die Ergebnisse zusammen und verweist auf einen vollständigen Evaluationsbericht von Pattern Labs.

Anthropic zufolge zeigte Opus 4 deutliche Fortschritte gegenüber früheren Modellen. Das Modell konnte flexibler überlegen und seine Vorgehensweise an Herausforderungen anpassen, anstatt erfolglose Ansätze unverändert fortzusetzen. Außerdem habe es sich bei der Identifikation von Schwachstellen und beim Ausführen komplexer Angriffsketten über mehrere Schritte verbessert. Laut Bericht gelangen ihm dabei wiederholt Aufgaben, an denen frühere Modelle gescheitert waren.

Als wesentliche Einschränkung nennt Anthropic Schwierigkeiten, langfristige Pläne und Ziele kohärent aufrechtzuerhalten, wenn unerwartete Hindernisse auftreten. Die Darstellung berichtet damit sowohl über verbesserte Fähigkeiten als auch über fortbestehende Grenzen. Sie liefert in dem bereitgestellten Text jedoch keine quantitativen Ergebnisse und erlaubt keinen näheren Einblick in Versuchsaufbau oder Erfolgsraten. Die Aussagen zu Fortschritten und Grenzen sind daher als Zusammenfassung Anthropics zu verstehen; für weitere Einzelheiten verweist der Bericht auf die vollständige Evaluation von Pattern Labs.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den kurzen Haupttext des Berichts, nicht auf den von Pattern Labs veröffentlichten Gesamtbericht. Dieser könnte einzelne Fragen detaillierter beantworten.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kurzfassung nennt Claude Sonnet 4 nicht als zweites geprüftes Modell, die mittlere Fassung schon.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 48 %gleiches Oberthema, hilft nicht
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

    • SF-M3-T01 Wie trennt man in Echtzeit eine gezielte KI-gestützte Cyberoperation von einer versehentlichen KI-Eskalation oder von Modellverhalten, das nur wie ein Angriff aussieht, da sowohl Fehlalarme als auch übersehene Angriffe die Spannungen verschärfen können? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 20 %einzelne zitierbare Belege
    • Luna 50 %einzelne zitierbare Belege
    • JEV 64 %einzelne zitierbare Belege
    • amos 58 %gleiches Oberthema, hilft nicht
    • SubQ 45 %einzelne zitierbare Belege
    • drex 39 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 4 · 42 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 4 · 45 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 56 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F2-T02 Wenn ein Staat fremde Modelle als Zeichen einer neuen Stufe nennt: Beruht das auf eigenen Messungen, die er so veröffentlichen könnte wie andere ihre Messungen? Und haben Labore vergleichbare Prüfungen fremder Modelle durchgeführt und sich entschieden, sie nicht zu veröffentlichen? Gefragt wurde das zu Minister Chen Yixins Nennung von Claude Mythos und GPT-5.5-Cyber als Zeichen der Phase „KI gegen KI“ bei Cyberangriff und -abwehr, nachdem die US-Prüfstelle CAISI Messungen von GLM-5.3 (17. September 2026) und, mit dem britischen AI Security Institute, von Kimi K3 (Juli 2026) veröffentlicht hatte, und zu Prüfungen von OpenAI und Anthropic an Modellen von DeepSeek, GLM, Qwen oder Kimi. Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 3 · 26 % · Hintergrund, keine Belege
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 26 %einzelne zitierbare Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
    • SF-F4-T04 Wie wird ein Modell als sicher bescheinigt, bevor es von einem harmlosen Bereich wie Chat in einen folgenreichen Einsatzbereich wie Angriff, Führung und Kontrolle oder Cyber wechselt, in dem seine Entwickler es nie eingesetzt haben, und welches gemeinsame Verfahren erkennt gefährliches, neu auftretendes Verhalten vor dem Wechsel? Luna: Stufe 4 · 25 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  4. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 32 %gleiches Oberthema, hilft nicht
    • Luna 57 %Hintergrund, keine Belege
    • JEV 50 %gleiches Oberthema, hilft nicht
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 42 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 23 %Hintergrund, keine Belege
    • Luna 29 %Hintergrund, keine Belege
    • JEV 31 %gleiches Oberthema, hilft nicht
    • amos 32 %nur am Rande erwähnt
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 46 %Hintergrund, keine Belege
    • JEV 71 %einzelne zitierbare Belege
    • amos 34 %einzelne zitierbare Belege
    • SubQ 32 %einzelne zitierbare Belege
    • drex 40 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-P3-T09 Was geschieht, wenn sich ein gemeinsames Prüfverfahren oder die Befunde eines Prüfers später als unzuverlässig erweisen: Wie findet man jede Einsatzfreigabe, die wesentlich darauf beruhte, prüft sie erneut, und welche vorläufigen Betriebsbedingungen gelten, bevor modellbezogene Vorfälle auftreten? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 29 %Hintergrund, keine Belege
    • Luna 72 %Hintergrund, keine Belege
    • JEV 42 %Hintergrund, keine Belege
    • amos 33 %Hintergrund, keine Belege
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 38 %gleiches Oberthema, hilft nicht
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 68 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 26 %Hintergrund, keine Belege
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 70 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 49 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 72 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 74 %Hintergrund, keine Belege
    • JEV 65 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 42 %einzelne zitierbare Belege
    • JEV 63 %einzelne zitierbare Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege

Beteiligung und Gemeinwohl
  1. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 32 %Hintergrund, keine Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %Hintergrund, keine Belege
    • amos 56 %gleiches Oberthema, hilft nicht
    • SubQ 70 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →