Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch16. Oktober 2026 · Q006268

Open-weight AI models are 6-7 months behind on cyber

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI schätzt anhand des Cyber ECI, dass offene KI-Modelle in Cybersecurity-Fähigkeiten etwa sechs bis sieben Monate hinter geschlossenen Modellen liegen. GLM-5.3 führt laut Bericht die aufgeführten offenen Modelle mit 160,1 Punkten an, während Claude Opus 5.5 und GPT-6 Astra bei rund 171 liegen; die Schätzungen beruhen teils auf wenigen Benchmark-Ergebnissen.

Mittel

Epoch AI vergleicht offene und geschlossene KI-Modelle anhand des Cyber ECI, eines Fähigkeitsindex auf Basis von Cybersecurity-Benchmarks. Laut Bericht erzielt Z.ai’s GLM-5.3 mit 160,1 Punkten den höchsten Wert unter den aufgeführten Open-Weight-Modellen. Das entspreche ungefähr dem Stand, den die geschlossene Modellfront sechs bis sieben Monate zuvor erreicht habe: GLM-5.3 liege über GPT-5.4 aus dem März 2026, aber unter Claude Mythos Preview und GPT-5.5 aus dem April. Als aktuelle Spitzen der geschlossenen Modelle nennt der Text Claude Opus 5.5 und GPT-6 Astra mit jeweils rund 171 Punkten.

Der Cyber ECI wird aus Cyber-Benchmark-Ergebnissen geschätzt; seine Parameter stammen laut Epoch AI aus einer gemeinsamen Anpassung allgemeiner und Cyber-Benchmarks. Die Tabelle nennt außerdem 90-Prozent-Intervalle und die Anzahl der Benchmark-Ergebnisse. Diese Anzahl ist bei einigen Modellen gering, etwa drei für GLM-5.3. Die Schlussfolgerung zum Rückstand ist daher als Einordnung anhand dieses Index zu verstehen, nicht als umfassende Messung sämtlicher Cyber-Fähigkeiten.

Ausführlich lesen

Der Bericht vergleicht die Cybersecurity-Fähigkeiten offener und geschlossener KI-Modelle anhand des Cyber ECI, eines auf Cybersecurity-Benchmarks zugeschnittenen Fähigkeitsindex. Epoch AI zufolge erreicht Z.ai’s GLM-5.3 mit 160,1 Punkten den höchsten Wert unter den aufgeführten Open-Weight-Modellen. Der Bericht ordnet diesen Stand ungefähr dort ein, wo die geschlossene Modellfront sechs bis sieben Monate zuvor lag. GLM-5.3 liege über GPT-5.4 aus dem März 2026, aber unter Claude Mythos Preview und GPT-5.5 aus dem April 2026.

Als aktuelle Spitzenmodelle der geschlossenen Kategorie nennt der Text Claude Opus 5.5 und GPT-6 Astra. Die Tabelle weist für beide Werte von rund 171 Punkten aus. Sie enthält außerdem eine zeitliche Reihe weiterer offener und geschlossener Modelle: Die aufgeführten Werte steigen über die Zeit insgesamt an, wobei einzelne Modelle darunter liegen. GLM-5.3 ist dort mit drei Cyber-Benchmark-Ergebnissen aufgeführt; die Modelle der Tabelle unterscheiden sich auch in ihrer Zugänglichkeit und den Nutzungsbeschränkungen ihrer Gewichte.

Zur Berechnung erläutert Epoch AI, dass die Benchmark-Parameter aus einer gemeinsamen Anpassung des allgemeinen ECI und der Cyber-Benchmarks stammen. Der Cyber ECI eines Modells wird anschließend anhand seiner Ergebnisse in Cyber-Benchmarks geschätzt. Die Werte liegen laut Bericht auf derselben Skala wie der allgemeine ECI. Für die Modelle gibt die Tabelle außerdem 90-Prozent-Intervalle und die Zahl der berücksichtigten Cyber-Benchmark-Ergebnisse an.

Die Kernaussage ist eine zeitliche Einordnung des Leistungsabstands: Die offene Cyber-Modellfront liege laut Epoch AI ungefähr sechs bis sieben Monate hinter der geschlossenen. Die angegebenen Werte sind Indexschätzungen, keine direkte Messung aller Fähigkeiten. Die Tabelle zeigt teils nur zwei oder drei Benchmark-Ergebnisse pro Modell und weist unterschiedlich breite Unsicherheitsintervalle aus. Der Text verweist für weitere Einzelheiten auf die Methodendokumentation, enthält selbst aber keine umfassende Beschreibung der einzelnen Benchmarks oder der Grenzen ihrer Übertragbarkeit.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: ok

Die Stufen wurden unabhängig vergeben; Abweichungen von Lunas Stufen betreffen vor allem Fragen, bei denen der Bericht nur am Rande Bezug nimmt.

Im Bericht, aber nicht in der Zusammenfassung

  • Methodik: Der Cyber ECI wird allein aus Cyber-Benchmark-Ergebnissen geschätzt (in der Kurzfassung nicht genannt)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 21 %umfangreiche Belege
    • Luna 43 %umfangreiche Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 29 %einzelne zitierbare Belege
    • drex 33 %einzelne zitierbare Belege
    • d3-ultra 42 %einzelne zitierbare Belege
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 4 · 35 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 39 %umfangreiche Belege
    • amos 30 %einzelne zitierbare Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 35 %gleiches Oberthema, hilft nicht

    • SF-F2-T02 Wenn ein Staat fremde Modelle als Zeichen einer neuen Stufe nennt: Beruht das auf eigenen Messungen, die er so veröffentlichen könnte wie andere ihre Messungen? Und haben Labore vergleichbare Prüfungen fremder Modelle durchgeführt und sich entschieden, sie nicht zu veröffentlichen? Gefragt wurde das zu Minister Chen Yixins Nennung von Claude Mythos und GPT-5.5-Cyber als Zeichen der Phase „KI gegen KI“ bei Cyberangriff und -abwehr, nachdem die US-Prüfstelle CAISI Messungen von GLM-5.3 (17. September 2026) und, mit dem britischen AI Security Institute, von Kimi K3 (Juli 2026) veröffentlicht hatte, und zu Prüfungen von OpenAI und Anthropic an Modellen von DeepSeek, GLM, Qwen oder Kimi. Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 27 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 61 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 37 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 26 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 35 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 34 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 25 %gleiches Oberthema, hilft nicht
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 37 %gleiches Oberthema, hilft nicht
    • JEV 38 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 68 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 27 %Hintergrund, keine Belege
    • Luna 39 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 43 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 63 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →