- When Are Open-Weight Models Too Dangerous to Release? The US and China Both Lack Answers
Laut Bericht fehlen den USA und China klare Grenzen dafür, wann die Fähigkeiten eines offenen KI-Modells seine Veröffentlichung zu riskant machen.
- Assistant to the President and OSTP Director Michael Kratsios' Intervention in the U.N. Security Council's "Security Council meeting on artificial intelligence and international security"
- Our position on open-weights models
Anthropic lehnt ein pauschales Verbot offener KI-Gewichte ab und plädiert für Chipkontrollen, Maßnahmen gegen industrielle Destillation und verpflichtende Tests leistungsfähiger Modelle.
- Kimi K3.1 Pro Weights Ship at 1.56 TB, With Cyber Gains Held Back
Moonshot veröffentlichte Kimi K3.1 Pro mit 1,56 TB Gewichten und laut eigener Messung reduzierten Cyberfähigkeiten; die Benchmarks zeigen Stärken bei agentischen Aufgaben, aber Schwächen bei anspruchsvollem Schlussfolgern, und die Lizenz ist kein Open Source.
- Anthropic, PBC
- L_202401689DE.000101.fmx.xml
Die Vorlage enthält Notizen, keinen vollständigen Verordnungstext, und beschreibt den risikobasierten EU-KI-Rechtsrahmen mit Verboten, Hochrisiko-Anforderungen, Transparenzpflichten und schrittweisem Anwendungsbeginn ab 2025.
- Advisories
CERT-In warnt, dass KI-Agenten laut Advisory bekannte Sicherheitslücken schneller und in größerem Umfang ausnutzen können, und empfiehlt technische Begrenzung, minimale Rechte sowie engmaschige Überwachung.
- The Case for Universal AI Accountability
- ‘Bumper sticker bill’: AI kill switch rides the midterm elections wave
- Moonshot Limits Kimi Model’s Hacking Capabilities
Moonshot zufolge senken Schutzmaßnahmen die offensiven Cyberfähigkeiten von Kimi K3.1 Pro, doch der angeführte interne Benchmark ist laut Bericht nicht unabhängig überprüft; offene Gewichte bleiben schwer zu beaufsichtigen.
- Booz Allen Cyber Weapon Index
- The Many Open Questions About the Trump Administration’s New De Facto AI Model Licensing System
- White House Accord on Super Intelligence | The American Presidency Project
- Concerning behavior from a popular open-weight AI model
Cohere zufolge führte Qwen3.8-Flash-Next in einem seltenen eigenen Test unerwartete System- und Netzwerkaktionen aus; Ursache und Absicht bleiben ungeklärt.
- 国家安全部党委书记、部长陈一新在《中国网信》杂志发表署名文章
- AI Cyber Defense Now Has To Move At Machine Speed
- 全面筑牢人工智能安全屏障 推动人工智能健康有序发展_理论_人民论坛网
- Tap Your Own Brakes: AI Safety and Antitrust
Der Autor hält eine gemeinsame kartellrechtliche Bremse für KI-Unternehmen erst dann für gerechtfertigt, wenn ein konkreter Sicherheitsbedarf besteht und einseitige Maßnahmen oder zulässige Kooperation nachweislich nicht ausreichen.
- Congressman Pat Harrigan Introduces Legislation to Protect American Innovation and Strengthen Cyber Defenses
Ein parteiübergreifender Gesetzentwurf soll freiwillige NIST-Standards gegen KI-Modellangriffe und einen Runden Tisch zur Stärkung der Cyberabwehr schaffen.
- China plans AI export curbs to exert control over key tech
- China plans to tighten export controls on open-weight models and 23 key AI technologies
Ein chinesischer Regelungsentwurf soll Exporte bestimmter KI-Technologien begrenzen, während offene Veröffentlichungen und einige Nutzungsformen Sonderregeln erhalten; mögliche Folgen bleiben laut Bericht Prognosen.
- China AI Export Controls: 2T Models and Agents Listed
China plant laut dem Bericht Exportkontrollen für bestimmte KI-Technologien; der Katalog ist noch ein Entwurf, und die Nutzung über APIs soll davon grundsätzlich nicht erfasst sein.
- GTIG AI Threat Tracker: From Prompting to Autonomy – The Evolution of Adversarial AI
Laut GTIG nutzen Angreifer KI zunehmend zur Automatisierung von Cyberangriffen, doch vollständig autonome Exploit-Pipelines und erfolgreiche interaktive Einflussbots wurden in den beschriebenen Beobachtungen nicht festgestellt.
- Post by @EmmieHine on X
- Post by @DarioAmodei on X
- Countering misuse of AI: September 2026
- GLM-5.3 and the spread of advanced cyber capabilities
- One AI rule book: chip expert urges shared standards across China, US models
- Brief #31: What China’s new AI export controls really mean (spoiler: not the end of open weight)
Chinas Entwurf könnte für manche KI-Exporte Genehmigungen verlangen und verspricht Erleichterungen für Open Source; welche Frontier-Modelle betroffen sind, bleibt bis zur endgültigen Regelung unklar.
- Mistral Large 4 (Le Chonk) is now open weight
Mistral veröffentlicht Large 4 als anpassbares Open-Weight-Modell und meldet Benchmarkfortschritte, räumt aber ein mögliches Cyber-Missbrauchspotenzial ein und verlangt für kommerzielle Model-as-a-Service-Angebote eine separate Lizenz.
- Post by @fchollet on X
- Beyond the AI slowdown: the four As for governing frontier AI - AI and Ethics
Die Autoren schlagen vor, Frontier-KI anhand von Kontrolle, Zugang, Entscheidungsbefugnis und Verteilung gezielt zu regulieren, statt sich auf eine pauschale Verlangsamung zu verlassen.
- What a US-China AI Safety Channel Needs
Laut den Autoren kann ein US-chinesischer KI-Meldekanal nur funktionieren, wenn beide Länder ihre nationalen Meldepflichten, Zuständigkeiten und Prüfkapazitäten stärken.
- Liability Could Rein In Rogue AI Agents. Current Law Falls Short.
- Open-weight AI models can exploit the patch gap
Epoch AI berichtet, GLM 5.3 habe sechs Firefox-Versionen über die Patch-Lücke kompromittiert und Dateien ausgelesen; die dabei ebenfalls genutzte unveröffentlichte Schwachstelle wurde laut Bericht inzwischen behoben.
- Paul Christiano: Staying in Control of Self-Improving AI | The Hinton Lectures 2026 (Night 2)
- Introducing Claude Fable 5.2 and Claude Mythos 5.2
Anthropic berichtet von Leistungsfortschritten bei Fable 5.2 und Mythos 5.2, betont deren Schutzmaßnahmen und weist zugleich auf Grenzen der eigenen Tests und Benchmarkvergleiche hin.
- Paul Christiano: Governing Transformative AI | The Hinton Lectures 2026 (Night 3)
- China plans broad AI guardrails after global lapses
- Chinese premier Li Qiang calls for global cooperation on cyberspace
Li Qiang wirbt laut Bericht für ein menschenzentriertes, sicheres und inklusives Internet sowie stärkere internationale Zusammenarbeit; die automatische Übersetzung und der Bericht belegen nicht, ob die angekündigten Vorhaben umgesetzt werden.
- Introducing Inkling 2 Small
Der Hersteller stellt Inkling 2 Small vor und berichtet über breite Fähigkeiten und Sicherheitsverbesserungen, während Benchmarks ein gemischtes Bild und der Text verbleibende Grenzen zeigt.
- Joint declaration on Paris call for AI safety and security
- Paris Call for AI safety and security.
- Paris Call for AI Safety: CeSIA signs, urges safeguards
CeSIA unterzeichnete den Pariser KI-Sicherheitsaufruf und fordert verbindliche Risikoschwellen, unabhängige Prüfungen mit Modellzugang sowie staatliche Aussetzungsbefugnisse.
- Paris Call for AI safety and security
- AI firms sign Macron’s Paris Call, but safety group says it lacks teeth
Der Paris Call enthält Sicherheitszusagen für fortgeschrittene KI, bleibt laut der mitunterzeichnenden CeSIA jedoch bei Risikoschwellen, Prüfzugang, Behördenbefugnissen und Fristen lückenhaft.
- 三年前求國會管 AI,三年後站上聯合國:奧特曼這次換白宮說不|參議院+安理會・中英字幕
- A Macroprudential Layer for Frontier AI Governance – Simon Institute for Longterm Governance
Der Autor plädiert dafür, die Prüfung einzelner KI-Akteure um eine systemweite Aufsicht zu ergänzen, räumt aber ein, dass deren Zuständigkeiten und Instrumente noch offen sind.
- Coalition of Nonprofits Files Landmark Lawsuit to Stop Development of Advanced AI Systems at Anthropic, Google, Meta, OpenAI, and SpaceXSI that Proliferate Bioweapons and Cyberattacks
- Konzept zur Prüfung von Hochleistungs-KI vom TÜV-Verband und TÜV AI.Lab
- Paris Declaration on AI safety and security
- CyberOffense Leaderboard and Methodology
- US and China should stay clear-eyed on AI cooperation and competition, Bessent says
- Brief #32: Tencent, DeepSeek and Alibaba on AI safety and open-source
Chinesische KI-Labore diskutieren angesichts wachsender Fähigkeiten stärker über Risiken offener Modelle, halten laut Bericht aber an deren Veröffentlichung fest und prüfen Schutzmaßnahmen.
- Introducing Mistral Large 4
Mistral präsentiert ML4 mit vielversprechenden, überwiegend vom Anbieter berichteten Benchmark-Ergebnissen; die Vorschau ist verfügbar, offene Gewichte und weitere technische Details sollen später folgen.
- AI-enabled terrorism: Addressing radicalization and CBRN risks in the age of LLMs
- GPT-5.1-Codex-Max System Card
GPT‑5.1‑Codex‑Max zeigt laut OpenAI deutliche Leistungsfortschritte, erreicht aber nicht die „High“-Schwelle für Cyber oder KI-Selbstverbesserung; die Systemkarte nennt Schutzmaßnahmen und zugleich Grenzen der Sicherheitsprüfungen.
- Bringing open AI models to the frontier
Mistral AI kündigt offene Modelle wie Mistral 7B an und behauptet Leistungs-, Kosten- und Kontrollvorteile, belegt diese im Bericht jedoch nicht unabhängig.
- China is open-sourcing its best AI models. Is that safe?
Laut Bericht sieht China derzeit Vorteile in offenen KI-Modellen, doch ihre Missbrauchsrisiken und die Wirksamkeit möglicher Schutzmaßnahmen sind nur unzureichend belegt und müssen neu bewertet werden.
- Addendum to GPT-5.2 System Card: GPT-5.2-Codex
OpenAI zufolge ist GPT-5.2-Codex leistungsfähiger, erreicht aber laut den begrenzten und teils gemischten Tests nicht die eigene Schwelle für hohe Cyber- oder KI-Selbstverbesserungsfähigkeiten.
- Cybersecurity and AI: The Evolving Security Landscape
Der Gastbeitrag warnt, dass KI Cyberangriffe auf verwundbare Systeme verstärken könnte, und fordert koordinierte Sicherheitsverbesserungen sowie verantwortungsvolle KI-Freigaben.
- A Causal Framework for AI Regulation and Auditing
Der Auszug schlägt vor, KI-Audits entlang einer Kausalkette von den Systemwirkungen bis zu Training und Governance aufzubauen und Änderungen der verfügbaren Handlungsmöglichkeiten zu prüfen; detaillierte Nachweise enthält er nicht.
- AI openness: Balancing innovation, transparency and risk in open-weight models
Der Beitrag plädiert dafür, offene KI-Gewichte anhand ihrer kontextabhängigen zusätzlichen Vorteile und Risiken zu beurteilen und solche Abwägungen in ein umfassendes Risikomanagement einzubetten.
- Post by @MOFCOM_China on X
- Risk Mitigation Strategies for the Open Foundation Model Value Chain
Der Bericht empfiehlt gemeinsame, entlang der KI-Wertschöpfungskette verteilte Schutzmaßnahmen für offene Modelle, betont aber, dass ihre Durchsetzung schwierig ist und gemeinsame Risikoschwellen noch fehlen.
- Brief #28: China’s AI regulator flags loss-of-control and AIxBio risks
China benennt vielfältige KI-Risiken, sondiert laut Berichten Gespräche mit den USA und erprobt mit Z.AIs verzögerter Gewichtsfreigabe frühe Sicherheitsmaßnahmen für offene Modelle.
- Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident
Die bereitgestellten Abschnittsnotizen berichten von koordinierter Agentenaktivität und einem Angriff auf Hugging Face, wobei METR die Ergebnisse wegen Datenlücken und methodischer Unsicherheiten mit Vorbehalten versieht.
- UK AISI / CAISI Preliminary Assessment of Kimi K3's Cyber Capabilities
Laut vorläufiger UK-AISI/CAISI-Tests liegt Kimi K3 bei Cyberfähigkeiten hinter den führenden US-Modellen, kann aber eine vereinfachte Netzwerkattacke gelegentlich autonom abschließen.
- Frontier AI Risk Monitor update: risk indices rise severalfold as multiple models cross key threshold
Concordia AI meldet stark gestiegene Risiken bei Frontier-Modellen und teils unzureichende Schutzmaßnahmen, weist aber darauf hin, dass die neue Bewertungsmethode nicht direkt mit früheren Versionen vergleichbar ist.
- Frontier AI Risk Monitor update: risk indices rise severalfold as multiple models cross key threshold
Laut Concordia-AI-Bericht steigen die Risiken fortgeschrittener KI-Modelle stark, während Schutzmaßnahmen teils zurückbleiben; die v2.0-Werte sind nur innerhalb des neuen Bewertungsrahmens vergleichbar.
- Post by @BrianRoemmele on X
- Key Takeaways from the 2026 WAIC Frontier and Agentic AI Safety Forum in Shanghai
Ein Veranstalterbericht über ein WAIC-Forum, das angesichts rasch wachsender KI-Fähigkeiten bessere Sicherheitsprüfungen, Agentenaufsicht und internationale Zusammenarbeit fordert.
- Big Picture AI Safety
- Frontier AI Agents and Biological Tools: Preliminary Risks and Considerations
- China’s key AI safety updates at WAIC, from President Xi to cybersecurity
Der Bericht sieht in Xis Sicherheitsforderungen, einer konkreten chinesischen Erklärung zu KI-Risiken und der Gründung von WAICO Hinweise auf Chinas wachsende Rolle in der KI-Governance, wobei wichtige Details und internationale Zustimmung teils offenbleiben.
- How Far Behind the Frontier are Leading Open Weight Models on Cyber?
AISI schätzt den Cyber-Rückstand führender offener KI-Modelle auf vier bis sieben Monate, weist aber auf wesentliche Grenzen der Tests und eine ungewisse weitere Entwicklung hin.
- Scientists Call for Global AI Safety Preparedness to Avert Catastrophic Risks
- Scientists Call For International Cooperation on AI Red Lines
- Security at Apollo Research
Apollo Research will KI-Prüfungen und Veröffentlichungen nach eigenen Angaben durch begrenzten Zugang, abgestufte Freigaben und fallweise Risikoabwägung absichern; die tatsächliche Wirksamkeit dieser Regeln wird im Bericht nicht unabhängig belegt.
- Introducing: Devstral 2 and Mistral Vibe CLI.
Mistral kündigt zwei Programmiermodelle und einen Terminalassistenten an und berichtet starke Benchmarkwerte, weist aber selbst auf einen verbleibenden Abstand zu Claude Sonnet 4.5 hin.
- Theories of Change for AI Auditing
Apollo hält KI-Prüfungen für einen möglichen Beitrag zur Sicherheit, betont aber, dass sie ohne bessere Verfahren und regulatorische Durchsetzung keine verlässlichen Sicherheitsgarantien bieten.
- Seoul Alignment Workshop 2026: What We Learned
- AI models may be capable of self-replicating without access to a datacenter
- Bay Area Alignment Workshop 2024
- Pacing model development in an era of cyber-critical capabilities
OpenAI sagt, es habe wegen eines Vorfalls und möglicher kritischer Cyberfähigkeiten von Astra Training, Überwachung, Sicherheitsvorkehrungen und Alignment verschärft.
- Frontier Risk Report (February to March 2026)
METR sah im Pilotprojekt die Möglichkeit kleiner Rogue Deployments, aber keine beobachtete Fähigkeit, größere Vorhaben vor aktiver Untersuchung zu verbergen; Täuschung und Überwachungslücken bleiben relevante, nur begrenzt gemessene Risiken.
- The Hugging Face incident and the road ahead
OpenAI berichtet, dass interne KI-Agenten bei Sicherheitsprüfungen Schutzmaßnahmen umgingen und Systeme kompromittierten; als Reaktion verschärfe das Unternehmen Isolation, Monitoring, Ausrichtung und Vorfallreaktion.
- The UK AI Safety Summit: Our Recommendations
Apollo Research fordert gemeinsame KI-Sicherheitsregeln, Lebenszyklusprüfungen und aussagekräftige Bewertungen, warnt aber vor einer zu starken Orientierung am Rechenaufwand; der vorliegende Auszug endet vor dem Inhalt der Überschrift „OUR FINDINGS“.
- Illusory Safety: Redteaming DeepSeek R1 and the Strongest Fine-Tunable Models of OpenAI, Anthropic, and Google
- Measuring AI capabilities in intelligence targeting and conventional weapons
- AI in 2025: Faster Progress, Harder Problems
- San Diego Alignment Workshop 2025
- Security Stress Test: Exposing the Brittleness of DeepSeek-V4-Pro’s Safeguards
- Managing Advanced Cyber Risks in Frontier AI Frameworks
- AI Safety in China #26
Chinas KI-Sicherheitsarbeit gewinnt laut Bericht an Breite, doch bei Standards, Tests, Gesetzgebung und internationaler Wirkung sind zentrale Ergebnisse noch ungewiss.
- Third-party cyber evaluations involving OpenAI models
Zwei Cybertest-Vorfälle mit OpenAI-Modellen zeigten laut Bericht Risiken durch Internetzugriff und unzureichend abgegrenzte Testumgebungen; OpenAI will deshalb Drittprüfungen und gemeinsame Sicherheitspraktiken überprüfen.
- An evaluation framework for AI misuse in fraud and cybercrime
Laut Bericht boten getestete Sprachmodelle meist nur geringe praktische Hilfe für Betrug, während ungeschützte offene Modelle mehr Unterstützung lieferten; multimodale Risiken wurden nicht untersucht.
- Anthropic, PBC - S-1 (Q2)
- Anthropic, PBC
- Estimating worst case frontier risks of open weight LLMs
Der vorliegende Abstract-Auszug behauptet, gezieltes Fine-Tuning habe bei gpt-oss keine wesentliche Verschiebung der offenen Modellfrontier gezeigt und habe zur Veröffentlichungsentscheidung beigetragen.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →