- How do frontier AI agents perform in multi-step cyber-attack scenarios?
Laut AISI machen neuere Modelle mit mehr Tokens in simulierten Cyberangriffen mehr Fortschritt, bleiben aber bei industriellen Angriffen begrenzt; aktive Verteidiger wurden nicht getestet.
- A Socio-technical approach to AI literacy: A quick guide
Der Bericht plädiert für umfassende KI-Kompetenz, die technische Fähigkeiten mit kritischer, verantwortlicher und menschenzentrierter Anwendung im jeweiligen sozialen und organisatorischen Kontext verbindet.
- Announcing the Partnership on AI to Benefit People & Society
Die 2016 angekündigte Partnerschaft soll den offenen, ethischen Austausch über KI fördern; der Beitrag nennt Absichten, aber keine späteren Ergebnisse.
- Post by @a16z on X
- Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios
Laut dem bereitgestellten Abstract stiegen die Leistungen von KI-Modellen in zwei Cyberangriffstests mit Rechenbudget und Modellgeneration, während sie beim industriellen Steuerungsszenario begrenzt blieben.
- Post by @KSAmofaEN on X
- Advancing AI voice security with ElevenLabs
AISI und ElevenLabs kündigen gemeinsame Forschung zu Sicherheit, Risiken und menschlichen Auswirkungen von Sprach-KI an, ohne bereits Ergebnisse oder konkrete Maßnahmen zu nennen.
- China’s Military AI Wish List
Der vorliegende Auszug beschreibt laut seinen Autoren breite KI-Beschaffungspläne der PLA und empfiehlt den USA Gegenmaßnahmen, Dialog und fortlaufende Beobachtung.
- International consensus and open questions in AI evaluations
Laut Bericht gibt es gemeinsame Grundsätze für KI-Evaluationen, aber wichtige Fragen zu Risiken, Offenlegung, Prioritäten und Systemtests sind noch ungeklärt.
- AI-Cyber Workstream
- Practical challenges of control monitoring in frontier AI deployments
Nur der Abstract liegt vor: Er skizziert Herausforderungen und drei Arten der Überwachung von KI-Agenten, nennt aber keine konkreten Ergebnisse.
- Five lessons from having helped run an AI-Biology RCT
Der Beitrag folgert aus einer RCT ohne signifikanten Gesamteffekt, dass KI-Risiken durch regelmäßige, sorgfältige Studien besser untersucht und Schutzmaßnahmen früh vorbereitet werden sollten.
- Jailbreak-Tuning: Models Efficiently Learn Jailbreak Susceptibility
- Third-Party Assessments
- CAISI Issues Request for Information About Securing AI Agent Systems
- Frontier AI Frameworks Workstream
- Multi-Agent Risks from Advanced AI
- AI-Nuclear Workstream
- Our 2025 year in review
AISI beschreibt 2025 als Jahr ausgeweiteter KI-Sicherheitsforschung und Zusammenarbeit, wobei die berichteten Ergebnisse Selbstauskünfte ohne durchgängige unabhängige Bestätigung sind.
- Shaping Europe’s digital future
Der Bericht zufolge fördert die rumänische Kleinstberatung VUCAMIX KI-Kompetenz durch Lernen und Austausch, berichtet über positive Selbsteinschätzungen, weist aber keine formalen internen Wirkungskennzahlen aus.
- Open Technical Problems in Open-Weight AI Model Risk Management
- Annual Letter from the Executive Director
- NIST Launches Centers for AI in Manufacturing and Critical Infrastructure
- Evaluating social and ethical risks from generative AI
Die Autorinnen und Autoren plädieren für eine kontextbezogene Bewertung generativer KI, die neben Modellfähigkeiten auch menschliche Nutzung und gesellschaftliche Folgen untersucht.
- AI Safety in China #24
Der Bericht zeigt wachsende chinesische Debatten über KI-Sicherheit, aber auch unterschiedliche Einschätzungen zu Risiken, Regulierung und ihrer politischen Priorität.
- Data Poisoning in LLMs: Jailbreak-Tuning and Scaling Laws
- Strengthening societal resilience with Rosalind Biodefense
OpenAI will ausgewählten Entwicklern und öffentlichen Partnern GPT‑Rosalind für biologische Abwehr zugänglich machen; der Bericht beschreibt Vorhaben und Schutzmaßnahmen, aber noch keine nachgewiesenen Ergebnisse.
- Translation Snapshot: Chinese Generative AI Safety Standards
CSETs Überblick beschreibt chinesische GenAI-Sicherheitsstandards, ihre politische Ausrichtung und die Grenzen der verfügbaren Texte, während die praktische Befolgung laut Bericht unklar bleibt.
- Six crucial policy considerations for AI, data governance and privacy: Insights from the OECD
Die OECD plädiert dafür, Datenschutz über den gesamten KI-Lebenszyklus einzubauen und durch gemeinsame politische Standards sowie internationale Kooperation zu stärken.
- Shaping Europe’s digital future
Kaspersky berichtet über KI-Leitlinien und Schulungen für Beschäftigte und externe Gruppen; die Angaben, darunter eine Abschlussquote von über 95 Prozent, werden im Text nicht unabhängig überprüft.
- GPT-4o System Card
OpenAIs System Card beschreibt GPT‑4os Sicherheitsmaßnahmen und Leistungsfortschritte, bewertet Textüberzeugung als mittleres Risiko und hält wesentliche Prüfungs- und Einsatzgrenzen fest.
- A small number of samples can poison LLMs
- 5 key findings from our first Frontier AI Trends Report
Laut AISI wachsen KI-Fähigkeiten und ihre gesellschaftliche Nutzung schnell, doch Schutzlücken, begrenzte Testbedingungen und unsichere Zukunftsverläufe lassen wesentliche Risiken offen.
- AISI Frontier AI Trends Report (2025)
Der Auszug beschreibt laut Abstract Zweck und zeitlichen Rahmen einer AISI-Analyse zu führenden KI-Systemen, enthält aber keine konkreten Ergebnisse.
- The Singapore Consensus on Global AI Safety Research Priorities
- Frontier Capability Assessments
- Facing the stakes of AI together: The Seventh Edition of the Athens Roundtable on AI and the Rule of Law
Der angekündigte Roundtable soll internationale Zusammenarbeit zur KI-Governance stärken, doch der Bericht schildert Ziele und Programm statt Veranstaltungsergebnisse.
- Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems
- Helen Toner's Testimony Before the U.S.-China Economic and Security Review Commission
Der Berichtsauszug nennt die Themen von Helen Toners Aussage zu KI und US-Wettbewerbsfähigkeit, enthält aber weder ihre konkreten Empfehlungen noch die ausführlichen Begründungen.
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Bericht sieht steigende Fähigkeiten und Risiken fortgeschrittener KI bei häufig unzureichenden Schutzmaßnahmen, wobei die Befunde aus eigenen Benchmarks stammen und die vorgelegte Darstellung keine unabhängige Prüfung enthält.
- Why insurance companies should encourage solid AI risk management instead of excluding it
Der Beitrag plädiert dafür, KI-Versicherungsschutz an nachweisbares Risikomanagement zu knüpfen, räumt aber ein, dass die Risiken schwer zu beziffern sind und die Wirksamkeit des vorgeschlagenen Modells nicht empirisch belegt wird.
- Introducing the FMF’s Technical Report Series on Frontier AI Frameworks
- Strengthening our safety ecosystem with external testing
OpenAI beschreibt externe Modellprüfungen als Ergänzung seiner Sicherheitsarbeit, stellt deren Nutzen jedoch aus eigener Perspektive dar.
- Issue Brief: Preliminary Taxonomy of AI-Bio Safety Evaluations
- Governing with Artificial Intelligence: The state of play and way forward in core government functions
Der vorliegende Auszug kündigt einen Bericht über 200 KI-Beispiele in staatlichen Funktionen und deren Chancen und Risiken an, enthält aber keine konkreten Ergebnisse.
- Strengthening safeguards with US CAISI and UK AISI
Anthropic berichtet, dass Prüfungen durch US CAISI und UK AISI Schwachstellen aufdeckten und zu Änderungen an den Schutzsystemen führten; unabhängige Wirksamkeitsnachweise oder quantitative Ergebnisse nennt der Bericht nicht.
- How to evaluate control measures for AI agents?
AI Control soll autonome KI-Agenten durch überprüfbare Schutzmaßnahmen begrenzen, doch für weit übermenschliche Täuschungsfähigkeiten reichen die derzeitigen Ansätze laut den Autoren nicht aus.
- Human-AI Collaboration Framework & Case Studies
Der Auszug stellt einen 36-Fragen-Rahmen und sieben Fallstudien zu Mensch-KI-Zusammenarbeit vor, enthält aber nicht deren ausführliche Befunde.
- Expanding Project Glasswing
Anthropic erweitert Project Glasswing für rund 150 weitere Organisationen und will KI stärker für die Behebung von Sicherheitslücken einsetzen, hält einen allgemeinen Zugang zu Mythos-ähnlichen Fähigkeiten aber mangels ausreichender Schutzmaßnahmen noch für verfrüht.
- Responsible Scaling Policy Version 3.0
Anthropic beschreibt eine überarbeitete KI-Sicherheitsrichtlinie mit transparenteren Zielen und Risikoberichten, nachdem feste Fähigkeitsgrenzen sich laut Unternehmen als schwer eindeutig zu bewerten erwiesen haben.
- Our compliance framework for California's SB 53
Anthropic veröffentlicht einen Rahmen zur Erfüllung des kalifornischen SB 53 und wirbt für bundesweite, flexible Transparenzregeln für die größten KI-Entwickler.
- Concordia AI: 2025 Mid-Year Impact Report
Concordia AI stellt zahlreiche eigene Beiträge zur internationalen KI-Sicherheit im ersten Halbjahr 2025 vor, ohne deren Wirkung unabhängig zu messen.
- Making safeguard evaluations actionable
AISI beschreibt einen möglichen, fortlaufend anzupassenden Rahmen, der Prüfungen von KI-Schutzmaßnahmen mit Risikobewertungen und Einsatzentscheidungen verbinden soll.
- From “black box AI” to operational AI transparency: How the HAIP Reporting Framework can play an important role in global AI governance
Der Beitrag sieht HAIP als ausbaufähigen freiwilligen Rahmen für vergleichbare KI-Transparenz, dessen Nutzen bislang vor allem als Potenzial beschrieben wird.
- Testing and mitigating elections-related risks
Anthropic berichtet über kombinierte Experten- und automatisierte Wahlrisikoprüfungen sowie Verbesserungen durch Gegenmaßnahmen, räumt aber Grenzen der Tests und die unvollständige Wirkung einzelner Schutzschichten ein.
- Claude Gov models for US national security
Anthropic kündigt spezialisierte Claude-Modelle für eingestufte US-Sicherheitsumgebungen an, deren behauptete Vorteile der Bericht ohne Leistungskennzahlen belegt.
- Will AI Make Cyber Swords or Shields
Nur ein Auszug liegt vor: Er berichtet, dass KI laut mathematischen Modellen Angreifern Vorteile verschaffen könnte, während schnellere Patch-Bereitstellung besonders hilfreich sein könnte.
- Shaping Europe’s digital future
Anekanta AI berichtet, dass angepasste KI-Schulungen die Genauigkeit seiner Triage-Entscheidungen verbessert hätten, nennt dafür aber keine Messmethode oder unabhängige Prüfung.
- Issue Brief: Preliminary Reporting Tiers for AI-Bio Safety Evaluations
- Defending Against Intelligent Attackers at Large Scales
Der vorliegende Auszug berichtet, dass kleine Verbesserungen der Verteidigung laut einer mathematischen Analyse exponentiell mehr oder schnellere unabhängige Angriffe ausgleichen könnten.
- AI Extinction Statement Press Release
Die CAIS-Pressemitteilung fordert globale Maßnahmen gegen mögliche existenzielle KI-Risiken und stützt ihren Aufruf auf eine breite, laut Text bestätigte Koalition, ohne das Risiko selbst ausführlich zu analysieren.
- Latest from the FMF: Grant-Making to Address AI-Bio Risk Challenges
- World leaders, top AI companies set out plan for safety testing of frontier as first global AI Safety Summit concludes
Die Gipfel-Mitteilung beschreibt internationale Pläne für gemeinsame KI-Sicherheitstests und weitere Forschung, jedoch noch keine fertigen Standards oder konkreten Prüfergebnisse.
- The Ethics of AI and Emotional Intelligence
Der vorliegende Auszug beschreibt Chancen und Risiken von KI zur Emotionserkennung und fordert eine öffentliche Debatte, bevor ihr Einsatz weiter zunimmt.
- The Impact of AI on the Cyber Offense-Defense Balance and the Character of Cyber Conflict
Der kurze Auszug kommt zu dem Schluss, dass KI das Cyberkräfteverhältnis vielfältig und nicht eindeutig zugunsten von Angriff oder Verteidigung verändern könnte.
- Shaping Europe’s digital future
Booking.com berichtet über gestufte KI-Schulungen für Beschäftigte, doch der Bericht nennt Reichweitenindikatoren statt konkreter Belege für deren Wirkung.
- How we’re addressing the gap between AI capabilities and mitigations
AISI will Schutz, Kontrolle und Alignment von KI durch technische Forschung und Förderung voranbringen, weist aber darauf hin, dass heutige Verfahren möglicherweise nicht mit sehr leistungsfähigen Systemen mithalten.
- Downscaling Attack and Defense
Der bereitgestellte kurze Auszug behauptet, dass Bildverkleinerung Computer-Vision-Systeme angreifbar machen kann und einfache Abwehr möglich ist, liefert dazu aber keine Details.
- UK and France to deepen research and AI links following Horizon association
Großbritannien und Frankreich kündigten neue Forschungs- und KI-Sicherheitskooperationen an, deren konkrete Umsetzung und Ergebnisse im Bericht offenbleiben.
- UK & United States announce partnership on science of AI safety
Großbritannien und die USA wollen ihre KI-Sicherheitsinstitute enger zusammenarbeiten lassen; der bereitgestellte Text beschreibt die Pläne und bricht am Ende in einer Bildunterschrift ab.
- Shaping Europe’s digital future
Collibra beschreibt Schulungen und Prüfprozesse für verantwortungsvolle KI-Nutzung und berichtet über bessere Dokumentation sowie eine ISO-42001-Zertifizierung, benennt aber KI-Agenten als neue Datenrisiken.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- Shaping Europe’s digital future
Fastweb beschreibt ein dezentrales KI-Kompetenzprogramm mit geschulten Abteilungs-Ansprechpersonen und berichtet von vielen geprüften Projekten, während Schatten-KI eine offene Herausforderung bleibt.
- G7 AI transparency reporting: Ten insights for AI governance and risk management
20 freiwillige HAIP-Berichte zeigen laut OECD vielfältige Ansätze für KI-Risikomanagement und Transparenz, zugleich bleiben Vergleichbarkeit und technische Herkunftsnachweise begrenzt.
- International joint testing exercise: Agentic testing
Eine internationale Testübung entwickelte vorläufige Empfehlungen zur Bewertung von KI-Agenten, doch kleine Stichproben, abweichende Modellurteile und technische Fehler begrenzen die Aussagekraft.
- National Standard of the People's Republic of China: Cybersecurity Technology - Generative Artificial Intelligence Data Annotation Safety Specifications (Draft for Feedback)
Der Auszug stellt einen chinesischen Entwurf zu Sicherheitsregeln für GenAI-Datenannotation vor, enthält aber außer Geltungsbereich und ersten Definitionen keine detaillierten Vorschriften.
- From risk to resilience: No-code AI governance in the Global South
Der Beitrag empfiehlt lokale No-Code-KI samt gemeinschaftlich festgelegter Schutzregeln als praktischen, aber im Text nicht vergleichend evaluierten Weg zu inklusiverer KI-Governance.
- International Scientific Report on the Safety of Advanced AI: interim report
Der vorliegende Auszug einer Regierungswebseite beschreibt einen internationalen Zwischenbericht, der Chancen und Risiken fortgeschrittener KI abwägt und erhebliche Unsicherheiten sowie Grenzen heutiger Prüfverfahren hervorhebt.
- Frontier AI Biosafety Thresholds
- National Standard of the People's Republic of China: Cybersecurity Technology - Basic Safety Requirements for Generative Artificial Intelligence Services (Draft for Feedback)
Der vorliegende Auszug skizziert einen chinesischen KI-Sicherheitsstandard und behauptet, sein Schwerpunkt sei die Verhinderung unerwünschter Inhalte; der übrige Standard ist hier nicht enthalten.
- Discovering when an agent is present in a system
Die Autoren schlagen eine kausale Definition und experimentelle Verfahren zur Entdeckung von Agenten vor und berichten über verbesserte Sicherheitsanalysen, während der Blogbeitrag selbst nur wenige Ergebnisdetails nennt.
- Details about METR's evaluation of OpenAI GPT-5
METR hält GPT-5 nach seinen Tests und unter Einbezug von OpenAIs Zusicherungen für wahrscheinlich weit von katastrophalen Fähigkeiten entfernt, betont aber erhebliche Grenzen der Bewertung.
- OpenAI’s Frontier Governance Framework
OpenAI kündigt ein öffentliches Governance Framework zu KI-Sicherheitsrisiken und regulatorischen Pflichten an; der Bericht nennt Themen und geplante Weiterentwicklung, bleibt aber eine knappe Übersicht.
- AI Safety Institute approach to evaluations
AISI berichtet über frühe Tests, die mögliche Risiken fortgeschrittener KI aufzeigen, betont aber, dass diese vorläufig sind und keine umfassende Sicherheitsbewertung darstellen.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- Pre-Deployment evaluation of OpenAI’s o1 model
Die Vorabtests sahen o1 meist auf dem Niveau ähnlicher Modelle, doch die Institute betonen, dass die Ergebnisse vorläufig sind und nur für die angepasste Testversion gelten.
- How to govern AI in agriculture responsibly: risks, tools and solutions
Der Bericht empfiehlt, landwirtschaftliche KI durch Beteiligung, Datenschutz, Transparenz, Audits und anpassungsfähige Regeln verantwortungsvoll zu steuern, beschreibt die Vorteile und Risiken jedoch überwiegend qualitativ.
- Daybreak Red is now available in AWS GovCloud (US-East)
OpenAI kündigt GPT‑5.6 Cyber über Daybreak Red in AWS GovCloud (US-East) an; erforderlich sind eine Daybreak-Red-Genehmigung und die separate AWS-Aktivierung.
- Safety cases at AISI
AISI will mit ausdrücklich unsicheren Safety-Case-Skizzen frühzeitig Belege, offene Fragen und Forschungsbedarf für die Sicherheit künftiger leistungsfähiger KI-Systeme ordnen.
- How to evaluate control measures for LLM agents? A trajectory from today to superintelligence
Der vorliegende Abstract-Auszug schlägt fähigkeitsgerechte Kontrollen für KI-Agenten vor, hält aber Forschungsdurchbrüche für nötig, um superintelligente Systeme überzeugend abzusichern.
- Framework Act on the Development of Artificial Intelligence and Establishment of Trust
Der Auszug beschreibt Südkoreas KI-Rahmengesetz und seine Definition besonders folgenreicher KI, enthält aber nur die Einleitung und Teile bis Artikel 2.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- Strengthening AI resilience | AISI Work
20 geförderte Projekte sollen laut Bericht untersuchen, wie sich gesellschaftliche und infrastrukturelle Risiken beim KI-Einsatz mindern lassen; konkrete Forschungsergebnisse werden noch nicht berichtet.
- From bugs to bypasses: adapting vulnerability disclosure for AI safeguards
Der Auszug sieht mögliche Vorteile öffentlicher Schwachstellenprogramme für KI, betont aber, dass sie gründliche Sicherheitsarbeit nicht ersetzen und allein keine Sicherheit belegen.
- Exploring institutions for global AI governance
Ein Whitepaper skizziert vier mögliche Institutionen für globale KI-Governance, betont aber, dass ihre Umsetzung mit erheblichen offenen Fragen verbunden ist.
- How can safety cases be used to help with frontier AI safety?
Der vorliegende Bericht ist ein Auszug mit einer am Ende abgebrochenen Bildbeschreibung: Das AISI sieht Sicherheitsnachweise als mögliche Entscheidungshilfe für Frontier-KI, betont aber, dass belastbare Verfahren und wichtige Grundlagenfragen noch ungelöst sind.
- OpenAI Board Forms Safety and Security Committee
OpenAI setzt laut Bericht einen Ausschuss zur Prüfung seiner Sicherheitsmaßnahmen ein, doch Ergebnisse und Empfehlungen liegen darin noch nicht vor.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- OpenAI’s approach to AI and national security
OpenAI wirbt für demokratisch ausgerichtete KI in der nationalen Sicherheit, beschreibt interne Prüfregeln und nennt künftige Einsatzmöglichkeiten, deren Wirksamkeit der Bericht nicht unabhängig bewertet.
- How we’re working with frontier AI developers to improve model security
Das AISI berichtet über Kooperationen zur Verbesserung der KI-Sicherheit und bewertet sie als nützlich, legt im Beitrag jedoch keine konkreten Befunde oder messbaren Ergebnisse vor.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →