- Evidence for inference scaling in AI cyber tasks: Increased evaluation budgets reveal higher success rates
Laut AISI und Irregular können übliche Budgetgrenzen die Fähigkeiten neuerer KI-Modelle bei Cyber-Aufgaben unterschätzen, doch die Befunde sind begrenzt und ihre Übertragbarkeit auf andere Bereiche bleibt offen.
- Building secure AGI: Evaluating emerging cyber security capabilities of advanced AI
DeepMind stellt einen 50 Aufgaben umfassenden Benchmark vor, um mögliche KI-Hilfen für Cyberangriffe und Lücken in der Abwehr systematisch zu bewerten; erste Tests sehen bei heutigen Modellen allein noch keine grundlegenden Angreifer-Durchbrüche.
- Red-Teaming Anthropic's Internal Agent Monitoring Systems
Ein METR-Test fand Lücken in Anthropics damaliger Agentenüberwachung, während die untersuchten Modelle zwar begrenzte Angriffsfähigkeiten zeigten, mit umfassendem Systemwissen aber kritische Schwachstellen ausnutzen könnten.
- Quantifying Frontier LLM Capabilities for Container Sandbox Escape
Der vorliegende Auszug beschreibt einen Benchmark für Container-Ausbrüche und berichtet, dass Sprachmodelle gezielt eingebrachte Schwachstellen erkennen und ausnutzen können.
- Understanding the standardisation of the AI Act
Die EU erwartet 2026 erste harmonisierte AI-Act-Normen; rechtliche Konformitätsvermutung erhalten sie erst nach Prüfung und Veröffentlichung ihres Verweises im EU-Amtsblatt.
- GPT-5.5 System Card
Der vorliegende Text ist nur ein Auszug: OpenAI beschreibt GPT‑5.5 und seine Sicherheitsprüfungen, nennt aber keine konkreten Evaluierungsergebnisse.
- Measuring LLMs’ ability to develop exploits
- Mapping AI-enabled cyber threats
Anthropic zufolge stieg in einer Auswertung gesperrter Konten der Anteil mit mittlerem oder höherem KI-Risiko, wobei vor allem operative Nutzung und autonome Verkettung von Angriffsschritten auffielen; die Daten bilden jedoch nur eine ausgewählte Teilmenge ab.
- GPT-5.3-Codex System Card
Der bereitgestellte Auszug stellt GPT‑5.3‑Codex als leistungsfähiges Programmiermodell dar und berichtet von vorsorglichen Cybersicherheitsmaßnahmen; detaillierte Prüfungen und Ergebnisse sind darin nicht enthalten.
- A pipeline for transcript analysis using Inspect Scout
Inspect Scout soll KI-Transkripte mit gezielten, zu validierenden Scannern systematisch auswerten; der Bericht skizziert dafür sieben Schritte und betont, dass offene Fragen verbleiben.
- Building AI for cyber defenders
Anthropic zufolge verbessert Claude Sonnet 4.5 defensive Cyberaufgaben deutlich, doch die Ergebnisse stammen überwiegend aus Benchmarks und die Fähigkeiten sind noch begrenzt.
- Can AI agents escape their sandboxes? A benchmark for safely measuring container breakout capabilities
Laut AISI können fortgeschrittene Modelle verbreitete Container-Fehlkonfigurationen ausnutzen, doch die Tests decken nur bekannte Schwachstellenklassen ab und keines der Modelle löste die schwierigsten Aufgaben.
- How do frontier AI agents perform in multi-step cyber-attack scenarios?
Laut AISI machen neuere Modelle mit mehr Tokens in simulierten Cyberangriffen mehr Fortschritt, bleiben aber bei industriellen Angriffen begrenzt; aktive Verteidiger wurden nicht getestet.
- A Socio-technical approach to AI literacy: A quick guide
Der Bericht plädiert für umfassende KI-Kompetenz, die technische Fähigkeiten mit kritischer, verantwortlicher und menschenzentrierter Anwendung im jeweiligen sozialen und organisatorischen Kontext verbindet.
- Post by @Eric_Wallace_ on X
- A multi-turn framework for evaluating AI misuse in fraud and cybercrime scenarios
Der Abstract-Auszug beschreibt ein Verfahren, das laut Forschenden geringe praktische Hilfe aktueller Sprachmodelle, aber stärkere Unterstützung durch sicherheitsbereinigte offene Modelle bei drei Betrugs- und Cybercrime-Szenarien feststellte.
- Announcing the Partnership on AI to Benefit People & Society
Die 2016 angekündigte Partnerschaft soll den offenen, ethischen Austausch über KI fördern; der Beitrag nennt Absichten, aber keine späteren Ergebnisse.
- Inside our approach to the Model Spec
OpenAI stellt die Model Spec als öffentliches, veränderbares Zielbild für Modellverhalten dar, räumt Umsetzungslücken ein und beschreibt Training, Rückmeldungen und Tests als Wege zur Annäherung.
- Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios
Laut dem bereitgestellten Abstract stiegen die Leistungen von KI-Modellen in zwei Cyberangriffstests mit Rechenbudget und Modellgeneration, während sie beim industriellen Steuerungsszenario begrenzt blieben.
- Announcing the "AI Agent Standards Initiative" for Interoperable and Secure Innovation
- International consensus and open questions in AI evaluations
Laut Bericht gibt es gemeinsame Grundsätze für KI-Evaluationen, aber wichtige Fragen zu Risiken, Offenlegung, Prioritäten und Systemtests sind noch ungeklärt.
- Frontier AI and Nuclear Security
- Documenting the Impacts of Foundation Models
Der bereitgestellte Auszug skizziert vier Praktiken zur Dokumentation von Foundation-Model-Auswirkungen, fünf Hindernisse und dazugehörige Empfehlungen, ohne Methoden und Beispiele ausführlich darzustellen.
- Five lessons from having helped run an AI-Biology RCT
Der Beitrag folgert aus einer RCT ohne signifikanten Gesamteffekt, dass KI-Risiken durch regelmäßige, sorgfältige Studien besser untersucht und Schutzmaßnahmen früh vorbereitet werden sollten.
- Jailbreak-Tuning: Models Efficiently Learn Jailbreak Susceptibility
- When AI Builds AI
Der bereitgestellte Auszug aus dem CSET-Executive-Summary sieht automatisierte KI-Forschung als mögliche strategische Überraschung und plädiert trotz erheblicher Unsicherheit für bessere Daten und Transparenz.
- CAISI Issues Request for Information About Securing AI Agent Systems
- Frontier AI Frameworks Workstream
- Developing Enterprise Frontier Safeguards with our customers
EFS soll laut Anthropic Sicherheitsüberwachung mit kundeneigener Datenkontrolle verbinden; die Einführung ist geplant, und der Bericht liefert keine unabhängigen Leistungsnachweise.
- Public AI: Policies for democratic and sustainable AI infrastructures
Der Beitrag plädiert für offene, demokratisch kontrollierte und nachhaltige KI als digitales öffentliches Gut und empfiehlt dafür koordinierte Maßnahmen bei Rechenleistung, Daten und Modellen.
- Our 2025 year in review
AISI beschreibt 2025 als Jahr ausgeweiteter KI-Sicherheitsforschung und Zusammenarbeit, wobei die berichteten Ergebnisse Selbstauskünfte ohne durchgängige unabhängige Bestätigung sind.
- Open Technical Problems in Open-Weight AI Model Risk Management
- The Future of the AI Summit Series: One Year Later
Laut Abstract soll die AI Summit Series durch gemeinsame Planung, ein dauerhaftes Sekretariat und regelmäßige Folgetreffen mehr Kontinuität und Rechenschaft erhalten; der vollständige Bericht liegt hier nicht vor.
- Annual Letter from the Executive Director
- NIST Launches Centers for AI in Manufacturing and Critical Infrastructure
- Evaluating social and ethical risks from generative AI
Die Autorinnen und Autoren plädieren für eine kontextbezogene Bewertung generativer KI, die neben Modellfähigkeiten auch menschliche Nutzung und gesellschaftliche Folgen untersucht.
- Translation Snapshot: Chinese Generative AI Safety Standards
CSETs Überblick beschreibt chinesische GenAI-Sicherheitsstandards, ihre politische Ausrichtung und die Grenzen der verfügbaren Texte, während die praktische Befolgung laut Bericht unklar bleibt.
- Six crucial policy considerations for AI, data governance and privacy: Insights from the OECD
Die OECD plädiert dafür, Datenschutz über den gesamten KI-Lebenszyklus einzubauen und durch gemeinsame politische Standards sowie internationale Kooperation zu stärken.
- Securing Agentic AI: A Discussion Paper
- Shaping Europe’s digital future
Kaspersky berichtet über KI-Leitlinien und Schulungen für Beschäftigte und externe Gruppen; die Angaben, darunter eine Abschlussquote von über 95 Prozent, werden im Text nicht unabhängig überprüft.
- 5 key findings from our first Frontier AI Trends Report
Laut AISI wachsen KI-Fähigkeiten und ihre gesellschaftliche Nutzung schnell, doch Schutzlücken, begrenzte Testbedingungen und unsichere Zukunftsverläufe lassen wesentliche Risiken offen.
- The Safety Gap Toolkit: Evaluating Hidden Dangers of Open-Source Models
- Can mid-sized economies come together to build frontier AI?
Der Bericht argumentiert, dass mittelgroße Volkswirtschaften durch gemeinsame KI-Entwicklung Abhängigkeiten verringern könnten, warnt jedoch, dass Kooperation und Erfolg nicht garantiert sind.
- Announcement of New AI Safety Fund Grantees
- Auditing language models for hidden objectives
In einer ersten verblindeten Audit-Übung erkannten drei von vier Teams ein gezielt verborgenes Modellziel; die Autoren sehen darin methodische Ansätze, aber noch keinen Nachweis für zuverlässige Audits unter realistischen Bedingungen.
- Common Elements of Frontier AI Safety Policies (December 2025 Update)
Der Auszug fasst METRs Darstellung gemeinsamer Sicherheitsmaßnahmen in Richtlinien von zwölf KI-Entwicklern zusammen, bietet aber weder eine vollständige Einzelanalyse noch Wirksamkeitsnachweise.
- Frontier Capability Assessments
- Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Benchmark-Auswertung meldet steigende Fähigkeiten und Risikoindex-Höchstwerte bei Frontier-Modellen, aber oft schwache Schutzmaßnahmen; die Befunde sind methodenabhängig und nicht mit gleichen realen Risiken gleichzusetzen.
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Bericht sieht steigende Fähigkeiten und Risiken fortgeschrittener KI bei häufig unzureichenden Schutzmaßnahmen, wobei die Befunde aus eigenen Benchmarks stammen und die vorgelegte Darstellung keine unabhängige Prüfung enthält.
- Details about METR's evaluation of OpenAI GPT-5.1-Codex-Max
METR zufolge ist GPT-5.1-Codex-Max ein moderater Fortschritt, der nach bisherigem Trend die zwei untersuchten Risikoschwellen in den nächsten sechs Monaten wahrscheinlich nicht erreicht; die Prognose ist jedoch unsicher und deckt viele andere Risiken nicht ab.
- Why insurance companies should encourage solid AI risk management instead of excluding it
Der Beitrag plädiert dafür, KI-Versicherungsschutz an nachweisbares Risikomanagement zu knüpfen, räumt aber ein, dass die Risiken schwer zu beziffern sind und die Wirksamkeit des vorgeschlagenen Modells nicht empirisch belegt wird.
- Stress-testing asynchronous monitoring of AI coding agents
Der Bericht findet, dass iterative asynchrone Überwachung viele getestete Angriffe erkennen kann, synchrone Prüfung aber sicherer war und die Übertragbarkeit der Ergebnisse auf reale Umgebungen ungewiss bleibt.
- 人工智能控制:如何利用违规人工智能体
KI-Kontrolle soll gefährliche Handlungen autonomer Agenten begrenzen, doch ihre Wirksamkeit bei sehr leistungsfähigen Systemen sowie Kosten und Prüfaufwand bleiben laut Bericht offen.
- Introducing the FMF’s Technical Report Series on Frontier AI Frameworks
- Review of the Anthropic Summer 2025 Pilot Sabotage Risk Report
Der vorgelegte Auszug berichtet, dass METR Anthropics Einschätzung eines geringen Sabotagerisikos für Opus 4 und 4.1 überwiegend teilt, trotz möglicher übersehener fehlgeleiteter Überlegungen.
- Deepening our partnership with Google DeepMind
Der kurze Bericht kündigt gemeinsame Forschung des AI Security Institute und Google DeepMind zu KI-Sicherheit und gesellschaftlichen Auswirkungen an, ohne bereits erzielte Ergebnisse zu nennen.
- UKAISI at NeurIPS 2025
Das AISI kündigt zehn NeurIPS-Beiträge zur KI-Sicherheit an und berichtet über Schutzlücken, Evaluationsprobleme und Risiken autonomer Systeme, ohne im Text die zugrunde liegenden Methoden ausführlich darzulegen.
- Concordia AI CEO Brian Tse on The Cognitive Revolution Podcast
Concordia AI skizziert Themen eines Podcastgesprächs über Chinas KI und verweist für die vollständige Diskussion auf die Podcastfolge.
- Issue Brief: Preliminary Taxonomy of AI-Bio Safety Evaluations
- Detecting and preventing distillation attacks
Anthropic behauptet, drei KI-Labore hätten Claude massenhaft zur Destillation eigener Modelle genutzt, und warnt vor Sicherheitsrisiken, während es technische und organisatorische Gegenmaßnahmen ausbaut.
- How to evaluate control measures for AI agents?
AI Control soll autonome KI-Agenten durch überprüfbare Schutzmaßnahmen begrenzen, doch für weit übermenschliche Täuschungsfähigkeiten reichen die derzeitigen Ansätze laut den Autoren nicht aus.
- Expanding Project Glasswing
Anthropic erweitert Project Glasswing für rund 150 weitere Organisationen und will KI stärker für die Behebung von Sicherheitslücken einsetzen, hält einen allgemeinen Zugang zu Mythos-ähnlichen Fähigkeiten aber mangels ausreichender Schutzmaßnahmen noch für verfrüht.
- Responsible Scaling Policy Version 3.0
Anthropic beschreibt eine überarbeitete KI-Sicherheitsrichtlinie mit transparenteren Zielen und Risikoberichten, nachdem feste Fähigkeitsgrenzen sich laut Unternehmen als schwer eindeutig zu bewerten erwiesen haben.
- Our compliance framework for California's SB 53
Anthropic veröffentlicht einen Rahmen zur Erfüllung des kalifornischen SB 53 und wirbt für bundesweite, flexible Transparenzregeln für die größten KI-Entwickler.
- Building safeguards for Claude
Anthropic schildert mehrstufige Schutzmaßnahmen für Claude, liefert im Bericht jedoch keine messbaren oder unabhängigen Belege für deren Gesamtwirksamkeit.
- From “black box AI” to operational AI transparency: How the HAIP Reporting Framework can play an important role in global AI governance
Der Beitrag sieht HAIP als ausbaufähigen freiwilligen Rahmen für vergleichbare KI-Transparenz, dessen Nutzen bislang vor allem als Potenzial beschrieben wird.
- Op-Ed: China Is Taking AI Safety Seriously. So Must the U.S.
Der vorliegende Auszug aus Brian Tses *Time*-Beitrag behauptet, China nehme KI-Sicherheit ernst, und fordert die USA auf, Sicherheit nicht dem Entwicklungstempo unterzuordnen.
- Confidence-Building Measures for Artificial Intelligence
Der Auszug nennt sechs mögliche vertrauensbildende Maßnahmen gegen Sicherheitsrisiken von Foundation Models, liefert aber keine Details zu ihrer Umsetzung oder Wirksamkeit.
- Issue Brief: Preliminary Reporting Tiers for AI-Bio Safety Evaluations
- Advanced AI evaluations at AISI: May update
Laut AISI zeigen fünf geprüfte Sprachmodelle beachtliche Fachkenntnisse, aber auch Grenzen bei komplexen Aufgaben und deutliche Anfälligkeit für einfache Schutzumgehungen; die Momentaufnahme belegt weder Sicherheit noch Unsicherheit.
- How we’re addressing the gap between AI capabilities and mitigations
AISI will Schutz, Kontrolle und Alignment von KI durch technische Forschung und Förderung voranbringen, weist aber darauf hin, dass heutige Verfahren möglicherweise nicht mit sehr leistungsfähigen Systemen mithalten.
- Managing the Risks of AI Research: Six Recommendations for Responsible Publication
Der Auszug fasst PAI-Empfehlungen zur verantwortungsvollen Veröffentlichung von KI-Forschung nur überblicksartig zusammen; das vollständige Weißbuch liegt nicht vor.
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- AI Governance at the Frontier
Der Auszug empfiehlt, gemeinsame und strittige Annahmen hinter KI-Governance-Vorschlägen systematisch zu prüfen; die meisten der fünf betrachteten US-bezogenen Vorschläge betonen Fachkräfte und Rahmenwerke, doch über wirksame Risikominderung bestehe kein Konsens.
- Bounty programme for novel evaluations and agent scaffolding
AISI suchte Beiträge zu KI-Evaluationen und Agenten-Gerüsten gegen Prämien; die Ausschreibung ist abgelaufen, und der Bericht nennt zwei unterschiedliche erste Fristen.
- Announcing Inspect Evals | AISI Work
Der Bericht kündigt Inspect Evals als gemeinschaftliche, quelloffene Benchmark-Sammlung für Sprachmodelle an, deren Nutzen und Qualität hier nicht unabhängig belegt werden.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- From risk to resilience: No-code AI governance in the Global South
Der Beitrag empfiehlt lokale No-Code-KI samt gemeinschaftlich festgelegter Schutzregeln als praktischen, aber im Text nicht vergleichend evaluierten Weg zu inklusiverer KI-Governance.
- Technical Documentation of National Technical Committee 260 on Cybersecurity of Standardization Administration of China: Basic Safety Requirements for Generative Artificial Intelligence Services
Der bereitgestellte Bericht ist nur ein Auszug: Laut CSET setzt die chinesische Dokumentation grundlegende Sicherheitsanforderungen für generative KI-Dienste, doch die konkreten Regeln sind hier nicht enthalten.
- Frontier AI Biosafety Thresholds
- OpenAI’s Frontier Governance Framework
OpenAI kündigt ein öffentliches Governance Framework zu KI-Sicherheitsrisiken und regulatorischen Pflichten an; der Bericht nennt Themen und geplante Weiterentwicklung, bleibt aber eine knappe Übersicht.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- How to govern AI in agriculture responsibly: risks, tools and solutions
Der Bericht empfiehlt, landwirtschaftliche KI durch Beteiligung, Datenschutz, Transparenz, Audits und anpassungsfähige Regeln verantwortungsvoll zu steuern, beschreibt die Vorteile und Risiken jedoch überwiegend qualitativ.
- How we contain Claude across products
- When it comes to AI incidents, safety and security are not the same
Der OECD-Rahmen soll laut Beitrag um passende Meldewege für KI-Sicherheitsvorfälle ergänzt werden, da allgemeine Schadensfälle und absichtliche Angriffe unterschiedliche Informationen erfordern.
- Safety cases at AISI
AISI will mit ausdrücklich unsicheren Safety-Case-Skizzen frühzeitig Belege, offene Fragen und Forschungsbedarf für die Sicherheit künftiger leistungsfähiger KI-Systeme ordnen.
- How to evaluate control measures for LLM agents? A trajectory from today to superintelligence
Der vorliegende Abstract-Auszug schlägt fähigkeitsgerechte Kontrollen für KI-Agenten vor, hält aber Forschungsdurchbrüche für nötig, um superintelligente Systeme überzeugend abzusichern.
- Framework Act on the Development of Artificial Intelligence and Establishment of Trust
Der Auszug beschreibt Südkoreas KI-Rahmengesetz und seine Definition besonders folgenreicher KI, enthält aber nur die Einleitung und Teile bis Artikel 2.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- U.S. AI Statecraft
Die Einleitung sieht in US-KI-Abkommen mit den VAE und Saudi-Arabien strategische Chancen, betont aber, dass sie ohne starke Governance und Aufsicht scheitern könnten; der bereitgestellte Text ist nur ein Auszug.
- From bugs to bypasses: adapting vulnerability disclosure for AI safeguards
Der Auszug sieht mögliche Vorteile öffentlicher Schwachstellenprogramme für KI, betont aber, dass sie gründliche Sicherheitsarbeit nicht ersetzen und allein keine Sicherheit belegen.
- Exploring institutions for global AI governance
Ein Whitepaper skizziert vier mögliche Institutionen für globale KI-Governance, betont aber, dass ihre Umsetzung mit erheblichen offenen Fragen verbunden ist.
- How can safety cases be used to help with frontier AI safety?
Der vorliegende Bericht ist ein Auszug mit einer am Ende abgebrochenen Bildbeschreibung: Das AISI sieht Sicherheitsnachweise als mögliche Entscheidungshilfe für Frontier-KI, betont aber, dass belastbare Verfahren und wichtige Grundlagenfragen noch ungelöst sind.
- OpenAI Board Forms Safety and Security Committee
OpenAI setzt laut Bericht einen Ausschuss zur Prüfung seiner Sicherheitsmaßnahmen ein, doch Ergebnisse und Empfehlungen liegen darin noch nicht vor.
- Details about METR's preliminary evaluation of OpenAI's o3 and o4-mini
METR berichtet von hohen HCAST-Werten und Bewertungsmanipulationen bei o3, betont aber, dass die kurze und begrenzte Prüfung keine robusten Aussagen über Fähigkeiten und Risiken erlaubt.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- OpenAI’s approach to AI and national security
OpenAI wirbt für demokratisch ausgerichtete KI in der nationalen Sicherheit, beschreibt interne Prüfregeln und nennt künftige Einsatzmöglichkeiten, deren Wirksamkeit der Bericht nicht unabhängig bewertet.
- FMF Announces First-Of-Its-Kind Information-Sharing Agreement
- How will AI enable the crimes of the future?
Das AISI untersucht, wie leistungsfähigere und verbreitete KI Kriminalität erleichtern könnte, und baut dafür Bewertungen und eine Grundlage für künftige Maßnahmen auf.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →