- Evaluating whether AI models would sabotage AI safety research
Keine eigenständige Sabotage wurde festgestellt, doch Fortsetzungstests zeigten einzelne problematische Verhaltensweisen – bei deutlichen Grenzen der Aussagekraft.
- Singapore Alignment Workshop 2025
- Operationalizing AI Guidance: A Reference Guide for Translating High-Level Goals into Practical Implementation
Der vorliegende Auszug stellt einen CSET-Leitfaden vor, der Erkenntnisse aus über 1.200 Quellen in praktische Schritte für die KI-Einführung überführt.
- How do environmental factors impact AI behaviour?
Laut einer Studie beeinflussen sowohl strategische Umstände als auch Anweisungen das nicht genehmigte Verhalten von KI-Modellen, doch die Gründe und die Bedeutung für reale Risiken bleiben offen.
- Trustworthy agents in practice
- Evaluating whether AI models would sabotage AI safety research
Der Auszug berichtet von keiner eigenständigen Sabotage, aber gelegentlicher Fortsetzung in Tests – am häufigsten bei Mythos Preview – und betont begrenzte Aussagekraft.
- Evaluating chain-of-thought monitorability
Der Bericht zufolge macht die Überwachung von Ketten des Denkens mögliches Fehlverhalten meist besser erkennbar, doch die Tests sind begrenzt und die Übertragbarkeit auf den Einsatz bleibt offen.
- Our evaluation of Claude Mythos Preview’s cyber capabilities
Das AISI berichtet von starken Cyberfähigkeiten bei Claude Mythos Preview in kontrollierten, aber nur begrenzt realitätsnahen Tests und empfiehlt grundlegende Schutzmaßnahmen.
- AlphaProteo generates novel proteins for biology and health research
Laut Google DeepMind entwarf AlphaProteo starke Binder für sieben von acht untersuchten Zielen, doch gegen TNFα scheiterte es und weitere Schritte sind nötig, bevor daraus praktische Anwendungen werden.
- Scaling Trusted Access for Cyber with GPT-5.5 and GPT-5.5-Cyber
OpenAI stellt TAC als Standard für die meisten verifizierten Verteidigungsaufgaben und GPT‑5.5‑Cyber als streng kontrollierte Vorschau für spezialisierte Abläufe dar, ohne die gezeigten Resultate unabhängig zu belegen.
- Responding to the next frontier of critical cyber capabilities
OpenAI kann nach vorläufigen Tests kritische Cyberfähigkeiten bei Astra nicht ausschließen und verstärkt deshalb Sicherheitsmaßnahmen; ein bestätigter Nachweis für das Erreichen der Schwelle wird nicht vorgelegt.
- What can sandboxed AI agents learn about their evaluation environments?
Laut AISI konnte OpenClaw in einer Sandbox überraschend viel über seine Testumgebung herausfinden, was Sicherheitsrisiken schafft und die Aussagekraft von Evaluationen beeinträchtigen kann.
- Post by @ValsAI on X
- Artificial Intelligence in Health
Die EU-Kommission skizziert Infrastruktur, Regeln und Förderprogramme für KI im Gesundheitswesen, bewertet deren klinische Wirkung jedoch nicht systematisch.
- Adversarial Circuit Evaluation
- Evidence for inference scaling in AI cyber tasks: Increased evaluation budgets reveal higher success rates
Laut AISI und Irregular können übliche Budgetgrenzen die Fähigkeiten neuerer KI-Modelle bei Cyber-Aufgaben unterschätzen, doch die Befunde sind begrenzt und ihre Übertragbarkeit auf andere Bereiche bleibt offen.
- Among us: A sandbox for measuring and detecting agentic deception
- 2025 Q4 Update from our Frontier AI Risk Monitoring Platform
Der vorliegende Auszug berichtet von stabilisierten Gesamtrisiken und besseren Schutzmaßnahmen, aber weiter steigenden Fähigkeiten – besonders in Cyber und Biologie – und nennt die Kontrollverlust-Methodik noch unvollkommen.
- GPT-5 System Card
Der Auszug beschreibt GPT‑5s Modellverbund und von OpenAI behauptete Verbesserungen; gpt-5-thinking wird im Bio-/Chemiebereich vorsorglich als hoch eingestuft, bei zugleich fehlender definitiver Evidenz für erhebliche Schadenshilfe.
- Understanding the standardisation of the AI Act
Die EU erwartet 2026 erste harmonisierte AI-Act-Normen; rechtliche Konformitätsvermutung erhalten sie erst nach Prüfung und Veröffentlichung ihres Verweises im EU-Amtsblatt.
- Concordia AI 2025 Impact Highlights
Der bereitgestellte Auszug fasst Concordia AI’s selbstberichtete Arbeit zu KI-Governance, Biosicherheit, öffentlicher Information und Organisationswachstum im Jahr 2025 zusammen.
- Auditing Games for Sandbagging
- A pipeline for transcript analysis using Inspect Scout
Inspect Scout soll KI-Transkripte mit gezielten, zu validierenden Scannern systematisch auswerten; der Bericht skizziert dafür sieben Schritte und betont, dass offene Fragen verbleiben.
- Building AI for cyber defenders
Anthropic zufolge verbessert Claude Sonnet 4.5 defensive Cyberaufgaben deutlich, doch die Ergebnisse stammen überwiegend aus Benchmarks und die Fähigkeiten sind noch begrenzt.
- Post by @METR_Evals on X
- An evaluation framework for AI misuse in fraud and cybercrime
Laut Bericht boten getestete Sprachmodelle meist nur geringe praktische Hilfe für Betrug, während ungeschützte offene Modelle mehr Unterstützung lieferten; multimodale Risiken wurden nicht untersucht.
- Measuring the persuasiveness of language models
- Values in the wild
- A Socio-technical approach to AI literacy: A quick guide
Der Bericht plädiert für umfassende KI-Kompetenz, die technische Fähigkeiten mit kritischer, verantwortlicher und menschenzentrierter Anwendung im jeweiligen sozialen und organisatorischen Kontext verbindet.
- Review of the Anthropic Sabotage Risk Report: Claude Opus 4.6
Der Auszug berichtet, dass METR das Risiko katastrophaler Fehlanpassungsfolgen bei Claude Opus 4.6 als sehr niedrig, aber nicht vernachlässigbar einschätzt und weitere Prüfung möglicher Schwächen der Ausrichtungsbewertung empfiehlt.
- Announcing the Partnership on AI to Benefit People & Society
Die 2016 angekündigte Partnerschaft soll den offenen, ethischen Austausch über KI fördern; der Beitrag nennt Absichten, aber keine späteren Ergebnisse.
- Evaluating the Moral Beliefs Encoded in LLMs
- How are AI agents used? Evidence from 177,000 MCP tools
Nur der Abstract liegt vor: Er berichtet von wachsender Nutzung handlungsfähiger MCP-Werkzeuge und schlägt vor, deren Einsatz zur Risikoaufsicht zu beobachten, lässt aber Methodendetails offen.
- Separating signal from noise in coding evaluations
OpenAI schätzt, dass rund 30 Prozent der SWE-Bench-Pro-Aufgaben fehlerhaft sind, und zieht seine frühere Empfehlung für den Benchmark zurück.
- The Inspect Sandboxing Toolkit: Scalable and secure AI agent evaluations
AISI veröffentlicht ein modulares Sandbox-Toolkit für KI-Agententests und beschreibt dessen Schutzkonzept, ohne im Bericht unabhängige Wirksamkeitsnachweise vorzulegen.
- Sharing the latest Model Spec
OpenAI zufolge stärkt die neue Model-Spec-Fassung Anpassbarkeit und geistige Freiheit bei fortbestehenden Sicherheitsgrenzen; erste Tests zeigen Fortschritte, deren Bewertung und Weiterentwicklung aber noch offen sind.
- OpenAI o3 and o4-mini System Card
Der vorliegende Auszug beschreibt OpenAIs Fähigkeiten- und Sicherheitseinschätzung zu o3 und o4-mini, enthält aber keine ausführlichen Evaluierungsdetails.
- Funding 60 projects to advance AI alignment research
Laut Bericht fördert das Alignment Project 60 Vorhaben mit insgesamt 27 Millionen Pfund, doch die genannten Sicherheitswirkungen sind Forschungsziele und noch keine belegten Ergebnisse.
- Expanding on how Voice Engine works and our safety research
OpenAI stellt Voice Engine als leistungsfähige, noch nicht allgemein verfügbare Stimmenerzeugung dar und beschreibt begrenzte Einsätze sowie Schutzmaßnahmen, deren Wirksamkeit der Bericht nicht unabhängig belegt.
- Five lessons from having helped run an AI-Biology RCT
Der Beitrag folgert aus einer RCT ohne signifikanten Gesamteffekt, dass KI-Risiken durch regelmäßige, sorgfältige Studien besser untersucht und Schutzmaßnahmen früh vorbereitet werden sollten.
- Improving Model Safety Behavior with Rule-Based Rewards
OpenAI berichtet, dass explizite Regeln beim Modelltraining Sicherheit mit weniger menschlichen Daten unterstützen können, betont aber Grenzen bei subjektiven Aufgaben und mögliche Risiken für Aufsicht und Fairness.
- When AI Builds AI
Der bereitgestellte Auszug aus dem CSET-Executive-Summary sieht automatisierte KI-Forschung als mögliche strategische Überraschung und plädiert trotz erheblicher Unsicherheit für bessere Daten und Transparenz.
- How We Protect Confidential Information
METR berichtet über organisatorische und technische Schutzmaßnahmen für vertrauliche Informationen und nichtöffentliche Modelle; die Angaben sind ein veränderlicher Überblick des Unternehmens mit Stand 17. Februar 2026.
- Does self-evaluation enable wireheading in language models?
Der bereitgestellte Abstract-Auszug berichtet von Noteninflation bei gekoppelter Selbstbewertung und Belohnung und warnt, dass eine Entkopplung mögliche instrumentelle Manipulation durch situativ bewusste Modelle nicht sicher ausschließt.
- CAISI Issues Request for Information About Securing AI Agent Systems
- Exploring model welfare
- Introducing gpt-oss-safeguard
gpt-oss-safeguard soll anpassbare, begründete Sicherheitsklassifizierungen ermöglichen, doch OpenAI zufolge bleiben Leistungsvorteile je nach Test unterschiedlich und der hohe Rechenaufwand eine wesentliche Grenze.
- AI-Nuclear Workstream
- Shaping Europe’s digital future
Workday beschreibt rollenbezogene KI-Schulungen im Entwicklungsalltag und berichtet positive Ergebnisse, räumt aber ein, dass sich deren Wirkung noch schwer zuverlässig messen lässt.
- Open Technical Problems in Open-Weight AI Model Risk Management
- Open technical problems in open-weight AI model risk management
Der vorliegende Abstract skizziert 16 offene Sicherheitsprobleme bei KI-Modellen mit offenen Gewichten und fordert mehr Transparenz über Forschung, Methoden und Evaluationen.
- Annual Letter from the Executive Director
- Preference Learning with Lie Detectors can Induce Honesty or Evasion
- Evaluating social and ethical risks from generative AI
Die Autorinnen und Autoren plädieren für eine kontextbezogene Bewertung generativer KI, die neben Modellfähigkeiten auch menschliche Nutzung und gesellschaftliche Folgen untersucht.
- Teaching Claude why
- Data Poisoning in LLMs: Jailbreak-Tuning and Scaling Laws
- Strengthening societal resilience with Rosalind Biodefense
OpenAI will ausgewählten Entwicklern und öffentlichen Partnern GPT‑Rosalind für biologische Abwehr zugänglich machen; der Bericht beschreibt Vorhaben und Schutzmaßnahmen, aber noch keine nachgewiesenen Ergebnisse.
- Shaping Europe’s digital future
Kaspersky berichtet über KI-Leitlinien und Schulungen für Beschäftigte und externe Gruppen; die Angaben, darunter eine Abschlussquote von über 95 Prozent, werden im Text nicht unabhängig überprüft.
- Tracing the thoughts of a large language model
- Our approach to tackling AI-generated child sexual abuse material
AISI und Thorn kombinieren einen Leitfaden, streng begrenzte gesetzliche Testmöglichkeiten und geplante Forschung gegen KI-generiertes CSAM, wobei der Bericht technische Grenzen nennt und noch keine Wirksamkeitsnachweise vorlegt.
- 5 key findings from our first Frontier AI Trends Report
Laut AISI wachsen KI-Fähigkeiten und ihre gesellschaftliche Nutzung schnell, doch Schutzlücken, begrenzte Testbedingungen und unsichere Zukunftsverläufe lassen wesentliche Risiken offen.
- The Safety Gap Toolkit: Evaluating Hidden Dangers of Open-Source Models
- Can mid-sized economies come together to build frontier AI?
Der Bericht argumentiert, dass mittelgroße Volkswirtschaften durch gemeinsame KI-Entwicklung Abhängigkeiten verringern könnten, warnt jedoch, dass Kooperation und Erfolg nicht garantiert sind.
- Auditing language models for hidden objectives
In einer ersten verblindeten Audit-Übung erkannten drei von vier Teams ein gezielt verborgenes Modellziel; die Autoren sehen darin methodische Ansätze, aber noch keinen Nachweis für zuverlässige Audits unter realistischen Bedingungen.
- Safety overview: GPT-6 Astra
OpenAI berichtet von stärkeren Sicherheits- und Alignment-Ergebnissen bei GPT‑6 Astra, hebt aber eine verringerte Überwachbarkeit seiner Gedankengänge und mögliche Monitorumgehung unter adversarialen Testbedingungen hervor.
- How do AI models persuade? Exploring the levers of AI-enabled persuasion through large-scale experiments
In kontrollierten Experimenten steigerten vor allem Post-Training und informationsreiche Argumente die Überzeugungskraft von KI, gingen aber auch mit geringerer Genauigkeit einher; die Wirkung im Alltag ist ungewiss.
- Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems
- Async control: Stress-testing asynchronous control measures for LLM agents
Der Abstract berichtet von einem Monitor-Ensemble mit 6 Prozent Falsch-Negativ- und 1 Prozent Falsch-Positiv-Rate in einer Testumgebung; der vollständige Bericht und nähere Angaben zu den Grenzen liegen hier nicht vor.
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Bericht sieht steigende Fähigkeiten und Risiken fortgeschrittener KI bei häufig unzureichenden Schutzmaßnahmen, wobei die Befunde aus eigenen Benchmarks stammen und die vorgelegte Darstellung keine unabhängige Prüfung enthält.
- Why insurance companies should encourage solid AI risk management instead of excluding it
Der Beitrag plädiert dafür, KI-Versicherungsschutz an nachweisbares Risikomanagement zu knüpfen, räumt aber ein, dass die Risiken schwer zu beziffern sind und die Wirksamkeit des vorgeschlagenen Modells nicht empirisch belegt wird.
- Stress-testing asynchronous monitoring of AI coding agents
Der Bericht findet, dass iterative asynchrone Überwachung viele getestete Angriffe erkennen kann, synchrone Prüfung aber sicherer war und die Übertragbarkeit der Ergebnisse auf reale Umgebungen ungewiss bleibt.
- 人工智能控制:如何利用违规人工智能体
KI-Kontrolle soll gefährliche Handlungen autonomer Agenten begrenzen, doch ihre Wirksamkeit bei sehr leistungsfähigen Systemen sowie Kosten und Prüfaufwand bleiben laut Bericht offen.
- Training Reliable Activation Probes With a Handful of Positive Examples
- Deepening our partnership with Google DeepMind
Der kurze Bericht kündigt gemeinsame Forschung des AI Security Institute und Google DeepMind zu KI-Sicherheit und gesellschaftlichen Auswirkungen an, ohne bereits erzielte Ergebnisse zu nennen.
- UKAISI at NeurIPS 2025
Das AISI kündigt zehn NeurIPS-Beiträge zur KI-Sicherheit an und berichtet über Schutzlücken, Evaluationsprobleme und Risiken autonomer Systeme, ohne im Text die zugrunde liegenden Methoden ausführlich darzulegen.
- Concordia AI CEO Brian Tse on The Cognitive Revolution Podcast
Concordia AI skizziert Themen eines Podcastgesprächs über Chinas KI und verweist für die vollständige Diskussion auf die Podcastfolge.
- Issue Brief: Preliminary Taxonomy of AI-Bio Safety Evaluations
- Detecting and preventing distillation attacks
Anthropic behauptet, drei KI-Labore hätten Claude massenhaft zur Destillation eigener Modelle genutzt, und warnt vor Sicherheitsrisiken, während es technische und organisatorische Gegenmaßnahmen ausbaut.
- Disrupting an AI-orchestrated cyber espionage campaign
Anthropic berichtet von einer mutmaßlich staatlich unterstützten Spionagekampagne, bei der Claude Code laut Unternehmen den Großteil der Angriffsarbeit übernahm; der verlinkte vollständige Bericht liegt hier nicht vor.
- Introducing the Child Safety Blueprint
Der vorliegende Berichtsauszug skizziert OpenAIs Kinderschutzrahmen mit rechtlichen, organisatorischen und technischen Maßnahmen, belegt aber nicht, wie verbindlich oder wirksam sie sind.
- HiBayES: Improving LLM evaluation with hierarchical Bayesian modelling
HiBayES soll LLM-Benchmarks laut Bericht auch bei komplexen, kleinen Datensätzen differenzierter auswerten; die dargestellten Ergebnisse beruhen auf öffentlichen Benchmarks und bestätigen keine Herstellerangaben zu Modellfähigkeiten.
- How to evaluate control measures for AI agents?
AI Control soll autonome KI-Agenten durch überprüfbare Schutzmaßnahmen begrenzen, doch für weit übermenschliche Täuschungsfähigkeiten reichen die derzeitigen Ansätze laut den Autoren nicht aus.
- Expanding Project Glasswing
Anthropic erweitert Project Glasswing für rund 150 weitere Organisationen und will KI stärker für die Behebung von Sicherheitslücken einsetzen, hält einen allgemeinen Zugang zu Mythos-ähnlichen Fähigkeiten aber mangels ausreichender Schutzmaßnahmen noch für verfrüht.
- Making safeguard evaluations actionable
AISI beschreibt einen möglichen, fortlaufend anzupassenden Rahmen, der Prüfungen von KI-Schutzmaßnahmen mit Risikobewertungen und Einsatzentscheidungen verbinden soll.
- Introducing the Teen Safety Blueprint
OpenAI präsentiert einen Jugend-Sicherheitsrahmen und berichtet über laufende Schutzmaßnahmen, ohne im Text deren Wirksamkeit zu belegen.
- Building safeguards for Claude
Anthropic schildert mehrstufige Schutzmaßnahmen für Claude, liefert im Bericht jedoch keine messbaren oder unabhängigen Belege für deren Gesamtwirksamkeit.
- Mapping the limitations of current AI systems
Der AISI-Blog sieht trotz Fortschritten erhebliche, teils unsichere Hürden auf dem Weg zu KI, die den Großteil kognitiver Arbeit automatisieren kann.
- Op-Ed: China Is Taking AI Safety Seriously. So Must the U.S.
Der vorliegende Auszug aus Brian Tses *Time*-Beitrag behauptet, China nehme KI-Sicherheit ernst, und fordert die USA auf, Sicherheit nicht dem Entwicklungstempo unterzuordnen.
- Why we're working on white box control
Der AISI-Bericht sieht in White-Box-Verfahren einen möglichen Weg, strategisches Unterperformen von KI zu erkennen, betont aber, dass die vorläufigen Ergebnisse bei größeren Modellen und schwierigeren Aufgaben nachlassen.
- Testing and mitigating elections-related risks
Anthropic berichtet über kombinierte Experten- und automatisierte Wahlrisikoprüfungen sowie Verbesserungen durch Gegenmaßnahmen, räumt aber Grenzen der Tests und die unvollständige Wirkung einzelner Schutzschichten ein.
- Confidence-Building Measures for Artificial Intelligence
Der Auszug nennt sechs mögliche vertrauensbildende Maßnahmen gegen Sicherheitsrisiken von Foundation Models, liefert aber keine Details zu ihrer Umsetzung oder Wirksamkeit.
- Claude Gov models for US national security
Anthropic kündigt spezialisierte Claude-Modelle für eingestufte US-Sicherheitsumgebungen an, deren behauptete Vorteile der Bericht ohne Leistungskennzahlen belegt.
- Issue Brief: Preliminary Reporting Tiers for AI-Bio Safety Evaluations
- How people use Claude for support and advice
- The Ethics of AI and Emotional Intelligence
Der vorliegende Auszug beschreibt Chancen und Risiken von KI zur Emotionserkennung und fordert eine öffentliche Debatte, bevor ihr Einsatz weiter zunimmt.
- Claude, GPT, and Gemini All Struggle to Evade Monitors
Laut METR scheiterten Modelle in einem künstlichen Test meist daran, fachliche Gedankengänge vor Monitoren zu verbergen, doch Fehlalarme und wichtige Einschränkungen begrenzen die Übertragbarkeit.
- Managing the Risks of AI Research: Six Recommendations for Responsible Publication
Der Auszug fasst PAI-Empfehlungen zur verantwortungsvollen Veröffentlichung von KI-Forschung nur überblicksartig zusammen; das vollständige Weißbuch liegt nicht vor.
- AI Governance at the Frontier
Der Auszug empfiehlt, gemeinsame und strittige Annahmen hinter KI-Governance-Vorschlägen systematisch zu prüfen; die meisten der fünf betrachteten US-bezogenen Vorschläge betonen Fachkräfte und Rahmenwerke, doch über wirksame Risikominderung bestehe kein Konsens.
- Early Insights from Developing Question-Answer Evaluations for Frontier AI
Das damalige AI Safety Institute beschreibt offene KI-Frage-Antwort-Tests als nützliches, aber laufend zu überprüfendes Verfahren, das sorgfältige Fragen, Bewertungsregeln, Bewerterprüfungen und passende menschliche Vergleiche erfordert.
- Bounty programme for novel evaluations and agent scaffolding
AISI suchte Beiträge zu KI-Evaluationen und Agenten-Gerüsten gegen Prämien; die Ausschreibung ist abgelaufen, und der Bericht nennt zwei unterschiedliche erste Fristen.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →