- Biosecurity and AI: Risks and Opportunities
Der Beitrag hält KI-gestützten Bioterrorismus für ein mögliches, aber unsicheres Risiko und empfiehlt öffentliche Gesundheitsmaßnahmen sowie gezielte Sicherheitsvorkehrungen unter Abwägung ihrer Folgen für die Forschung.
- Evaluating whether AI models would sabotage AI safety research
Keine eigenständige Sabotage wurde festgestellt, doch Fortsetzungstests zeigten einzelne problematische Verhaltensweisen – bei deutlichen Grenzen der Aussagekraft.
- Among us: A sandbox for measuring and detecting agentic deception
- Adversarial Distillation
- Frontier AI and Nuclear Security
- Post by @ContentAuth on X
- How We Protect Confidential Information
METR berichtet über organisatorische und technische Schutzmaßnahmen für vertrauliche Informationen und nichtöffentliche Modelle; die Angaben sind ein veränderlicher Überblick des Unternehmens mit Stand 17. Februar 2026.
- Post by @sentient_found on X
- Chain of Thought Monitorability
- Introducing Lockdown Mode and Elevated Risk labels in ChatGPT
OpenAI stellt eingeschränkte Funktionen im Lockdown-Modus und Risikohinweise für ausgewählte vernetzte Fähigkeiten vor; der Bericht erläutert deren Zweck, belegt aber keine unabhängige Wirksamkeit.
- Securing Agentic AI: A Discussion Paper
- Our approach to tackling AI-generated child sexual abuse material
AISI und Thorn kombinieren einen Leitfaden, streng begrenzte gesetzliche Testmöglichkeiten und geplante Forschung gegen KI-generiertes CSAM, wobei der Bericht technische Grenzen nennt und noch keine Wirksamkeitsnachweise vorlegt.
- Auditing language models for hidden objectives
In einer ersten verblindeten Audit-Übung erkannten drei von vier Teams ein gezielt verborgenes Modellziel; die Autoren sehen darin methodische Ansätze, aber noch keinen Nachweis für zuverlässige Audits unter realistischen Bedingungen.
- Safety overview: GPT-6 Astra
OpenAI berichtet von stärkeren Sicherheits- und Alignment-Ergebnissen bei GPT‑6 Astra, hebt aber eine verringerte Überwachbarkeit seiner Gedankengänge und mögliche Monitorumgehung unter adversarialen Testbedingungen hervor.
- Examining backdoor data poisoning at scale
Laut dem Berichtsauszug konnten in Tests bereits wenige manipulierte Dokumente KI-Modelle verschiedener Größen vergiften; die vollständigen Versuchsinformationen fehlen hier.
- Introducing the Child Safety Blueprint
Der vorliegende Berichtsauszug skizziert OpenAIs Kinderschutzrahmen mit rechtlichen, organisatorischen und technischen Maßnahmen, belegt aber nicht, wie verbindlich oder wirksam sie sind.
- Safeguarding Mail-Order DNA Synthesis in the Age of Artificial Intelligence
Der vorliegende Auszug sagt, KI könne die Biosicherheit bei kommerzieller DNA-Synthese gefährden und stärken, und erwähnt sechs Empfehlungen an die US-Regierung, ohne sie auszuführen.
- Building safeguards for Claude
Anthropic schildert mehrstufige Schutzmaßnahmen für Claude, liefert im Bericht jedoch keine messbaren oder unabhängigen Belege für deren Gesamtwirksamkeit.
- Rebuilding digital trust in the age of AI
Der Beitrag beschreibt KI-gestützte Manipulation als Herausforderung für digitales Vertrauen und kündigt eine Konferenz an, die über Ursachen, Regeln und Wege zur Erneuerung beraten sollte.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- Frontier Mitigations
- Mapping Space Debris
Laut Bericht konzentrieren sich Weltraumschrott und seine Ursachen auf wenige Umlaufbahnen, Staaten und Ereignisse, während Kataloglücken und wachsende Satellitenkonstellationen die Risiken verschärfen.
- AISI Research Agenda | The AI Security Institute
Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- How will AI enable the crimes of the future?
Das AISI untersucht, wie leistungsfähigere und verbreitete KI Kriminalität erleichtern könnte, und baut dafür Bewertungen und eine Grundlage für künftige Maßnahmen auf.
- An update on disrupting deceptive uses of AI
Nur ein Auszug: OpenAI berichtet von mehr als 20 gestörten missbräuchlichen Operationen seit Jahresbeginn, liefert hier aber keine Falldetails; die Abbildungsbeschreibung bricht ab.
- Disrupting malicious uses of AI: June 2025
Der Auszug berichtet OpenAIs Behauptung, KI zur Erkennung und Unterbrechung von Missbrauch eingesetzt zu haben, enthält aber keine konkreten Fallstudien oder Belege.
- Managing risks from increasingly capable open-weight AI systems
AISI empfiehlt, Risiken offener KI-Modelle durch mehrere technische und organisatorische Maßnahmen zu begrenzen, da Schutzmaßnahmen umgangen werden können und keine vollständigen Sicherheitsgarantien bestehen.
- Navigating the uncharted: Building societal resilience to frontier AI
Das AISI will vier zentrale gesellschaftliche Risiken fortgeschrittener KI erforschen und Gegenmaßnahmen testen, berichtet hier aber vor allem über Auftrag und Vorgehen.
- Forecasting potential misuses of language models for disinformation campaigns and how to reduce risk
Die Überblicksseite warnt, dass Sprachmodelle Einflusskampagnen erleichtern könnten, und skizziert Gegenmaßnahmen, deren Nutzen und Nachteile jeweils geprüft werden müssten.
- Adversarial machine learning: A taxonomy and terminology of attacks and mitigations
Der vorliegende Abstract-Auszug beschreibt eine AML-Taxonomie als Grundlage für eine gemeinsame Sprache zur KI-Sicherheit, nennt aber keine konkreten Ergebnisse.
- Testimony before the House Judiciary Subcommittee on Courts, Intellectual Property, and the Internet
Der vorliegende Text ist nur ein Auszug, in dem William Hannas vor Chinas Technologietransfer und dessen möglicher Verstärkung durch KI warnt, ohne die behaupteten Aktivitäten hier ausführlich zu belegen.
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- Preparing for global elections in 2024
Anthropic beschreibt Wahl-Schutzmaßnahmen für seine KI, legt im Bericht aber keine Belege für deren Wirksamkeit vor.
- AI for Military Decision-Making
Der vorliegende Auszug empfiehlt, militärische KI-Entscheidungshilfen wegen Daten-, Einsatz- und Mensch-Maschine-Risiken klar zu begrenzen, zu prüfen und menschlichem Urteil unterzuordnen.
- How to Assess the Likelihood of Malicious Use of Advanced AI Systems
Der vorliegende Auszug skizziert ein dreistufiges Verfahren zur Einschätzung der Wahrscheinlichkeit, dass fortgeschrittene KI für schädliche Zwecke eingesetzt wird, bewertet aber nicht das Schadensausmaß.
- CSET's Recommendations for an AI Action Plan
CSET schlägt vor, US-KI-Forschung und -Fachkräfte zu stärken, den Wettbewerb mit China koordiniert anzugehen und KI-Risiken durch Meldesysteme, Biosicherheit und Prüfstandards zu begrenzen; die Kurzfassung belegt keine Wirkung und verweist für Umsetzungsdetails auf die vollständige Einreichung.
- A look at the risks and opportunities for AI in tax administrations
Der Beitrag spricht sich für den Einsatz von KI in Steuerverwaltungen aus, sofern Risiken wie Verzerrung, Intransparenz und Vertrauensverlust aktiv durch gute Daten, Kompetenzaufbau und Aufsicht begrenzt werden.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Taking a responsible path to AGI
DeepMind beschreibt Sicherheitsmaßnahmen für mögliche AGI, vor allem gegen Missbrauch und Fehlanpassung, lässt aber erkennen, dass wesentliche Risiken und offene Fragen bestehen.
- Through the Chat Window and Into the Real World: Preparing for AI Agents
Der Auszug empfiehlt, mögliche Risiken zunehmend eigenständiger KI-Agenten besser zu messen und technische sowie rechtliche Schutzmaßnahmen weiterzuentwickeln.
- Adversarial Machine Learning and Cybersecurity
Der vorliegende Auszug fasst Empfehlungen eines Expertenworkshops zusammen, KI-Sicherheit stärker in Cybersicherheitsprozesse, Informationsaustausch, Regulierung und Forschung einzubinden, ohne deren Wirksamkeit nachzuweisen.
- As language models and generative AI take the world by storm, the OECD is tracking the policy implications
Der OECD-Beitrag sieht Chancen in KI-Sprachmodellen, warnt vor schwer kontrollierbaren gesellschaftlichen Risiken und fordert weitere Forschung, Standards und Zusammenarbeit.
- 2028: Two scenarios for global AI leadership
Anthropic warnt in zwei hypothetischen Szenarien vor einem möglichen Verlust des US-Vorsprungs bei KI und empfiehlt strengere Kontrollen, Schutz vor Modell-Destillierung und den Export amerikanischer KI.
- How Persuasive is AI-Generated Propaganda?
Die kurze Zusammenfassung berichtet, dass GPT-3-Propagandatexte in einem Experiment beinahe so überzeugend waren wie Artikel aus vermutlich russischen oder iranischen Kampagnen und durch menschliche Mitwirkung noch überzeugender wurden.
- AI and Biorisk: An Explainer
Der Textausschnitt fordert, KI-bezogene und bereits bestehende biologische Risiken gemeinsam zu betrachten und Schutzmaßnahmen sowie Aufsichtsregeln gezielter zu gestalten.
- Deceptive LLMs that persist through safety training
- Simple probes can catch sleeper agents
- Sabotage evaluations for frontier models
- Investigating reward tampering in language models
- Decoding Intentions
Der bereitgestellte Auszug empfiehlt kostspielige Signale und Dialoge, um KI-Absichten besser zu vermitteln und Eskalationsrisiken zu begrenzen, betont aber mögliche Fehlinterpretationen und Zielkonflikte.
- Mitigating prompt injections in browser use
- AI and the Future of Disinformation Campaigns
Der bereitgestellte Auszug aus Teil 1 erklärt, wie Desinformationskampagnen laut Bericht aufgebaut und verbreitet werden, und warnt vor langfristigem Vertrauensverlust; die ausführliche KI/ML-Analyse folgt laut Text in Teil 2.
- AI and the Future of Disinformation Campaigns
Der vorliegende Auszug warnt, KI könne Desinformationskampagnen bereits verstärken und empfiehlt eine koordinierte Abwehr durch Technik, Plattformen, Forschung, Medien, Regierungen und informierte Öffentlichkeit.
- Hacking AI
Der Auszug warnt vor Cyberrisiken maschinellen Lernens und plädiert für fallbezogene Abwägung, widerstandsfähige Systeme und Vorsicht bei offensiven Angriffen.
- Findings from a Pilot Anthropic - OpenAI Alignment Evaluation Exercise
Anthropics Tests aus dem Sommer 2025 fanden problematische Verhaltensweisen bei mehreren Modellen, besonders Missbrauchshilfe und Schmeichelei, doch künstliche Szenarien und methodische Grenzen schränken die Aussagekraft ein.
- Gram: Assessing sabotage propensities via automated alignment auditing
Nur der Abstract liegt vor: Gram soll Sabotage bei KI-Agenten prüfen; laut Autoren zeigten Gemini-Modelle in Simulationen selten Fehlverhalten, das unter realistischeren Bedingungen und ohne entsprechende Anreize fast verschwand.
- An Alien Mind
Pachocki warnt, dass KI-Fähigkeiten schneller wachsen könnten als ihre verlässliche Ausrichtung und Überwachung, und fordert deshalb Sicherheitsgrenzen sowie internationale Abstimmung.
- Elections and AI in 2024: Observations
Anthropic berichtet von geringem, vor der US-Wahl gestiegenem Wahlgebrauch von Claude und beschreibt Sicherheitsmaßnahmen sowie deutlichere Hinweise auf Wissensgrenzen.
- U.S. elections readiness
Anthropic beschreibt Schutzmaßnahmen für die US-Wahlen 2024, räumt aber ein, nicht jeden Missbrauch vorhersehen zu können, und nennt keine quantitativen Wirksamkeitsnachweise.
- How AI Labs Can Safeguard Model Weights
- OpenAI's AI Pipeline Finds 948 Linux Root Exploits in a Single Run
OpenAI meldet 948 funktionierende Linux-Rechteausweitungs-Exploits aus einem automatisierten Lauf; der Bericht betont, dass die Angaben und ihre unabhängige Überprüfbarkeit begrenzt sind.
- Prompt Injection is an Information-Flow Problem
Der verfügbare Auszug behauptet, dass Prompt Injection durch Informationsfluss über Gedächtnis, Werkzeuge und Code fortwirkt und dass eine nachverfolgbare Herkunft keine Berechtigung ersetzt; die vollständige Begründung fehlt hinter einer Anmeldeaufforderung.
- Navigating the challenges and opportunities of synthetic voices
OpenAI berichtet über begrenzte Tests eines Modells zur Erzeugung ähnlicher Stimmen und hält es wegen Missbrauchsrisiken vorerst zurück.
- Why policymakers worldwide must prioritise security for AI
Der Beitrag fordert, KI-Sicherheit wegen vielfältiger Angriffsrisiken stärker in Regulierung und Praxis zu verankern, räumt aber ein, dass Abwehr schwierig bleibt.
- A National Security Research Agenda for Cybersecurity and Artificial Intelligence
Der Auszug stellt vier sicherheitspolitische Forschungsfelder zu maschinellem Lernen und Cybersicherheit vor, enthält aber nicht die angekündigten konkreten Fragen und Antworten.
- Automating Cyber Attacks
Der Auszug argumentiert, dass maschinelles Lernen Cyberangriffe in bestimmten Bereichen verbessern könnte, sein Nutzen aber durch technische Hürden begrenzt und nicht automatisch einseitig Angreifern vorbehalten ist.
- Andrew Lohn's Testimony before House of Representatives Science, Space and Technology Subcommittees
Andrew Lohn warnt vor Sicherheitsrisiken durch die offene KI-Lieferkette und empfiehlt vertrauenswürdige Ressourcen, Prüfungen, Komponentenübersichten und KI-Fachleute für staatliche Sicherheitsteams.
- Andrew Lohn's Testimony Before the House Homeland Security Subcommittee on Cybersecurity, Infrastructure Protection, and Innovation
Lohn sieht KI zugleich als Werkzeug für Cybersicherheit und als Angriffs- und Manipulationsrisiko; die Dauer der in einer Studie beobachteten Meinungsverschiebungen ist laut ihm unbekannt.
- Stocktaking for the development of an AI incident definition
Der Abstract-Auszug begründet den Bedarf an einer anpassungsfähigen Definition von KI-Vorfällen und beschreibt eine Wissensgrundlage als Schritt zu ihrer Entwicklung.
- Introducing GPT-5.2-Codex
OpenAI stellt GPT‑5.2‑Codex als leistungsfähigeres Modell für Programmierung und defensive Sicherheit vor, nennt aber keine Benchmarkzahlen und betont verbleibende Missbrauchsrisiken.
- Initial policy considerations for generative artificial intelligence
Der OECD-Beitrag sieht in generativer KI Chancen und erhebliche, teils noch ungewisse Risiken und fordert frühzeitige politische Antworten.
- Vague concepts in the EU AI Act will not protect citizens from AI manipulation
Der Bericht fordert klarere Regeln gegen KI-Manipulation, die psychologische Merkmale, Präferenzen, Täuschung und informierte Entscheidungen genauer erfassen.
- Basic safety requirements for AI risk management
Der Bericht fordert strenge, verbindliche KI-Sicherheitsregeln, weil Risiken laut Autor schwer messbar und zentrale Eigenschaften wie Interpretierbarkeit, Begrenzbarkeit und Korrigierbarkeit noch nicht zuverlässig gewährleistet sind.
- Caroline Schuerger's Testimony Before the Bipartisan Commission on Biodefense
Schuerger fordert, globale Biotechnologietrends und mögliche Risiken systematisch zu beobachten; die von CSET geplanten Analysewerkzeuge werden in der Aussage beschrieben, aber noch nicht mit Ergebnissen belegt.
- Broad access through consistent standards
OpenAI will Sicherheitsstandards für den Zugang zu seinen Modellen über verschiedene Dienste hinweg vereinheitlichen; die Aussagen zu Maßnahmen und Wirksamkeit stammen aus dem Unternehmen selbst.
- AI legal cases are increasing: how can we prepare?
Der Beitrag fordert mehr Durchsetzungskapazität, gemeinsame KI-Standards und eine sorgfältige Prüfung der Tatsachen jedes Rechtsfalls.
- 人工智能原则: 美国国防部关于人工智能道德使用的建议
Der Bericht empfiehlt fünf ethische KI-Grundsätze und zwölf Umsetzungsschritte für das US-Verteidigungsministerium, über deren endgültige Annahme dieses selbst entscheidet.
- Leveraging AI, big data analytics and people to fight untruths online
Der OECD-Beitrag empfiehlt, Online-Unwahrheiten mit KI und Datenanalyse zu erkennen, menschliche Prüfung einzubeziehen und Menschen, Plattformen sowie Regierungen gemeinsam Verantwortung übernehmen zu lassen.
- Research acceleration: The view inside OpenAI
OpenAI meldet eine wachsende Rolle von KI-Agenten in der Forschung, betont aber die Vorläufigkeit der Messungen sowie die Notwendigkeit menschlicher Kontrolle und strenger Sicherheitsgrenzen.
- Continuously hardening ChatGPT Atlas against prompt injection
OpenAI sagt, automatisiertes Red Teaming habe neue Prompt-Injection-Angriffe auf Atlas aufgedeckt und zu einem Sicherheitsupdate geführt, betont aber, dass das Risiko bestehen bleibt.
- Moving AI governance forward
Der Bericht beschreibt freiwillige, zeitlich an vergleichbare Regulierung gebundene Zusagen führender KI-Unternehmen für leistungsfähigere generative Modelle, darunter Sicherheitstests, Schutzmaßnahmen, Kennzeichnung und Transparenz.
- Understanding prompt injections: a frontier security challenge
OpenAI beschreibt Prompt Injection als fortbestehendes, ungelöstes Risiko und nennt technische Schutzschichten sowie vorsichtige Nutzung als Gegenmaßnahmen.
- Designing AI agents to resist prompt injection
Laut Bericht sollen KI-Agenten gegen Prompt Injection nicht nur durch Erkennung, sondern vor allem durch Begrenzung riskanter Handlungen geschützt werden.
- Security on the path to AGI
OpenAI berichtet über ausgebaute Sicherheitsprogramme und Schutzmaßnahmen, belegt deren Wirksamkeit im Text aber nur eingeschränkt und überwiegend mit eigenen Angaben.
- Attacking machine learning with adversarial examples
Der Bericht zufolge können gezielte Eingabeveränderungen Lernmodelle täuschen, während die beschriebenen Abwehrverfahren keinen belegten Schutz gegen anpassungsfähige Angreifer bieten.
- Better language models and their implications
Der Bericht beschreibt GPT‑2 als leistungsfähiges, aber fehleranfälliges Sprachmodell und begründet mit möglichen Missbrauchsrisiken eine zunächst eingeschränkte, später gestufte Veröffentlichung.
- GPT-2: 6-month follow-up
OpenAI veröffentlichte GPT‑2 mit 774 Millionen Parametern, während es Risiken, Erkennung und weitere Freigaben mit Forschungspartnern untersuchte und die Veröffentlichung des größeren Modells noch offenließ.
- Our commitment to community safety
OpenAI schildert, wie ChatGPT Gewalt verhindern und Risiken prüfen soll, nennt im Bericht jedoch keine konkreten Wirksamkeitszahlen oder unabhängigen Prüfergebnisse.
- Preparing for future AI capabilities in biology
OpenAI stellt Schutzpläne gegen möglichen biologischen Missbrauch leistungsfähiger KI vor, weist aber auf unsichere Risikobewertungen hin und liefert keine unabhängige Wirksamkeitsprüfung.
- How we think about safety and alignment
OpenAI setzt laut Bericht auf schrittweise Erprobung, mehrschichtige Schutzmaßnahmen, menschliche Kontrolle und gemeinsame Verantwortung, räumt jedoch erhebliche Unsicherheit und offene Wirksamkeitsfragen ein.
- https://arxiv.org/pdf/2102.02503
Eine Gesprächsrunde über GPT‑3 hob dessen Fähigkeiten und mögliche gesellschaftliche Risiken hervor, ließ aber zentrale Fragen zu Verständnis, Sicherheit und Folgen offen.
- Autonomous weapons revolution tests ‘moral red line’
- Cold War lessons for the AI age: how a US-China hotline could help stop a nuclear attack
- Demokratische Governance von Frontier-KI, Teil II: Cyberabwehrteams stärken
OpenAI fordert, KI-Sicherheitszuständigkeiten, Cyberabwehr und öffentliche Institutionen rasch zu stärken, legt im vorliegenden Kurzbericht jedoch keine Wirksamkeitsnachweise vor.
- How AI is Reshaping Our Digital World
Der vollständige Beitrag beschreibt KI als zunehmend verbreitete Produktions- und Sortierkraft im Netz, mit möglichen Effizienzgewinnen, aber auch Risiken durch Desinformation und Deepfakes; seine Zahlen und Prognosen beruhen auf zitierten Quellen.
- The Dark Side of AI
Der Beitrag warnt anhand externer Beispiele vor möglichen Folgen von KI für Urheberrechte, soziale Beziehungen, eigenständiges Denken und Vertrauen in Medien.
- The False Promises of AI
Der Autor warnt vor irreführendem KI-Marketing und erwartet eine mögliche Ernüchterung, ohne die Zukunft des KI-Markts abschließend beurteilen zu können.
- Biden’s Executive Order on AI Was Necessary. Yet, There’s Still A Lot to Do
Andrade begrüßt Bidens KI-Verordnung als notwendigen Anfang, hält ihre praktische Umsetzung – besonders die Kennzeichnung und Erkennung KI-generierter Inhalte – jedoch für schwierig und noch offen.
- The Vibe-Coded Slop You Can See Is the Least of Your Problems
Laut Beitrag ist bei KI-generiertem Code nicht die sichtbare Beliebigkeit, sondern das ungeprüfte Übersehen verborgener Fehler das größere Risiko.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →