- "Just a Strange Pic": Rethinking 'Safety' in GenAI Image Safety Annotation Tasks from Diverse Annotators’ Perspectives
Der bereitgestellte Abstract berichtet, dass Sicherheitsurteile zu KI-Bildern von sozialen und kontextuellen Erwägungen geprägt sind, die gängige Bewertungsverfahren laut den Forschenden nur teilweise erfassen.
- Cyber Operation: Korean-language malware support
OpenAI sperrte Konten mit mutmaßlich missbräuchlichen Anfragen zu Schadsoftware und Phishing, konnte die Aktivität aber nicht unabhängig Nordkorea zuordnen und fand keine Hinweise auf neuartige, durch die Modelle ermöglichte Fähigkeiten.
- AI Behind Closed Doors: a Primer on The Governance of Internal Deployment
Apollo Research skizziert Risiken des internen KI-Einsatzes und empfiehlt als ersten Governance-Ansatz Prüfungen, Zugangsbeschränkungen, Aufsicht, gezielte Transparenz und gemeinsame Notfallpläne.
- Introducing CodeMender: an AI agent for code security
DeepMind stellt CodeMender vor, einen KI-Agenten für Code-Sicherheit, der laut Bericht bereits 72 Korrekturen an Open-Source-Projekte übermittelt hat, dessen Patches aber weiterhin menschlich geprüft werden.
- Capturing and Countering Threats to National Security: a Blueprint for an Agile AI Incident Regime
Der Bericht schlägt Sicherheitsnachweise, eine Meldefrist von 24 Stunden und staatliche Untersuchungs- und Eingriffsbefugnisse für KI-Vorfälle vor, belegt aber keine Umsetzung oder Wirksamkeit.
- AI alignment is a human problem
Der bereitgestellte Auszug argumentiert, dass verlässliches KI-Alignment bessere menschliche Aufsicht erfordert, und benennt dafür fünf Forschungsengpässe, ohne konkrete Studien oder Lösungen darzustellen.
- How Claude's values vary by model and language
Eine Analyse von 309.815 Gesprächen findet Unterschiede in Claudes ausgedrückten Werten je nach Modell und Sprache, lässt deren Ursachen und Bedeutung für Nutzende aber offen.
- AI Act Advisory Forum
Das EU-Advisory-Forum soll mit 174 Mitgliedern technische Expertise zum KI-Gesetz beitragen; konkrete Arbeitsergebnisse führt der Bericht nicht auf.
- Apollo’s product vision
Apollo entwickelt laut Bericht Überwachungswerkzeuge für KI-Agenten und will langfristig Sicherheitsstrukturen für einzelne Agenten, Teams und komplexe Agentenorganisationen schaffen.
- Information Sharing, Incident Reporting, and Incident Response for Frontier AI Risks
- GPT-5.1 Instant and GPT-5.1 Thinking System Card Addendum
Der Auszug beschreibt OpenAIs Angaben zu GPT-5.1 und erweiterten Sicherheitsprüfungen, enthält aber keine dazugehörigen Kennzahlen oder Ergebnisse.
- Post by @Sam_McCandlish on X
- Metagaming matters for training, evaluation, and oversight
Nur ein Auszug liegt vor: Die Fußnoten beschreiben Metagaming und gemischte Steuerungsergebnisse, erlauben aber keine Zusammenfassung des vollständigen Berichts.
- Post by @METR_Evals on X
- AI Safety in the 15th Five-Year Plan — Two Sessions Special Edition
Chinas neue Planungsdokumente räumen KI und ihrer Governance mehr Gewicht ein, setzen laut Bericht aber überwiegend auf Kontinuität und allgemeine Sicherheitsmechanismen statt auf eine umfassende Benennung konkreter Risiken.
- How are AI Agents used? Evidence from 177,000 AI agent tools
Laut einer Analyse öffentlicher MCP-Daten wachsen Agentenwerkzeuge rasch und ermöglichen zunehmend direkte Aktionen, doch die Befunde erfassen nicht alle Agenteneinsätze und können regional verzerrt sein.
- Concordia AI 2025 Impact Highlights
Der bereitgestellte Auszug fasst Concordia AI’s selbstberichtete Arbeit zu KI-Governance, Biosicherheit, öffentlicher Information und Organisationswachstum im Jahr 2025 zusammen.
- Post by @METR_Evals on X
- Post by @Research_FRI on X
- Values in the wild
- How are AI agents used? Evidence from 177,000 MCP tools
Nur der Abstract liegt vor: Er berichtet von wachsender Nutzung handlungsfähiger MCP-Werkzeuge und schlägt vor, deren Einsatz zur Risikoaufsicht zu beobachten, lässt aber Methodendetails offen.
- Adversarial Distillation
- Announcing the "AI Agent Standards Initiative" for Interoperable and Secure Innovation
- China’s Military AI Wish List
Der vorliegende Auszug beschreibt laut seinen Autoren breite KI-Beschaffungspläne der PLA und empfiehlt den USA Gegenmaßnahmen, Dialog und fortlaufende Beobachtung.
- Documenting the Impacts of Foundation Models
Der bereitgestellte Auszug skizziert vier Praktiken zur Dokumentation von Foundation-Model-Auswirkungen, fünf Hindernisse und dazugehörige Empfehlungen, ohne Methoden und Beispiele ausführlich darzustellen.
- Developing Enterprise Frontier Safeguards with our customers
EFS soll laut Anthropic Sicherheitsüberwachung mit kundeneigener Datenkontrolle verbinden; die Einführung ist geplant, und der Bericht liefert keine unabhängigen Leistungsnachweise.
- Multi-Agent Risks from Advanced AI
- Measuring Time Horizon using Claude Code and Codex
Laut METR verbesserten Claude Code und Codex den gemessenen Zeithorizont von Opus 4.5 beziehungsweise GPT-5 in diesen Tests nicht eindeutig; die Aussage ist durch methodische und aufgabenbezogene Einschränkungen begrenzt.
- Open technical problems in open-weight AI model risk management
Der vorliegende Abstract skizziert 16 offene Sicherheitsprobleme bei KI-Modellen mit offenen Gewichten und fordert mehr Transparenz über Forschung, Methoden und Evaluationen.
- From deepfake scams to biased AI: How incident reporting can help us keep ahead of AI’s harms
Die OECD wirbt für einen gemeinsamen KI-Vorfall-Berichtsrahmen mit 29 Kriterien, dessen tatsächliche Wirksamkeit der Beitrag nicht bewertet.
- Six crucial policy considerations for AI, data governance and privacy: Insights from the OECD
Die OECD plädiert dafür, Datenschutz über den gesamten KI-Lebenszyklus einzubauen und durch gemeinsame politische Standards sowie internationale Kooperation zu stärken.
- Securing Agentic AI: A Discussion Paper
- A new expert group at the OECD for policy synergies in AI, data and privacy
Die OECD-Expertengruppe soll die Zusammenarbeit zwischen KI- und Datenschutzgemeinschaften stärken; der Beitrag skizziert ihre Ziele, nicht bereits erzielte Ergebnisse.
- Why insurance companies should encourage solid AI risk management instead of excluding it
Der Beitrag plädiert dafür, KI-Versicherungsschutz an nachweisbares Risikomanagement zu knüpfen, räumt aber ein, dass die Risiken schwer zu beziffern sind und die Wirksamkeit des vorgeschlagenen Modells nicht empirisch belegt wird.
- National Standard of the People's Republic of China: Cybersecurity Technology—Safety Specifications for Generative Artificial Intelligence Pre-Training and Fine-Tuning Data (Draft for Feedback)
Der Berichtsauszug stellt Zweck und Geltungsbereich eines chinesischen KI-Datenstandards vor, enthält aber keine konkreten Anforderungen.
- Will AI Make Cyber Swords or Shields
Nur ein Auszug liegt vor: Er berichtet, dass KI laut mathematischen Modellen Angreifern Vorteile verschaffen könnte, während schnellere Patch-Bereitstellung besonders hilfreich sein könnte.
- The Impact of AI on the Cyber Offense-Defense Balance and the Character of Cyber Conflict
Der kurze Auszug kommt zu dem Schluss, dass KI das Cyberkräfteverhältnis vielfältig und nicht eindeutig zugunsten von Angriff oder Verteidigung verändern könnte.
- Managing the Risks of AI Research: Six Recommendations for Responsible Publication
Der Auszug fasst PAI-Empfehlungen zur verantwortungsvollen Veröffentlichung von KI-Forschung nur überblicksartig zusammen; das vollständige Weißbuch liegt nicht vor.
- Forecasting the Impacts of AI R&D Acceleration: Results of a Pilot Study
Eine kleine Pilotbefragung sieht eine starke KI-Beschleunigung als möglich, zeigt aber große Uneinigkeit über gesellschaftliche Folgen; ihre subjektiven, nicht repräsentativen Ergebnisse sind ausdrücklich nur vorläufig.
- National Standard of the People's Republic of China: Cybersecurity Technology - Generative Artificial Intelligence Data Annotation Safety Specifications (Draft for Feedback)
Der Auszug stellt einen chinesischen Entwurf zu Sicherheitsregeln für GenAI-Datenannotation vor, enthält aber außer Geltungsbereich und ersten Definitionen keine detaillierten Vorschriften.
- Interviewing AI researchers on automation of AI R&D
Acht Interviews zeigen breite Uneinigkeit über das Tempo der KI-Forschungsautomatisierung, aber einen gemeinsamen Fokus auf Programmierung und Fehlersuche als mögliche Haupttreiber.
- National Standard of the People's Republic of China: Cybersecurity Technology - Basic Safety Requirements for Generative Artificial Intelligence Services (Draft for Feedback)
Der vorliegende Auszug skizziert einen chinesischen KI-Sicherheitsstandard und behauptet, sein Schwerpunkt sei die Verhinderung unerwünschter Inhalte; der übrige Standard ist hier nicht enthalten.
- How to govern AI in agriculture responsibly: risks, tools and solutions
Der Bericht empfiehlt, landwirtschaftliche KI durch Beteiligung, Datenschutz, Transparenz, Audits und anpassungsfähige Regeln verantwortungsvoll zu steuern, beschreibt die Vorteile und Risiken jedoch überwiegend qualitativ.
- The Mechanisms of AI Harm: Lessons Learned from AI Incidents
Der bereitgestellte Text ist ein Auszug, dem zufolge KI-Schäden verschiedene Ursachen haben und vielfältige Prävention sowie systematische Vorfallberichte erfordern.
- When it comes to AI incidents, safety and security are not the same
Der OECD-Rahmen soll laut Beitrag um passende Meldewege für KI-Sicherheitsvorfälle ergänzt werden, da allgemeine Schadensfälle und absichtliche Angriffe unterschiedliche Informationen erfordern.
- Claude Opus 4 and 4.1 can end certain conversations
- Strengthening AI resilience | AISI Work
20 geförderte Projekte sollen laut Bericht untersuchen, wie sich gesellschaftliche und infrastrukturelle Risiken beim KI-Einsatz mindern lassen; konkrete Forschungsergebnisse werden noch nicht berichtet.
- OpenAI Board Forms Safety and Security Committee
OpenAI setzt laut Bericht einen Ausschuss zur Prüfung seiner Sicherheitsmaßnahmen ein, doch Ergebnisse und Empfehlungen liegen darin noch nicht vor.
- OpenAI’s approach to AI and national security
OpenAI wirbt für demokratisch ausgerichtete KI in der nationalen Sicherheit, beschreibt interne Prüfregeln und nennt künftige Einsatzmöglichkeiten, deren Wirksamkeit der Bericht nicht unabhängig bewertet.
- FMF Announces First-Of-Its-Kind Information-Sharing Agreement
- An update on disrupting deceptive uses of AI
Nur ein Auszug: OpenAI berichtet von mehr als 20 gestörten missbräuchlichen Operationen seit Jahresbeginn, liefert hier aber keine Falldetails; die Abbildungsbeschreibung bricht ab.
- Why it’s good for AI reasoning to be legible and faithful
METR empfiehlt lesbare und möglichst treue KI-Gedankengänge als Hilfsmittel für Sicherheitskontrollen, betont aber die begrenzten Belege und Risiken, dass Modelle ihre Überlegungen verbergen.
- Forecasting potential misuses of language models for disinformation campaigns and how to reduce risk
Die Überblicksseite warnt, dass Sprachmodelle Einflusskampagnen erleichtern könnten, und skizziert Gegenmaßnahmen, deren Nutzen und Nachteile jeweils geprüft werden müssten.
- General-purpose AI obligations under the AI Act | Shaping Europe’s digital future
Die Seite überblickt GPAI-Pflichten nach dem KI-Gesetz, darunter zusätzliche Vorgaben für systemische Risiken, deren Schwellenwert laut Bericht überprüft wird.
- Measuring Automated Kernel Engineering
METR zufolge können KI-Agenten einfache GPU-Kernel-Aufgaben deutlich beschleunigen, doch der begrenzte Benchmark belegt keine Automatisierung menschlicher Kernel-Expertise.
- Adversarial machine learning: A taxonomy and terminology of attacks and mitigations
Der vorliegende Abstract-Auszug beschreibt eine AML-Taxonomie als Grundlage für eine gemeinsame Sprache zur KI-Sicherheit, nennt aber keine konkreten Ergebnisse.
- An example safety case for safeguards against misuse
Der vorliegende Abstract skizziert einen möglichen Safety Case, der Umgehungsaufwand und Abschreckungswirkung modelliert, enthält aber keine Details zur Validierung.
- Strengthening democratic oversight in national security
OpenAI kündigt Unterstützung für demokratische Aufsicht über staatliche Sicherheits-KI an, berichtet jedoch von Plänen statt bereits nachgewiesenen Ergebnissen.
- Emerging practices in frontier AI safety frameworks
Der vorliegende Auszug skizziert drei Kernbereiche von Sicherheitsrahmenwerken für Frontier-KI, nennt aber keine konkreten Praktiken oder Ergebnisse.
- Issue Brief: AI for Cyber Defense
- Artificial Intelligence Security Standardization White Paper
Der Auszug aus einem chinesischen KI-Sicherheitsweißbuch von 2019 skizziert Risiken und das Vorhaben, Standards samt Empfehlungen zu entwickeln, enthält aber keine konkreten Analysen oder Anhänge.
- Issue Brief: Measuring Training Compute
- 0cab80c
Der unvollständige Auszug bündelt Vorschläge, wie Dienste, Modelle und Datensätze dokumentiert werden könnten, ohne eigene Forschungsergebnisse zu präsentieren.
- Safety Cases: A scalable approach to Frontier AI safety
Der kurze Abstract argumentiert, Sicherheitsnachweise könnten die Sicherheit von Frontier-KI besser beurteilbar machen, lässt aber Methodik und Umsetzung als offene Forschungsfragen stehen.
- AI Excellence: Ensuring that AI works for people
Die EU-Kommission beschreibt geplante Maßnahmen für vertrauenswürdige KI durch Kompetenzförderung, einen Schutzrahmen und internationale Standards, ohne deren Umsetzung oder Wirkung zu belegen.
- Detecting and countering malicious uses of Claude
Anthropic berichtet über vier Arten missbräuchlicher Claude-Nutzung und erklärt, die Konten gesperrt zu haben; für mehrere Vorhaben sei kein erfolgreicher Einsatz bestätigt.
- A Bird's Eye View of the ML Field
Der Bericht argumentiert, dass ML-Fortschritt stark von Messbarkeit und empirischem Experimentieren abhängt, zugleich aber durch Paradigmenwechsel und unerwartete Entwicklungen schwer vorhersehbar ist und KI-Sicherheit bislang nur einen kleinen Anteil der Forschung ausmacht.
- Towards a common reporting framework for AI incidents
Der kurze Auszug beschreibt einen anpassbaren Rahmen mit 29 Kriterien zur Meldung und Bewertung von KI-Vorfällen, macht aber keine Angaben zu seiner Wirksamkeit.
- Mapping the misuse of generative AI
Eine begrenzte Medienanalyse beschreibt verbreitete Missbrauchsmuster generativer KI und mögliche Schutzmaßnahmen, erlaubt aber keine repräsentative Aussage über das Ausmaß des Missbrauchs.
- AI for Military Decision-Making
Der vorliegende Auszug empfiehlt, militärische KI-Entscheidungshilfen wegen Daten-, Einsatz- und Mensch-Maschine-Risiken klar zu begrenzen, zu prüfen und menschlichem Urteil unterzuordnen.
- ARC Evals is now METR
ARC Evals soll als gemeinnützige Organisation unter dem Namen METR eigenständig werden; Beth Barnes bleibt laut Ankündigung an der Spitze.
- Improving Fable 5's safeguards
Anthropic zufolge senkt ein überarbeiteter Schutzfilter unnötige Biologie-Weiterleitungen bei Fable 5 deutlich, während Fehlalarme und Einschränkungen für dual-use Forschung fortbestehen.
- Putting Explainable AI to the Test: A Critical Look at AI Evaluation Approaches
Der vorliegende Auszug berichtet von uneinheitlichen Begriffen und einem Übergewicht an Korrektheitsprüfungen bei erklärbaren KI-Empfehlungssystemen; ob sich das verallgemeinern lässt, bleibt offen.
- Detecting and countering misuse of AI: August 2025
Anthropic berichtet über drei von ihm aufgedeckte Missbrauchsfälle mit Claude und beschreibt daraufhin ergriffene Schutzmaßnahmen, wobei der Beitrag nur ausgewählte Fälle des vollständigen Berichts zusammenfasst.
- False Sense of Supremacy: Emerging Technologies, the War in Ukraine, and the Risk of Nuclear Escalat
- Ensuring trustworthy algorithmic decision-making
Die CDEI empfiehlt kontextgerechte Fairness, mehr Transparenz im öffentlichen Sektor und eine bessere Anwendung bestehenden britischen Rechts, wobei wichtige Fragen zu passenden Prüfungen und Gegenmaßnahmen noch offen sind.
- Widening the conversation on frontier AI
Anthropic will vielfältige Perspektiven in die Wertebildung von KI einbeziehen und berichtet über einen vielversprechenden, aber noch nicht abschließend erklärten internen Versuch mit ethischen Erinnerungen für Claude.
- fb15a2a
Der bereitgestellte Auszug empfiehlt transparente Angaben zu Nutzung, Verteilung und Pflege von ML-Datensätzen und benennt dabei praktische, rechtliche und historische Zielkonflikte; es liegt nur ein Auszug vor.
- Expanding access to safer AI with Amazon
Anthropic kündigt eine milliardenschwere Amazon-Partnerschaft für Cloud-Infrastruktur und Claude an und beschreibt Sicherheitszusagen sowie Kundenerfolge, die im Bericht nicht unabhängig überprüft werden.
- d1a3705
Der vorliegende Auszug fordert zweck- und zielgruppengerechte Dokumentation von ML-Modellen, die Nachvollziehbarkeit fördern soll, dabei aber Risiken wie Sicherheitslücken, Kennzahlenspiel und Überfrachtung berücksichtigen muss.
- d9430c7
Der Auszug stellt PAI’s ABOUT ML als iteratives Vorhaben für bessere interne und externe ML-Dokumentation dar, belegt aber keine erreichten oder wirksamen Ergebnisse.
- Introducing Anthropic's Transparency Hub
Anthropic kündigt einen Hub mit Informationen zu KI-Sicherheit und Transparenz an; konkrete Kennzahlen oder eine unabhängige Bewertung enthält der Artikel nicht.
- Anthropic achieves ISO 42001 certification
Anthropic meldet eine ISO/IEC-42001-Zertifizierung als unabhängige Bestätigung seines KI-Managementrahmens, nennt im Bericht aber keine Einzelheiten zum Prüfungsumfang oder konkrete Prüfergebnisse.
- Government automated-decision-making: transparency and responsibility in the public sector
Öffentliche Algorithmenregister können Transparenz fördern, reichen laut Beitrag ohne verständliche Informationen, gemeinsame Standards und unabhängige Kontrolle aber nicht aus.
- Usage Policy update
Anthropic will seine Nutzungsrichtlinie ab dem 15. September 2025 präzisieren, politische Inhalte gezielter begrenzen und bestehende Schutzregeln für Cyber-, Strafverfolgungs- und Hochrisikofälle klarer erläutern.
- Securing Critical Infrastructure in the Age of AI
Der Auszug empfiehlt, KI-Risiken in kritischer Infrastruktur mit klaren Zuständigkeiten, mehr Zusammenarbeit und Weiterbildung zu begegnen und neue KI besonders in kritischen Aufgaben vorsichtig einzusetzen.
- A milestone in international AI transparency: The OECD publishes initial submissions from the G7 Hiroshima AI Process Reporting Framework
Die OECD veröffentlicht erste KI-Governance-Berichte von 19 Organisationen; konkrete Auswertungsergebnisse enthält der Beitrag noch nicht.
- Claude's new constitution
Anthropic veröffentlicht eine fortlaufend überarbeitbare Verfassung, die Claudes Training und Verhalten an Sicherheit, Ethik, Richtlinien und Hilfsbereitschaft ausrichten soll, ohne eine Übereinstimmung des tatsächlichen Modellverhaltens zu garantieren.
- China's Military AI Roadblocks
Der vorliegende Auszug berichtet, dass chinesische Fachleute militärische KI als Chance, aber Sicherheits-, Daten- und Testprobleme sowie Risiken unzuverlässiger Systeme sehen.
- Introducing The Anthropic Institute
Anthropic kündigt ein Institut für die gesellschaftlichen Folgen leistungsfähiger KI und den Ausbau seiner Public-Policy-Arbeit an; die zugrunde liegenden Zukunftsaussagen sind Unternehmensprognosen.
- Key Concepts in AI Safety: Robustness and Adversarial Examples
Der Auszug betont, dass maschinelle Lernmodelle trotz Verallgemeinerungsfähigkeit bei bedeutsam ungewohnten Eingaben scheitern können; die angekündigte Behandlung adversarialer Beispiele ist nicht enthalten.
- The Partnership on AI Launches Multistakeholder Initiative To Enhance Machine Learning Transparency
Die PAI kündigte einen inklusiven, iterativen Prozess für ML-Transparenzempfehlungen an, deren Wirksamkeit laut Mitteilung erst noch durch umfangreiche Belege nachzuweisen wäre.
- Introducing the Life Sciences Verification Program
Anthropic startet eine Beta für geprüfte Life-Science-Teams mit abgestuftem Modellzugang und 30-tägiger Speicherung markierter Nutzungsdaten; Einzelpläne und BAA-Organisationen sind zunächst ausgeschlossen.
- AI capabilities can be significantly improved without expensive retraining
Laut Bericht können nachträgliche Modellverbesserungen bei relevanten Benchmarks große, geschätzte Leistungsgewinne bringen, weshalb Sicherheitsregeln auch künftige Zuwächse und breiteren Zugang zu diesen Verfahren berücksichtigen sollten.
- How the global community can come together to understand AI’s risks
Der Bericht empfiehlt eine koordinierte internationale KI-Governance, die politische Abstimmung und schnelle wissenschaftliche Risikobewertungen verbindet, obwohl Wissen, Zuständigkeiten und Zeitrahmen unsicher bleiben.
- How anticipatory governance can lead to AI policies that stand the test of time
Der OECD-Beitrag empfiehlt fünf miteinander abgestimmte Bausteine für vorausschauende KI-Governance, belegt ihre Wirkung jedoch nicht quantitativ.
- The Inigo Montoya Problem for Trustworthy AI
Der vorliegende Auszug berichtet, dass Schlüsselwörter zu vertrauenswürdiger KI in der Forschung zunehmen, ihre mehrdeutige Verwendung aber einfache Trendmessungen erschwert.
- Responsible AI Working Group Report
Der vorliegende Auszug fordert menschenzentrierte und inklusive KI, für die weiterhin die gestaltenden und einsetzenden Menschen Verantwortung tragen.
- Biological sequence models in the context of the AI directives
Der Bericht sieht stark wachsende Rechen- und Datenbestände bei biologischen Sequenzmodellen und diskutiert eine mögliche, rechtlich nicht abschließend geklärte Lücke bei Modellen, die zwar viele biologische Daten nutzen, aber nicht überwiegend damit trainiert werden.
- Controlling Large Language Model Outputs: A Primer
Der bereitgestellte Auszug erklärt, dass mehrere technische und nichttechnische Ansätze Sprachmodelle steuern sollen, aber unerwünschte Ausgaben nicht sicher verhindern können.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →