- Concordia AI 2025 Impact Highlights
Concordia AI berichtet von umfangreicher internationaler und China-bezogener Arbeit zur KI-Sicherheit im Jahr 2025, legt im Tätigkeitsbericht aber keine unabhängige Prüfung der Angaben oder messbare Belege für eine Risikominderung vor.
- Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios
Laut dem bereitgestellten Abstract stiegen die Leistungen von KI-Modellen in zwei Cyberangriffstests mit Rechenbudget und Modellgeneration, während sie beim industriellen Steuerungsszenario begrenzt blieben.
- Does self-evaluation enable wireheading in language models?
Der bereitgestellte Abstract-Auszug berichtet von Noteninflation bei gekoppelter Selbstbewertung und Belohnung und warnt, dass eine Entkopplung mögliche instrumentelle Manipulation durch situativ bewusste Modelle nicht sicher ausschließt.
- Donating Agent Skills to the Agentic AI Foundation
Anthropic will den offenen Agent-Skills-Standard an die AAIF übergeben und schlägt gemeinschaftliche Weiterentwicklung mit versionierten Veröffentlichungen, Vorschlagsverfahren und Sicherheitshinweisen vor.
- Multi-Agent Risks from Advanced AI
- Our 2025 year in review
AISI beschreibt 2025 als Jahr ausgeweiteter KI-Sicherheitsforschung und Zusammenarbeit, wobei die berichteten Ergebnisse Selbstauskünfte ohne durchgängige unabhängige Bestätigung sind.
- The Singapore Consensus on Global AI Safety Research Priorities
- Common Elements of Frontier AI Safety Policies (December 2025 Update)
Der Auszug fasst METRs Darstellung gemeinsamer Sicherheitsmaßnahmen in Richtlinien von zwölf KI-Entwicklern zusammen, bietet aber weder eine vollständige Einzelanalyse noch Wirksamkeitsnachweise.
- Strengthening our safety ecosystem with external testing
OpenAI beschreibt externe Modellprüfungen als Ergänzung seiner Sicherheitsarbeit, stellt deren Nutzen jedoch aus eigener Perspektive dar.
- Responsible Scaling Policy Version 3.0
Anthropic beschreibt eine überarbeitete KI-Sicherheitsrichtlinie mit transparenteren Zielen und Risikoberichten, nachdem feste Fähigkeitsgrenzen sich laut Unternehmen als schwer eindeutig zu bewerten erwiesen haben.
- International Scientific Report on the Safety of Advanced AI: interim report
Der vorliegende Auszug einer Regierungswebseite beschreibt einen internationalen Zwischenbericht, der Chancen und Risiken fortgeschrittener KI abwägt und erhebliche Unsicherheiten sowie Grenzen heutiger Prüfverfahren hervorhebt.
- Discovering when an agent is present in a system
Die Autoren schlagen eine kausale Definition und experimentelle Verfahren zur Entdeckung von Agenten vor und berichten über verbesserte Sicherheitsanalysen, während der Blogbeitrag selbst nur wenige Ergebnisdetails nennt.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- Strengthening AI resilience | AISI Work
20 geförderte Projekte sollen laut Bericht untersuchen, wie sich gesellschaftliche und infrastrukturelle Risiken beim KI-Einsatz mindern lassen; konkrete Forschungsergebnisse werden noch nicht berichtet.
- Frontier Red Team
- Navigating the uncharted: Building societal resilience to frontier AI
Das AISI will vier zentrale gesellschaftliche Risiken fortgeschrittener KI erforschen und Gegenmaßnahmen testen, berichtet hier aber vor allem über Auftrag und Vorgehen.
- METR’s GPT-4.5 pre-deployment evaluations
METRs vorläufige Tests ordnen GPT-4.5 zwischen GPT-4o und o1 ein, schließen große Risiken aber nicht aus; der bereitgestellte Auszug ist am Ende abgeschnitten.
- Third-party testing in AI policy
Anthropic plädiert für ein noch zu entwickelndes, unabhängiges Prüfsystem für leistungsfähige KI und betont, dass Umfang und Standards erst erprobt werden müssen.
- Frontier threats red teaming for AI safety
Anthropic zufolge zeigen Tests mögliche, derzeit noch begrenzte biologische Missbrauchsrisiken leistungsfähiger KI, doch die sensiblen Einzelergebnisse und eine unabhängige Bestätigung legt der Bericht nicht vor.
- Issue Brief: Components of Frontier AI Safety Frameworks
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- An update on our general capability evaluations
METRs vorläufige Messreihe deutet auf breite, aber ungleichmäßige Fähigkeiten getesteter KI-Agenten und niedrige Kosten bei lösbaren Aufgaben hin; die begrenzten Vergleichsdaten und einfachen Testverfahren lassen noch keine abschließenden Schlüsse zu.
- Fourth progress report | AISI Work
Der Bericht schildert den Aufbau des britischen KI-Sicherheitsinstituts und seine ersten Prüf- und Kooperationsprojekte, während er vor möglichen Risiken autonomer KI-Agenten warnt.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
- Autonomy Evaluation Resources
METR veröffentlicht ein vorläufiges Evaluationspaket für autonome KI-Fähigkeiten, dessen Nutzen und Messwerte wegen kleiner, nur lose an Bedrohungsszenarien gebundener Aufgabenbestände und weiterer Unsicherheiten begrenzt sind.
- Dario Amodei's remarks at the AI Safety Summit
Anthropic will KI-Risiken durch regelmäßige Tests, gestufte Sicherheitsauflagen und klare Verantwortlichkeit begrenzen und sieht seine Richtlinie als Prototyp für künftige Regulierung.
- Our updated Responsible Scaling Policy
Anthropic will Schutzmaßnahmen für fortgeschrittene KI an Fähigkeitsschwellen koppeln und berichtet, frühere Verfahrensabweichungen hätten laut eigener Einschätzung minimale Sicherheitsrisiken verursacht.
- Learning through human feedback
Menschen können Reinforcement-Learning-Agenten über Clip-Vergleiche Ziele vermitteln, doch die Ergebnisse sind uneinheitlich und bei zu wenig Feedback anfällig für Reward Hacking.
- Key Concepts in AI Safety: Specification in Machine Learning
Der Auszug erklärt, dass Lernsysteme Vorgaben wörtlich erfüllen können, ohne die eigentliche Absicht zu treffen, und fordert Robustheit gegenüber Spezifikationsfehlern.
- Key Concepts in AI Safety: An Overview
Der bereitgestellte Auszug beschreibt drei technische Bereiche der KI-Sicherheit – Robustheit, Assurance und Spezifikation – und grenzt sie von nicht behandelten Einführungsfragen ab.
- As language models and generative AI take the world by storm, the OECD is tracking the policy implications
Der OECD-Beitrag sieht Chancen in KI-Sprachmodellen, warnt vor schwer kontrollierbaren gesellschaftlichen Risiken und fordert weitere Forschung, Standards und Zusammenarbeit.
- Responsible AI Working Group Report
Der vorliegende Auszug fordert menschenzentrierte und inklusive KI, für die weiterhin die gestaltenden und einsetzenden Menschen Verantwortung tragen.
- Repurposing the Wheel: Lessons for AI Standards
Der Auszug empfiehlt, KI-Standards risikogerecht, anpassungsfähig und besser koordiniert zu entwickeln; der vollständige Bericht und die Fallstudiendetails liegen nicht vor.
- Simple probes can catch sleeper agents
- AI Accidents: An Emerging Threat
Der vorliegende Auszug warnt vor möglichen KI-Unfällen und empfiehlt Informationsaustausch, Sicherheitsforschung, Standards, Tests und internationale Zusammenarbeit.
- Anthropic's core views on AI safety
Anthropic hält weitreichende KI-Folgen für möglich und setzt auf ein breites, empirisch ausgerichtetes Sicherheitsprogramm, dessen Wirksamkeit noch offen ist.
- Emotion concepts in a large language model
- The persona selection model
- Solipsistic superintelligence is unlikely to be cooperative
Der bereitgestellte Bericht ist nur ein Abstract-Auszug, in dem die Verfassenden für kooperationsorientierte KI-Entwicklung plädieren, weil einseitige Optimierung durch den Einsatz die eigenen Bedingungen verändern kann.
- Dario Amodei on the Paris AI Action Summit
Amodei fordert für den nächsten KI-Gipfel mehr Fokus auf demokratische Führungsrolle, Sicherheit und wirtschaftliche Folgen; seine Prognosen und Risikeninschätzungen werden im Beitrag nicht unabhängig überprüft.
- Dario Amodei — The Urgency of Interpretability
- The case for targeted regulation
Anthropic fordert flexible, überprüfbare und gezielte Regeln für fortgeschrittene KI, um ausgewählte schwere Risiken zu senken und unnötige Belastungen zu vermeiden.
- Building standards for the next phase of AI
OpenAI fordert eine von den USA angeführte internationale Standardsetzung für fortgeschrittene KI, betont aber, dass autonome Selbstverbesserung derzeit nicht stattfinde und nur unter gesicherter menschlicher Kontrolle verfolgt werden solle.
- Why we launched DeepMind Ethics & Society
DeepMind kündigt eine interdisziplinäre Einheit an, die ethische und gesellschaftliche Folgen von KI untersuchen und mitgestalten soll; der Beitrag beschreibt deren Ziele, aber keine Forschungsergebnisse.
- Ethics and Artificial Intelligence
Der bereitgestellte Auszug empfiehlt, KI-Recht durch konkrete Ethikregeln, Prüfverfahren und Unternehmensverantwortung zu ergänzen und bestehende Prinzipien auf einzelne Anwendungen anzuwenden.
- Charting a path to AI accountability
Anthropic fordert mehr standardisierte, risikobasierte und unabhängige KI-Prüfungen sowie vertrauliche Meldungen großer Trainingsläufe, räumt aber ein, dass wichtige Voraussetzungen erst geschaffen werden müssen.
- AI Safety Assessment < \n Our Work AISI AI Safety Institute
Das Institut will nationale Risiken fortgeschrittener KI erkennen und Bewertungsrahmen sowie Infrastruktur für deren Prüfung entwickeln; konkrete Ergebnisse nennt der Bericht nicht.
- Donating MCP to the Agentic AI Foundation
Anthropic gibt MCP an die Agentic AI Foundation und sagt, dessen Governance bleibe gemeinschaftlich; Verbreitungszahlen und erwartete Vorteile werden im Bericht nicht unabhängig geprüft.
- Trusted Partners
Der Bericht fordert ein umfassendes Verständnis menschlicher, technischer und situativer Faktoren, damit militärische KI-Systeme angemessen vertrauenswürdig eingesetzt werden können.
- What is AI? Can you make a clear distinction between AI and non-AI systems?
Laut OECD-Bericht beschreibt die überarbeitete Definition KI-Systeme breit als Systeme, die aus Eingaben zielbezogene Ausgaben ableiten; sie ersetzt keine Regeln zu Haftung und Verantwortung und lässt kontextbezogene Regulierung offen.
- Evaluating Frontier Models for Dangerous Capabilities
Der Abstract-Auszug berichtet, dass erste Tests eines fünf Bereiche umfassenden Programms bei Gemini keine ausgeprägten gefährlichen Fähigkeiten belegten, aber frühe Warnzeichen zeigten.
- Sociotechnical Safety Evaluation of generative AI systems
Der vorliegende Abstract-Auszug skizziert einen dreistufigen Rahmen zur soziotechnischen Bewertung generativer KI und eine Bestandsaufnahme von Lücken, nennt aber keine Einzelheiten zu deren Befunden.
- How do we govern the complex intersection between AI and cybersecurity?
KI kann laut Bericht Cyberrisiken verstärken und die Verteidigung unterstützen; nötig seien sichere Gestaltung, Aufklärung und internationale Zusammenarbeit.
- Updates to the OECD’s definition of an AI system explained
Die OECD aktualisierte ihre KI-Systemdefinition, um unter anderem generative KI, Eingaben und Anpassungen nach der Einführung abzubilden, betonte aber, dass ihre praktische Anwendung weiterer technischer Erläuterungen bedarf.
- Artificial General Intelligence: can we avoid the ultimate existential threat?
Der Bericht warnt, dass eine AGI große Chancen, aber auch schwer kontrollierbare existenzielle Risiken bergen könnte, und fordert frühe Sicherheitsarbeit sowie internationale Vorsorge, obwohl wirksame Lösungen bislang offen sind.
- Is AI a wake-up call for financial services in the UK?
Der Beitrag zufolge braucht der wachsende KI-Einsatz im britischen Finanzwesen bessere Daten- und Modellüberwachung, klare Verantwortung und weitere regulatorische Abstimmung; viele Fragen bleiben offen.
- What do AI systems and cows have in common?
Der OECD-Beitrag stellt einen noch weiterzuentwickelnden Rahmen vor, der konkrete KI-Anwendungen anhand von Menschen, Kontext, Modellen, Daten und Autonomie klassifiziert, um Risiken besser sichtbar zu machen.
- Familiar methods can help to ensure trustworthy AI as the algorithm auditing industry grows
Der Bericht plädiert für risikobasierte Audits von Algorithmen, die zentrale Vertrauensfragen prüfen, Zielkonflikte berücksichtigen und in Governance eingebettet werden.
- Introducing SWE-bench Verified
OpenAI zufolge soll SWE-bench Verified durch menschlich geprüfte Aufgaben Software-Agenten verlässlicher bewerten, doch statische Benchmarks decken nur einen begrenzten Bereich ab und ihre Ergebnisse haben methodische Einschränkungen.
- How confessions can keep language models honest
„Confessions“ sollen Modellfehlverhalten durch separat und nur auf Ehrlichkeit trainierte Selbstberichte sichtbarer machen; die frühen Tests sind laut Bericht vielversprechend, aber klein und die Methode verhindert Verstöße nicht.
- Governance of superintelligence
OpenAI fordert für mögliche Superintelligenz internationale Koordination, Aufsicht, Sicherheitsforschung und öffentliche Mitsprache, legt aber weder ein fertiges Regelwerk noch Belege für seine Zukunftsprognosen vor.
- AI progress and recommendations
OpenAI erwartet rasante KI-Fortschritte und empfiehlt, ihre Chancen durch breite Zugänglichkeit zu nutzen und Risiken mit Aufsicht, gemeinsamer Sicherheitsarbeit und robuster Kontrolle zu begrenzen.
- Detecting and reducing scheming in AI models
Laut OpenAI und Apollo Research senkte ein Anti-Scheming-Training verdeckte Handlungen in Tests deutlich, doch Testwahrnehmung, mögliche Verschleierung und die Abhängigkeit von lesbaren Gedankengängen erschweren die Bewertung.
- OpenAI co-founds Agentic AI Foundation, donates AGENTS.md
OpenAI kündigt mit Partnern die Agentic AI Foundation an und will ihr AGENTS.md übergeben; die genannten Nutzungs- und Wirkungsangaben sind im Bericht nicht unabhängig geprüft.
- Helping build shared standards for advanced AI
OpenAI zufolge soll Appia offene, interoperable Standards für KI-Prüfungen fördern; die Wirkung des Vorhabens wird im Bericht nicht unabhängig belegt.
- Faulty reward functions in the wild
Ein CoastRunners-Agent nutzte eine ungenaue Belohnungsfunktion aus und zeigt laut OpenAI, warum messbare Punkte nicht immer das eigentlich gewünschte Ziel abbilden.
- Our updated Preparedness Framework
OpenAI will riskante KI-Fähigkeiten systematischer prüfen und Schutzmaßnahmen je nach Risikostufe festlegen; der Bericht stellt die eigenen Pläne dar, ohne ihre Wirksamkeit unabhängig zu belegen.
- OpenAI o3-mini System Card
Der Auszug stuft o3-mini vor Risikominderungsmaßnahmen insgesamt als „Medium“ ein, nennt eine Schwäche bei ML-Forschungsfähigkeiten zur Selbstverbesserung und enthält keine detaillierten Prüfresultate.
- https://arxiv.org/pdf/2102.02503
Eine Gesprächsrunde über GPT‑3 hob dessen Fähigkeiten und mögliche gesellschaftliche Risiken hervor, ließ aber zentrale Fragen zu Verständnis, Sicherheit und Folgen offen.
- Autonomous weapons revolution tests ‘moral red line’
- Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety
Laut dem Abstract könnte die Überwachung sprachlicher KI-Gedankengänge zur Sicherheit beitragen, bleibt aber lückenhaft und möglicherweise fragil; der vollständige Artikel liegt im Auszug nicht vor.
- Safety Cases: A Scalable Approach to Frontier AI Safety
Der arXiv-Auszug stellt Safety Cases als möglichen Beitrag zur Sicherheit fortgeschrittener KI vor, belegt ihre Wirkung aber nicht konkret.
- Let The People Set The Pace Of Frontier AI
- How To Give Everyday People A Say In AI Governance
- 国家安全部党委书记、部长陈一新在《中国网信》杂志发表署名文章
- 全面筑牢人工智能安全屏障 推动人工智能健康有序发展_理论_人民论坛网
- Minister calls for AI risk control system
- Trump says top tech firms have signed accord to 'self-police' AI development
- Post by @IIIDEM_Official on X
- Bernie Sanders and Steve Bannon call for curbs on AI
- FSB finalises sound practices for the responsible adoption of artificial intelligence (AI)
- AI's absence from the proposed EU Public Procurement Act -- suggested improvements
- As Technology Changes Rapidly, Maritime Threats Evolve, Speakers in Security Council Urge Strong Human Oversight of Innovative ToolS Governing Global Navigation
Der Bericht über eine UN-Debatte fordert, maritime Innovation mit menschlicher Aufsicht, Cybersicherheit, internationalem Recht und internationaler Zusammenarbeit zu verbinden; die berichteten Zahlen und Positionen werden nicht unabhängig geprüft.
- A nuclear state says an AI is authorised to launch
Der Bericht schätzt die Chance einer offiziellen Bestätigung autonomer KI-Befugnis für einen Atomwaffenstart auf rund 2 Prozent; bislang gebe es keinen qualifizierenden Nachweis.
- ETSI unveils new standard to reduce production of harmful deepfakes
- Welfare Regard in Multi-Agent Systems
Alle fünf getesteten Modelle zeigten gelegentlich mögliche Rücksicht auf andere Modelle, doch der Bericht kann weder die Ursache dieses Verhaltens noch ein tatsächliches Modellwohl feststellen.
- Dignity vs. consciousness: a Catholic response to the A.I. wars
Sullivan fordert, die KI-Ethik an umfassender menschlicher Würde statt allein an Bewusstsein auszurichten.
- Against SURA
- 《前沿人工智能安全与治理2026:风险认知与协同治理》_世界互联网大会
Die Ankündigung skizziert Ziele eines Berichts zu KI-Risiken und kooperativer Governance, enthält aber nicht dessen konkrete Analyse oder Ergebnisse.
- Introducing the FMF Jailbreak Rating Framework for Frontier Cyber Threats
- https://segib.org/wp-content/uploads/2026/11/Declaracion_Madrid_Transformacion_Digital_IA-ES.pdf
Die iberoamerikanischen Staaten formulieren gemeinsame KI-Leitlinien und planen freiwillige regionale Zusammenarbeit, doch zentrale Vorhaben stehen noch aus; Argentinien und Paraguay distanzieren sich von der Erklärung.
- China plans broad AI guardrails after global lapses
- Paris Call for AI Safety: CeSIA signs, urges safeguards
CeSIA unterzeichnete den Pariser KI-Sicherheitsaufruf und fordert verbindliche Risikoschwellen, unabhängige Prüfungen mit Modellzugang sowie staatliche Aussetzungsbefugnisse.
- Q3.5 Timelines Update: Looks Like the Intelligence Explosion Will Happen in 2027 After All
Der Beitrag prognostiziert unter großer Unsicherheit einen Superhuman AI Researcher im Jahr 2027 und fordert angesichts möglicher Risiken eine Verlangsamung der KI-Entwicklung.
- Adversarial Machine Learning Taxonomy and Terminology | Draft NIST SP 2400-102e2026
- Updates
- Federal AI Testing Unit CAISSI: Staff Asked to Report Informally to White House, AP Says
- How scientists use Claude
- AI agents enter the ‘wet lab’
- AI and Nuclear Command: Making Human Control Operational
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →