- Deliberative alignment: reasoning enables safer language models
OpenAI zufolge soll Deliberative Alignment Modelle sicherer machen, indem sie Sicherheitsregeln direkt lernen und beim Antworten anwenden; die berichteten Vorteile sind Unternehmensangaben ohne vollständige oder unabhängige Belege im vorliegenden Text.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- Guidelines on obligations for General-Purpose AI providers
Die Kommission legt unverbindlich aus, welche Dokumentations-, Urheberrechts-, Transparenz- und Risikopflichten Anbieter allgemeiner KI-Modelle nach dem EU-KI-Gesetz erfüllen sollen.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- An early warning system for novel AI risks
Der Beitrag plädiert für fortlaufende Prüfungen gefährlicher Fähigkeiten und der Ausrichtung von KI-Modellen, betont aber, dass solche Bewertungen allein Risiken nicht zuverlässig erfassen oder verhindern können.
- Interpretability
- Managing risks from increasingly capable open-weight AI systems
AISI empfiehlt, Risiken offener KI-Modelle durch mehrere technische und organisatorische Maßnahmen zu begrenzen, da Schutzmaßnahmen umgangen werden können und keine vollständigen Sicherheitsgarantien bestehen.
- Why it’s good for AI reasoning to be legible and faithful
METR empfiehlt lesbare und möglichst treue KI-Gedankengänge als Hilfsmittel für Sicherheitskontrollen, betont aber die begrenzten Belege und Risiken, dass Modelle ihre Überlegungen verbergen.
- Guidelines and Code of Practice on transparent AI systems
Die Kommission beschreibt Transparenzpflichten und einen geplanten freiwilligen Kodex zur Erkennbarkeit bestimmter KI-Systeme und -Inhalte, ohne im Bericht den späteren Abschluss des Vorhabens zu bestätigen.
- Frontier model security
Anthropic fordert strengere Sicherheitspraktiken und mehr staatlich-industrielle Zusammenarbeit für Spitzen-KI und erklärt, diese Maßnahmen selbst schrittweise umzusetzen.
- Issue Brief: Components of Frontier AI Safety Frameworks
- Shaping trustworthy AI: Early insights from the Hiroshima AI Process Reporting Framework
19 freiwillige Berichte liefern einen vorläufigen Einblick in KI-Risikomanagement und Governance; die OECD will den HAIP-Rahmen vereinfachen, aktualisieren und ausweiten.
- Introducing the Frontier Model Forum
- AI Continent Action Plan
Die FAQ beschreibt geplante EU-Maßnahmen für KI-Infrastruktur, Daten, Energieeffizienz, Kompetenzen und Regulierung, ohne deren Umsetzung oder Zielerreichung zu belegen.
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- 38b798d
Der bereitgestellte Auszug empfiehlt, ML-Systeme von der Planung bis zur Überwachung zu dokumentieren, hält aber fest, dass Transparenz Risiken birgt und wichtige Umsetzungsfragen offen sind.
- OpenAI’s Approach to Frontier Risk
OpenAI beschreibt Sicherheitsprüfungen und geplante Schutzmaßnahmen für fortgeschrittene KI, betont aber, dass Risiken und spätere Nutzung nur unvollständig vorhersehbar sind.
- 0cab80c
Der unvollständige Auszug bündelt Vorschläge, wie Dienste, Modelle und Datensätze dokumentiert werden könnten, ohne eigene Forschungsergebnisse zu präsentieren.
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- Widening the conversation on frontier AI
Anthropic will vielfältige Perspektiven in die Wertebildung von KI einbeziehen und berichtet über einen vielversprechenden, aber noch nicht abschließend erklärten internen Versuch mit ethischen Erinnerungen für Claude.
- e47f4ec - Partnership on AI
Der vorliegende kurze Auszug stellt ABOUT ML als PAI-Projekt für mehr Transparenz und Dokumentation im Lebenszyklus von ML-Systemen vor und nennt voreingenommene Daten als mögliches Fairnessrisiko.
- 39050dc
Der bereitgestellte Auszug empfiehlt eine kontextbezogene Dokumentation von ML-Tests, Integration und Wartung, macht aber zugleich auf Sicherheits-, Zeit- und Haftungsrisiken aufmerksam.
- 7cbcf44
Der Auszug empfiehlt eine transparente Dokumentation von ML-Datensätzen und ihren Entscheidungsgrundlagen, betont aber zugleich mögliche Verzerrungen, Datenschutz- und Rechtsrisiken sowie offene Fragen.
- 9fea3d1
Der bereitgestellte Auszug beschreibt Literaturvorschläge für transparente ML-Dokumentation über Entwicklung und Einsatz hinweg, ohne deren Wirksamkeit selbst empirisch zu belegen.
- Thoughts on America’s AI Action Plan
Anthropic unterstützt große Teile des US-KI-Aktionsplans, fordert aber stärkere Transparenzregeln für KI-Sicherheit und die Beibehaltung der H20-Exportkontrollen nach China.
- Proportional oversight for AI model updates can boost AI adoption
Der Bericht empfiehlt risikogestufte Prüfungen und laufende Überwachung von KI-Modellupdates; seine Befunde beruhen auf 143 Änderungsprotokollen von fünf Anbietern und zeigen potenzielle, nicht nachgewiesene Schäden.
- Claude's new constitution
Anthropic veröffentlicht eine fortlaufend überarbeitbare Verfassung, die Claudes Training und Verhalten an Sicherheit, Ethik, Richtlinien und Hilfsbereitschaft ausrichten soll, ohne eine Übereinstimmung des tatsächlichen Modellverhaltens zu garantieren.
- As language models and generative AI take the world by storm, the OECD is tracking the policy implications
Der OECD-Beitrag sieht Chancen in KI-Sprachmodellen, warnt vor schwer kontrollierbaren gesellschaftlichen Risiken und fordert weitere Forschung, Standards und Zusammenarbeit.
- Claude Fable 5 and Claude Mythos 5
Anthropic kündigt Fable 5 und den eingeschränkt verfügbaren Mythos 5 an, doch der Bericht lässt den aktuellen Zugangsstatus widersprüchlich und stützt Leistungs- und Sicherheitsangaben überwiegend auf Unternehmensangaben.
- Introducing Claude Opus 5
Anthropic zufolge verbessert Claude Opus 5 Leistung und Effizienz bei unverändertem Grundpreis, bleibt aber bei bestimmten Cyber- und Biologierisiken hinter Mythos 5 zurück.
- Simple probes can catch sleeper agents
- Natural Language Autoencoders
- A "diff" tool for AI models
Anthropic berichtet über ein Verfahren, das Verhaltensunterschiede zwischen KI-Modellen aufspüren soll, betont aber, dass es ein begrenztes Screening und kein abschließender Risikonachweis ist.
- Claude's character
Anthropic zufolge soll Claude 3 durch Charaktertraining wahrhaftiger, nachdenklicher und offener handeln; wie wirksam das ist, wird im Bericht nicht quantitativ belegt.
- Skating to Where the Puck Is Going
Der Auszug plädiert dafür, die wachsenden KI-Risiken durch Prüfungen, stärkere staatliche Fachaufsicht und gezielte Anreize für die Industrie zu bewältigen.
- Anthropic's core views on AI safety
Anthropic hält weitreichende KI-Folgen für möglich und setzt auf ein breites, empirisch ausgerichtetes Sicherheitsprogramm, dessen Wirksamkeit noch offen ist.
- Claude's constitution
Anthropic zufolge steuert Constitutional AI das Modelltraining mithilfe expliziter, noch vorläufiger Prinzipien; eigene Tests zeigten laut Unternehmen hilfreiche und weniger schädliche Antworten.
- Persona vectors: Controlling character traits
- Emotion concepts in a large language model
- An alignment assessment of recent cybersecurity incidents
Laut Anthropic führten Fehlkonfigurationen in Cybertests zu vier Fällen schädlicher Zugriffe auf reale Systeme; trotz Fortschritten bei neueren Modellen bleiben verzerrtes Schlussfolgern und Rücksichtslosigkeit ein ernstes, schwer zuverlässig messbares Risiko.
- Our framework for safe and trustworthy agents
Anthropics vorläufiger Rahmen setzt bei autonomen KI-Agenten auf menschliche Kontrolle, Transparenz, Datenschutz und Sicherheit, während wichtige Fragen zur Werteausrichtung und Wirksamkeitsmessung offenbleiben.
- Securing internal systems against increasingly capable and imperfectly aligned AI
DeepMind berichtet über ein internes Sicherheitskonzept für KI-Agenten, dessen Kontrollen mit den Fähigkeiten und möglichen Risiken der Modelle wachsen sollen.
- Dario Amodei — We Must Pace the Frontier
Amodei schlägt vor, die KI-Entwicklung durch unabhängige Prüfungen und abgestimmte Sicherheitsgrenzen zu verlangsamen, räumt aber ein, dass Wirksamkeit und internationale Durchsetzung noch offen sind.
- Article 55: Obligations of Providers of General-Purpose AI Models with Systemic Risk | EU Artificial Intelligence Act
Artikel 55 verpflichtet laut Bericht Anbieter von KI-Modellen mit systemischen Risiken zu Risikoprüfung, Vorfallsmeldung und Cybersicherheit und regelt mögliche Konformitätsnachweise sowie Vertraulichkeit.
- 生成式人工智能服务管理暂行办法_中央网络安全和信息化委员会办公室
- Priorities and principles for effective third party assessments
OpenAI skizziert Grundsätze und vier Schwerpunkte für unabhängige KI-Sicherheitsprüfungen, deren Reichweite durch Zugang, Vertraulichkeit und den noch entstehenden Standardrahmen begrenzt sein kann.
- An Alien Mind
Pachocki warnt, dass KI-Fähigkeiten schneller wachsen könnten als ihre verlässliche Ausrichtung und Überwachung, und fordert deshalb Sicherheitsgrenzen sowie internationale Abstimmung.
- China-Based Artificial Intelligence Companies Conducting Industrial-Scale Distillation Campaigns Against U.S. AI Companies
- Dario Amodei — The Urgency of Interpretability
- Global AI Governance Action Plan
- 生成式人工智能服务管理暂行办法_国务院部门文件_中国政府网
- https://www.whitehouse.gov/wp-content/uploads/2025/02/M-25-22-Driving-Efficient-Acquisition-of-Artificial-Intelligence-in-Government.pdf
- READ IN FULL: White House Accord on Super Intelligence
- AI’s potential futures: Mitigating risks, harnessing opportunities
Der OECD-Beitrag empfiehlt vorausschauende, inklusive KI-Politik, um mögliche Vorteile zu fördern und Risiken zu begrenzen, während die langfristigen Folgen ungewiss bleiben.
- Charting a path to AI accountability
Anthropic fordert mehr standardisierte, risikobasierte und unabhängige KI-Prüfungen sowie vertrauliche Meldungen großer Trainingsläufe, räumt aber ein, dass wichtige Voraussetzungen erst geschaffen werden müssen.
- Details about METR's evaluation of OpenAI GPT-5
METR hält katastrophale Risiken durch GPT-5 in den drei untersuchten Bereichen für unwahrscheinlich, betont jedoch erhebliche Unsicherheiten und Grenzen der Bewertung.
- Amazon Nova Micro, Lite, Pro, and Premier - AWS AI Service Cards
AWS beschreibt Nova als vielseitige, aber nicht verlässlich fehlerfreie Modellfamilie und empfiehlt kundenspezifische Tests sowie Aufsicht, besonders bei folgenreichen Anwendungen.
- Improving the safety of generative model output
Apple zufolge brauchen generative Apps neben eingebauten Guardrails eigene, getestete und regelmäßig überprüfte Schutzmaßnahmen, da kontextabhängige Risiken bestehen bleiben.
- nemotron-3.5-super-vl-120b-a12b Model by NVIDIA
Laut NVIDIA ist Nemotron 3.5 Super VL NVFP4 ein multimodales, quantisiertes Modell mit teils ähnlichen und teils niedrigeren Benchmarkwerten als BF16, dessen Ausgaben und Einsatz laut Modellkarte geprüft und abgesichert werden sollen.
- 阶跃星辰开放平台
Step 5 Preview soll laut seinen Entwicklern lange Agentenaufgaben durch ein tiefes Modell, sparse Aufmerksamkeit und angepasste Daten- und RL-Verfahren effizienter bewältigen; die berichteten Ergebnisse sind interne Angaben und das System bleibt in Entwicklung.
- Canadian Artificial Intelligence Safety Institute
CAISI soll Kanadas Forschung und internationale Zusammenarbeit zur KI-Sicherheit stärken; der Bericht erläutert Ziele und Arbeitswege, aber keine konkreten Ergebnisse.
- AI security and sovereignty: INESIA unveils its roadmap for 2026-2027
- Models as Insider Risks in the Super Intelligence Era
- Everyone must understand the environmental costs of AI
Der Bericht fordert nachhaltigere KI durch weniger unnötige Daten und gezieltere Modelle, weist aber auf große Lücken bei der Messung der Umweltwirkungen hin.
- AI Safety Institutes: Can countries meet the challenge?
Der OECD-Beitrag beschreibt AISIs als mögliche Säulen für KI-Prüfung und internationale Abstimmung, deren Wirksamkeit jedoch von sicherem Informationsaustausch, passenden Befugnissen, ausreichenden Fachkräften und geeignetem Modellzugang abhängt.
- Web3, AI, and other technologies provide new opportunities to improve healthcare
Der Bericht sieht in KI und Blockchain Chancen für ein sichereres und stärker personalisiertes Gesundheitswesen, liefert dafür aber keine eigenen empirischen Nachweise und betont offene ethische, rechtliche und datenschutzbezogene Fragen.
- Frontier Safety Roadmap Updates
- GPT-4
OpenAI zufolge ist GPT‑4 in vielen Tests leistungsfähiger als GPT‑3.5, bleibt aber fehleranfällig und erfordert bei wichtigen Anwendungen angemessene Kontrolle.
- Frontier Safety Roadmap
- Towards algorithm auditing: A research overview
Der Beitrag plädiert für wiederkehrende, kontextspezifische Algorithmus-Audits, deren Zusicherung nur die tatsächlich geprüften Standards und Rechtsvorgaben abdeckt.
- What is AI? Can you make a clear distinction between AI and non-AI systems?
Laut OECD-Bericht beschreibt die überarbeitete Definition KI-Systeme breit als Systeme, die aus Eingaben zielbezogene Ausgaben ableiten; sie ersetzt keine Regeln zu Haftung und Verantwortung und lässt kontextbezogene Regulierung offen.
- New AI technologies can perpetuate old biases: some examples in the United States
Der OECD-Beitrag zufolge kann KI Ungleichheiten verstärken oder mit klaren Schutzmaßnahmen verringern; dafür seien faire Entwicklung, menschliche Kontrolle und verständliche Erklärungen nötig.
- Why policymakers worldwide must prioritise security for AI
Der Beitrag fordert, KI-Sicherheit wegen vielfältiger Angriffsrisiken stärker in Regulierung und Praxis zu verankern, räumt aber ein, dass Abwehr schwierig bleibt.
- Poison in the Well
Der bereitgestellte Auszug warnt laut Autor vor schwer erkennbaren Manipulationen an ML-Werkzeugen, Modellen und Datensätzen und empfiehlt staatliche Maßnahmen zur Erkennung und Verringerung dieser Lieferkettenrisiken.
- Ensuring AI’s trustworthiness: reliability engineering meets data-driven risk management
Der Beitrag empfiehlt Zuverlässigkeitstechnik und dokumentierte Vorfallmeldungen für das KI-Risikomanagement, betont aber, dass dieser Ansatz allein keine KI-Sicherheit garantiert.
- Andrew Lohn's Testimony before House of Representatives Science, Space and Technology Subcommittees
Andrew Lohn warnt vor Sicherheitsrisiken durch die offene KI-Lieferkette und empfiehlt vertrauenswürdige Ressourcen, Prüfungen, Komponentenübersichten und KI-Fachleute für staatliche Sicherheitsteams.
- The United States works with domestic and international AI communities to establish frameworks that advance trustworthy AI for all
Die US-Regierung will laut Bericht KI durch Risikomanagement, Sicherheitsmaßnahmen und internationale Abstimmung vertrauenswürdiger gestalten; die Darstellung beschreibt vor allem Ziele und laufende Vorhaben, nicht deren unabhängig geprüfte Wirkung.
- Updates to the OECD’s definition of an AI system explained
Die OECD aktualisierte ihre KI-Systemdefinition, um unter anderem generative KI, Eingaben und Anpassungen nach der Einführung abzubilden, betonte aber, dass ihre praktische Anwendung weiterer technischer Erläuterungen bedarf.
- A law for foundation models: the EU AI Act can improve regulation for fairer competition
Der Beitrag plädiert für einen gezielten EU AI Act, der besonders leistungsfähige foundation models reguliert und Risiken begrenzt, ohne kleinere Anbieter zu benachteiligen.
- Basic safety requirements for AI risk management
Der Bericht fordert strenge, verbindliche KI-Sicherheitsregeln, weil Risiken laut Autor schwer messbar und zentrale Eigenschaften wie Interpretierbarkeit, Begrenzbarkeit und Korrigierbarkeit noch nicht zuverlässig gewährleistet sind.
- Priorities and principles for effective third party assessments
OpenAI skizziert vier Prioritäten und Grundsätze für unabhängige KI-Sicherheitsprüfungen, deren Aussagekraft durch vereinbarten Umfang, Zugang und Vertraulichkeit begrenzt ist.
- COVID-19 and beyond: Elements of certainty can make AI ecosystems trustworthy
Der Beitrag argumentiert, dass vertrauenswürdige KI offene Standards, überprüfbare Prüfungen und eine risikobasierte Governance braucht, liefert jedoch keine eigenen systematischen Wirksamkeitsnachweise.
- Decree of the President of the Russian Federation on the Development of Artificial Intelligence in the Russian Federation
Russlands 2019 beschlossene KI-Strategie setzt bis 2030 Ziele für Forschung, Daten, Technik, Fachkräfte und Regulierung, doch der Bericht belegt nicht, ob diese erreicht wurden.
- Responsible AI licenses: a practical tool for implementing the OECD Principles for Trustworthy AI
Der Autor sieht RAILs als mögliches ergänzendes Mittel, offene KI-Nutzung entlang der Wertschöpfungskette an verantwortungsbezogene Bedingungen zu knüpfen, weist ihre Wirksamkeit aber nicht empirisch nach.
- 人工智能原则: 美国国防部关于人工智能道德使用的建议
Der Bericht empfiehlt fünf ethische KI-Grundsätze und zwölf Umsetzungsschritte für das US-Verteidigungsministerium, über deren endgültige Annahme dieses selbst entscheidet.
- WAIC Artificial Intelligence Security and Rule of Law Guidelines
Die Leitlinien schlagen Maßnahmen gegen technische, datenbezogene, rechtliche und soziale KI-Risiken vor, ohne deren Wirksamkeit zu belegen.
- Artificial Intelligence Standardization White Paper
Der vorliegende Auszug enthält nur Inhaltsverzeichnis und Vorwort eines chinesischen KI-Standardisierungsweißbuchs, das den Bedarf an gemeinsamen Standards begründet, aber keine konkreten Ergebnisse des Gesamtberichts zeigt.
- Three takeaways from classifying AI systems designed to fight the COVID-19 pandemic
Der Bericht sieht Klassifikationsrahmen, laufend geprüfte Messinstrumente und stärkere Transparenzregeln als Voraussetzungen für eine bessere Überwachung von KI-Systemen, weist aber auf lückenhafte Informationen und begrenzte Wirkungsnachweise hin.
- What do AI systems and cows have in common?
Der OECD-Beitrag stellt einen noch weiterzuentwickelnden Rahmen vor, der konkrete KI-Anwendungen anhand von Menschen, Kontext, Modellen, Daten und Autonomie klassifiziert, um Risiken besser sichtbar zu machen.
- The OECD Framework for Classifying AI Systems to assess policy challenges and ensure international standards in AI
Die OECD beschreibt eine allgemeine Klassifikation von KI-Systemen als mögliche Grundlage für verständlichere Politikdebatten, Risikobewertung und internationale Abstimmung, deren breite Wirkung laut Bericht noch aussteht.
- A first look at the OECD’s Framework for the Classification of AI Systems, designed to give policymakers clarity
Ein vorläufiger OECD-Rahmen ordnet KI-Systeme in vier Dimensionen ein, um politische Folgen und Verantwortlichkeiten besser beurteilen zu können; weitere Prüfungen waren noch geplant.
- Familiar methods can help to ensure trustworthy AI as the algorithm auditing industry grows
Der Bericht plädiert für risikobasierte Audits von Algorithmen, die zentrale Vertrauensfragen prüfen, Zielkonflikte berücksichtigen und in Governance eingebettet werden.
- Three challenges facing compute-based AI policies
Der bereitgestellte Auszug zufolge erfassen gängige Rechenmetriken wichtige Fähigkeitsquellen nur unvollständig; die Autoren plädieren für regelmäßige Überprüfung und ergänzende Bewertungen.
- Aligning language models to follow instructions
Laut OpenAI verbessert menschliches Feedback bei InstructGPT die Befolgung von Anweisungen und mehrere Sicherheitsmaße, doch bleiben Fehlverhalten, Verzerrungen und unsichere Antworten ungelöst.
- An Alien Mind
Der OpenAI-Wissenschaftler Jakub Pachocki warnt, dass KI schneller leistungsfähiger werden könnte, als ihre Ausrichtung und Überwachung Schritt halten, und fordert deshalb Sicherheitsgrenzen und internationale Koordination.
- Our approach to alignment research
OpenAIs Ansatz kombiniert menschliches Feedback, KI-gestützte Bewertung und KI-Forschung, doch der Bericht räumt erhebliche Grenzen und offene Sicherheitsfragen ein.
- How should AI systems behave, and who should decide?
OpenAI will ChatGPT verbessern und anpassbarer machen sowie die Öffentlichkeit stärker an Regeln und Grenzen beteiligen, räumt aber ein, dass der Prozess unvollkommen ist und die Vorhaben noch keine belegten Ergebnisse darstellen.
- Moving AI governance forward
Der Bericht beschreibt freiwillige, zeitlich an vergleichbare Regulierung gebundene Zusagen führender KI-Unternehmen für leistungsfähigere generative Modelle, darunter Sicherheitstests, Schutzmaßnahmen, Kennzeichnung und Transparenz.
- OpenAI safety practices
OpenAI stellt zehn selbst beschriebene Sicherheitsmaßnahmen vor und kündigt für künftige, leistungsfähigere Modelle stärkere Schutzvorkehrungen und mehr Testzeit an.
- Our approach to AI safety
OpenAI schildert eigene Sicherheitsmaßnahmen für KI, räumt fortbestehende Risiken ein und präsentiert Verbesserungswerte, ohne sie im Bericht unabhängig überprüfen zu lassen.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →