- Anthropic raises Series B to build robust AI
Anthropic kündigt eine Series-B-Finanzierung über 580 Millionen US-Dollar für KI-Sicherheitsforschung an, ohne in der Mitteilung die Wirksamkeit seiner Schutzmaßnahmen unabhängig nachzuweisen.
- Holistic Safety and Responsibility Evaluations of Advanced AI Models
Der bereitgestellte Abstract fordert eine systematischere, kooperative und politisch eingebundene KI-Sicherheitsbewertung, nennt aber keine konkreten Gemini-Testergebnisse.
- AI Safety Institutes: Can countries meet the challenge?
Der OECD-Beitrag beschreibt AISIs als mögliche Säulen für KI-Prüfung und internationale Abstimmung, deren Wirksamkeit jedoch von sicherem Informationsaustausch, passenden Befugnissen, ausreichenden Fachkräften und geeignetem Modellzugang abhängt.
- Evolving with innovation: The 2024 OECD AI Principles update
Die OECD-Grundsätze sollen Länder bei einer abgestimmten, aber anpassbaren KI-Regulierung unterstützen; laut Beitrag hängt ihre Wirkung von der nationalen Umsetzung ab.
- Towards algorithm auditing: A research overview
Der Beitrag plädiert für wiederkehrende, kontextspezifische Algorithmus-Audits, deren Zusicherung nur die tatsächlich geprüften Standards und Rechtsvorgaben abdeckt.
- When AI builds itself
Anthropic zufolge beschleunigt KI bereits die KI-Entwicklung; vollständige Selbstverbesserung bleibt eine unsichere Möglichkeit mit großen Chancen, Risiken und erheblichen Mess- und Koordinationsproblemen.
- Evaluating Frontier Models for Dangerous Capabilities
Der Abstract-Auszug berichtet, dass erste Tests eines fünf Bereiche umfassenden Programms bei Gemini keine ausgeprägten gefährlichen Fähigkeiten belegten, aber frühe Warnzeichen zeigten.
- Sociotechnical Safety Evaluation of generative AI systems
Der vorliegende Abstract-Auszug skizziert einen dreistufigen Rahmen zur soziotechnischen Bewertung generativer KI und eine Bestandsaufnahme von Lücken, nennt aber keine Einzelheiten zu deren Befunden.
- Scalable AI Safety via Doubly-Efficient Debate
Der Bericht liegt nur als Abstract-Auszug vor und behauptet, neue Debattenprotokolle könnten die Prüfung stochastischer KI-Systeme mit polynomialem Aufwand der ehrlichen Strategie ermöglichen.
- A theory of appropriateness with applications to generative artificial intelligence
Der Abstract-Auszug kündigt eine Theorie zu situationsabhängiger Angemessenheit und ihrer Bedeutung für generative KI an, enthält jedoch keine konkreten Methoden oder Ergebnisse.
- Familiar methods can help to ensure trustworthy AI as the algorithm auditing industry grows
Der Bericht plädiert für risikobasierte Audits von Algorithmen, die zentrale Vertrauensfragen prüfen, Zielkonflikte berücksichtigen und in Governance eingebettet werden.
- Understanding neural networks through sparse circuits
Sparsame Modelle zeigen in einfachen Aufgaben teilweise nachvollziehbare Schaltkreise, doch ob der Ansatz auf leistungsfähige Systeme übertragbar ist, bleibt offen.
- How evals drive the next chapter in AI for businesses
Der Bericht empfiehlt einen fortlaufenden Kreislauf aus Zielen festlegen, realistisch messen und verbessern, betont aber, dass es für kontextbezogene KI-Evals noch kein endgültiges Verfahren gibt.
- Superalignment Fast Grants
OpenAI kündigt 10 Millionen US-Dollar für Forschung zur Sicherheit übermenschlicher KI an und nennt dafür mehrere Förderformen und Forschungsschwerpunkte, berichtet aber noch keine Ergebnisse.
- Improving verifiability in AI development
Der Text stellt zehn Empfehlungen für besser überprüfbare KI-Entwicklung vor, ist aber nur eine Zusammenfassung und erläutert weder deren Wirksamkeit noch die Einschränkungen des vollständigen Berichts.
- Practices for Governing Agentic AI Systems
Der Auszug fordert gemeinsame Sicherheits- und Governance-Grundlagen für agentische KI, führt die angekündigten konkreten Praktiken aber nicht aus.
- AI safety needs social scientists
OpenAI wirbt für rein menschliche Experimente und interdisziplinäre Forschung, um zu untersuchen, wie menschliche Werte und Denkverzerrungen die Ausrichtung von KI beeinflussen; Ergebnisse dazu enthält der Bericht noch nicht.
- Frontier AI regulation: Managing emerging risks to public safety
Der vorliegende Quelltext ist ein Auszug, der Regulierungsvorschläge für leistungsfähige KI-Modelle skizziert, darunter Sicherheitsprüfungen, Berichtspflichten und staatliche Aufsicht.
- Monitoring Monitorability
Der bereitgestellte Auszug enthält nur Abstract und Metadaten: Laut Abstract ist die Überwachung von KI-Gedankengängen meist, aber nicht vollständig wirksam und kann durch zusätzliche Prüfungen und Rechenaufwand verbessert werden.
- Practical challenges of control monitoring in frontier AI deployments
Der Abstract-Auszug vergleicht drei Kontrollverfahren für KI-Agenten und benennt Aufsicht, Latenz und Wiederherstellung als Herausforderungen; detaillierte Studienergebnisse fehlen.
- Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation
- FSB finalises sound practices for the responsible adoption of artificial intelligence (AI)
- AI standards as statecraft: a playbook for the Global South
- IA, dal Vaticano l’appello a regole e responsabilità umane
- Chain-of-Thought Oversight Requires Separate Evidence for Faithfulness and Monitorability
Es liegt nur der Abstract vor: Sichtbare CoT-Spuren belegen laut den Autorinnen und Autoren weder automatisch getreue Begründungen noch lokalisierbare Mechanismen oder erfolgreiche Überwachung; dafür schlagen sie eine getrennte Dokumentation der jeweiligen Belege vor.
- Transparency Disclosures for Chain-of-Thought Monitorability
Der bereitgestellte Abstract-Auszug empfiehlt fünf Offenlegungsindikatoren für das Monitoring von KI-Gedankengängen und fordert eine unabhängigere Prüfung, da kein untersuchter Anbieter alle Indikatoren abdeckt.
- Dignity vs. consciousness: a Catholic response to the A.I. wars
Sullivan fordert, die KI-Ethik an umfassender menschlicher Würde statt allein an Bewusstsein auszurichten.
- 《前沿人工智能安全与治理2026:风险认知与协同治理》_世界互联网大会
Die Ankündigung skizziert Ziele eines Berichts zu KI-Risiken und kooperativer Governance, enthält aber nicht dessen konkrete Analyse oder Ergebnisse.
- The Summarizer Is the Monitor: on planted deals, the summarizer decides what an AI monitor catches
- Control Room: A central system to track and stop model workloads across our research infrastructure
Laut Bericht kann Control Room Forschungsjobs zentral stoppen, doch die Sperre greift mit bis zu 35 Sekunden Verzögerung und der Ausfallschutz war noch nicht überall ausgerollt.
- A Macroprudential Layer for Frontier AI Governance – Simon Institute for Longterm Governance
Der Autor plädiert dafür, die Prüfung einzelner KI-Akteure um eine systemweite Aufsicht zu ergänzen, räumt aber ein, dass deren Zuständigkeiten und Instrumente noch offen sind.
- Benchmarking safety benchmarks
- Federal AI Testing Unit CAISSI: Staff Asked to Report Informally to White House, AP Says
- Post by @satyanadella on X
- Prioritizing Real-Time Failure Detection in AI Agents
Der bereitgestellte Auszug fordert abgestufte Echtzeitkontrollen für KI-Agenten, abhängig von Folgen, Umkehrbarkeit und Handlungsspielraum, und nennt selbst keine empirischen Ergebnisse.
- Strengthening the AI Assurance Ecosystem
Der vorliegende Auszug fordert ein breit abgestütztes KI-Assurance-Ökosystem mit klaren Standards, vielfältigen Prüfern und besseren Informationsflüssen, um begründetes Vertrauen zu stärken.
- The Loss of Control Playbook: Degrees, Dynamics, and Preparedness
Der Bericht bietet eine grobe Taxonomie für KI-Kontrollverlust und empfiehlt, Risiken durch Prüfung von Einsatzkontext, Handlungsmöglichkeiten und Berechtigungen sowie durch mehrschichtige Schutzmaßnahmen zu begrenzen.
- Brief #30: What’s next for China–US AI talks after the Xi–Trump summit
Der Bericht schildert neue China-USA-Gespräche und wachsende KI-Sicherheitsinitiativen in China, hält aber sowohl die November-Agenda als auch ein umfassendes chinesisches KI-Gesetz für ungewiss.
- Preparing for AI Agent Governance
Der vorliegende Auszug empfiehlt, die Governance von KI-Agenten zunächst mit Forschung und beaufsichtigten Tests vorzubereiten; die angekündigte vollständige Forschungsagenda ist nicht enthalten.
- Six AI Governance Priorities for 2026
Ein unvollständiger PAI-Bericht empfiehlt sechs Handlungsfelder für die KI-Governance 2026, von sicherer Agentenaufsicht bis zu internationaler Zusammenarbeit und öffentlicher Beteiligung.
- Agents for Cyber Defense
- AI Agents & Global Governance
Der vorliegende Auszug fordert globale Regeln und Rechenschaft für KI-Agenten, weist aber auf erhebliche Durchsetzungs-, Haftungs- und Abstimmungslücken hin.
- Can we create a clear understanding of what agentic AI is and does?
Der Beitrag zufolge ist agentische KI ein wachsendes, sozio-technisches System koordinierter KI-Agenten, dessen Verbreitung seiner Reife vorausläuft und dessen Folgen noch besser empirisch untersucht werden müssen.
- How are AI developers managing risks? Insights from responses to the reporting framework of the Hiroshima AI Process Code of Conduct
Der bereitgestellte Auszug kündigt vorläufige Erkenntnisse von 20 Organisationen zu einem freiwilligen KI-Berichtsrahmen an, enthält aber selbst keine konkreten Ergebnisse.
- Post by @LuizaJarovsky on X
- Post by @HasanASaleem on X
- Evals
Ein Überblick über KI-Benchmarks und ihre Aufgabenbeschreibungen, ohne konkrete Leistungsergebnisse oder Wirksamkeitsnachweise.
- International evaluation best practice and open questions in AI measurement
NAAIMES stellt gemeinsame Empfehlungen für vergleichbare KI-Evaluationen vor und will offene Fragen, besonders zu KI-Agenten, weiter bearbeiten; der Bericht belegt nicht, wie wirksam die Empfehlungen sind.
- OpenAI Red Teaming Network
OpenAI beschreibt ein externes Fachleutenetzwerk für Sicherheitsprüfungen von KI, dessen Bewerbungsphase am 1. Dezember 2023 endete.
- National Standard of the People's Republic of China: Cybersecurity Technology - Basic Safety Requirements for Generative Artificial Intelligence Services
Der bereitgestellte Auszug stellt Chinas Standard GB/T 45654—2025 für die Sicherheit generativer KI vor und berichtet über CSETs Zweifel an seiner Durchsetzbarkeit.
- Whose View of Safety? A Deep DIVE Dataset for Pluralistic Alignment of Text-to-Image Models
Der bereitgestellte Abstract-Auszug stellt DIVE vor und behauptet, dass Sicherheitsurteile zu Text-zu-Bild-Modellen je nach Perspektive und Kontext variieren.
- Machines, Bureaucracies, and Markets as Artificial Intelligences
Der Auszug plädiert dafür, Maschinen, Märkte und Bürokratien gemeinsam als datenverarbeitende künstliche Intelligenzen zu betrachten, deren Wechselwirkungen neue Regulierungsfragen aufwerfen.
- Quantifying the Salience of Geo-Cultural Values for Pluralistic Safety Alignment
Der bereitgestellte Bericht ist nur ein Abstract-Auszug: Er behauptet, kulturelle Unterschiede beeinflussten Sicherheitsbewertungen und Sprachmodelle könnten sensible Fälle zwar vorsortieren, aber menschliche Bewertende nicht zuverlässig ersetzen.
- Releasing AISI’s Engineering Playbook
AISI stellt einen offenen, in fünf Ebenen gegliederten Leitfaden für KI-Evaluationsinfrastruktur vor, den der Bericht als nützliche, aber noch weiterzuentwickelnde Momentaufnahme beschreibt.
- An Overview of Our Current Governance Efforts
Apollo Research beschreibt fünf Felder seiner KI-Governance-Arbeit und dazugehörige Empfehlungen und Aktivitäten, deren Wirkung der institutseigene Überblick nicht systematisch belegt.
- Our Current Policy Positions
Apollo Research plädiert für lebenszyklusweite KI-Evaluationen, Vorfallsdaten, unabhängige Prüfer und internationale Koordination, präsentiert dies aber als eigene Positionen ohne unabhängige Wirksamkeitsbelege.
- Recommendations For The Next Stages Of The Frontier AI Taskforce
Apollo Research schlägt vor, die britische KI-Taskforce zu einer technischen Regulierungsstelle auszubauen und sie auf Sicherheits- und Systemrisiken auszurichten; die beschriebenen Maßnahmen sind Empfehlungen, keine belegten Beschlüsse.
- Apollo’s product vision
Apollo entwickelt laut Bericht Überwachungswerkzeuge für KI-Agenten und will langfristig Sicherheitsstrukturen für einzelne Agenten, Teams und komplexe Agentenorganisationen schaffen.
- Technical Innovations for AI Policy 2025
- Post by @ValsAI on X
- ClearHarm: A more challenging jailbreak dataset
- Frontier AI Frameworks Workstream
- Multi-Agent Risks from Advanced AI
- Open technical problems in open-weight AI model risk management
Der vorliegende Abstract skizziert 16 offene Sicherheitsprobleme bei KI-Modellen mit offenen Gewichten und fordert mehr Transparenz über Forschung, Methoden und Evaluationen.
- Translation Snapshot: Chinese Generative AI Safety Standards
CSETs Überblick beschreibt chinesische GenAI-Sicherheitsstandards, ihre politische Ausrichtung und die Grenzen der verfügbaren Texte, während die praktische Befolgung laut Bericht unklar bleibt.
- Announcement of New AI Safety Fund Grantees
- Why does training on insecure code make models broadly misaligned?
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- Announcing Inspect Evals | AISI Work
Der Bericht kündigt Inspect Evals als gemeinschaftliche, quelloffene Benchmark-Sammlung für Sprachmodelle an, deren Nutzen und Qualität hier nicht unabhängig belegt werden.
- Technical Documentation of National Technical Committee 260 on Cybersecurity of Standardization Administration of China: Basic Safety Requirements for Generative Artificial Intelligence Services
Der bereitgestellte Bericht ist nur ein Auszug: Laut CSET setzt die chinesische Dokumentation grundlegende Sicherheitsanforderungen für generative KI-Dienste, doch die konkreten Regeln sind hier nicht enthalten.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- Disempowerment patterns in real-world AI usage
Anthropic zufolge ist schweres mögliches Entmachtungspotenzial in Claude.ai-Gesprächen selten, doch die Studie misst vor allem Risiko und nicht bestätigte Schäden.
- Strengthening AI resilience | AISI Work
20 geförderte Projekte sollen laut Bericht untersuchen, wie sich gesellschaftliche und infrastrukturelle Risiken beim KI-Einsatz mindern lassen; konkrete Forschungsergebnisse werden noch nicht berichtet.
- How can safety cases be used to help with frontier AI safety?
Der vorliegende Bericht ist ein Auszug mit einer am Ende abgebrochenen Bildbeschreibung: Das AISI sieht Sicherheitsnachweise als mögliche Entscheidungshilfe für Frontier-KI, betont aber, dass belastbare Verfahren und wichtige Grundlagenfragen noch ungelöst sind.
- Navigating the uncharted: Building societal resilience to frontier AI
Das AISI will vier zentrale gesellschaftliche Risiken fortgeschrittener KI erforschen und Gegenmaßnahmen testen, berichtet hier aber vor allem über Auftrag und Vorgehen.
- Building interactive agents in video game worlds
DeepMind berichtet, dass menschliches Feedback und Reinforcement Learning Agenten in einer simulierten Spielwelt über reine Nachahmung hinaus verbessern, betont aber den frühen Forschungsstand.
- Issue Brief: Components of Frontier AI Safety Frameworks
- Safety in Artificial Intelligence: Challenges and Opportunities for the U.S. National Labs and Beyond
Der vorliegende Abstract fordert umfangreiche KI-Sicherheitsforschung und staatliche Standards; er empfiehlt nationale Labore als Prüfstellen, legt aber keine konkreten Bewertungsverfahren dar.
- Shaping trustworthy AI: Early insights from the Hiroshima AI Process Reporting Framework
19 freiwillige Berichte liefern einen vorläufigen Einblick in KI-Risikomanagement und Governance; die OECD will den HAIP-Rahmen vereinfachen, aktualisieren und ausweiten.
- Introducing the Frontier Model Forum
- What explainable AI is, why it matters and how we can achieve it
Der Bericht fordert, Erklärbarkeit trotz technischer und praktischer Grenzen als Grundprinzip für vertrauenswürdige KI zu verankern.
- Details about METR's preliminary evaluation of Claude 3.5 Sonnet
METR berichtet über beachtliche, aber begrenzte Leistungen der ursprünglichen Claude-3.5-Sonnet-Version; wegen methodischer und aufgabenbezogener Einschränkungen sind die Ergebnisse vorläufig.
- Why human-AI relationships need socioaffective alignment
Der Auszug plädiert für eine sozioaffektive Ausrichtung von KI, die menschliches Wohlergehen, Autonomie und soziale Bindungen schützt.
- 38b798d
Der bereitgestellte Auszug empfiehlt, ML-Systeme von der Planung bis zur Überwachung zu dokumentieren, hält aber fest, dass Transparenz Risiken birgt und wichtige Umsetzungsfragen offen sind.
- 0cab80c
Der unvollständige Auszug bündelt Vorschläge, wie Dienste, Modelle und Datensätze dokumentiert werden könnten, ohne eigene Forschungsergebnisse zu präsentieren.
- Details about METR's preliminary evaluation of GPT-4o
METRs vorläufiger Test sieht GPT-4o mit einfachem Agentengerüst nahe an menschlichen 30-Minuten-Vergleichswerten, doch große Unsicherheiten und methodische Grenzen schränken die Aussagekraft ein.
- AI Safety Fund initiates first round of research grants
- Fourth progress report | AISI Work
Der Bericht schildert den Aufbau des britischen KI-Sicherheitsinstituts und seine ersten Prüf- und Kooperationsprojekte, während er vor möglichen Risiken autonomer KI-Agenten warnt.
- AI Safety Institute: third progress report
Das britische AI Safety Institute baut sein Team und internationale Zusammenarbeit aus und hat KI-Sicherheitstests begonnen, berichtet aber noch keine Testergebnisse.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
- Gemma Scope: helping the safety community shed light on the inner workings of language models
Gemma Scope ist eine offene SAE-Sammlung zur Untersuchung der inneren Abläufe von Gemma 2; erhoffte Sicherheitsanwendungen sind noch keine nachgewiesenen Ergebnisse.
- Steering AI’s future: Strategies for anticipatory governance
Der kurze Auszug fordert anpassungsfähige, vorausschauende KI-Governance und verweist auf die mögliche Übertragbarkeit eines OECD-Rahmens auf andere neue Technologien.
- Year in Review: Building a Safer Future Together
- Assessing potential future artificial intelligence risks, benefits and policy imperatives
Der vorliegende Auszug fasst OECD-Prioritäten zu KI-Nutzen, Risiken und Politik zusammen, liefert aber weder den vollständigen Bericht noch dessen detaillierte Ergebnisse.
- Responsible Scaling Policies (RSPs)
METR zufolge können RSPs KI-Entwicklung an Tests und Schutzmaßnahmen koppeln, sind aber nur ein freiwilliger erster Schritt und kein Ersatz für Regulierung.
- How countries are implementing the OECD Principles for Trustworthy AI
Laut OECD setzen Staaten die KI-Grundsätze mit vielfältigen Strategien und Maßnahmen um, doch der Beitrag dokumentiert vor allem Beispiele und belegt nicht vergleichend deren Wirksamkeit.
- US Executive Order, G7 Code, and Bletchley Park
Anthropic sieht in neuen Regeln und staatlichen KI-Prüfeinrichtungen einen wichtigen Anfang und fordert verlässliche Bewertungen als Grundlage für Regulierung und internationale Zusammenarbeit.
- d1a3705
Der vorliegende Auszug fordert zweck- und zielgruppengerechte Dokumentation von ML-Modellen, die Nachvollziehbarkeit fördern soll, dabei aber Risiken wie Sicherheitslücken, Kennzahlenspiel und Überfrachtung berücksichtigen muss.
- Anthropic achieves ISO 42001 certification
Anthropic meldet eine ISO/IEC-42001-Zertifizierung als unabhängige Bestätigung seines KI-Managementrahmens, nennt im Bericht aber keine Einzelheiten zum Prüfungsumfang oder konkrete Prüfergebnisse.
- Our updated Responsible Scaling Policy
Anthropic will Schutzmaßnahmen für fortgeschrittene KI an Fähigkeitsschwellen koppeln und berichtet, frühere Verfahrensabweichungen hätten laut eigener Einschätzung minimale Sicherheitsrisiken verursacht.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →