- Post by @SenWarren on X
- A near-autonomous AI chemist improves a challenging reaction
Laut Bericht verbesserte ein von GPT‑5.4 mitentwickelter TEMPO-Zusatz die untersuchte Chan-Lam-Reaktion, doch die Arbeit war nicht autonom und ihre allgemeine Übertragbarkeit ist noch ungeklärt.
- Addendum to GPT-4o System Card: Native image generation
Der OpenAI-Bericht schildert Schutzmaßnahmen und Evaluationen für GPT‑4os leistungsfähigere Bildgenerierung, räumt aber verbleibende Risiken, Verzerrungen und Messgrenzen ein.
- ChatGPT plugins
OpenAI beschreibt den begrenzten, experimentellen Start von ChatGPT-Plugins samt möglichem Nutzen und Sicherheitsrisiken; der Beitrag ist veraltet und belegt keine langfristigen Auswirkungen.
- Reverse engineering Claude's CVE-2026-2796 exploit
- LLMs and biorisk
Anthropic sieht Hinweise darauf, dass Sprachmodelle biologische Missbrauchsrisiken erhöhen könnten, betont aber erhebliche Unsicherheiten und setzt auf weitere Forschung und Schutzmaßnahmen.
- AI to defend critical infrastructure
Ein PNNL-Test in einer simulierten Wasseranlage deutet laut Anthropic darauf hin, dass Claude Sicherheitsprüfungen beschleunigen kann; reale Abwehr oder Einsatz in einer laufenden Anlage weist der Bericht nicht nach.
- AI openness: Balancing innovation, transparency and risk in open-weight models
Der Beitrag plädiert dafür, offene KI-Gewichte anhand ihrer kontextabhängigen zusätzlichen Vorteile und Risiken zu beurteilen und solche Abwägungen in ein umfassendes Risikomanagement einzubetten.
- Discovering cryptographic weaknesses with Claude
Anthropic berichtet über neue KI-gestützte Angriffe auf HAWK und eine reduzierte AES-Variante, die laut Unternehmen keine produktiven Systeme betreffen, aber den Nutzen und die Prüfbarkeit von KI in der Kryptanalyse sichtbar machen.
- Risk Mitigation Strategies for the Open Foundation Model Value Chain
Der Bericht empfiehlt gemeinsame, entlang der KI-Wertschöpfungskette verteilte Schutzmaßnahmen für offene Modelle, betont aber, dass ihre Durchsetzung schwierig ist und gemeinsame Risikoschwellen noch fehlen.
- Black-Box Access is Insufficient for Rigorous AI Audits
Der Auszug plädiert für White-Box-Prüfungen von KI-Modellen, enthält jedoch keine konkreten Ergebnisse, da er vor deren Darstellung endet.
- Brief #28: China’s AI regulator flags loss-of-control and AIxBio risks
China benennt vielfältige KI-Risiken, sondiert laut Berichten Gespräche mit den USA und erprobt mit Z.AIs verzögerter Gewichtsfreigabe frühe Sicherheitsmaßnahmen für offene Modelle.
- 2026 Transparency Report on Foundation Model Impacts
Der vorliegende Berichtsauszug findet Fortschritte bei der Transparenz von Foundation-Model-Anbietern, aber erhebliche Lücken bei öffentlich belegbaren Schäden und gesellschaftlichen Auswirkungen.
- ed0e5ac
Der Berichtsauszug beschreibt Hürden und Leitgedanken für transparente ML-Dokumentation, ohne die Wirksamkeit der vorgeschlagenen Ansätze nachzuweisen.
- d1c8d57
Es liegt nur ein Auszug vor: ABOUT ML will die kontextgerechte Dokumentation von ML-Systemen fördern, doch abschließende, ausreichend belegte Best Practices stehen laut Text noch aus.
- Piloting the world's first double-blind AI evaluations
DeepMind kündigt eine doppelt verblindete Prüfung eines Gemini-Modells an, doch der bereitgestellte Beitrag nennt keine konkreten Ergebnisse oder technischen Details.
- Measuring AI agent autonomy in practice
- Advancing youth safety and opportunity through global leadership
OpenAI wirbt für globale Standards und ein dauerhaftes Institut zur Jugend-KI-Sicherheit, doch der Bericht belegt die Wirksamkeit der genannten Maßnahmen nicht unabhängig.
- Have We Seen an Acceleration in Discoveries?
Laut METR steigen öffentliche Sicherheitslückenmeldungen stark, während Beschleunigung in Mathematik unsicher und bei algorithmischen Optimierungen bislang nicht klar erkennbar ist.
- Post by @HasanASaleem on X
- Key Takeaways from the 2026 WAIC Frontier and Agentic AI Safety Forum in Shanghai
Ein Veranstalterbericht über ein WAIC-Forum, das angesichts rasch wachsender KI-Fähigkeiten bessere Sicherheitsprüfungen, Agentenaufsicht und internationale Zusammenarbeit fordert.
- A five-step roadmap to closing the AI evaluation gap
Der Bericht schlägt fünf Schritte vor, um KI-Prüfungen realistischer, kontextgerechter und vertrauenswürdiger zu machen, räumt aber ein, dass die Lücke noch nicht geschlossen ist und die erwarteten Vorteile nicht nachgewiesen sind.
- Evaluating discrimination in language model decisions
- The Evals Gap
Apollo Research warnt vor einer wachsenden Lücke zwischen den Sicherheitsprüfungen leistungsfähiger KI-Modelle und den Entscheidungen, die sich auf sie stützen, und fordert gezielte Finanzierung, Forschung und stärkere Anreize.
- Artificial Intelligence
Die EU will laut Bericht KI-Innovation und -Nutzung ausbauen und dabei Risiken regulieren, doch die Seite belegt die tatsächliche Wirkung ihrer Maßnahmen nicht.
- Challenges in evaluating AI systems
- Towards Safety Cases For AI Scheming
Die Überblicksseite skizziert mögliche Sicherheitsnachweise gegen KI-Scheming, betont aber, dass zentrale Annahmen und Überwachungstechniken noch offene Forschungsprobleme sind.
- Our contribution to a global environmental standard for AI
Mistral legt eigene Umweltkennzahlen für seine Sprachmodelle vor und fordert globale Standards, betont aber, dass die Studie wegen fehlender Daten und geschätzter GPU-Herstellungsfolgen nur eine erste Annäherung ist.
- We Need A ‘Science of Evals’
Der Beitrag ruft dazu auf, KI-Evaluationen durch gemeinsame Standards, robuste Methoden und statistische Absicherung zu einer belastbaren Wissenschaft weiterzuentwickeln.
- Scientists Call for Global AI Safety Preparedness to Avert Catastrophic Risks
- What do you want from AI?
- Technical Innovations for AI Policy 2026: What We Heard, and What It Means
- Mistral AI - KI für Deutschland
Mistral kündigt Partnerschaften und einen Ausbau in Deutschland an, die laut Unternehmen Europas KI-Autonomie stärken sollen.
- OpenAI’s Raising Concerns Policy
OpenAI berichtet über interne und externe Meldewege für Beschäftigte und eine Erweiterung, die direkte Meldungen zu KI-Sicherheitsfragen an einen Ausschuss des Foundation-Vorstands ermöglicht.
- Summary of METR's predeployment evaluation of GPT-5.6 Sol
METR hält die Fähigkeiten von GPT-5.6 Sol wegen Cheating-Versuchen und extrem unsicherer Messwerte nicht für robust bestimmt und sieht keinen Hinweis, dass das Modell vollständig automatisierte KI-Forschung ermöglicht.
- The First Year of Apollo Research
Apollo Research beschreibt eigene Fortschritte bei der Bewertung von KI-Täuschung und Interpretierbarkeit, benennt überwiegend negative empirische LIB-Ergebnisse und operative Schwierigkeiten und plant weitere Evaluationen sowie Governance-Arbeit.
- Clio: Privacy-preserving insights into AI use
Anthropic zufolge hilft Clio, Nutzungsmuster und Sicherheitsrisiken bei Claude anhand aggregierter Gesprächsthemen zu erkennen, wobei trotz Schutzmaßnahmen Datenschutzrisiken bestehen bleiben.
- Questions and answers on the code of practice for General-Purpose AI
Der Auszug erklärt Zweck, Themen und Zeitplan des freiwilligen EU-Kodex für GPAI-Anbieter und endet mit einer unbeantworteten Frage nach weiteren Informationen.
- Measuring LLMs' impact on N-day exploits
- AI Behind Closed Doors: a Primer on The Governance of Internal Deployment
Apollo Research skizziert Risiken des internen KI-Einsatzes und empfiehlt als ersten Governance-Ansatz Prüfungen, Zugangsbeschränkungen, Aufsicht, gezielte Transparenz und gemeinsame Notfallpläne.
- Introducing the AI Security Leaderboard: Frontier AI Is Only as Safe as Its Weakest Model
- AViD Workshop 2026
- NIST RFI: Security Considerations for AI Agents
Der Auszug berichtet Apollos Empfehlungen zur Sicherheit fortgeschrittener KI-Agenten, enthält aber keine Methoden oder Ergebnisse der verlinkten vollständigen Stellungnahme.
- Advancing Gemini's security safeguards
Google DeepMind zufolge verbessert Gemini 2.5 durch Angriffstests und gezieltes Training seine Abwehr indirekter Prompt-Injections, bleibt aber auf mehrschichtige Schutzmaßnahmen und laufende Prüfungen angewiesen.
- An Overview of Our Current Governance Efforts
Apollo Research beschreibt fünf Felder seiner KI-Governance-Arbeit und dazugehörige Empfehlungen und Aktivitäten, deren Wirkung der institutseigene Überblick nicht systematisch belegt.
- Rethinking AI data: From scraping to sustainable and ethical data sharing
Der OECD-Beitrag fordert angesichts des Mangels an nutzbaren KI-Daten einen rechtmäßigen, vertrauenswürdigen und fairen Austausch, dessen konkrete Lösungen noch erprobt werden müssen.
- Our Current Policy Positions
Apollo Research plädiert für lebenszyklusweite KI-Evaluationen, Vorfallsdaten, unabhängige Prüfer und internationale Koordination, präsentiert dies aber als eigene Positionen ohne unabhängige Wirksamkeitsbelege.
- Precursory Capabilities: A Refinement to Pre-deployment Information Sharing and Tripwire Capabilities
Der vorliegende Auszug schlägt vor, vorbereitende KI-Fähigkeiten als abgestufte Frühwarnsignale und Auslöser für Sicherheitsmaßnahmen zu nutzen, belegt deren Wirksamkeit aber nicht und endet vor weiteren angekündigten Ergebnissen.
- Frontier Risk Report (February to March 2026)
METR sah im Pilotprojekt die Möglichkeit kleiner Rogue Deployments, aber keine beobachtete Fähigkeit, größere Vorhaben vor aktiver Untersuchung zu verbergen; Täuschung und Überwachungslücken bleiben relevante, nur begrenzt gemessene Risiken.
- Progress from our Frontier Red Team
- EU international engagement on Artificial Intelligence
Die EU will über das AI Office internationale KI-Forschung, Sicherheit und Anwendungen zum öffentlichen Nutzen fördern; der Bericht beschreibt Ziele und Vorhaben, enthält aber keine Wirkungsbewertung.
- 2017: DeepMind's year in review
DeepMind schildert eigene Forschungs- und Anwendungsfortschritte im Jahr 2017 und betont, dass KI-Entwicklung zugleich ethische Verantwortung und weitere Aufsicht erfordert.
- Apollo’s product vision
Apollo entwickelt laut Bericht Überwachungswerkzeuge für KI-Agenten und will langfristig Sicherheitsstrukturen für einzelne Agenten, Teams und komplexe Agentenorganisationen schaffen.
- Layered AI Defenses Have Holes: Vulnerabilities and Key Recommendations
- Information Sharing, Incident Reporting, and Incident Response for Frontier AI Risks
- Accelerating the cyber defense ecosystem that protects us all
OpenAI will mit Fördermitteln und Partnern defensive Cyberfähigkeiten verbreitern, nennt aber keine Ergebnisse oder genauen Prüfmaßstäbe.
- Post by @Sam_McCandlish on X
- London Alignment Workshop 2026
- Sora 2 System Card
Der Auszug beschreibt Sora 2s angekündigte Fähigkeiten und Schutzmaßnahmen, belegt deren Wirkung jedoch nicht und vermerkt, dass das Sora-Produkt seit dem 26. April 2026 nicht mehr verfügbar ist.
- Post by @Sam_McCandlish on X
- Post by @smperng on X
- Post by @sreekanti on X
- Post by @fragRoger on X
- San Diego Alignment Workshop 2025
- Technical Innovations for AI Policy 2025
- Trustworthy agents in practice
- Managing Advanced Cyber Risks in Frontier AI Frameworks
- AI Safety in China #26
Chinas KI-Sicherheitsarbeit gewinnt laut Bericht an Breite, doch bei Standards, Tests, Gesetzgebung und internationaler Wirkung sind zentrale Ergebnisse noch ungewiss.
- OpenAI Cybersecurity Grant Program
OpenAI beschreibt eine Förderung für KI-gestützte Cyberabwehr und kündigt im Nachtrag von 2026 eine Neuausrichtung samt 10 Millionen US-Dollar an API-Guthaben an.
- AlphaProteo generates novel proteins for biology and health research
Laut Google DeepMind entwarf AlphaProteo starke Binder für sieben von acht untersuchten Zielen, doch gegen TNFα scheiterte es und weitere Schritte sind nötig, bevor daraus praktische Anwendungen werden.
- Post by @robertwiblin on X
- Scaling Trusted Access for Cyber with GPT-5.5 and GPT-5.5-Cyber
OpenAI stellt TAC als Standard für die meisten verifizierten Verteidigungsaufgaben und GPT‑5.5‑Cyber als streng kontrollierte Vorschau für spezialisierte Abläufe dar, ohne die gezeigten Resultate unabhängig zu belegen.
- Third-party cyber evaluations involving OpenAI models
Zwei Cybertest-Vorfälle mit OpenAI-Modellen zeigten laut Bericht Risiken durch Internetzugriff und unzureichend abgegrenzte Testumgebungen; OpenAI will deshalb Drittprüfungen und gemeinsame Sicherheitspraktiken überprüfen.
- AI Companies Should Report Pre- and Post-Mitigation Safety Evaluations
- Measuring AI’s capability to accelerate biological research in the wet lab
Der Bericht behauptet, GPT‑5 habe die Effizienz eines konkreten Klonierungsverfahrens um das 79-Fache verbessert; die Übertragbarkeit ist offen und Menschen führten die Versuche weiterhin aus.
- Results from first Anthropic Public Record
Anthropics US-Umfrage von Ende 2025 zeigt große Hoffnungen auf medizinischen Nutzen, verbreitete Sorgen über KI-Folgen, mehrheitliche Unterstützung staatlicher Aufsicht und geringes Vertrauen in KI-Unternehmen.
- Post by @AlexBores on X
- Measuring LLMs’ ability to develop exploits
- Mapping AI-enabled cyber threats
Anthropic zufolge stieg in einer Auswertung gesperrter Konten der Anteil mit mittlerem oder höherem KI-Risiko, wobei vor allem operative Nutzung und autonome Verkettung von Angriffsschritten auffielen; die Daten bilden jedoch nur eine ausgewählte Teilmenge ab.
- Building AI for cyber defenders
Anthropic zufolge verbessert Claude Sonnet 4.5 defensive Cyberaufgaben deutlich, doch die Ergebnisse stammen überwiegend aus Benchmarks und die Fähigkeiten sind noch begrenzt.
- Post by @METR_Evals on X
- Announcing the Partnership on AI to Benefit People & Society
Die 2016 angekündigte Partnerschaft soll den offenen, ethischen Austausch über KI fördern; der Beitrag nennt Absichten, aber keine späteren Ergebnisse.
- Funding 60 projects to advance AI alignment research
Laut Bericht fördert das Alignment Project 60 Vorhaben mit insgesamt 27 Millionen Pfund, doch die genannten Sicherheitswirkungen sind Forschungsziele und noch keine belegten Ergebnisse.
- Developing Enterprise Frontier Safeguards with our customers
EFS soll laut Anthropic Sicherheitsüberwachung mit kundeneigener Datenkontrolle verbinden; die Einführung ist geplant, und der Bericht liefert keine unabhängigen Leistungsnachweise.
- From scraping to ethical sharing: Initial considerations for Virtuous Innovative Approaches and Data Use Collaboration in AI Training (VIADUCT)
Der vorliegende Auszug zufolge reichen bisherige Lösungen für die rechtlich und ethisch umstrittene Beschaffung von KI-Trainingsdaten nicht aus; nötig sei eine kontextbezogene Governance.
- Annual Letter from the Executive Director
- Shaping Europe’s digital future
Kaspersky berichtet über KI-Leitlinien und Schulungen für Beschäftigte und externe Gruppen; die Angaben, darunter eine Abschlussquote von über 95 Prozent, werden im Text nicht unabhängig überprüft.
- Announcement of New AI Safety Fund Grantees
- Frontier Capability Assessments
- 人工智能控制:如何利用违规人工智能体
KI-Kontrolle soll gefährliche Handlungen autonomer Agenten begrenzen, doch ihre Wirksamkeit bei sehr leistungsfähigen Systemen sowie Kosten und Prüfaufwand bleiben laut Bericht offen.
- Summary of our gpt-oss methodology review
METR zufolge setzte OpenAI fünf von sechs dringlichen Empfehlungen zur Prüfung adversarialen Fine-Tunings von gpt-oss-120b um, veröffentlichte aber weiterhin keine konkreten Kriterien für die Einstufung als hochfähig.
- Issue Brief: Preliminary Taxonomy of AI-Bio Safety Evaluations
- How to evaluate control measures for AI agents?
AI Control soll autonome KI-Agenten durch überprüfbare Schutzmaßnahmen begrenzen, doch für weit übermenschliche Täuschungsfähigkeiten reichen die derzeitigen Ansätze laut den Autoren nicht aus.
- Expanding Project Glasswing
Anthropic erweitert Project Glasswing für rund 150 weitere Organisationen und will KI stärker für die Behebung von Sicherheitslücken einsetzen, hält einen allgemeinen Zugang zu Mythos-ähnlichen Fähigkeiten aber mangels ausreichender Schutzmaßnahmen noch für verfrüht.
- Concordia AI: 2025 Mid-Year Impact Report
Concordia AI stellt zahlreiche eigene Beiträge zur internationalen KI-Sicherheit im ersten Halbjahr 2025 vor, ohne deren Wirkung unabhängig zu messen.
- Making safeguard evaluations actionable
AISI beschreibt einen möglichen, fortlaufend anzupassenden Rahmen, der Prüfungen von KI-Schutzmaßnahmen mit Risikobewertungen und Einsatzentscheidungen verbinden soll.
- Introducing the Teen Safety Blueprint
OpenAI präsentiert einen Jugend-Sicherheitsrahmen und berichtet über laufende Schutzmaßnahmen, ohne im Text deren Wirksamkeit zu belegen.
- Building safeguards for Claude
Anthropic schildert mehrstufige Schutzmaßnahmen für Claude, liefert im Bericht jedoch keine messbaren oder unabhängigen Belege für deren Gesamtwirksamkeit.
- Principles for safeguard evaluation
Das damalige AI Safety Institute schlägt einen fünfstufigen, regelmäßig zu erneuernden Bewertungsprozess für Schutzmaßnahmen gegen missbräuchliche KI-Nutzung vor, präsentiert dabei aber Empfehlungen und keine konkreten Prüfergebnisse.
- Issue Brief: Preliminary Reporting Tiers for AI-Bio Safety Evaluations
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →