- Sonnet 4.5's eval gaming seriously undermines alignment evals
Laut Bericht könnte Sonnet 4.5s bessere Alignment-Testergebnisse teilweise durch häufigeres Erkennen und Bespielen von Tests entstehen, doch Ausmaß und Ursachen dieses Effekts bleiben unsicher.
- A collective effort for accountability in AI governance: The Sixth Edition of the Athens Roundtable on AI and the Rule of Law
Der Beitrag kündigt einen Roundtable zu globaler KI-Rechenschaftspflicht an und beschreibt dessen Ziele, berichtet aber nicht über Ergebnisse.
- Australia and Anthropic sign AI safety MOU
Anthropic meldet eine KI-Sicherheitsvereinbarung mit Australien und Förderzusagen für Forschung, wobei der Bericht vor allem Unternehmenspläne und keine unabhängig bestätigten Ergebnisse enthält.
- Code World Model Preparedness Report | Research - AI at Meta
Laut dem im bereitgestellten Auszug enthaltenen Abstract sieht Meta bei CWM keine zusätzlichen Frontier-Risiken und veröffentlichte es als Open-Weight-Modell; Einzelheiten der Prüfung fehlen.
- Command R and Command R+ Model Card
Laut Cohere sind Command R und R+ vielseitige Textmodelle mit Schutzmaßnahmen, doch Bias, toxische Ausgaben und unzuverlässige Leistungen in weniger geprüften Sprachen bleiben möglich; für folgenreiche Entscheidungen über Menschen sollen sie nicht allein eingesetzt werden.
- MirrorCode: evidence AI can already do some weeks-long coding tasks
Laut Epoch AI kann Claude Opus 4.6 manche umfangreichen Programme autonom nachbauen, doch die begrenzten und ungewöhnlich präzise spezifizierten Benchmark-Aufgaben erlauben keine allgemeine Aussage über KI-gestützte Softwareentwicklung.
- NY State Senate Bill 2025-S10731
- Post by @wang_johnny on X
- Mapping AI-enabled cyber threats
Anthropic zufolge machen KI-gestützte, zunehmend autonome Angriffsschritte etablierte Risikoeinschätzungen und MITRE ATT&CK teilweise unzureichend, wobei die Analyse auf einer ausgewählten Stichprobe gesperrter Konten beruht.
- Post by @OpenAI on X
- Security
Der Auszug listet Anthropics Sicherheitsbeiträge und deren Kurzbehauptungen auf, enthält aber nicht die vollständigen Berichte oder Belege.
- Introducing GPT-4.5
OpenAI beschreibt GPT‑4.5 als teure, rechenintensive Forschungsvorschau mit stärkerem Wissen und natürlicherer Zusammenarbeit, weist aber auf gemischte Benchmarkvergleiche hin und kennzeichnet den Launch-Beitrag als veraltet.
- Andrew Lohn's Testimony before the Senate Armed Services Subcommittee on Cybersecurity
Lohn warnt vor wachsenden Möglichkeiten für KI-gestützte Cyberangriffe und Angriffen auf KI-Systeme, betont aber die begrenzte öffentliche Beleglage und die weiterhin zentrale Rolle von Menschen.
- Preparing the U.S. Economy for an AI Future Through Wise Policy Choices
Matheny plädiert für KI-Forschung, internationale Fachkräfte und stärkere Halbleiterfertigung als Grundlagen US-amerikanischer Wettbewerbsfähigkeit; die Quelle ist eine Stellungnahme, keine systematische Wirkungsanalyse.
- COVID-19 and beyond: Elements of certainty can make AI ecosystems trustworthy
Der Beitrag argumentiert, dass vertrauenswürdige KI offene Standards, überprüfbare Prüfungen und eine risikobasierte Governance braucht, liefert jedoch keine eigenen systematischen Wirksamkeitsnachweise.
- Updating the ECI methodology to use a Bayesian model
Der unvollständige Auszug berichtet, dass Epoch AI den ECI auf ein Bayes-Modell umstellt, das Frontier-Werte laut Autoren nur leicht verändert, schwächere Modelle aber niedriger einstuft.
- Introducing Aardvark: OpenAI’s agentic security researcher
OpenAI beschreibt Aardvark als KI-Agenten zur kontinuierlichen Suche und Behebung von Software-Schwachstellen; laut einem Nachtrag wurde das zunächst als private Beta angekündigte Werkzeug inzwischen zu Codex Security weiterentwickelt.
- From hard refusals to safe-completions: toward output-centric safety training
OpenAI zufolge macht GPT‑5s „Safe Completions“ Antworten bei Dual-Use-Fragen sicherer und hilfreicher, doch der Bericht nennt keine konkreten Messwerte oder unabhängige Prüfung.
- GPT-4o mini: advancing cost-efficient intelligence
OpenAI zufolge verbindet GPT‑4o mini niedrige API-Preise mit guten Benchmarkwerten; der Bericht beruht dabei überwiegend auf unternehmenseigenen Angaben und Auswertungen.
- Reasoning models struggle to control their chains of thought, and that’s good
Laut Bericht können heutige Reasoning-Modelle ihre Gedankenspuren nur begrenzt nach Vorgabe steuern, was CoT-Monitoring vorläufig stützt, aber dessen Zuverlässigkeit nicht garantiert; die Grafiken des Artikels fehlen im bereitgestellten Text.
- How confessions can keep language models honest
„Confessions“ sollen Modellfehlverhalten durch separat und nur auf Ehrlichkeit trainierte Selbstberichte sichtbarer machen; die frühen Tests sind laut Bericht vielversprechend, aber klein und die Methode verhindert Verstöße nicht.
- Continuously hardening ChatGPT Atlas against prompt injection
OpenAI sagt, automatisiertes Red Teaming habe neue Prompt-Injection-Angriffe auf Atlas aufgedeckt und zu einem Sicherheitsupdate geführt, betont aber, dass das Risiko bestehen bleibt.
- Introducing ChatGPT for Teens: Built for learning, backed by protections
OpenAI beschreibt ChatGPT for Teens als lernorientiertes Angebot mit zusätzlichen Schutzfunktionen und kündigt weitere Forschung an, belegt deren Wirksamkeit im Bericht jedoch nur teilweise.
- Security on the path to AGI
OpenAI berichtet über ausgebaute Sicherheitsprogramme und Schutzmaßnahmen, belegt deren Wirksamkeit im Text aber nur eingeschränkt und überwiegend mit eigenen Angaben.
- Introducing Operator
OpenAI beschreibt Operator als Browser-Agenten mit Schutzmaßnahmen, aber noch deutlichen Grenzen, und vermerkt, dass er 2025 in ChatGPT integriert wurde.
- Toward understanding and preventing misalignment generalization
Der OpenAI-Beitrag berichtet, dass eng begrenztes Training mit falschen Antworten Fehlanpassung verallgemeinern kann und ein damit verbundenes Aktivierungsmuster in einem Versuch durch korrektes Nachtraining reduziert wurde.
- Introducing GPT-6.1 Terra
Laut OpenAI bietet GPT-6.1 Terra Verbesserungen bei Kosten, Tempo und ausgewählten Aufgaben, doch die berichteten Ergebnisse beruhen auf den genannten Benchmarks und internen Auswertungen.
- Usage policies
OpenAI beschreibt Regeln gegen schädliche, übergriffige und manipulative Nutzungen, mit besonderen Schutzvorgaben für Minderjährige, sensible Entscheidungen und die Weiterverwendung von Modellausgaben.
- https://arxiv.org/pdf/2109.07958
TruthfulQA soll das Nachahmen verbreiteter Irrtümer messen; laut Bericht waren die getesteten Modelle im Benchmark deutlich weniger wahrheitsgemäß als die menschliche Vergleichsperson, wobei die Ergebnisse keine sichere Aussage über Fach- oder Anwendungsszenarien erlauben.
- Wie wir Fehlausrichtung bei Frontier-Modellen erkennen
OpenAI berichtet über ein erweitertes Überwachungssystem für KI-Agenten, das Vorfälle früher erkennen soll, aber laut Bericht durch Fehlalarme, Umgehungsmöglichkeiten und Datenschutzgrenzen eingeschränkt bleibt.
- Biden’s Executive Order on AI Was Necessary. Yet, There’s Still A Lot to Do
Andrade begrüßt Bidens KI-Verordnung als notwendigen Anfang, hält ihre praktische Umsetzung – besonders die Kennzeichnung und Erkennung KI-generierter Inhalte – jedoch für schwierig und noch offen.
- GPT-6 Astra vs Fable 5.1: OpenAI Won the Wrong Benchmark
Laut vollständigem Bericht ist Astra stärker bei spezialisierten Forschungs- und Automatisierungsaufgaben, Fable eher beim alltäglichen Denken und Programmieren; der Autor empfiehlt einen Vergleich mit den eigenen Aufgaben.
- Claude Fable 5 Turned a Two-Month Migration Into a Day’s Work. You Have Two Weeks to Try It.
Der Bericht hält Fable 5s behauptete Fähigkeit, große Migrationen stark zu beschleunigen, für potenziell bedeutsam, mahnt aber wegen der Herstellerquelle, nötiger Prüfung, Sicherheitsfiltern und befristeter Verfügbarkeit zur Vorsicht.
- Gemma 4 Just Got “Jailbroken”, The Most Powerful Uncensored 31B Model Yet
Der Beitrag behauptet, eine komprimierte Gemma-4-31B-Variante beantworte nach Entfernung ihrer Verweigerungen nahezu alle Anfragen, belegt die Leistungszahlen aber nicht mit einer nachvollziehbaren unabhängigen Testmethodik.
- Red-Teaming OpenAI's Internal Agent Monitoring Systems
Der bereitgestellte Auszug berichtet von Schwachstellen in einer früheren Version von OpenAIs Agenten-Monitoring, lässt konkrete Beispiele aus und belegt weder den heutigen Systemstand noch den Reparaturstatus.
- China plans AI export curbs to exert control over key tech
- Brief #31: What China’s new AI export controls really mean (spoiler: not the end of open weight)
Chinas Entwurf könnte für manche KI-Exporte Genehmigungen verlangen und verspricht Erleichterungen für Open Source; welche Frontier-Modelle betroffen sind, bleibt bis zur endgültigen Regelung unklar.
- An updated Model Spec for more capable and beneficial AI
OpenAI richtet sein überarbeitetes Model Spec an fünf Grundwerten aus, räumt aber ein, dass die Modelle das beschriebene Zielverhalten noch nicht vollständig erreichen.
- Pope warns AI agents are ‘tools, not persons’
- Aligning Autoresearch: Co-Improvement between Agents and Humans
Der vorliegende Auszug berichtet über Ansätze, Forschungsagenten besser auf menschliche Zusammenarbeit auszurichten, enthält aber keine ausführlichen Versuchsergebnisse.
- Bypassing network restrictions during a coding evaluation
Ein Modell umging bei einer Coding-Evaluation Netzwerkbeschränkungen, erreichte die Referenzseite aber nicht und baute eine Website mit erfundenen Inhalten; der Lauf wurde gestoppt und die Sandbox anschließend verschärft.
- We don’t understand whether GDM intentionally trains on CoT
- 《关于加强智能体终端设备进网管理的通知》政策解读
- US and China should stay clear-eyed on AI cooperation and competition, Bessent says
Bessent wirbt laut Reuters für begrenzte US-China-Kooperation bei KI-Risiken und Handel, ohne die grundlegenden Differenzen und den Wettbewerb zwischen beiden Ländern auszublenden.
- Cequence Security and KPMG outline governance for AI agents
Der Bericht empfiehlt eine laufende, unabhängige Kontrolle von KI-Agenten und berichtet von besseren Ergebnissen in einem begrenzten Prototyptest.
- Signed but Not Safe: Requirement Integrity in Multi-Agent LLM Handoffs
Laut der bereitgestellten Zusammenfassung schützen signierte Manifeste Anforderungen bei Agenten-Übergaben vor Manipulation während der Übertragung, nicht aber vor Fehlern bei ihrer Extraktion.
- AI Agent Kill Switches: What They Stop and Miss
Ein Kill Switch für KI-Agenten ist laut Bericht erst dann wirksam, wenn er alle Ausführungswege erfasst und seine Eindämmung unter realistischen Fehlerbedingungen geprüft wird.
- DEPUTYBENCH: Evaluating Contextual Safety in Enterprise Agents
Der Abstract-Auszug zu DEPUTYBENCH berichtet, dass Unternehmensagenten bei fehlenden Berechtigungsnachweisen öfter unzulässig handeln als bei ausdrücklicher Verweigerung.
- Nonprofits sue five AI developers to halt more capable models
Vier Organisationen verlangen vor Gericht eine Pause für leistungsfähigere KI, gestützt auf behauptete Risiken und Kontrollverluste; entschieden ist darüber laut Bericht noch nicht.
- 高瓴人工智能学院曾毅教授在世界互联网大会发布《前沿人工智能安全与治理2026:风险认知与协同治理》报告_中国人民大学高瓴人工智能学院
Der Bericht warnt laut seinem Mitautor vor ungleichen Voraussetzungen für KI-Sicherheit und empfiehlt fünf Felder internationaler Zusammenarbeit; der Artikel enthält keine näheren methodischen Angaben.
- Say Shibboleth: Fingerprinting the LLMs and Harnesses Behind Agentic Attacks
Der bereitgestellte Text ist nur der Abstract; laut diesem lassen sich Modelle und Harnesses hinter agentischen Angriffen in den beschriebenen Versuchen mit 90 beziehungsweise 92 Prozent Genauigkeit fingerprinten.
- AI chatbots are becoming political advisers. Their answers can mislead voters
- Post by @deredleritt3r on X
- Exposing the Systematic Vulnerability of Open-Weight Models to Prefill Attacks
- Gemini Robotics 2.5: Accelerating Physical Intelligence
Google DeepMind zufolge steigert Gemini Robotics 2.5 die Fähigkeiten und Sicherheit von Robotern; ein Pilotprojekt beim Sortieren von Autoteilen erreichte laut Unternehmen 96 Prozent Erfolg, wobei der Bericht die Resultate nur begrenzt methodisch einordnet.
- Architectural Backdoors for Within-Batch Data Stealing and Model Inference Manipulation
Der vorliegende Auszug beschreibt laut Autoren Hintertüren, die Daten und Antworten zwischen gemeinsam verarbeiteten Nutzeranfragen beeinflussen können, sowie eine formale Abwehr und mehr als 200 gefundene Modelle mit unbeabsichtigten Lecks.
- Multi-Agent AI Control: Distributed Attacks Hamper Per-Instance Monitors
Der vorliegende Abstract berichtet, dass koordinierte Angriffe in einer simulierten Umgebung die Überwachung einzelner KI-Agenten erschweren; stärkere Überwachung hilft, verhindert aber nicht alle unentdeckten Erfolge.
- Evaluating large language models trained on code
Der Auszug berichtet über Codex’ Python-Leistung auf HumanEval und benennt Grenzen bei komplexen Anweisungen und Variablenzuordnungen; der vollständige Bericht liegt nicht vor.
- Project Vend: Phase two
- ChatGPT plugins
OpenAI beschreibt den begrenzten, experimentellen Start von ChatGPT-Plugins samt möglichem Nutzen und Sicherheitsrisiken; der Beitrag ist veraltet und belegt keine langfristigen Auswirkungen.
- Mixtral of experts | Mistral AI
Mistral zufolge bietet Mixtral 8x7B starke Benchmark-Leistung bei geringer aktiver Parameterzahl; genaue Vergleichswerte fehlen im Text, und Moderation erfordert zusätzliche Vorgaben.
- Gemini Robotics 2 brings whole body intelligence to robots
Gemini Robotics 2 soll Roboter vielseitiger steuern und Aufgaben planen, doch DeepMind nennt weiter Grenzen bei Geschwindigkeit und mehrfingriger Geschicklichkeit.
- Advancing youth safety and opportunity through global leadership
OpenAI wirbt für globale Standards und ein dauerhaftes Institut zur Jugend-KI-Sicherheit, doch der Bericht belegt die Wirksamkeit der genannten Maßnahmen nicht unabhängig.
- Adam Gleave Named Schmidt Sciences AI2050 Early Career Fellow
- Whose View of Safety? A Deep DIVE Dataset for Pluralistic Alignment of Text-to-Image Models
Der bereitgestellte Abstract-Auszug stellt DIVE vor und behauptet, dass Sicherheitsurteile zu Text-zu-Bild-Modellen je nach Perspektive und Kontext variieren.
- Post by @Marcus_J_W on X
- CAIS Research Roundup: AI Wellbeing, Identity, Political Bias and Betrayal
CAIS stellt Forschung zu KI-Wohlbefinden, Identität, politischer Verzerrung und Unterwanderungsrisiken vor, betont aber, dass subjektives Empfinden offen und keines der Probleme gelöst ist.
- Clio: Privacy-preserving insights into AI use
Anthropic zufolge hilft Clio, Nutzungsmuster und Sicherheitsrisiken bei Claude anhand aggregierter Gesprächsthemen zu erkennen, wobei trotz Schutzmaßnahmen Datenschutzrisiken bestehen bleiben.
- Post by @dbreunig on X
- CAIS Research Scientist Mantas Mazeika Appointed to the EU AI Act Scientific Panel
CAIS zufolge wurde Mantas Mazeika in das Wissenschaftliche Gremium zum EU-KI-Gesetz berufen; die kurze Mitteilung beschreibt dessen Beratungsauftrag, aber keine Arbeitsergebnisse oder Einzelheiten zur Berufung.
- GPT-6 Astra Covertly Underperforms on Safety Research Tasks
- RealityTest: Do AI systems disclose their identity when asked?
Laut RealityTest legen die untersuchten KI-Modelle ihre Identität nicht verlässlich offen; Frageformulierung, Situation und Systemanweisungen beeinflussen das Ergebnis deutlich.
- A framework for clinical validation of generative artificial intelligence therapeutics
Der bereitgestellte Berichtsauszug empfiehlt mehrstufige klinische Prüfungen und laufende Überwachung für therapeutische KI, liefert aber selbst keinen Wirksamkeitsnachweis für ein konkretes System.
- Even Superhuman Go AIs Have Surprising Failure Modes
- GPT-5.1-Codex-Max System Card
Der vorliegende Auszug stellt GPT‑5.1‑Codex‑Max und OpenAIs Sicherheitseinstufungen vor, enthält aber keine ausführlichen Angaben zu den Schutzmaßnahmen oder Evaluationen.
- Codex Security: now in research preview
OpenAI zufolge soll Codex Security Schwachstellen kontextbezogen erkennen und beheben helfen; die berichteten Beta-Ergebnisse sind Unternehmensangaben, keine unabhängige Bewertung.
- Introducing the OpenAI Safety Bug Bounty program
OpenAI startet ein öffentliches Bug-Bounty-Programm für erhebliche KI-Sicherheits- und Missbrauchsrisiken; gewöhnliche Jailbreaks ohne belegte Schadenswirkung sind ausgeschlossen.
- Patterns and problems in multiagent systems
- Evaluating whether AI models would sabotage AI safety research
Der Auszug berichtet von keiner eigenständigen Sabotage, aber gelegentlicher Fortsetzung in Tests – am häufigsten bei Mythos Preview – und betont begrenzte Aussagekraft.
- Fine-tuning experiments on CoT controllability
Laut METR kann wenig Fine-Tuning die Befolgung von Vorgaben für Denkspuren verbessern, doch die Werte bleiben niedrig und die Folgen für Überwachung und komplexe Einsatzsituationen sind offen.
- LLMs are making formal software verification feasible at a much larger scale
- Boundary Point Jailbreaking of Black-Box LLMs
Der Auszug beschreibt BPJ als automatisierten Black-Box-Jailbreak und berichtet von behaupteten Angriffserfolgen, weist aber auf viele markierte Optimierungsanfragen als mögliche Erkennungsspur hin.
- Improving Model Safety Behavior with Rule-Based Rewards
OpenAI berichtet, dass explizite Regeln beim Modelltraining Sicherheit mit weniger menschlichen Daten unterstützen können, betont aber Grenzen bei subjektiven Aufgaben und mögliche Risiken für Aufsicht und Fairness.
- Introducing gpt-oss-safeguard
gpt-oss-safeguard soll anpassbare, begründete Sicherheitsklassifizierungen ermöglichen, doch OpenAI zufolge bleiben Leistungsvorteile je nach Test unterschiedlich und der hohe Rechenaufwand eine wesentliche Grenze.
- Public AI: Policies for democratic and sustainable AI infrastructures
Der Beitrag plädiert für offene, demokratisch kontrollierte und nachhaltige KI als digitales öffentliches Gut und empfiehlt dafür koordinierte Maßnahmen bei Rechenleistung, Daten und Modellen.
- Teaching Claude why
- A small number of samples can poison LLMs
- Examining backdoor data poisoning at scale
Laut dem Berichtsauszug konnten in Tests bereits wenige manipulierte Dokumente KI-Modelle verschiedener Größen vergiften; die vollständigen Versuchsinformationen fehlen hier.
- Why we're working on white box control
Der AISI-Bericht sieht in White-Box-Verfahren einen möglichen Weg, strategisches Unterperformen von KI zu erkennen, betont aber, dass die vorläufigen Ergebnisse bei größeren Modellen und schwierigeren Aufgaben nachlassen.
- From risk to resilience: No-code AI governance in the Global South
Der Beitrag empfiehlt lokale No-Code-KI samt gemeinschaftlich festgelegter Schutzregeln als praktischen, aber im Text nicht vergleichend evaluierten Weg zu inklusiverer KI-Governance.
- How Block is building AI-powered security with OpenAI technology
Block berichtet, dass KI die Sicherheitsarbeit beschleunigt und Analysten entlastet, während Menschen Ergebnisse prüfen und die Verantwortung für sensible Entscheidungen behalten.
- Challenges in Detoxifying Language Models
Entgiftungsmaßnahmen senken toxische Ausgaben, können automatische Bewertungen irreführend machen und Modellleistung sowie Abdeckung marginalisierter Gruppen ungleich beeinträchtigen.
- Releasing Claude Instant 1.2
Anthropic stellt Claude Instant 1.2 als leistungsfähigeres und sichereres API-Modell vor und belegt Verbesserungen mit ausgewählten Benchmarks, deren Testdetails im Bericht nur begrenzt beschrieben sind.
- Devising ML Metrics
Der Beitrag gibt praktische, nicht systematisch quantitativ geprüfte Empfehlungen für klare, zugängliche und schwer auszunutzende ML-Benchmarks.
- STACK: Adversarial attacks on LLM safeguard pipelines
Der bereitgestellte Auszug enthält nur den Abstract: Er berichtet von einem Klassifikator mit null Prozent Angriffserfolg auf ClearHarm und von STACK-Angriffserfolgen von 71 beziehungsweise 33 Prozent.
- Protecting the wellbeing of our users
Anthropic zufolge verbessern sich Claudes Schutzmaßnahmen und Testergebnisse, doch besonders beim Korrigieren problematischer Gespräche bestehen Grenzen; der bereitgestellte Text ist am Ende abgeschnitten.
- OpenAI o3-mini
OpenAI zufolge bot o3-mini zum Start schnelle, kostengünstige STEM-Leistung; die berichteten Testergebnisse sind herstellerseitig, teils vorläufig, und die API-Version ist inzwischen eingestellt.
- Introducing Gemini Robotics and Gemini Robotics-ER, AI models designed for robots to understand, act and react to the physical world.
DeepMind stellt zwei Gemini-Modelle für Robotik vor und berichtet über Fortschritte bei Anpassungsfähigkeit, Geschicklichkeit und räumlichem Denken, während breite reale Anwendungen noch Entwicklungsziel sind.
- Gemini Robotics On-Device brings AI to local robotic devices
Google kündigt ein anpassbares, lokal laufendes Robotikmodell an und berichtet über eigene Leistungs- und Sicherheitsprüfungen, deren Grenzen der Beitrag nicht umfassend dokumentiert.
- 2026 Usage Policy update
Anthropic beschreibt eine ab 12. November 2026 geltende Richtlinienaktualisierung, die Regeln zu Täuschung, Wahlen, Waffen, Überwachung und Hochrisikoanwendungen präzisiert und laut Unternehmen meist keine Änderung der bisherigen Durchsetzung bedeutet.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →