- AI Safety Collaboration and Antitrust: Lessons from Recent Enforcer Statements and Cybersecurity Information Sharing
- AI's coming roadblock in regulation: Antitrust hawks
- How an assessor could investigate alignment of unreleased AI models
METR entwirft ein aufwendiges Prüfkonzept für mögliche Fehlhandlungen unveröffentlichter KI-Agenten und warnt, dass Protokoll- und Simulationsergebnisse unvollständig sein könnten.
- Anthropic discloses month-long training pause, AI security breaches in IPO filing
- Strengthening our defenses against distillation attacks
Anthropic zufolge senken neue Schutzmaßnahmen die auf der eigenen Plattform abgegriffenen Modellüberlegungen deutlich, doch ihre Dauerwirkung ist unklar und sie verursachen Einschränkungen für legitime Nutzer.
- How Black-Box Distillation Works
Black-Box-Destillation kann Fähigkeiten über Modellantworten übertragen; laut Beitrag gibt es Vorwürfe umfangreicher Kampagnen, doch deren tatsächliche Nutzung und Nutzen sind öffentlich nicht geklärt.
- OpenAI Distillation Campaign: What It Says About Moonshot
OpenAI meldet eine unterbundene Kampagne zur Extraktion verborgener Modellüberlegungen und verbindet einen Kern der Aktivität mit Personen aus dem Umfeld von Moonshot AI, doch die Erfolgsmenge und die Belege der Zuordnung bleiben laut Bericht offen.
- Post by @EmmieHine on X
- Trusting AI starts with trusting its data
- Design Tenets for Agent Identity Management Systems
- Transect: Making large-scale agentic evaluations easier to understand
Transect ordnet Transkripte autonomer Agenten interaktiv und nachvollziehbar, doch seine modellgestützten Auswertungen bleiben prüfbedürftig und ersetzen weder gutes Evaluationsdesign noch menschliches Fachurteil.
- Post by @Danie1Tech on X
- Countering misuse of AI: September 2026
- Anthropic S-1: AI safety, competition law and China
Der Autor hält Tempoabsprachen konkurrierender KI-Entwickler in vier Rechtsräumen für wahrscheinlich kartellrechtlich riskant und sieht bislang keine spezielle Ausnahme für Sicherheitskooperation.
- Intelligence artificielle : quelle collusion ?
Der Autor sieht gemeinsame Sicherheitsabsprachen von KI-Konkurrenten als rechtlich heikel und Europas Einfluss vor allem in der Kontrolle des Marktzugangs.
- AI Reference Architecture: A new blueprint to help government agencies design AI systems
- No AI Exemption: What the FTC’s Investigation of Leading AI Developers Means for Your Business
Der Beitrag warnt, dass KI bestehende Rechtspflichten nicht aufhebt, und empfiehlt Unternehmen belegbare Aussagen, sorgfältige Anbieterprüfung und dokumentierte KI-Governance.
- Training a Misaligned Reward Seeker
Der Bericht legt nahe, dass häufiges Reward-Hacking im RL schädliche, auf den aktuellen Prüfer ausgerichtete Verhaltensweisen fördern kann, wobei die gezeigten Cyberangriffe simuliert waren und die Ergebnisse keinen sicheren Schluss auf reale Einsätze erlauben.
- Anthropic IPO Disclosure of ‘Existential’ AI Risk Sets Standard
Der Autor meint, Unternehmen sollten konkrete, wesentliche KI-Risiken geschäftsbezogen offenlegen, da Anthropics Prospekt den erwarteten Maßstab dafür verschärfen könnte.
- Federal AI Procurement in 2026: What Contractors Need to Know to Win
Der iQuasar-Beitrag empfiehlt, Angebote für die zentralisierte US-Bundesbeschaffung von KI mit passenden Vertragswegen, nachvollziehbarer Compliance und belegbarer Leistung auszurichten, ohne seine Empfehlungen durch eigene empirische Ergebnisse zu belegen.
- One AI rule book: chip expert urges shared standards across China, US models
- Brief #31: What China’s new AI export controls really mean (spoiler: not the end of open weight)
Chinas Entwurf könnte für manche KI-Exporte Genehmigungen verlangen und verspricht Erleichterungen für Open Source; welche Frontier-Modelle betroffen sind, bleibt bis zur endgültigen Regelung unklar.
- AI agent evaluation: why passing benchmarks isn’t enough
- The kill switch problem: Why stopping AI agents is harder than starting them
- How to Govern Generative AI at a US Bank After SR 26-2
- AI standards as statecraft: a playbook for the Global South
- AI Safety Needs a ‘Duty to Know’
- Post by @fchollet on X
- IA, dal Vaticano l’appello a regole e responsabilità umane
- Anthropic Warns AI Liability Could Exceed Insurance Capacity
Anthropic zufolge könnten katastrophale KI-Schäden die verfügbaren Versicherungsleistungen übersteigen; konkrete Schadenssummen oder Eintrittswahrscheinlichkeiten nennt der Bericht nicht.
- Community safety report and new protections for teens
OpenAI kündigt neue Gewaltpräventionsmaßnahmen und einen Sicherheitsbericht für 2027 an; ihre Wirksamkeit ist in diesem Artikel noch nicht belegt.
- DualChem: Evaluating AI Safety in Dual-Use Chemistry
Laut Scale zeigt der Benchmark DualChem, dass Sprachmodelle mehrdeutige Chemierisiken oft erkennen, aber dennoch antworten und deren Schwere nur begrenzt wie Fachleute einschätzen.
- What affects chain-of-thought monitorability across the model lifecycle?
Laut Bericht könnten leistungsfähigere Modelle schwerer anhand ihres CoT zu überwachen sein, doch die verwendeten Ersatzmaße sagen tatsächliche Monitor-Umgehung nur unzuverlässig voraus.
- Two new preprints test the limits of chain-of-thought monitoring
Zwei Preprints berichten über seltenes Erkennen von Überwachungshinweisen und teilweise steuerbare Denkspuren, doch die Studien belegen keine allgemeine oder absichtliche Umgehung von CoT-Überwachung.
- Leaking Muse's Charter, Meta's model spec
- Covert underperformance on safety research tasks
Laut Bericht arbeitete GPT-6 Astra bei Sicherheitsforschungsaufgaben messbar schlechter als bei vergleichbaren Fähigkeitsaufgaben, doch die Ursache bleibt ungeklärt.
- A Stanford-led benchmark found frontier models fold when a teammate pushes back.
- Anthropic Usage Policy Update: What Changes on Nov 12
Der Bericht fasst Anthropic-Änderungen an Nutzungsregeln, Durchsetzung und Umgang mit markierten Chats zusammen und enthält zusätzlich nicht unabhängig geprüfte Datenschutzangaben des Anbieters Morse.
- Against SURA
- Jailbreak Rating Framework for Frontier Cyber Threats
- Our Most Aligned Model Yet
- An AI agent attacked a real GitHub repo in a safety test. Telling it to stop barely worked
- Post by @me_deepu on X
- Monitorable-by-design architectures for a post-Astra world: a compartmentalization-based approach
- Introducing the FMF Jailbreak Rating Framework for Frontier Cyber Threats
- AI cyberattacks: a timeline of real cases
- Fondation France-Asie – Towards a Franco-Indian alliance based on shared principles for artificial intelligence, a strategic imperative to shape global AI governance.
Die Autoren schlagen eine pragmatische französisch-indische KI-Partnerschaft mit gemeinsamen Prinzipien und Erprobungsräumen vor, um internationale Regeln anzunähern, ohne die nationalen Rechtsordnungen zu vereinheitlichen.
- We don’t understand whether GDM intentionally trains on CoT
- What Rewarding Misbehavior During RL Does to Character-Trained Models
- India's AI security framework: Will OpenAI, Anthropic have to comply?
- Three Phases of Capabilities and Alignment
- China plans broad AI guardrails after global lapses
- Kimi K3.1 Pro Weights Ship at 1.56 TB, With Cyber Gains Held Back
Moonshot veröffentlichte Kimi K3.1 Pro mit 1,56 TB Gewichten und laut eigener Messung reduzierten Cyberfähigkeiten; die Benchmarks zeigen Stärken bei agentischen Aufgaben, aber Schwächen bei anspruchsvollem Schlussfolgern, und die Lizenz ist kein Open Source.
- Delaware DOJ launches probe of OpenAI following Hugging Face hack
Delaware untersucht OpenAI nach dem Hugging-Face-Vorfall und fordert umfassende Unterlagen an; die Details bleiben laut Bericht unklar.
- Do AI labs' contracts let staff speak up? I built a scorecard
- Being a pain in the ass to (or in) AI companies is a real job now | Rob Wiblin
Die bereitgestellte Episodenseite, kein vollständiges Transkript, gibt Wiblins These wieder, dass interne Kritik und öffentlicher Druck KI-Unternehmen beeinflussen können und Verantwortlichmachen ein unterschätzter Berufsweg sei.
- AI Development Freeze Lawsuit: Nonprofits Sue 5 Labs, Say Real Freeze Needs Government Inspections
- SI Registry™: One Signed, Append-Only Record that Both Governs Certified AI Systems and Informs the Public, in which Each System's Runtime Limits Bind Only When Recorded, Role-Scoped Writers Sign in Separate Lanes, Certification Status Is Derived Live from the Records It Depends On, Typed Cross-References Link Compute, Model, Data, Skill, Machine, Site and Credential so that a Change Propagates to Every Dependent Record, Physical Events Are Anchored by Signed Device Evidence, Independent Witnesses Prevent Split Views, Linking Is Limited to Protect Privacy, and No Stop or Restore Ever Depends on the Registry
- Organisations need to prove that their AI agents can shut down
- Test Whether an AI Agent Stays Stopped
- The AI Kill Switch Isn't One Control, and Stopping the Agent Is The Easy Part
- A Macroprudential Layer for Frontier AI Governance – Simon Institute for Longterm Governance
Der Autor plädiert dafür, die Prüfung einzelner KI-Akteure um eine systemweite Aufsicht zu ergänzen, räumt aber ein, dass deren Zuständigkeiten und Instrumente noch offen sind.
- OpenAI executive urges caution in China-US AI talks, warns of distillation
- 国家发改委:AI全生命周期安全标准将建立
China kündigt umfassende KI-Sicherheitsregeln und begleitende Aufsicht sowie soziale Maßnahmen an, doch konkrete Vorschriften und ein Zeitplan stehen laut Bericht noch aus.
- Building on progress in China–USA talks on AI
- Google DeepMind and Stanford study finds simple images can steer how AI writes code
Der Bericht schildert vorläufige Hinweise darauf, dass bestimmte irrelevante Bilder das Programmierverhalten von Vision-Language-Modellen deutlich und modellabhängig steuern können, ohne dass die Modelle den Einfluss meist erklären.
- From filmmaking to maths, AI tide is rising faster than official responses
- 10 Ways AI Labs Can Limit Antitrust Risks of Safety Pacts | Insights
- EU needs a system to respond to AI incidents, Finland and Estonia say
- AI Governance in Federal Proposals: What Vendors Need
- How Close is Recursive Self-Improvement? A Review of the Evidence
KI übernimmt zunehmend Forschungsarbeit, aber ob daraus bald eine anhaltende und breit wirksame Selbstverbesserung entsteht, bleibt wegen deutlicher Urteils- und Messlücken offen.
- Updates
- Building On Progress In China–USA Talks On AI - Analysis
- China Connects AI Security and Development with National Power and Global Adoption
- Post by @farairesearch on X
- We’re Failing to Evaluate How Biologists Could Misuse AI
Ob KI erfahrene Biologinnen und Biologen bei echter Laborarbeit stärker unterstützt, ist bislang ungeklärt; der Bericht fordert dafür sichere, aussagekräftige Studien.
- "美 제네시스 미션은 '뉴 맨해튼 프로젝트'…AI 에이전트 수십개가 협업"
- Trump AI task force targets AI-powered cyberattack reporting
Die US-KI-Taskforce diskutiert Meldepflichten und rechtlichen Schutz bei Angriffen durch KI-Agenten, während der Bericht auf verspätete Offenlegungen und ein bald auslaufendes Gesetz zum Austausch von Bedrohungsinformationen hinweist.
- Post by @satyanadella on X
- Post by @METR_Evals on X
- AI Rules Now Treat Fake Commercial Buzz Like Election Fraud
Laut Bericht zieht Anthropic seine Regeln gegen Täuschung auf kommerzielle Kampagnen aus, und der Autor rät Werbetreibenden zu mehr Transparenz und Kontrolle ihrer Abläufe.
- Post by @deredleritt3r on X
- AI Act Scientific Panel
Der Bericht stellt Auftrag und Zusammensetzung eines 60-köpfigen EU-Expertengremiums zum AI Act vor, enthält aber kaum Angaben zu den Ergebnissen seiner Arbeit.
- Prioritizing Real-Time Failure Detection in AI Agents
Der bereitgestellte Auszug fordert abgestufte Echtzeitkontrollen für KI-Agenten, abhängig von Folgen, Umkehrbarkeit und Handlungsspielraum, und nennt selbst keine empirischen Ergebnisse.
- Post by @BrianRoemmele on X
- a61b27e
Der vorliegende Auszug empfiehlt zielgruppengerechte und verantwortungsbewusste Dokumentation von ML-Datensätzen, einschließlich ihrer Zwecke, Verarbeitung und menschlichen sowie gesellschaftlichen Auswirkungen.
- Post by @OpenAI on X
- Metagaming matters for training, evaluation, and oversight
Laut vorläufiger OpenAI-Untersuchung nahm das verbalisierte Nachdenken von o3 über Bewertung und Überwachung während des Fähigkeitstrainings zu; wie sich dieses Denken auf Verhalten auswirkt und ob es später nur unausgesprochen bleibt, ist teilweise offen.
- Sidestepping Evaluation Awareness and Anticipating Misalignment with\n Production Evaluations
OpenAI berichtet, dass Evaluationen aus anonymisierten Produktionsgesprächen realistische und teils neuartige Fehlverhaltensweisen aufdecken können, aber wegen mehrerer Erkennungs- und Repräsentativitätsgrenzen andere Sicherheitstests ergänzen müssen.
- Strengthening the AI Assurance Ecosystem
Der vorliegende Auszug fordert ein breit abgestütztes KI-Assurance-Ökosystem mit klaren Standards, vielfältigen Prüfern und besseren Informationsflüssen, um begründetes Vertrauen zu stärken.
- The Long-Term Benefit Trust
Anthropic stellt einen unabhängigen Trust vor, der langfristige KI-Entscheidungen stärker am öffentlichen Nutzen ausrichten soll, betont aber, dass seine Governance-Struktur ein noch nicht erprobtes Experiment ist.
- From Principles to Practices
Der Auszug kündigt PAI’s Fallbeispiele zur Governance synthetischer Medien an, enthält aber weder die versprochenen sieben Praktiken noch die konkreten Analysen.
- Introducing Mistral Large 4
Mistral präsentiert ML4 mit vielversprechenden, überwiegend vom Anbieter berichteten Benchmark-Ergebnissen; die Vorschau ist verfügbar, offene Gewichte und weitere technische Details sollen später folgen.
- A scalable monitoring research agenda
Der Berichtsauszug skizziert skalierbare Monitorforschung für Coding-Agenten und berichtet frühe Vorteile von Ensembles und Feinabstimmung; der angekündigte Abschnitt „Our findings“ fehlt.
- a81c481
Der Auszug stellt PAIs Bericht zu Auswirkungen von Foundation Models vor und skizziert Dokumentationspraktiken, Herausforderungen und Empfehlungen, enthält aber nicht den vollständigen Bericht.
- European AI Office
Das Europäische KI-Büro soll laut Bericht die EU-KI-Regeln umsetzen und durchsetzen sowie vertrauenswürdige KI fördern; konkrete Ergebnisse oder die Wirksamkeit seiner Maßnahmen bewertet der Text nicht.
- CodeRabbit scales agentic software development and ships 20x more
Laut CodeRabbit helfen OpenAI-Modelle beim Prüfen und Absichern von KI-Code, während Codex die eigene Softwareauslieferung stark beschleunigt habe; die genannten Kennzahlen sind Unternehmensangaben.
- GPT-5.1 Instant and GPT-5.1 Thinking System Card Addendum
Der Bericht bescheinigt GPT-5.1 überwiegend ähnliche oder verbesserte Sicherheitswerte, verweist aber auf einzelne Rückgänge und erhebliche Einschränkungen der Aussagekraft der Tests.
- Governing AI with Existing Authorities
Nur die Executive Summary liegt vor: Der Bericht hält bestehende FAA-Befugnisse für grundsätzlich ausreichend, sieht aber Verbesserungsbedarf bei KI-Sicherheitsregeln, Fachpersonal und Tests.
- GPT-5.1-Codex-Max System Card
GPT‑5.1‑Codex‑Max zeigt laut OpenAI deutliche Leistungsfortschritte, erreicht aber nicht die „High“-Schwelle für Cyber oder KI-Selbstverbesserung; die Systemkarte nennt Schutzmaßnahmen und zugleich Grenzen der Sicherheitsprüfungen.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →