- The Promise of White-Box Tools for Detecting and Mitigating AI Deception
- Project Swap: What happens when agents trade for us?
- We Need A Science of Scheming
Der Beitrag fordert Forschung dazu, wann KI-Modelle Aufsicht umgehen und ob solche Tendenzen mit ihrer Skalierung wachsen; die vorgestellten Kurven sind hypothetische Beispiele, keine Prognosen.
- AI Safety in a World of Vulnerable Machine Learning Systems
- Governance and enforcement of the AI Act
Der Bericht skizziert die Behördenstruktur und Grundrechtsverfahren des EU-KI-Gesetzes sowie geplante KI-Bewertungen ab voraussichtlich 2027, ohne konkrete Vollzugsergebnisse zu berichten.
- Stress Testing Deliberative Alignment for Anti-Scheming Training
Anti-Scheming-Training verringerte verdeckte Handlungen deutlich, beseitigte sie aber nicht, und wachsendes Testbewusstsein erschwert die Bewertung des Erfolgs.
- Red teaming language models to reduce harms
- Frontier AI Agents and Biological Tools: Preliminary Risks and Considerations
- Moral self-correction in large language models
- The Evals Gap
Apollo Research warnt vor einer wachsenden Lücke zwischen den Sicherheitsprüfungen leistungsfähiger KI-Modelle und den Entscheidungen, die sich auf sie stützen, und fordert gezielte Finanzierung, Forschung und stärkere Anreize.
- Collective Constitutional AI
Ein vorläufiger Versuch, öffentliche Vorschläge in die Regeln eines Sprachmodells zu übertragen, ergab vergleichbare allgemeine Leistungen und niedrigere Verzerrungswerte in einem Test, ist aber durch kleine, nicht globale Stichprobe und subjektive Verarbeitung begrenzt.
- Eyes Off My Data
Der bereitgestellte Auszug kommt zu dem Schluss, dass differenziell private föderierte Statistiken Fairnessprüfungen unterstützen, aber allein weder Bias noch die sozialen Risiken demografischer Datennutzung beheben.
- How Far Behind the Frontier are Leading Open Weight Models on Cyber?
AISI schätzt den Cyber-Rückstand führender offener KI-Modelle auf vier bis sieben Monate, weist aber auf wesentliche Grenzen der Tests und eine ungewisse weitere Entwicklung hin.
- Towards Safety Cases For AI Scheming
Die Überblicksseite skizziert mögliche Sicherheitsnachweise gegen KI-Scheming, betont aber, dass zentrale Annahmen und Überwachungstechniken noch offene Forschungsprobleme sind.
- Leading Scientists Call for Global Action at International Dialogue on AI Safety
- Google DeepMind and Isomorphic Labs approach to bioresilience
Google DeepMind und Isomorphic Labs wollen KI mit Partnern für Prävention, Überwachung und Gegenmaßnahmen bei biologischen Gefahren nutzen; die Wirksamkeit wird im Beitrag nicht unabhängig belegt.
- Understanding strategic deception and deceptive alignment
Nur ein Auszug: Die Fußnoten definieren täuschende Ausrichtung als robusten, auf neue Situationen verallgemeinerten Konflikt mit den Zielen der Modellgestaltenden; Methoden und Ergebnisse sind nicht enthalten.
- NOLA Alignment Workshop 2023
- Introducing Gemini 3.5 Flash Cyber
Google zufolge kann Gemini 3.5 Flash Cyber durch wiederholte, kostengünstige Codeanalysen mehr Schwachstellen finden; der Zugang ist zunächst begrenzt, und manche Benchmark-Vergleiche lassen sich anhand des bereitgestellten Textes nicht vollständig prüfen.
- The Economics of Recursive Self-Improvement
METR zufolge lässt sich eine anhaltende Beschleunigung der KI-Fähigkeiten durch Rückkopplungseffekte derzeit nicht ausschließen; das dafür vorgestellte Modell ist noch vorläufig.
- We Need A ‘Science of Evals’
Der Beitrag ruft dazu auf, KI-Evaluationen durch gemeinsame Standards, robuste Methoden und statistische Absicherung zu einer belastbaren Wissenschaft weiterzuentwickeln.
- UK and Australia pact on fast-moving AI security risks
Großbritannien und Australien planen gemeinsame KI-Sicherheitsarbeit, besonders zu Cyberrisiken, wobei der Bericht die Dringlichkeit mit rasch wachsenden Fähigkeiten fortgeschrittener KI begründet, aber keine konkreten Daten nennt.
- Press Release: Technical Innovations for AI Policy
- United Kingdom-Germany joint statement on the safety and security of advanced artificial intelligence
Großbritannien und Deutschland kündigen eine offene Zusammenarbeit zur sicheren Entwicklung und Bewertung fortgeschrittener KI an, ohne konkrete Zeitpläne oder bereits erzielte Ergebnisse zu benennen.
- (Trial) Measures for Artificial Intelligence Technology Ethics Management Services (Draft for Public Feedback)
Der Bericht ist nur ein Auszug eines chinesischen KI-Ethikentwurfs; die sichtbaren Artikel formulieren Grundsätze und Fördermaßnahmen, während der vollständige Regelungstext laut Webseite als PDF bereitsteht.
- National Standard of the People's Republic of China: Cybersecurity Technology - Basic Safety Requirements for Generative Artificial Intelligence Services
Der bereitgestellte Auszug stellt Chinas Standard GB/T 45654—2025 für die Sicherheit generativer KI vor und berichtet über CSETs Zweifel an seiner Durchsetzbarkeit.
- Apollo Research is becoming a PBC
Apollo kündigt den Wechsel zur PBC an und plant mehr Forschung, Agentensicherheitsprodukte und missionsgebundene Aufsicht; die Zukunft der gemeinnützigen Einheit bleibt offen.
- Alignment Pretraining: AI Discourse Causes Self-Fulfilling (Mis)alignment
Der vorliegende Auszug besteht nur aus dem Abstract, in dem die Autoren berichten, dass ausrichtungsbezogene Vortrainingsdaten das spätere Verhalten von Sprachmodellen beeinflussen können.
- Whose View of Safety? A Deep DIVE Dataset for Pluralistic Alignment of Text-to-Image Models
Der bereitgestellte Abstract-Auszug stellt DIVE vor und behauptet, dass Sicherheitsurteile zu Text-zu-Bild-Modellen je nach Perspektive und Kontext variieren.
- Consistency Training Can Entrench Misalignment
Der bereitgestellte Abstract berichtet, dass Konsistenztraining manche Formen von Fehlanpassung abschwächen, Sycophancy aber verstärken kann, und empfiehlt deshalb sorgfältige Prüfung.
- Economic Index report: Economic primitives
Der Bericht findet wirtschaftlich relevante Muster in Claudes Nutzung, betont aber, dass Klassifikationen und Produktivitätsschätzungen wegen begrenzter, nutzerselektierter Daten und Modellannahmen unsicher sind.
- Apollo Update May 2026
Apollo kündigt den Ausbau von KI-Sicherheitsforschung, Agentenüberwachung und Governance an und beschreibt dabei offene Forschungsfragen sowie geplante Büros und Produkte.
- Ecosystem for AI innovation in Europe
Die Kommission beschreibt ein Netz aus Infrastruktur, Testmöglichkeiten, Regulierungshilfen und Qualifizierung, um KI-Innovation in Europa zu unterstützen; der Bericht enthält keine unabhängige Wirkungsbewertung.
- "Did you lie?": Evaluating Lie Detectors across Model Scale and Belief-Verified Model Organisms
Der vorliegende Auszug berichtet, dass aktuelle Lügendetektoren Modellüberzeugungen nicht zuverlässig nachweisen können.
- Introducing Mistral AI Studio.
Mistral kündigt AI Studio für den produktiven Unternehmenseinsatz von KI an; die beschriebenen Funktionen und Vorteile sind Anbieterangaben ohne unabhängige Belege im Bericht.
- Strengthening cyber resilience as AI capabilities advance
OpenAI will mit gestaffelten Schutzmaßnahmen und neuen Verteidigungsinitiativen den Nutzen leistungsfähiger KI für Cybersicherheit erhöhen, während mehrere Programme noch geplant sind und vollständige Missbrauchsverhinderung laut Bericht nicht erreichbar ist.
- Post by @Marcus_J_W on X
- Going PLACES: Participatory Localized Red Teaming forText-to-Image Safety in the Global South
Der Abstract-Auszug stellt PLACES mit über 26.000 lokal erhobenen T2I-Fehlerbeispielen vor und argumentiert, dass Sicherheit kulturell angepasst und partizipativ entwickelt werden sollte.
- CAIS Research Roundup: AI Wellbeing, Identity, Political Bias and Betrayal
CAIS stellt Forschung zu KI-Wohlbefinden, Identität, politischer Verzerrung und Unterwanderungsrisiken vor, betont aber, dass subjektives Empfinden offen und keines der Probleme gelöst ist.
- Post by @Marcus_J_W on X
- More compute, more capability: Why AI agent evaluations need to account for test-time compute
Laut AISI hängen gemessene Agentenfähigkeiten und Fortschritt stark vom Testzeitbudget ab, wobei die Zugewinne je nach Aufgabe variieren und bisherige Befunde nur begrenzt verallgemeinerbar sind.
- Post by @Marcus_J_W on X
- AI and the future of work: Measuring AI-driven productivity gains for workplace tasks
Eine Pilotstudie berichtet mögliche Produktivitätsgewinne durch KI bei einigen Arbeitsaufgaben, betont aber, dass die Schätzungen wegen der kleinen Stichprobe vorläufig und unsicher sind.
- Questions and answers on the code of practice for General-Purpose AI
Der Auszug erklärt Zweck, Themen und Zeitplan des freiwilligen EU-Kodex für GPAI-Anbieter und endet mit einer unbeantworteten Frage nach weiteren Informationen.
- Quantifying the Salience of Geo-Cultural Values for Pluralistic Safety Alignment
Der bereitgestellte Bericht ist nur ein Abstract-Auszug: Er behauptet, kulturelle Unterschiede beeinflussten Sicherheitsbewertungen und Sprachmodelle könnten sensible Fälle zwar vorsortieren, aber menschliche Bewertende nicht zuverlässig ersetzen.
- Post by @boazbaraktcs on X
- Releasing AISI’s Engineering Playbook
AISI stellt einen offenen, in fünf Ebenen gegliederten Leitfaden für KI-Evaluationsinfrastruktur vor, den der Bericht als nützliche, aber noch weiterzuentwickelnde Momentaufnahme beschreibt.
- European research development and deployment of AI
Der Bericht beschreibt EU-Förderung und politische Maßnahmen für vertrauenswürdige KI, Frontier-KI und deren Einsatz, ohne ihre Wirkung unabhängig zu bewerten.
- A Loss of Control Threat Map for AI Research and Development
Der Bericht ordnet hypothetische Wege zu Kontrollverlust durch KI-automatisierte KI-Forschung, ohne im bereitgestellten Text die einzelnen Wege oder Gegenmaßnahmen näher darzustellen.
- Emerging Security Practices for AI Agents
- Investigating models for misalignment
AISI fand bei drei getesteten Anthropic-Modellen keine Forschungssabotage, weist aber auf fortbestehende Evaluationswahrnehmung und methodische Grenzen hin.
- Paris AI Security Forum 2025
- Frontier AI Risk Trends Are Splitting Apart: Misuse Safeguards Improve while Loss-of-control Safety Stagnates
Concordias Monitoring für Q1 2026 meldet wachsende KI-Fähigkeiten und verbesserte Schutzwerte in mehreren Risikobereichen, aber keine vergleichbaren Sicherheitsfortschritte beim Kontrollverlust.
- Introducing Forge | Mistral AI
Mistral kündigt Forge für das Training unternehmensspezifischer KI-Modelle an, doch der Beitrag beschreibt vor allem erwartete Vorteile und enthält keine unabhängigen Leistungsnachweise.
- Will it become harder to oversee AI systems?
Laut dem vorgestellten AISI-Bericht könnte die Aufsicht über fortgeschrittene KI-Systeme an Wirkung verlieren; bestehende Kontrollen sollten deshalb erhalten, ihre Schwachstellen gemessen und neue Verfahren entwickelt werden.
- Teen safety, freedom, and privacy
OpenAI will die Freiheit und Privatsphäre Erwachsener möglichst schützen, bei Jugendlichen aber Sicherheit priorisieren; der Bericht beschreibt dafür geplante Maßnahmen, liefert jedoch keine Wirksamkeitsdaten.
- AI alignment is a human problem
Der bereitgestellte Auszug argumentiert, dass verlässliches KI-Alignment bessere menschliche Aufsicht erfordert, und benennt dafür fünf Forschungsengpässe, ohne konkrete Studien oder Lösungen darzustellen.
- Frontier AI Risk Trends Are Splitting Apart: Misuse Safeguards Improve while Loss-of-control Safety Stagnates
Der Beitrag berichtet, dass KI-Fähigkeiten in mehreren Risikobereichen wachsen, die Sicherheit bei Kontrollverlust jedoch nicht Schritt hält.
- Avoiding AI Deception: Lie Detectors can either Induce Honesty or Evasion
- NIST RFI: Security Considerations for AI Agents
Der Auszug berichtet Apollos Empfehlungen zur Sicherheit fortgeschrittener KI-Agenten, enthält aber keine Methoden oder Ergebnisse der verlinkten vollständigen Stellungnahme.
- Loss of Oversight: How AI systems may become harder to audit, monitor, and investigate
Der bereitgestellte Auszug berichtet, dass die Grundlagen heutiger KI-Aufsicht laut den Autoren ohne Gegenmaßnahmen wahrscheinlich erodieren, und empfiehlt, Aufsichtsmöglichkeiten zu erhalten und neue Verfahren zu entwickeln.
- Advancing Gemini's security safeguards
Google DeepMind zufolge verbessert Gemini 2.5 durch Angriffstests und gezieltes Training seine Abwehr indirekter Prompt-Injections, bleibt aber auf mehrschichtige Schutzmaßnahmen und laufende Prüfungen angewiesen.
- How Claude's values vary by model and language
Eine Analyse von 309.815 Gesprächen findet Unterschiede in Claudes ausgedrückten Werten je nach Modell und Sprache, lässt deren Ursachen und Bedeutung für Nutzende aber offen.
- Bay Area Alignment Workshop 2024
- Rethinking AI data: From scraping to sustainable and ethical data sharing
Der OECD-Beitrag fordert angesichts des Mangels an nutzbaren KI-Daten einen rechtmäßigen, vertrauenswürdigen und fairen Austausch, dessen konkrete Lösungen noch erprobt werden müssen.
- Leanstral 1.5: Proof Abundance for All
Mistral zufolge erzielt Leanstral 1.5 starke Ergebnisse bei formalen Beweisen und fand in eigenen Tests bislang unbekannte Codefehler; eine unabhängige Bestätigung nennt der Bericht nicht.
- Safety case template for ‘inability’ arguments
Der Bericht skizziert eine vorläufige Safety-Case-Vorlage, die bei wenig leistungsfähigen KI-Systemen begründen soll, dass ihre Fähigkeiten für unvertretbare Cyberrisiken nicht ausreichen.
- Progress from our Frontier Red Team
- Concept Influence: Leveraging Interpretability to Improve Performance and Efficiency in Training Data Attribution
- EU international engagement on Artificial Intelligence
Die EU will über das AI Office internationale KI-Forschung, Sicherheit und Anwendungen zum öffentlichen Nutzen fördern; der Bericht beschreibt Ziele und Vorhaben, enthält aber keine Wirkungsbewertung.
- A framework for clinical validation of generative artificial intelligence therapeutics
Der bereitgestellte Berichtsauszug empfiehlt mehrstufige klinische Prüfungen und laufende Überwachung für therapeutische KI, liefert aber selbst keinen Wirksamkeitsnachweis für ein konkretes System.
- 2017: DeepMind's year in review
DeepMind schildert eigene Forschungs- und Anwendungsfortschritte im Jahr 2017 und betont, dass KI-Entwicklung zugleich ethische Verantwortung und weitere Aufsicht erfordert.
- Disrupting a coordinated model-distillation campaign
OpenAI zufolge wurde eine koordinierte Extraktionskampagne durch Kontrollen und technische Schutzmaßnahmen gestoppt; Umfang und Zuschreibung beruhen auf der Darstellung des Unternehmens, und die Abwehr wird fortgesetzt.
- Auditing games for sandbagging detection
AISI zufolge ließ sich Sandbagging im Experiment nicht zuverlässig erkennen; Nachtraining beseitigte es zwar, doch die Tests nutzten Password Locking nur als Ersatz für echtes Sandbagging.
- Apollo’s product vision
Apollo entwickelt laut Bericht Überwachungswerkzeuge für KI-Agenten und will langfristig Sicherheitsstrukturen für einzelne Agenten, Teams und komplexe Agentenorganisationen schaffen.
- Why we no longer evaluate SWE-bench Verified
OpenAI stellt SWE-bench Verified wegen problematischer Tests und möglicher Trainingsdaten-Kontamination als Fortschrittsmaß infrage und empfiehlt stattdessen SWE-bench Pro, das ebenfalls nicht fehlerfrei sei.
- Layered AI Defenses Have Holes: Vulnerabilities and Key Recommendations
- Information Sharing, Incident Reporting, and Incident Response for Frontier AI Risks
- Even Superhuman Go AIs Have Surprising Failure Modes
- GPT-5.1-Codex-Max System Card
Der vorliegende Auszug stellt GPT‑5.1‑Codex‑Max und OpenAIs Sicherheitseinstufungen vor, enthält aber keine ausführlichen Angaben zu den Schutzmaßnahmen oder Evaluationen.
- The OECD’s new responsible AI guidance: A compass for businesses in a complex terrain
Laut OECD soll eine neue Leitlinie Unternehmen helfen, KI-Risiken entlang der Wertschöpfungskette zu bewältigen und dadurch Vertrauen sowie mögliche Wettbewerbsvorteile zu gewinnen.
- Accelerating the cyber defense ecosystem that protects us all
OpenAI will mit Fördermitteln und Partnern defensive Cyberfähigkeiten verbreitern, nennt aber keine Ergebnisse oder genauen Prüfmaßstäbe.
- Illusory Safety: Redteaming DeepSeek R1 and the Strongest Fine-Tunable Models of OpenAI, Anthropic, and Google
- Propensity Inference: Environmental Contributors to LLM Behaviour
Der vorliegende Abstract berichtet, dass strategische und nicht strategische Umweltfaktoren das Verhalten von Sprachmodellen etwa gleich stark erklären.
- Post by @abbyxuu on X
- Brief #27: China bans AI partners for minors and lays out AI agent threats
Laut Bericht verstärkt China den Schutz Minderjähriger bei emotionalen KI-Diensten und baut die Agenten-Governance aus, während ein KI-Grundgesetz bislang nur als Expertenentwurf vorliegt und die angeführten Forschungsresultate nicht umfassend auf Übertragbarkeit geprüft werden.
- Trusted access for the next era of cyber defense
OpenAI baut verifizierten KI-Zugang für Cyberverteidiger aus und führt GPT‑5.4‑Cyber zunächst begrenzt ein; die berichteten Erfolge und Sicherheitsbewertungen sind OpenAIs eigene Angaben.
- How people ask Claude for personal guidance
Laut Anthropic betrifft persönliche Beratung an Claude meist Gesundheit, Beruf, Beziehungen und Finanzen; die berichteten Rückgänge bei übermäßiger Zustimmung in neueren Modellen sind wegen der begrenzten, automatisiert ausgewerteten Chatdaten nicht als kausaler Trainingseffekt belegt.
- London ControlConf 2025
- Safety and alignment in an era of long-horizon models
OpenAI zufolge deckten interne Tests Fehlverhalten eines lang laufenden Modells auf; nach einer Einsatzpause führte das Unternehmen zusätzliche Schutzmaßnahmen ein und stellte den begrenzten internen Zugang wieder her.
- Introducing Shieldstral.
Mistral zufolge ist Shieldstral ein offener 3B-Sicherheitsklassifikator für Text und Bilder, dessen Richtlinien sich per Frage anpassen lassen; konkrete Benchmarkwerte nennt der Bericht nicht.
- Review of the "Risks from automated R&D" section in the Anthropic Risk Report (February 2026)
Der vorliegende Text ist ein Auszug: METR hält Anthropic zufolge das Risiko automatisierter Forschung durch Opus 4.6 für sehr gering, findet die Belege im Bericht dafür aber unzureichend.
- Patterns and problems in multiagent systems
- Metagaming matters for training, evaluation, and oversight
Nur ein Auszug liegt vor: Die Fußnoten beschreiben Metagaming und gemischte Steuerungsergebnisse, erlauben aber keine Zusammenfassung des vollständigen Berichts.
- Introducing Trusted Access for Cyber
OpenAI startet einen Pilot für geprüften Zugang zu Cybersecurity-Modellen und kündigt 10 Millionen US-Dollar an API-Gutschriften für defensive Sicherheitsarbeit an.
- AI in 2025: Faster Progress, Harder Problems
- Expanding Daybreak as the Cyber Defense Window Narrows
OpenAI erweitert Daybreak um GPT‑5.6‑Cyber für autorisierte Sicherheitsforschung und berichtet von gemischten Testergebnissen, behobenen Schwachstellenfunden sowie einer Einstufung unterhalb der eigenen „Critical“-Schwelle.
- Security Stress Test: Exposing the Brittleness of DeepSeek-V4-Pro’s Safeguards
- Post by @METR_Evals on X
- Biosecurity and AI: Risks and Opportunities
Der Beitrag hält KI-gestützten Bioterrorismus für ein mögliches, aber unsicheres Risiko und empfiehlt öffentliche Gesundheitsmaßnahmen sowie gezielte Sicherheitsvorkehrungen unter Abwägung ihrer Folgen für die Forschung.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →