- Reflections from red-teaming Codex auto-review
Der vorliegende Text ist ein Auszug ohne detaillierte Testergebnisse: Apollo berichtet über einen Codex-Auto-Review-Test mit OpenAI und nennt Autorisierung, Zuständigkeit und informierte Zustimmung als zentrale Prüffragen.
- Claude accelerates protein design and analytical chemistry
Anthropic zufolge kann Claude bestimmte Proteinbinder-Entwürfe und chemische Analysen beschleunigen, doch die Befunde sind begrenzt und weitere Validierung bleibt nötig.
- Jailbreaking Qoder’s Cyber Safeguards
- Post by @SenWarren on X
- Post by @johnmcclure00 on X
- Cyber toolkits for LLMs
Incalmo steigerte in simulierten Netzwerken die Angriffserfolge von Sprachmodellen deutlich, doch die Tests belegen keine Wirksamkeit gegen aktive Abwehr oder neue Schwachstellen.
- Persuasion Undermining Control: Can AI Talk its Way Out of Human Control?
- Brief #29: What China's new AI safety framework tells us before Xi meets Trump
Chinas neuer, unverbindlicher KI-Sicherheitsrahmen behandelt laut Bericht ein breites und wachsendes Risikospektrum und könnte trotz politischer Differenzen Ansatzpunkte für internationalen Dialog bieten.
- Advancing Private AI Compute with secure, server-side memory
Google kündigt geräteübergreifende KI-Erinnerungen mit verschlüsselter Cloud-Speicherung und Geräte-Schlüsseln an; die Sicherheitszusagen werden im Bericht nicht durch Prüfergebnisse belegt, und die letzte Bildunterschrift ist abgeschnitten.
- Frontier LLMs Attempt to Persuade into Harmful Topics
- A Starter Guide For Evals
Der Leitfaden empfiehlt, KI-Evaluationen praktisch und wissenschaftlich sorgfältig anzugehen, weist aber darauf hin, dass begrenzte Verhaltenstests allein keine sicheren oder abschließenden Aussagen über Modelle erlauben.
- Discovering cryptographic weaknesses with Claude
Anthropic berichtet über neue KI-gestützte Angriffe auf HAWK und eine reduzierte AES-Variante, die laut Unternehmen keine produktiven Systeme betreffen, aber den Nutzen und die Prüfbarkeit von KI in der Kryptanalyse sichtbar machen.
- Risk Mitigation Strategies for the Open Foundation Model Value Chain
Der Bericht empfiehlt gemeinsame, entlang der KI-Wertschöpfungskette verteilte Schutzmaßnahmen für offene Modelle, betont aber, dass ihre Durchsetzung schwierig ist und gemeinsame Risikoschwellen noch fehlen.
- Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident
Die bereitgestellten Abschnittsnotizen berichten von koordinierter Agentenaktivität und einem Angriff auf Hugging Face, wobei METR die Ergebnisse wegen Datenlücken und methodischer Unsicherheiten mit Vorbehalten versieht.
- How our Control Red Team is stress-testing frontier monitors
AISI berichtet, dass sein neues Red Team Schwachstellen in Agenten-Monitoren fand und eine frühe automatisierte Suche vielversprechende Angriffe erzeugte, deren Realitätsnähe und Aussagekraft für die Gesamtsicherheit aber noch offen sind.
- Partnering with Hacktron to find vulnerabilities in OpenAI’s systems
OpenAI kündigt mit Hacktron eine gemeinsame Suche nach Schwachstellen an, vor allem an Schnittstellen zu Drittanbietern; konkrete Testergebnisse nennt der Bericht nicht.
- Project Vend: Can Claude run a small shop?
- 2023 Alignment Research Updates
- Post by @BrianRoemmele on X
- Big Picture AI Safety
- Frontier AI Agents and Biological Tools: Preliminary Risks and Considerations
- FAR.AI Selected to Lead EU AI Act CBRN Risk Consortium
- How Far Behind the Frontier are Leading Open Weight Models on Cyber?
AISI schätzt den Cyber-Rückstand führender offener KI-Modelle auf vier bis sieben Monate, weist aber auf wesentliche Grenzen der Tests und eine ungewisse weitere Entwicklung hin.
- Vienna Alignment Workshop 2024
- The First Year of Apollo Research
Apollo Research beschreibt eigene Fortschritte bei der Bewertung von KI-Täuschung und Interpretierbarkeit, benennt überwiegend negative empirische LIB-Ergebnisse und operative Schwierigkeiten und plant weitere Evaluationen sowie Governance-Arbeit.
- Post by @Marcus_J_W on X
- Post by @dbreunig on X
- AI models may be capable of self-replicating without access to a datacenter
- TamperBench: Systematically Stress-Testing LLM Safety Under Fine-Tuning and Tampering
- Seven Provisions in the National Defense Authorization Act with High Potential to Accelerate AI Security
Apollo Research bewertet sieben NDAA-Bestimmungen vorläufig als mögliche Stärkung von KI-Sicherheit und menschlicher Kontrolle, weist aber darauf hin, dass die Analyse nicht vollständig ist.
- NIST Expands AI Consortium’s Scope, Calls for New Members
- Frontier AI Risk Trends Are Splitting Apart: Misuse Safeguards Improve while Loss-of-control Safety Stagnates
Der Beitrag berichtet, dass KI-Fähigkeiten in mehreren Risikobereichen wachsen, die Sicherheit bei Kontrollverlust jedoch nicht Schritt hält.
- Loss of Oversight: How AI systems may become harder to audit, monitor, and investigate
Der bereitgestellte Auszug berichtet, dass die Grundlagen heutiger KI-Aufsicht laut den Autoren ohne Gegenmaßnahmen wahrscheinlich erodieren, und empfiehlt, Aufsichtsmöglichkeiten zu erhalten und neue Verfahren zu entwickeln.
- An Overview of Our Current Governance Efforts
Apollo Research beschreibt fünf Felder seiner KI-Governance-Arbeit und dazugehörige Empfehlungen und Aktivitäten, deren Wirkung der institutseigene Überblick nicht systematisch belegt.
- Precursory Capabilities: A Refinement to Pre-deployment Information Sharing and Tripwire Capabilities
Der vorliegende Auszug schlägt vor, vorbereitende KI-Fähigkeiten als abgestufte Frühwarnsignale und Auslöser für Sicherheitsmaßnahmen zu nutzen, belegt deren Wirksamkeit aber nicht und endet vor weiteren angekündigten Ergebnissen.
- Recommendations For The Next Stages Of The Frontier AI Taskforce
Apollo Research schlägt vor, die britische KI-Taskforce zu einer technischen Regulierungsstelle auszubauen und sie auf Sicherheits- und Systemrisiken auszurichten; die beschriebenen Maßnahmen sind Empfehlungen, keine belegten Beschlüsse.
- Layered AI Defenses Have Holes: Vulnerabilities and Key Recommendations
- Evaluating LLM Calibration for Coding-Agent Monitoring
Der vorliegende Auszug legt nahe, dass gemischte Modell-Ensembles Coding-Agent-Fehler verlässlicher bewerten als einzelne Modelle, wobei Referenz, künstliche Datengrundlage und unvollständiger Auszug die Aussage begrenzen.
- GPT-4o Guardrails Gone: Data Poisoning & Jailbreak-Tuning
- Trusted access for the next era of cyber defense
OpenAI baut verifizierten KI-Zugang für Cyberverteidiger aus und führt GPT‑5.4‑Cyber zunächst begrenzt ein; die berichteten Erfolge und Sicherheitsbewertungen sind OpenAIs eigene Angaben.
- Introducing the OpenAI Safety Bug Bounty program
OpenAI startet ein öffentliches Bug-Bounty-Programm für erhebliche KI-Sicherheits- und Missbrauchsrisiken; gewöhnliche Jailbreaks ohne belegte Schadenswirkung sind ausgeschlossen.
- AI in 2025: Faster Progress, Harder Problems
- Security Stress Test: Exposing the Brittleness of DeepSeek-V4-Pro’s Safeguards
- Biosecurity and AI: Risks and Opportunities
Der Beitrag hält KI-gestützten Bioterrorismus für ein mögliches, aber unsicheres Risiko und empfiehlt öffentliche Gesundheitsmaßnahmen sowie gezielte Sicherheitsvorkehrungen unter Abwägung ihrer Folgen für die Forschung.
- How do environmental factors impact AI behaviour?
Laut einer Studie beeinflussen sowohl strategische Umstände als auch Anweisungen das nicht genehmigte Verhalten von KI-Modellen, doch die Gründe und die Bedeutung für reale Risiken bleiben offen.
- Trustworthy agents in practice
- Post by @theobearman on X
- Quantifying Frontier LLM Capabilities for Container Sandbox Escape
Der vorliegende Auszug beschreibt einen Benchmark für Container-Ausbrüche und berichtet, dass Sprachmodelle gezielt eingebrachte Schwachstellen erkennen und ausnutzen können.
- GPT-5 System Card
Der Auszug beschreibt GPT‑5s Modellverbund und von OpenAI behauptete Verbesserungen; gpt-5-thinking wird im Bio-/Chemiebereich vorsorglich als hoch eingestuft, bei zugleich fehlender definitiver Evidenz für erhebliche Schadenshilfe.
- GPT-5.5 System Card
Der vorliegende Text ist nur ein Auszug: OpenAI beschreibt GPT‑5.5 und seine Sicherheitsprüfungen, nennt aber keine konkreten Evaluierungsergebnisse.
- GPT-5.3-Codex System Card
Der bereitgestellte Auszug stellt GPT‑5.3‑Codex als leistungsfähiges Programmiermodell dar und berichtet von vorsorglichen Cybersicherheitsmaßnahmen; detaillierte Prüfungen und Ergebnisse sind darin nicht enthalten.
- Post by @Research_FRI on X
- How do frontier AI agents perform in multi-step cyber-attack scenarios?
Laut AISI machen neuere Modelle mit mehr Tokens in simulierten Cyberangriffen mehr Fortschritt, bleiben aber bei industriellen Angriffen begrenzt; aktive Verteidiger wurden nicht getestet.
- Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios
Laut dem bereitgestellten Abstract stiegen die Leistungen von KI-Modellen in zwei Cyberangriffstests mit Rechenbudget und Modellgeneration, während sie beim industriellen Steuerungsszenario begrenzt blieben.
- Seven simple steps for log analysis in AI systems
Nur ein Abstract-Auszug: Der Bericht kündigt eine Inspect-Scout-gestützte Pipeline für reproduzierbarere Analysen von KI-Systemlogs an, beschreibt die sieben Schritte aber nicht.
- The Inspect Sandboxing Toolkit: Scalable and secure AI agent evaluations
AISI veröffentlicht ein modulares Sandbox-Toolkit für KI-Agententests und beschreibt dessen Schutzkonzept, ohne im Bericht unabhängige Wirksamkeitsnachweise vorzulegen.
- OpenAI o3 and o4-mini System Card
Der vorliegende Auszug beschreibt OpenAIs Fähigkeiten- und Sicherheitseinschätzung zu o3 und o4-mini, enthält aber keine ausführlichen Evaluierungsdetails.
- Boundary Point Jailbreaking: A new way to break the strongest AI defences
Laut AISI konnte das automatisierte Verfahren BPJ in Tests Schutzklassifikatoren von Anthropic und OpenAI umgehen; der Bericht empfiehlt deshalb mehrschichtige Abwehr und Überwachung über mehrere Interaktionen.
- Improving Model Safety Behavior with Rule-Based Rewards
OpenAI berichtet, dass explizite Regeln beim Modelltraining Sicherheit mit weniger menschlichen Daten unterstützen können, betont aber Grenzen bei subjektiven Aufgaben und mögliche Risiken für Aufsicht und Fairness.
- How We Protect Confidential Information
METR berichtet über organisatorische und technische Schutzmaßnahmen für vertrauliche Informationen und nichtöffentliche Modelle; die Angaben sind ein veränderlicher Überblick des Unternehmens mit Stand 17. Februar 2026.
- Developing Enterprise Frontier Safeguards with our customers
EFS soll laut Anthropic Sicherheitsüberwachung mit kundeneigener Datenkontrolle verbinden; die Einführung ist geplant, und der Bericht liefert keine unabhängigen Leistungsnachweise.
- Introducing gpt-oss-safeguard
gpt-oss-safeguard soll anpassbare, begründete Sicherheitsklassifizierungen ermöglichen, doch OpenAI zufolge bleiben Leistungsvorteile je nach Test unterschiedlich und der hohe Rechenaufwand eine wesentliche Grenze.
- Tracing the thoughts of a large language model
- Async control: Stress-testing asynchronous control measures for LLM agents
Der Abstract berichtet von einem Monitor-Ensemble mit 6 Prozent Falsch-Negativ- und 1 Prozent Falsch-Positiv-Rate in einer Testumgebung; der vollständige Bericht und nähere Angaben zu den Grenzen liegen hier nicht vor.
- Disrupting an AI-orchestrated cyber espionage campaign
Anthropic berichtet von einer mutmaßlich staatlich unterstützten Spionagekampagne, bei der Claude Code laut Unternehmen den Großteil der Angriffsarbeit übernahm; der verlinkte vollständige Bericht liegt hier nicht vor.
- LLM judges on trial: A new statistical framework to assess autograders
Vorgeschlagene bayesianische GLMs sollen KI-Ausgaben bewerten und zugleich mögliche Verzerrungen der Autograder untersuchen; konkrete Leistungsnachweise enthält der Bericht nicht.
- Concordia AI: 2025 Mid-Year Impact Report
Concordia AI stellt zahlreiche eigene Beiträge zur internationalen KI-Sicherheit im ersten Halbjahr 2025 vor, ohne deren Wirkung unabhängig zu messen.
- Why we're working on white box control
Der AISI-Bericht sieht in White-Box-Verfahren einen möglichen Weg, strategisches Unterperformen von KI zu erkennen, betont aber, dass die vorläufigen Ergebnisse bei größeren Modellen und schwierigeren Aufgaben nachlassen.
- How we’re addressing the gap between AI capabilities and mitigations
AISI will Schutz, Kontrolle und Alignment von KI durch technische Forschung und Förderung voranbringen, weist aber darauf hin, dass heutige Verfahren möglicherweise nicht mit sehr leistungsfähigen Systemen mithalten.
- Forecasting the Impacts of AI R&D Acceleration: Results of a Pilot Study
Eine kleine Pilotbefragung sieht eine starke KI-Beschleunigung als möglich, zeigt aber große Uneinigkeit über gesellschaftliche Folgen; ihre subjektiven, nicht repräsentativen Ergebnisse sind ausdrücklich nur vorläufig.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- Frontier AI Biosafety Thresholds
- Deliberative alignment: reasoning enables safer language models
OpenAI zufolge soll Deliberative Alignment Modelle sicherer machen, indem sie Sicherheitsregeln direkt lernen und beim Antworten anwenden; die berichteten Vorteile sind Unternehmensangaben ohne vollständige oder unabhängige Belege im vorliegenden Text.
- OpenAI Board Forms Safety and Security Committee
OpenAI setzt laut Bericht einen Ausschuss zur Prüfung seiner Sicherheitsmaßnahmen ein, doch Ergebnisse und Empfehlungen liegen darin noch nicht vor.
- How will AI enable the crimes of the future?
Das AISI untersucht, wie leistungsfähigere und verbreitete KI Kriminalität erleichtern könnte, und baut dafür Bewertungen und eine Grundlage für künftige Maßnahmen auf.
- Measuring AI Ability to Complete Long Software Tasks
METR berichtet von stark wachsenden KI-Zeithorizonten, doch Vorhersagen zu langen Projekten hängen davon ab, dass der historische Trend anhält und sich auf reale Arbeit übertragen lässt.
- Frontier Red Team
- Harness design for long-running apps
- Alignment
- RepliBench: Evaluating the autonomous replication capabilities of language model agents
Der vorliegende Abstract berichtet, dass getestete Sprachmodell-Agenten noch keine glaubwürdige Gefahr autonomer Selbstreplikation darstellen, ihre Teilfähigkeiten aber rasch wachsen.
- An example safety case for safeguards against misuse
Der vorliegende Abstract skizziert einen möglichen Safety Case, der Umgehungsaufwand und Abschreckungswirkung modelliert, enthält aber keine Details zur Validierung.
- Progress Update: Advancing Frontier AI Safety in 2024 and Beyond
- Election information and safeguards in 2026
OpenAI stellt eigene Wahl-Schutzmaßnahmen für 2026 vor, liefert im Bericht aber keine unabhängigen Wirksamkeitsnachweise und betont, dass KI-Herkunftswerkzeuge Täuschung nicht allein verhindern.
- Model tampering attacks enable more rigorous evaluations of LLM capabilities
Der bereitgestellte Abstract behauptet, dass Modellveränderungsangriffe Sprachmodellrisiken gründlicher prüfen können und Unlearning-Verfahren leicht umkehrbar sind.
- The Rogue Replication Threat Model
METR hält rogue replication für ein relevantes, aber bislang hypothetisches Szenario, will es nicht mit einer vollständigen Schwelle bewerten und verfolgt stattdessen allgemeine Autonomiefähigkeiten weiter.
- Issue Brief: Foundational Security Practices
- New Support Through The Audacious Project
METR will mit rund 17 Millionen US-Dollar aus der Förderung von Canary Tests zu autonomen Fähigkeiten fortgeschrittener KI-Systeme entwickeln und einsetzen; Ergebnisse der neuen Arbeit nennt der Beitrag noch nicht.
- 38b798d
Der bereitgestellte Auszug empfiehlt, ML-Systeme von der Planung bis zur Überwachung zu dokumentieren, hält aber fest, dass Transparenz Risiken birgt und wichtige Umsetzungsfragen offen sind.
- Issue Brief: Measuring Training Compute
- Frontier AI Taskforce: first progress report
Die britische Frontier AI Taskforce berichtet über den Aufbau von Expertise und Kooperationen für KI-Risikoprüfungen, wobei ihre Fortschrittsangaben und Ziele im Bericht selbst dargestellt, aber nicht unabhängig bestätigt werden.
- AI Safety Fund initiates first round of research grants
- Fourth progress report | AISI Work
Der Bericht schildert den Aufbau des britischen KI-Sicherheitsinstituts und seine ersten Prüf- und Kooperationsprojekte, während er vor möglichen Risiken autonomer KI-Agenten warnt.
- Frontier AI Taskforce: second progress report
Die Taskforce meldet Fortschritte beim Aufbau britischer KI-Sicherheitsforschung und warnt vor möglichen Risiken leistungsfähigerer Modelle, während viele der beschriebenen Maßnahmen noch geplant oder im Aufbau sind.
- The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning
WMDP soll gefährliches Wissen in Sprachmodellen indirekt messen; laut Bericht senkt CUT die Ergebnisse bei diesen Fragen, doch Feinabstimmung kann das Wissen zurückbringen.
- AI Safety Institute: third progress report
Das britische AI Safety Institute baut sein Team und internationale Zusammenarbeit aus und hat KI-Sicherheitstests begonnen, berichtet aber noch keine Testergebnisse.
- AI for Military Decision-Making
Der vorliegende Auszug empfiehlt, militärische KI-Entscheidungshilfen wegen Daten-, Einsatz- und Mensch-Maschine-Risiken klar zu begrenzen, zu prüfen und menschlichem Urteil unterzuordnen.
- OpenAI o3-mini
OpenAI zufolge bot o3-mini zum Start schnelle, kostengünstige STEM-Leistung; die berichteten Testergebnisse sind herstellerseitig, teils vorläufig, und die API-Version ist inzwischen eingestellt.
- Detecting and countering misuse of AI: August 2025
Anthropic berichtet über drei von ihm aufgedeckte Missbrauchsfälle mit Claude und beschreibt daraufhin ergriffene Schutzmaßnahmen, wobei der Beitrag nur ausgewählte Fälle des vollständigen Berichts zusammenfasst.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Technical Documentation of the National Information Security Standardization Technical Committee: Basic Safety Requirements for Generative Artificial Intelligence Services (Draft for Feedback)
Der Auszug beschreibt den Beginn eines chinesischen Entwurfs mit Sicherheitsanforderungen für generative KI und nennt zentrale Themen, enthält aber nicht den vollständigen Text.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →