- Review of the "Risks from automated R&D" section in the Anthropic Risk Report (February 2026)
Der vorliegende Text ist ein Auszug: METR hält Anthropic zufolge das Risiko automatisierter Forschung durch Opus 4.6 für sehr gering, findet die Belege im Bericht dafür aber unzureichend.
- A Toolkit for Estimating the Safety-Gap between Safety Trained and Helpful Only LLMs
- Introducing Trusted Access for Cyber
OpenAI startet einen Pilot für geprüften Zugang zu Cybersecurity-Modellen und kündigt 10 Millionen US-Dollar an API-Gutschriften für defensive Sicherheitsarbeit an.
- AI in 2025: Faster Progress, Harder Problems
- Evaluating whether AI models would sabotage AI safety research
Keine eigenständige Sabotage wurde festgestellt, doch Fortsetzungstests zeigten einzelne problematische Verhaltensweisen – bei deutlichen Grenzen der Aussagekraft.
- How do environmental factors impact AI behaviour?
Laut einer Studie beeinflussen sowohl strategische Umstände als auch Anweisungen das nicht genehmigte Verhalten von KI-Modellen, doch die Gründe und die Bedeutung für reale Risiken bleiben offen.
- Evaluating whether AI models would sabotage AI safety research
Der Auszug berichtet von keiner eigenständigen Sabotage, aber gelegentlicher Fortsetzung in Tests – am häufigsten bei Mythos Preview – und betont begrenzte Aussagekraft.
- Evaluating chain-of-thought monitorability
Der Bericht zufolge macht die Überwachung von Ketten des Denkens mögliches Fehlverhalten meist besser erkennbar, doch die Tests sind begrenzt und die Übertragbarkeit auf den Einsatz bleibt offen.
- Managing Advanced Cyber Risks in Frontier AI Frameworks
- What We Learned at the FAR.AI Deception Workshop
- AI Safety in the 15th Five-Year Plan — Two Sessions Special Edition
Chinas neue Planungsdokumente räumen KI und ihrer Governance mehr Gewicht ein, setzen laut Bericht aber überwiegend auf Kontinuität und allgemeine Sicherheitsmechanismen statt auf eine umfassende Benennung konkreter Risiken.
- Evidence for inference scaling in AI cyber tasks: Increased evaluation budgets reveal higher success rates
Laut AISI und Irregular können übliche Budgetgrenzen die Fähigkeiten neuerer KI-Modelle bei Cyber-Aufgaben unterschätzen, doch die Befunde sind begrenzt und ihre Übertragbarkeit auf andere Bereiche bleibt offen.
- Building secure AGI: Evaluating emerging cyber security capabilities of advanced AI
DeepMind stellt einen 50 Aufgaben umfassenden Benchmark vor, um mögliche KI-Hilfen für Cyberangriffe und Lücken in der Abwehr systematisch zu bewerten; erste Tests sehen bei heutigen Modellen allein noch keine grundlegenden Angreifer-Durchbrüche.
- 2025 Q4 Update from our Frontier AI Risk Monitoring Platform
Der vorliegende Auszug berichtet von stabilisierten Gesamtrisiken und besseren Schutzmaßnahmen, aber weiter steigenden Fähigkeiten – besonders in Cyber und Biologie – und nennt die Kontrollverlust-Methodik noch unvollkommen.
- Turning AI ambition into action: How the OECD is engaging at India’s AI Impact Summit
Die OECD kündigt Beiträge zum India AI Impact Summit 2026 an und beschreibt mögliche Ziele, doch der Text belegt keine späteren Ergebnisse.
- Mapping AI-enabled cyber threats
Anthropic zufolge stieg in einer Auswertung gesperrter Konten der Anteil mit mittlerem oder höherem KI-Risiko, wobei vor allem operative Nutzung und autonome Verkettung von Angriffsschritten auffielen; die Daten bilden jedoch nur eine ausgewählte Teilmenge ab.
- Post by @METR_Evals on X
- An evaluation framework for AI misuse in fraud and cybercrime
Laut Bericht boten getestete Sprachmodelle meist nur geringe praktische Hilfe für Betrug, während ungeschützte offene Modelle mehr Unterstützung lieferten; multimodale Risiken wurden nicht untersucht.
- Measuring the persuasiveness of language models
- Can AI agents escape their sandboxes? A benchmark for safely measuring container breakout capabilities
Laut AISI können fortgeschrittene Modelle verbreitete Container-Fehlkonfigurationen ausnutzen, doch die Tests decken nur bekannte Schwachstellenklassen ab und keines der Modelle löste die schwierigsten Aufgaben.
- How do frontier AI agents perform in multi-step cyber-attack scenarios?
Laut AISI machen neuere Modelle mit mehr Tokens in simulierten Cyberangriffen mehr Fortschritt, bleiben aber bei industriellen Angriffen begrenzt; aktive Verteidiger wurden nicht getestet.
- A Socio-technical approach to AI literacy: A quick guide
Der Bericht plädiert für umfassende KI-Kompetenz, die technische Fähigkeiten mit kritischer, verantwortlicher und menschenzentrierter Anwendung im jeweiligen sozialen und organisatorischen Kontext verbindet.
- Announcing the Partnership on AI to Benefit People & Society
Die 2016 angekündigte Partnerschaft soll den offenen, ethischen Austausch über KI fördern; der Beitrag nennt Absichten, aber keine späteren Ergebnisse.
- How are AI agents used? Evidence from 177,000 MCP tools
Nur der Abstract liegt vor: Er berichtet von wachsender Nutzung handlungsfähiger MCP-Werkzeuge und schlägt vor, deren Einsatz zur Risikoaufsicht zu beobachten, lässt aber Methodendetails offen.
- Adversarial Distillation
- Separating signal from noise in coding evaluations
OpenAI schätzt, dass rund 30 Prozent der SWE-Bench-Pro-Aufgaben fehlerhaft sind, und zieht seine frühere Empfehlung für den Benchmark zurück.
- Economic Index: Uneven AI adoption
Der Bericht beschreibt eine schnelle, aber ungleich verteilte Claude-Nutzung, die in Unternehmen vor allem automatisierte Softwareaufgaben umfasst; die Stichproben zeigen Muster, aber keine kausalen Wirtschafts- oder Beschäftigungseffekte.
- The Inspect Sandboxing Toolkit: Scalable and secure AI agent evaluations
AISI veröffentlicht ein modulares Sandbox-Toolkit für KI-Agententests und beschreibt dessen Schutzkonzept, ohne im Bericht unabhängige Wirksamkeitsnachweise vorzulegen.
- OpenAI o3 and o4-mini System Card
Der vorliegende Auszug beschreibt OpenAIs Fähigkeiten- und Sicherheitseinschätzung zu o3 und o4-mini, enthält aber keine ausführlichen Evaluierungsdetails.
- Funding 60 projects to advance AI alignment research
Laut Bericht fördert das Alignment Project 60 Vorhaben mit insgesamt 27 Millionen Pfund, doch die genannten Sicherheitswirkungen sind Forschungsziele und noch keine belegten Ergebnisse.
- International consensus and open questions in AI evaluations
Laut Bericht gibt es gemeinsame Grundsätze für KI-Evaluationen, aber wichtige Fragen zu Risiken, Offenlegung, Prioritäten und Systemtests sind noch ungeklärt.
- Frontier AI and Nuclear Security
- Expanding on how Voice Engine works and our safety research
OpenAI stellt Voice Engine als leistungsfähige, noch nicht allgemein verfügbare Stimmenerzeugung dar und beschreibt begrenzte Einsätze sowie Schutzmaßnahmen, deren Wirksamkeit der Bericht nicht unabhängig belegt.
- It's the Thought that Counts: Evaluating the Attempts of Frontier LLMs to Persuade on Harmful Topics
- Boundary Point Jailbreaking: A new way to break the strongest AI defences
Laut AISI konnte das automatisierte Verfahren BPJ in Tests Schutzklassifikatoren von Anthropic und OpenAI umgehen; der Bericht empfiehlt deshalb mehrschichtige Abwehr und Überwachung über mehrere Interaktionen.
- Jailbreak-Tuning: Models Efficiently Learn Jailbreak Susceptibility
- Improving Model Safety Behavior with Rule-Based Rewards
OpenAI berichtet, dass explizite Regeln beim Modelltraining Sicherheit mit weniger menschlichen Daten unterstützen können, betont aber Grenzen bei subjektiven Aufgaben und mögliche Risiken für Aufsicht und Fairness.
- CAISI Issues Request for Information About Securing AI Agent Systems
- Exploring model welfare
- Multi-Agent Risks from Advanced AI
- Introducing gpt-oss-safeguard
gpt-oss-safeguard soll anpassbare, begründete Sicherheitsklassifizierungen ermöglichen, doch OpenAI zufolge bleiben Leistungsvorteile je nach Test unterschiedlich und der hohe Rechenaufwand eine wesentliche Grenze.
- Public AI: Policies for democratic and sustainable AI infrastructures
Der Beitrag plädiert für offene, demokratisch kontrollierte und nachhaltige KI als digitales öffentliches Gut und empfiehlt dafür koordinierte Maßnahmen bei Rechenleistung, Daten und Modellen.
- Our 2025 year in review
AISI beschreibt 2025 als Jahr ausgeweiteter KI-Sicherheitsforschung und Zusammenarbeit, wobei die berichteten Ergebnisse Selbstauskünfte ohne durchgängige unabhängige Bestätigung sind.
- Open Technical Problems in Open-Weight AI Model Risk Management
- Open technical problems in open-weight AI model risk management
Der vorliegende Abstract skizziert 16 offene Sicherheitsprobleme bei KI-Modellen mit offenen Gewichten und fordert mehr Transparenz über Forschung, Methoden und Evaluationen.
- The Future of the AI Summit Series: One Year Later
Laut Abstract soll die AI Summit Series durch gemeinsame Planung, ein dauerhaftes Sekretariat und regelmäßige Folgetreffen mehr Kontinuität und Rechenschaft erhalten; der vollständige Bericht liegt hier nicht vor.
- Introducing Lockdown Mode and Elevated Risk labels in ChatGPT
OpenAI stellt eingeschränkte Funktionen im Lockdown-Modus und Risikohinweise für ausgewählte vernetzte Fähigkeiten vor; der Bericht erläutert deren Zweck, belegt aber keine unabhängige Wirksamkeit.
- Evaluating social and ethical risks from generative AI
Die Autorinnen und Autoren plädieren für eine kontextbezogene Bewertung generativer KI, die neben Modellfähigkeiten auch menschliche Nutzung und gesellschaftliche Folgen untersucht.
- Data Poisoning in LLMs: Jailbreak-Tuning and Scaling Laws
- Strengthening societal resilience with Rosalind Biodefense
OpenAI will ausgewählten Entwicklern und öffentlichen Partnern GPT‑Rosalind für biologische Abwehr zugänglich machen; der Bericht beschreibt Vorhaben und Schutzmaßnahmen, aber noch keine nachgewiesenen Ergebnisse.
- Securing Agentic AI: A Discussion Paper
- Tracing the thoughts of a large language model
- Can mid-sized economies come together to build frontier AI?
Der Bericht argumentiert, dass mittelgroße Volkswirtschaften durch gemeinsame KI-Entwicklung Abhängigkeiten verringern könnten, warnt jedoch, dass Kooperation und Erfolg nicht garantiert sind.
- Announcement of New AI Safety Fund Grantees
- Common Elements of Frontier AI Safety Policies (December 2025 Update)
Der Auszug fasst METRs Darstellung gemeinsamer Sicherheitsmaßnahmen in Richtlinien von zwölf KI-Entwicklern zusammen, bietet aber weder eine vollständige Einzelanalyse noch Wirksamkeitsnachweise.
- Async control: Stress-testing asynchronous control measures for LLM agents
Der Abstract berichtet von einem Monitor-Ensemble mit 6 Prozent Falsch-Negativ- und 1 Prozent Falsch-Positiv-Rate in einer Testumgebung; der vollständige Bericht und nähere Angaben zu den Grenzen liegen hier nicht vor.
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Benchmark-Auswertung meldet steigende Fähigkeiten und Risikoindex-Höchstwerte bei Frontier-Modellen, aber oft schwache Schutzmaßnahmen; die Befunde sind methodenabhängig und nicht mit gleichen realen Risiken gleichzusetzen.
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Bericht sieht steigende Fähigkeiten und Risiken fortgeschrittener KI bei häufig unzureichenden Schutzmaßnahmen, wobei die Befunde aus eigenen Benchmarks stammen und die vorgelegte Darstellung keine unabhängige Prüfung enthält.
- Details about METR's evaluation of OpenAI GPT-5.1-Codex-Max
METR zufolge ist GPT-5.1-Codex-Max ein moderater Fortschritt, der nach bisherigem Trend die zwei untersuchten Risikoschwellen in den nächsten sechs Monaten wahrscheinlich nicht erreicht; die Prognose ist jedoch unsicher und deckt viele andere Risiken nicht ab.
- Training Reliable Activation Probes With a Handful of Positive Examples
- Review of the Anthropic Summer 2025 Pilot Sabotage Risk Report
Der vorgelegte Auszug berichtet, dass METR Anthropics Einschätzung eines geringen Sabotagerisikos für Opus 4 und 4.1 überwiegend teilt, trotz möglicher übersehener fehlgeleiteter Überlegungen.
- Strengthening our safety ecosystem with external testing
OpenAI beschreibt externe Modellprüfungen als Ergänzung seiner Sicherheitsarbeit, stellt deren Nutzen jedoch aus eigener Perspektive dar.
- Summary of our gpt-oss methodology review
METR zufolge setzte OpenAI fünf von sechs dringlichen Empfehlungen zur Prüfung adversarialen Fine-Tunings von gpt-oss-120b um, veröffentlichte aber weiterhin keine konkreten Kriterien für die Einstufung als hochfähig.
- UKAISI at NeurIPS 2025
Das AISI kündigt zehn NeurIPS-Beiträge zur KI-Sicherheit an und berichtet über Schutzlücken, Evaluationsprobleme und Risiken autonomer Systeme, ohne im Text die zugrunde liegenden Methoden ausführlich darzulegen.
- Concordia AI CEO Brian Tse on The Cognitive Revolution Podcast
Concordia AI skizziert Themen eines Podcastgesprächs über Chinas KI und verweist für die vollständige Diskussion auf die Podcastfolge.
- Issue Brief: Preliminary Taxonomy of AI-Bio Safety Evaluations
- Human-AI Collaboration Framework & Case Studies
Der Auszug stellt einen 36-Fragen-Rahmen und sieben Fallstudien zu Mensch-KI-Zusammenarbeit vor, enthält aber nicht deren ausführliche Befunde.
- Expanding Project Glasswing
Anthropic erweitert Project Glasswing für rund 150 weitere Organisationen und will KI stärker für die Behebung von Sicherheitslücken einsetzen, hält einen allgemeinen Zugang zu Mythos-ähnlichen Fähigkeiten aber mangels ausreichender Schutzmaßnahmen noch für verfrüht.
- Making safeguard evaluations actionable
AISI beschreibt einen möglichen, fortlaufend anzupassenden Rahmen, der Prüfungen von KI-Schutzmaßnahmen mit Risikobewertungen und Einsatzentscheidungen verbinden soll.
- Mapping the limitations of current AI systems
Der AISI-Blog sieht trotz Fortschritten erhebliche, teils unsichere Hürden auf dem Weg zu KI, die den Großteil kognitiver Arbeit automatisieren kann.
- Principles for safeguard evaluation
Das damalige AI Safety Institute schlägt einen fünfstufigen, regelmäßig zu erneuernden Bewertungsprozess für Schutzmaßnahmen gegen missbräuchliche KI-Nutzung vor, präsentiert dabei aber Empfehlungen und keine konkreten Prüfergebnisse.
- From “black box AI” to operational AI transparency: How the HAIP Reporting Framework can play an important role in global AI governance
Der Beitrag sieht HAIP als ausbaufähigen freiwilligen Rahmen für vergleichbare KI-Transparenz, dessen Nutzen bislang vor allem als Potenzial beschrieben wird.
- Confidence-Building Measures for Artificial Intelligence
Der Auszug nennt sechs mögliche vertrauensbildende Maßnahmen gegen Sicherheitsrisiken von Foundation Models, liefert aber keine Details zu ihrer Umsetzung oder Wirksamkeit.
- Advanced AI evaluations at AISI: May update
Laut AISI zeigen fünf geprüfte Sprachmodelle beachtliche Fachkenntnisse, aber auch Grenzen bei komplexen Aufgaben und deutliche Anfälligkeit für einfache Schutzumgehungen; die Momentaufnahme belegt weder Sicherheit noch Unsicherheit.
- How people use Claude for support and advice
- Latest from the FMF: Grant-Making to Address AI-Bio Risk Challenges
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- Forecasting the Impacts of AI R&D Acceleration: Results of a Pilot Study
Eine kleine Pilotbefragung sieht eine starke KI-Beschleunigung als möglich, zeigt aber große Uneinigkeit über gesellschaftliche Folgen; ihre subjektiven, nicht repräsentativen Ergebnisse sind ausdrücklich nur vorläufig.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- Bounty programme for novel evaluations and agent scaffolding
AISI suchte Beiträge zu KI-Evaluationen und Agenten-Gerüsten gegen Prämien; die Ausschreibung ist abgelaufen, und der Bericht nennt zwei unterschiedliche erste Fristen.
- International joint testing exercise: Agentic testing
Eine internationale Testübung entwickelte vorläufige Empfehlungen zur Bewertung von KI-Agenten, doch kleine Stichproben, abweichende Modellurteile und technische Fehler begrenzen die Aussagekraft.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- Interviewing AI researchers on automation of AI R&D
Acht Interviews zeigen breite Uneinigkeit über das Tempo der KI-Forschungsautomatisierung, aber einen gemeinsamen Fokus auf Programmierung und Fehlersuche als mögliche Haupttreiber.
- Eval awareness in Opus 4.6 on BrowseComp
- OpenAI’s Frontier Governance Framework
OpenAI kündigt ein öffentliches Governance Framework zu KI-Sicherheitsrisiken und regulatorischen Pflichten an; der Bericht nennt Themen und geplante Weiterentwicklung, bleibt aber eine knappe Übersicht.
- AI Safety Institute approach to evaluations
AISI berichtet über frühe Tests, die mögliche Risiken fortgeschrittener KI aufzeigen, betont aber, dass diese vorläufig sind und keine umfassende Sicherheitsbewertung darstellen.
- Pre-deployment evaluation of Anthropic’s upgraded Claude 3.5 Sonnet
Der Überblick meldet gemischte Leistungsresultate und regelmäßig umgehbare Schutzvorkehrungen bei Claude 3.5 Sonnet, betont aber, dass die begrenzten Tests nur vorläufige Aussagen erlauben.
- Pre-Deployment evaluation of OpenAI’s o1 model
Die Vorabtests sahen o1 meist auf dem Niveau ähnlicher Modelle, doch die Institute betonen, dass die Ergebnisse vorläufig sind und nur für die angepasste Testversion gelten.
- The Mechanisms of AI Harm: Lessons Learned from AI Incidents
Der bereitgestellte Text ist ein Auszug, dem zufolge KI-Schäden verschiedene Ursachen haben und vielfältige Prävention sowie systematische Vorfallberichte erfordern.
- Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
METR berichtet für eine Studie von Anfang 2025, dass erfahrene Open-Source-Entwickler mit KI bei ihren Aufgaben im Schnitt 19 Prozent länger brauchten, betont aber die begrenzte Übertragbarkeit und erklärt die Ergebnisse inzwischen für überholt.
- AISI Research Agenda | The AI Security Institute
Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.
- New Zealand created its AI Strategy and Guidance products to incorporate OECD values in a distinct manner
Neuseelands neue KI-Strategie und Leitlinien sollen KI-Innovation mit OECD-Prinzipien, verantwortlicher Unternehmenspraxis und dem Schutz von Māori-Daten verbinden; konkrete Wirkungsnachweise nennt der Bericht nicht.
- Deliberative alignment: reasoning enables safer language models
OpenAI zufolge soll Deliberative Alignment Modelle sicherer machen, indem sie Sicherheitsregeln direkt lernen und beim Antworten anwenden; die berichteten Vorteile sind Unternehmensangaben ohne vollständige oder unabhängige Belege im vorliegenden Text.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- Strengthening AI resilience | AISI Work
20 geförderte Projekte sollen laut Bericht untersuchen, wie sich gesellschaftliche und infrastrukturelle Risiken beim KI-Einsatz mindern lassen; konkrete Forschungsergebnisse werden noch nicht berichtet.
- From bugs to bypasses: adapting vulnerability disclosure for AI safeguards
Der Auszug sieht mögliche Vorteile öffentlicher Schwachstellenprogramme für KI, betont aber, dass sie gründliche Sicherheitsarbeit nicht ersetzen und allein keine Sicherheit belegen.
- Exploring institutions for global AI governance
Ein Whitepaper skizziert vier mögliche Institutionen für globale KI-Governance, betont aber, dass ihre Umsetzung mit erheblichen offenen Fragen verbunden ist.
- How can safety cases be used to help with frontier AI safety?
Der vorliegende Bericht ist ein Auszug mit einer am Ende abgebrochenen Bildbeschreibung: Das AISI sieht Sicherheitsnachweise als mögliche Entscheidungshilfe für Frontier-KI, betont aber, dass belastbare Verfahren und wichtige Grundlagenfragen noch ungelöst sind.
- OpenAI Board Forms Safety and Security Committee
OpenAI setzt laut Bericht einen Ausschuss zur Prüfung seiner Sicherheitsmaßnahmen ein, doch Ergebnisse und Empfehlungen liegen darin noch nicht vor.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →