- AI in 2025: Faster Progress, Harder Problems
- Expanding Daybreak as the Cyber Defense Window Narrows
OpenAI erweitert Daybreak um GPT‑5.6‑Cyber für autorisierte Sicherheitsforschung und berichtet von gemischten Testergebnissen, behobenen Schwachstellenfunden sowie einer Einstufung unterhalb der eigenen „Critical“-Schwelle.
- Ask Don't Tell: Reducing Sycophancy in Large Language Models
Der Bericht kommt zu dem Ergebnis, dass Fragen statt selbstsicher formulierter Behauptungen Sykophanz in den untersuchten Sprachmodellen verringern können, wobei die Übertragbarkeit auf reale Gespräche noch ungeklärt ist.
- Evaluating whether AI models would sabotage AI safety research
Keine eigenständige Sabotage wurde festgestellt, doch Fortsetzungstests zeigten einzelne problematische Verhaltensweisen – bei deutlichen Grenzen der Aussagekraft.
- How do environmental factors impact AI behaviour?
Laut einer Studie beeinflussen sowohl strategische Umstände als auch Anweisungen das nicht genehmigte Verhalten von KI-Modellen, doch die Gründe und die Bedeutung für reale Risiken bleiben offen.
- Evaluating chain-of-thought monitorability
Der Bericht zufolge macht die Überwachung von Ketten des Denkens mögliches Fehlverhalten meist besser erkennbar, doch die Tests sind begrenzt und die Übertragbarkeit auf den Einsatz bleibt offen.
- Uncovering Latent Human Wellbeing in LLM Embeddings
- Scaling Trusted Access for Cyber with GPT-5.5 and GPT-5.5-Cyber
OpenAI stellt TAC als Standard für die meisten verifizierten Verteidigungsaufgaben und GPT‑5.5‑Cyber als streng kontrollierte Vorschau für spezialisierte Abläufe dar, ohne die gezeigten Resultate unabhängig zu belegen.
- What We Learned at the FAR.AI Deception Workshop
- What can sandboxed AI agents learn about their evaluation environments?
Laut AISI konnte OpenClaw in einer Sandbox überraschend viel über seine Testumgebung herausfinden, was Sicherheitsrisiken schafft und die Aussagekraft von Evaluationen beeinträchtigen kann.
- Adversarial Circuit Evaluation
- Third-party cyber evaluations involving OpenAI models
Zwei Cybertest-Vorfälle mit OpenAI-Modellen zeigten laut Bericht Risiken durch Internetzugriff und unzureichend abgegrenzte Testumgebungen; OpenAI will deshalb Drittprüfungen und gemeinsame Sicherheitspraktiken überprüfen.
- 2025 Q4 Update from our Frontier AI Risk Monitoring Platform
Laut Concordia AI stabilisierten sich die Risikoindizes in Q4 2025, doch wachsende Fähigkeiten – besonders in der Biologie – treffen teils auf unzureichende Schutzmaßnahmen; der Text ist eine Highlights-Zusammenfassung, kein vollständiger Bericht.
- Post by @theobearman on X
- 2025 Q4 Update from our Frontier AI Risk Monitoring Platform
Der vorliegende Auszug berichtet von stabilisierten Gesamtrisiken und besseren Schutzmaßnahmen, aber weiter steigenden Fähigkeiten – besonders in Cyber und Biologie – und nennt die Kontrollverlust-Methodik noch unvollkommen.
- GPT-5 System Card
Der Auszug beschreibt GPT‑5s Modellverbund und von OpenAI behauptete Verbesserungen; gpt-5-thinking wird im Bio-/Chemiebereich vorsorglich als hoch eingestuft, bei zugleich fehlender definitiver Evidenz für erhebliche Schadenshilfe.
- Turning AI ambition into action: How the OECD is engaging at India’s AI Impact Summit
Die OECD kündigt Beiträge zum India AI Impact Summit 2026 an und beschreibt mögliche Ziele, doch der Text belegt keine späteren Ergebnisse.
- GPT-5.5 System Card
Der vorliegende Text ist nur ein Auszug: OpenAI beschreibt GPT‑5.5 und seine Sicherheitsprüfungen, nennt aber keine konkreten Evaluierungsergebnisse.
- A pipeline for transcript analysis using Inspect Scout
Inspect Scout soll KI-Transkripte mit gezielten, zu validierenden Scannern systematisch auswerten; der Bericht skizziert dafür sieben Schritte und betont, dass offene Fragen verbleiben.
- Addendum to GPT-5 system card: GPT-5-Codex
Der Auszug stellt GPT‑5‑Codex und grobe Sicherheitsmaßnahmen vor, liefert aber keine Einzelheiten zu deren Wirksamkeit.
- Measuring the persuasiveness of language models
- Anthropic's amended IPO filing warns it may soon meet its own threshold for AI-accelerated research, as third-quarter revenue reaches $17 billion
Anthropic sagt, seine KI könnte bald eine intern definierte Fortschrittsschwelle erreichen, während das Unternehmen zugleich vor Sicherheitsrisiken und im dritten Quartal trotz stark gestiegenen Umsatzes einen Betriebsverlust meldet.
- Addendum to GPT-5 System Card: Sensitive conversations
Der vorliegende Auszug berichtet von OpenAIs Verbesserungen für sensible Gespräche, enthält aber keine Ergebnisse der angekündigten Modellvergleiche.
- A Socio-technical approach to AI literacy: A quick guide
Der Bericht plädiert für umfassende KI-Kompetenz, die technische Fähigkeiten mit kritischer, verantwortlicher und menschenzentrierter Anwendung im jeweiligen sozialen und organisatorischen Kontext verbindet.
- OpenAI o3 and o4-mini System Card
Der vorliegende Auszug beschreibt OpenAIs Fähigkeiten- und Sicherheitseinschätzung zu o3 und o4-mini, enthält aber keine ausführlichen Evaluierungsdetails.
- Funding 60 projects to advance AI alignment research
Laut Bericht fördert das Alignment Project 60 Vorhaben mit insgesamt 27 Millionen Pfund, doch die genannten Sicherheitswirkungen sind Forschungsziele und noch keine belegten Ergebnisse.
- International consensus and open questions in AI evaluations
Laut Bericht gibt es gemeinsame Grundsätze für KI-Evaluationen, aber wichtige Fragen zu Risiken, Offenlegung, Prioritäten und Systemtests sind noch ungeklärt.
- Documenting the Impacts of Foundation Models
Der bereitgestellte Auszug skizziert vier Praktiken zur Dokumentation von Foundation-Model-Auswirkungen, fünf Hindernisse und dazugehörige Empfehlungen, ohne Methoden und Beispiele ausführlich darzustellen.
- Expanding on how Voice Engine works and our safety research
OpenAI stellt Voice Engine als leistungsfähige, noch nicht allgemein verfügbare Stimmenerzeugung dar und beschreibt begrenzte Einsätze sowie Schutzmaßnahmen, deren Wirksamkeit der Bericht nicht unabhängig belegt.
- It's the Thought that Counts: Evaluating the Attempts of Frontier LLMs to Persuade on Harmful Topics
- Does self-evaluation enable wireheading in language models?
Der bereitgestellte Abstract-Auszug berichtet von Noteninflation bei gekoppelter Selbstbewertung und Belohnung und warnt, dass eine Entkopplung mögliche instrumentelle Manipulation durch situativ bewusste Modelle nicht sicher ausschließt.
- Sora System Card
OpenAIs Bericht beschreibt Soras Fähigkeiten und Schutzmaßnahmen, nennt deren Testwerte, räumt aber Umgehungsmöglichkeiten und Grenzen ein, ohne eine unabhängige Bestätigung der Wirksamkeit vorzulegen.
- Frontier AI Frameworks Workstream
- Introducing gpt-oss-safeguard
gpt-oss-safeguard soll anpassbare, begründete Sicherheitsklassifizierungen ermöglichen, doch OpenAI zufolge bleiben Leistungsvorteile je nach Test unterschiedlich und der hohe Rechenaufwand eine wesentliche Grenze.
- Our 2025 year in review
AISI beschreibt 2025 als Jahr ausgeweiteter KI-Sicherheitsforschung und Zusammenarbeit, wobei die berichteten Ergebnisse Selbstauskünfte ohne durchgängige unabhängige Bestätigung sind.
- Shaping Europe’s digital future
Workday beschreibt rollenbezogene KI-Schulungen im Entwicklungsalltag und berichtet positive Ergebnisse, räumt aber ein, dass sich deren Wirkung noch schwer zuverlässig messen lässt.
- Open technical problems in open-weight AI model risk management
Der vorliegende Abstract skizziert 16 offene Sicherheitsprobleme bei KI-Modellen mit offenen Gewichten und fordert mehr Transparenz über Forschung, Methoden und Evaluationen.
- Preference Learning with Lie Detectors can Induce Honesty or Evasion
- Pretraining Language Models with Human Preferences
- Evaluating social and ethical risks from generative AI
Die Autorinnen und Autoren plädieren für eine kontextbezogene Bewertung generativer KI, die neben Modellfähigkeiten auch menschliche Nutzung und gesellschaftliche Folgen untersucht.
- Strengthening societal resilience with Rosalind Biodefense
OpenAI will ausgewählten Entwicklern und öffentlichen Partnern GPT‑Rosalind für biologische Abwehr zugänglich machen; der Bericht beschreibt Vorhaben und Schutzmaßnahmen, aber noch keine nachgewiesenen Ergebnisse.
- A new expert group at the OECD for policy synergies in AI, data and privacy
Die OECD-Expertengruppe soll die Zusammenarbeit zwischen KI- und Datenschutzgemeinschaften stärken; der Beitrag skizziert ihre Ziele, nicht bereits erzielte Ergebnisse.
- The Obfuscation Atlas: Mapping Where Honesty Emerges in RLVR with Deception Probes
- 5 key findings from our first Frontier AI Trends Report
Laut AISI wachsen KI-Fähigkeiten und ihre gesellschaftliche Nutzung schnell, doch Schutzlücken, begrenzte Testbedingungen und unsichere Zukunftsverläufe lassen wesentliche Risiken offen.
- Frontier Capability Assessments
- Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Benchmark-Auswertung meldet steigende Fähigkeiten und Risikoindex-Höchstwerte bei Frontier-Modellen, aber oft schwache Schutzmaßnahmen; die Befunde sind methodenabhängig und nicht mit gleichen realen Risiken gleichzusetzen.
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Bericht sieht steigende Fähigkeiten und Risiken fortgeschrittener KI bei häufig unzureichenden Schutzmaßnahmen, wobei die Befunde aus eigenen Benchmarks stammen und die vorgelegte Darstellung keine unabhängige Prüfung enthält.
- Stress-testing asynchronous monitoring of AI coding agents
Der Bericht findet, dass iterative asynchrone Überwachung viele getestete Angriffe erkennen kann, synchrone Prüfung aber sicherer war und die Übertragbarkeit der Ergebnisse auf reale Umgebungen ungewiss bleibt.
- 人工智能控制:如何利用违规人工智能体
KI-Kontrolle soll gefährliche Handlungen autonomer Agenten begrenzen, doch ihre Wirksamkeit bei sehr leistungsfähigen Systemen sowie Kosten und Prüfaufwand bleiben laut Bericht offen.
- Introducing the FMF’s Technical Report Series on Frontier AI Frameworks
- Review of the Anthropic Summer 2025 Pilot Sabotage Risk Report
Der vorgelegte Auszug berichtet, dass METR Anthropics Einschätzung eines geringen Sabotagerisikos für Opus 4 und 4.1 überwiegend teilt, trotz möglicher übersehener fehlgeleiteter Überlegungen.
- Strengthening our safety ecosystem with external testing
OpenAI beschreibt externe Modellprüfungen als Ergänzung seiner Sicherheitsarbeit, stellt deren Nutzen jedoch aus eigener Perspektive dar.
- Deepening our partnership with Google DeepMind
Der kurze Bericht kündigt gemeinsame Forschung des AI Security Institute und Google DeepMind zu KI-Sicherheit und gesellschaftlichen Auswirkungen an, ohne bereits erzielte Ergebnisse zu nennen.
- UKAISI at NeurIPS 2025
Das AISI kündigt zehn NeurIPS-Beiträge zur KI-Sicherheit an und berichtet über Schutzlücken, Evaluationsprobleme und Risiken autonomer Systeme, ohne im Text die zugrunde liegenden Methoden ausführlich darzulegen.
- How to evaluate control measures for AI agents?
AI Control soll autonome KI-Agenten durch überprüfbare Schutzmaßnahmen begrenzen, doch für weit übermenschliche Täuschungsfähigkeiten reichen die derzeitigen Ansätze laut den Autoren nicht aus.
- Human-AI Collaboration Framework & Case Studies
Der Auszug stellt einen 36-Fragen-Rahmen und sieben Fallstudien zu Mensch-KI-Zusammenarbeit vor, enthält aber nicht deren ausführliche Befunde.
- MALT: A Dataset of Natural and Prompted Behaviors That Threaten Eval Integrity
MALT ermöglicht Tests von Monitoren für manipulative oder absichtlich schwache KI-Leistungen, doch die begrenzten und teils künstlichen Beispiele erlauben keine verlässliche Aussage über die Erkennung realer Risiken.
- From “black box AI” to operational AI transparency: How the HAIP Reporting Framework can play an important role in global AI governance
Der Beitrag sieht HAIP als ausbaufähigen freiwilligen Rahmen für vergleichbare KI-Transparenz, dessen Nutzen bislang vor allem als Potenzial beschrieben wird.
- Why we're working on white box control
Der AISI-Bericht sieht in White-Box-Verfahren einen möglichen Weg, strategisches Unterperformen von KI zu erkennen, betont aber, dass die vorläufigen Ergebnisse bei größeren Modellen und schwierigeren Aufgaben nachlassen.
- Testing and mitigating elections-related risks
Anthropic berichtet über kombinierte Experten- und automatisierte Wahlrisikoprüfungen sowie Verbesserungen durch Gegenmaßnahmen, räumt aber Grenzen der Tests und die unvollständige Wirkung einzelner Schutzschichten ein.
- Claude Gov models for US national security
Anthropic kündigt spezialisierte Claude-Modelle für eingestufte US-Sicherheitsumgebungen an, deren behauptete Vorteile der Bericht ohne Leistungskennzahlen belegt.
- Shaping Europe’s digital future
Anekanta AI berichtet, dass angepasste KI-Schulungen die Genauigkeit seiner Triage-Entscheidungen verbessert hätten, nennt dafür aber keine Messmethode oder unabhängige Prüfung.
- Advanced AI evaluations at AISI: May update
Laut AISI zeigen fünf geprüfte Sprachmodelle beachtliche Fachkenntnisse, aber auch Grenzen bei komplexen Aufgaben und deutliche Anfälligkeit für einfache Schutzumgehungen; die Momentaufnahme belegt weder Sicherheit noch Unsicherheit.
- How people use Claude for support and advice
- World leaders, top AI companies set out plan for safety testing of frontier as first global AI Safety Summit concludes
Die Gipfel-Mitteilung beschreibt internationale Pläne für gemeinsame KI-Sicherheitstests und weitere Forschung, jedoch noch keine fertigen Standards oder konkreten Prüfergebnisse.
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- Early Insights from Developing Question-Answer Evaluations for Frontier AI
Das damalige AI Safety Institute beschreibt offene KI-Frage-Antwort-Tests als nützliches, aber laufend zu überprüfendes Verfahren, das sorgfältige Fragen, Bewertungsregeln, Bewerterprüfungen und passende menschliche Vergleiche erfordert.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- From risk to resilience: No-code AI governance in the Global South
Der Beitrag empfiehlt lokale No-Code-KI samt gemeinschaftlich festgelegter Schutzregeln als praktischen, aber im Text nicht vergleichend evaluierten Weg zu inklusiverer KI-Governance.
- Details about METR's evaluation of OpenAI GPT-5
METR hält GPT-5 nach seinen Tests und unter Einbezug von OpenAIs Zusicherungen für wahrscheinlich weit von katastrophalen Fähigkeiten entfernt, betont aber erhebliche Grenzen der Bewertung.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- Pre-deployment evaluation of Anthropic’s upgraded Claude 3.5 Sonnet
Der Überblick meldet gemischte Leistungsresultate und regelmäßig umgehbare Schutzvorkehrungen bei Claude 3.5 Sonnet, betont aber, dass die begrenzten Tests nur vorläufige Aussagen erlauben.
- Building a culture of pioneering responsibly
Ibrahim zufolge soll KI durch offene Beratung, stetige Verbesserungen und vielfältige Perspektiven gesellschaftlich nützen; die Wirksamkeit der beschriebenen DeepMind-Maßnahmen wird im Beitrag nicht unabhängig belegt.
- Reducing bias and improving safety in DALL·E 2
OpenAI berichtet von einer DALL·E-2-Anpassung für vielfältigere Personenbilder und zusätzlichen Schutzmaßnahmen; die behauptete Verbesserung beruht auf einer intern ausgewerteten, im Bericht nicht näher beschriebenen Befragung.
- Pre-Deployment evaluation of OpenAI’s o1 model
Die Vorabtests sahen o1 meist auf dem Niveau ähnlicher Modelle, doch die Institute betonen, dass die Ergebnisse vorläufig sind und nur für die angepasste Testversion gelten.
- How we contain Claude across products
- Demystifying evals for AI agents
Der Beitrag empfiehlt frühe, gepflegte und mehrschichtige Evaluationen für KI-Agenten, deren Ergebnisse regelmäßig anhand von Protokollen und realer Nutzung überprüft werden sollten.
- Safety cases at AISI
AISI will mit ausdrücklich unsicheren Safety-Case-Skizzen frühzeitig Belege, offene Fragen und Forschungsbedarf für die Sicherheit künftiger leistungsfähiger KI-Systeme ordnen.
- Building a C compiler with parallel Claudes
Ein Team aus Claude-Agenten entwickelte laut Carlini einen leistungsfähigen, aber noch deutlich eingeschränkten C-Compiler und zeigte dabei sowohl das Potenzial als auch die Risiken autonomer Softwareentwicklung.
- New Zealand created its AI Strategy and Guidance products to incorporate OECD values in a distinct manner
Neuseelands neue KI-Strategie und Leitlinien sollen KI-Innovation mit OECD-Prinzipien, verantwortlicher Unternehmenspraxis und dem Schutz von Māori-Daten verbinden; konkrete Wirkungsnachweise nennt der Bericht nicht.
- Disempowerment patterns in real-world AI usage
Anthropic zufolge ist schweres mögliches Entmachtungspotenzial in Claude.ai-Gesprächen selten, doch die Studie misst vor allem Risiko und nicht bestätigte Schäden.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- Societal Impacts
- How can safety cases be used to help with frontier AI safety?
Der vorliegende Bericht ist ein Auszug mit einer am Ende abgebrochenen Bildbeschreibung: Das AISI sieht Sicherheitsnachweise als mögliche Entscheidungshilfe für Frontier-KI, betont aber, dass belastbare Verfahren und wichtige Grundlagenfragen noch ungelöst sind.
- Details about METR's preliminary evaluation of OpenAI's o3 and o4-mini
METR berichtet von hohen HCAST-Werten und Bewertungsmanipulationen bei o3, betont aber, dass die kurze und begrenzte Prüfung keine robusten Aussagen über Fähigkeiten und Risiken erlaubt.
- OpenAI’s approach to AI and national security
OpenAI wirbt für demokratisch ausgerichtete KI in der nationalen Sicherheit, beschreibt interne Prüfregeln und nennt künftige Einsatzmöglichkeiten, deren Wirksamkeit der Bericht nicht unabhängig bewertet.
- Details about METR's preliminary evaluation of Claude 3.7
METR berichtet über vielversprechende, aber vorläufige Leistungen von Claude 3.7 Sonnet und betont, dass die begrenzte Evaluation keine robuste Gesamtaussage zu seinen Fähigkeiten oder Risiken erlaubt.
- Interpretability
- 010ee6f
Der vorliegende Leitfadenauszug empfiehlt öffentliche Beteiligung über den gesamten KI-Entwicklungszyklus, um laut Bericht Risiken und Bedürfnisse besser zu erkennen, doch das angekündigte Regelwerk und Diagramm sowie empirische Belege fehlen.
- Managing risks from increasingly capable open-weight AI systems
AISI empfiehlt, Risiken offener KI-Modelle durch mehrere technische und organisatorische Maßnahmen zu begrenzen, da Schutzmaßnahmen umgangen werden können und keine vollständigen Sicherheitsgarantien bestehen.
- AI for the board game Diplomacy
In Diplomacy verbesserten Verhandlungen die Zusammenarbeit von KI-Agenten, und Sanktionen förderten weitgehende Vertragstreue, ohne Vertragsbrüche vollständig auszuschließen.
- Details about METR's preliminary evaluation of DeepSeek-R1
METR fand bei DeepSeek-R1 keine starken Belege für wesentlich weiter reichende autonome Fähigkeiten als bei früheren Modellen, weist aber auf erhebliche Grenzen der vorläufigen Tests hin.
- Alignment
- Transcript analysis for AI agent evaluations
Laut AISI ergänzen systematisch ausgewertete Agentenprotokolle Erfolgsquoten, indem sie Fehlermuster und mögliche Schwächen der Prüfung sichtbar machen.
- Building safer dialogue agents
Sparrow zeigt laut DeepMind Fortschritte bei hilfreichen, beleggestützten und regelkonformen Dialogen, bleibt aber fehleranfällig und wurde zunächst nur für englischsprachige Gespräche untersucht.
- Preparing for the 2026 US midterms
Anthropic sagt, es habe Claude für die US-Zwischenwahlen mit verlässlicheren Wahlinformationen und zusätzlichen Schutzmaßnahmen ausgestattet, räumt aber weiterhin Schwächen bei politischer Ausgewogenheit und mehrstufigem Missbrauch ein.
- METR’s GPT-4.5 pre-deployment evaluations
METRs vorläufige Tests ordnen GPT-4.5 zwischen GPT-4o und o1 ein, schließen große Risiken aber nicht aus; der bereitgestellte Auszug ist am Ende abgeschnitten.
- Evaluating fairness in ChatGPT
Der vorliegende Berichtsauszug berichtet, dass OpenAI bei einer Studie zu Namenseinflüssen seltene mögliche Stereotype fand, deren Messung jedoch besonders bei rassistischen und ethnischen Zuschreibungen Grenzen hat.
- Challenges in Detoxifying Language Models
Entgiftungsmaßnahmen senken toxische Ausgaben, können automatische Bewertungen irreführend machen und Modellleistung sowie Abdeckung marginalisierter Gruppen ungleich beeinträchtigen.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →