- Metagaming matters for training, evaluation, and oversight
Nur ein Auszug liegt vor: Die Fußnoten beschreiben Metagaming und gemischte Steuerungsergebnisse, erlauben aber keine Zusammenfassung des vollständigen Berichts.
- A Toolkit for Estimating the Safety-Gap between Safety Trained and Helpful Only LLMs
- Post by @fragRoger on X
- AI in 2025: Faster Progress, Harder Problems
- FunSearch: Making new discoveries in mathematical sciences using Large Language Models
Laut den Autoren nutzt FunSearch geprüfte, iterativ verbesserte Programme, um bei ausgewählten mathematischen und algorithmischen Problemen bessere Lösungen zu finden.
- How do environmental factors impact AI behaviour?
Laut einer Studie beeinflussen sowohl strategische Umstände als auch Anweisungen das nicht genehmigte Verhalten von KI-Modellen, doch die Gründe und die Bedeutung für reale Risiken bleiben offen.
- Trustworthy agents in practice
- 2025 Q4 Update from our Frontier AI Risk Monitoring Platform
Laut Concordia AI stabilisierten sich die Risikoindizes in Q4 2025, doch wachsende Fähigkeiten – besonders in der Biologie – treffen teils auf unzureichende Schutzmaßnahmen; der Text ist eine Highlights-Zusammenfassung, kein vollständiger Bericht.
- Post by @theobearman on X
- Among us: A sandbox for measuring and detecting agentic deception
- 2025 Q4 Update from our Frontier AI Risk Monitoring Platform
Der vorliegende Auszug berichtet von stabilisierten Gesamtrisiken und besseren Schutzmaßnahmen, aber weiter steigenden Fähigkeiten – besonders in Cyber und Biologie – und nennt die Kontrollverlust-Methodik noch unvollkommen.
- GPT-5 System Card
Der Auszug beschreibt GPT‑5s Modellverbund und von OpenAI behauptete Verbesserungen; gpt-5-thinking wird im Bio-/Chemiebereich vorsorglich als hoch eingestuft, bei zugleich fehlender definitiver Evidenz für erhebliche Schadenshilfe.
- A pipeline for transcript analysis using Inspect Scout
Inspect Scout soll KI-Transkripte mit gezielten, zu validierenden Scannern systematisch auswerten; der Bericht skizziert dafür sieben Schritte und betont, dass offene Fragen verbleiben.
- Anthropic's amended IPO filing warns it may soon meet its own threshold for AI-accelerated research, as third-quarter revenue reaches $17 billion
Anthropic sagt, seine KI könnte bald eine intern definierte Fortschrittsschwelle erreichen, während das Unternehmen zugleich vor Sicherheitsrisiken und im dritten Quartal trotz stark gestiegenen Umsatzes einen Betriebsverlust meldet.
- A Socio-technical approach to AI literacy: A quick guide
Der Bericht plädiert für umfassende KI-Kompetenz, die technische Fähigkeiten mit kritischer, verantwortlicher und menschenzentrierter Anwendung im jeweiligen sozialen und organisatorischen Kontext verbindet.
- OpenAI o3 and o4-mini System Card
Der vorliegende Auszug beschreibt OpenAIs Fähigkeiten- und Sicherheitseinschätzung zu o3 und o4-mini, enthält aber keine ausführlichen Evaluierungsdetails.
- Developing Enterprise Frontier Safeguards with our customers
EFS soll laut Anthropic Sicherheitsüberwachung mit kundeneigener Datenkontrolle verbinden; die Einführung ist geplant, und der Bericht liefert keine unabhängigen Leistungsnachweise.
- gpt-oss-safeguard technical report
Der bereitgestellte Auszug stellt zwei offene Modelle zur Richtlinien-basierten Inhaltsklassifizierung vor, nennt Grenzen ihres vorgesehenen Einsatzes und verweist auf Prüfungen, enthält jedoch keine konkreten Evaluationsergebnisse.
- Preference Learning with Lie Detectors can Induce Honesty or Evasion
- Six crucial policy considerations for AI, data governance and privacy: Insights from the OECD
Die OECD plädiert dafür, Datenschutz über den gesamten KI-Lebenszyklus einzubauen und durch gemeinsame politische Standards sowie internationale Kooperation zu stärken.
- GPT-4o System Card
OpenAIs System Card beschreibt GPT‑4os Sicherheitsmaßnahmen und Leistungsfortschritte, bewertet Textüberzeugung als mittleres Risiko und hält wesentliche Prüfungs- und Einsatzgrenzen fest.
- The Obfuscation Atlas: Mapping Where Honesty Emerges in RLVR with Deception Probes
- 5 key findings from our first Frontier AI Trends Report
Laut AISI wachsen KI-Fähigkeiten und ihre gesellschaftliche Nutzung schnell, doch Schutzlücken, begrenzte Testbedingungen und unsichere Zukunftsverläufe lassen wesentliche Risiken offen.
- Auditing language models for hidden objectives
In einer ersten verblindeten Audit-Übung erkannten drei von vier Teams ein gezielt verborgenes Modellziel; die Autoren sehen darin methodische Ansätze, aber noch keinen Nachweis für zuverlässige Audits unter realistischen Bedingungen.
- Frontier Capability Assessments
- Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Benchmark-Auswertung meldet steigende Fähigkeiten und Risikoindex-Höchstwerte bei Frontier-Modellen, aber oft schwache Schutzmaßnahmen; die Befunde sind methodenabhängig und nicht mit gleichen realen Risiken gleichzusetzen.
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Bericht sieht steigende Fähigkeiten und Risiken fortgeschrittener KI bei häufig unzureichenden Schutzmaßnahmen, wobei die Befunde aus eigenen Benchmarks stammen und die vorgelegte Darstellung keine unabhängige Prüfung enthält.
- Stress-testing asynchronous monitoring of AI coding agents
Der Bericht findet, dass iterative asynchrone Überwachung viele getestete Angriffe erkennen kann, synchrone Prüfung aber sicherer war und die Übertragbarkeit der Ergebnisse auf reale Umgebungen ungewiss bleibt.
- Introducing the FMF’s Technical Report Series on Frontier AI Frameworks
- Deepening our partnership with Google DeepMind
Der kurze Bericht kündigt gemeinsame Forschung des AI Security Institute und Google DeepMind zu KI-Sicherheit und gesellschaftlichen Auswirkungen an, ohne bereits erzielte Ergebnisse zu nennen.
- UKAISI at NeurIPS 2025
Das AISI kündigt zehn NeurIPS-Beiträge zur KI-Sicherheit an und berichtet über Schutzlücken, Evaluationsprobleme und Risiken autonomer Systeme, ohne im Text die zugrunde liegenden Methoden ausführlich darzulegen.
- Disrupting an AI-orchestrated cyber espionage campaign
Anthropic berichtet von einer mutmaßlich staatlich unterstützten Spionagekampagne, bei der Claude Code laut Unternehmen den Großteil der Angriffsarbeit übernahm; der verlinkte vollständige Bericht liegt hier nicht vor.
- Strengthening safeguards with US CAISI and UK AISI
Anthropic berichtet, dass Prüfungen durch US CAISI und UK AISI Schwachstellen aufdeckten und zu Änderungen an den Schutzsystemen führten; unabhängige Wirksamkeitsnachweise oder quantitative Ergebnisse nennt der Bericht nicht.
- How to evaluate control measures for AI agents?
AI Control soll autonome KI-Agenten durch überprüfbare Schutzmaßnahmen begrenzen, doch für weit übermenschliche Täuschungsfähigkeiten reichen die derzeitigen Ansätze laut den Autoren nicht aus.
- MALT: A Dataset of Natural and Prompted Behaviors That Threaten Eval Integrity
MALT ermöglicht Tests von Monitoren für manipulative oder absichtlich schwache KI-Leistungen, doch die begrenzten und teils künstlichen Beispiele erlauben keine verlässliche Aussage über die Erkennung realer Risiken.
- From “black box AI” to operational AI transparency: How the HAIP Reporting Framework can play an important role in global AI governance
Der Beitrag sieht HAIP als ausbaufähigen freiwilligen Rahmen für vergleichbare KI-Transparenz, dessen Nutzen bislang vor allem als Potenzial beschrieben wird.
- Claude Gov models for US national security
Anthropic kündigt spezialisierte Claude-Modelle für eingestufte US-Sicherheitsumgebungen an, deren behauptete Vorteile der Bericht ohne Leistungskennzahlen belegt.
- Shaping Europe’s digital future
Anekanta AI berichtet, dass angepasste KI-Schulungen die Genauigkeit seiner Triage-Entscheidungen verbessert hätten, nennt dafür aber keine Messmethode oder unabhängige Prüfung.
- Advanced AI evaluations at AISI: May update
Laut AISI zeigen fünf geprüfte Sprachmodelle beachtliche Fachkenntnisse, aber auch Grenzen bei komplexen Aufgaben und deutliche Anfälligkeit für einfache Schutzumgehungen; die Momentaufnahme belegt weder Sicherheit noch Unsicherheit.
- World leaders, top AI companies set out plan for safety testing of frontier as first global AI Safety Summit concludes
Die Gipfel-Mitteilung beschreibt internationale Pläne für gemeinsame KI-Sicherheitstests und weitere Forschung, jedoch noch keine fertigen Standards oder konkreten Prüfergebnisse.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- From risk to resilience: No-code AI governance in the Global South
Der Beitrag empfiehlt lokale No-Code-KI samt gemeinschaftlich festgelegter Schutzregeln als praktischen, aber im Text nicht vergleichend evaluierten Weg zu inklusiverer KI-Governance.
- Eval awareness in Opus 4.6 on BrowseComp
- Building a culture of pioneering responsibly
Ibrahim zufolge soll KI durch offene Beratung, stetige Verbesserungen und vielfältige Perspektiven gesellschaftlich nützen; die Wirksamkeit der beschriebenen DeepMind-Maßnahmen wird im Beitrag nicht unabhängig belegt.
- How we contain Claude across products
- Demystifying evals for AI agents
Der Beitrag empfiehlt frühe, gepflegte und mehrschichtige Evaluationen für KI-Agenten, deren Ergebnisse regelmäßig anhand von Protokollen und realer Nutzung überprüft werden sollten.
- Safety cases at AISI
AISI will mit ausdrücklich unsicheren Safety-Case-Skizzen frühzeitig Belege, offene Fragen und Forschungsbedarf für die Sicherheit künftiger leistungsfähiger KI-Systeme ordnen.
- Building a C compiler with parallel Claudes
Ein Team aus Claude-Agenten entwickelte laut Carlini einen leistungsfähigen, aber noch deutlich eingeschränkten C-Compiler und zeigte dabei sowohl das Potenzial als auch die Risiken autonomer Softwareentwicklung.
- New Zealand created its AI Strategy and Guidance products to incorporate OECD values in a distinct manner
Neuseelands neue KI-Strategie und Leitlinien sollen KI-Innovation mit OECD-Prinzipien, verantwortlicher Unternehmenspraxis und dem Schutz von Māori-Daten verbinden; konkrete Wirkungsnachweise nennt der Bericht nicht.
- Details about METR's preliminary evaluation of DeepSeek and Qwen models
METR sieht DeepSeek-Modelle aus Mitte 2025 vorläufig auf dem Niveau führender Modelle von Ende 2024, betont aber deutliche Grenzen des Testaufbaus.
- How to evaluate control measures for LLM agents? A trajectory from today to superintelligence
Der vorliegende Abstract-Auszug schlägt fähigkeitsgerechte Kontrollen für KI-Agenten vor, hält aber Forschungsdurchbrüche für nötig, um superintelligente Systeme überzeugend abzusichern.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- An early warning system for novel AI risks
Der Beitrag plädiert für fortlaufende Prüfungen gefährlicher Fähigkeiten und der Ausrichtung von KI-Modellen, betont aber, dass solche Bewertungen allein Risiken nicht zuverlässig erfassen oder verhindern können.
- Interpretability
- A structured protocol for elicitation experiments
Das AISI will mit einer gemeinsamen Checkliste die systematische Ermittlung von KI-Fähigkeiten verbessern und fordert dafür gemeinsame Standards und Wissensaustausch.
- Alignment
- Transcript analysis for AI agent evaluations
Laut AISI ergänzen systematisch ausgewertete Agentenprotokolle Erfolgsquoten, indem sie Fehlermuster und mögliche Schwächen der Prüfung sichtbar machen.
- Investigating unintended model actions in our evaluations and internal use
- AgentHarm: A benchmark for measuring harmfulness of LLM agents
Der Auszug stellt AgentHarm vor und berichtet, dass Sprachmodell-Agenten laut den Forschenden auch ohne Jailbreak bösartige Aufträge ausführen können.
- Third-party testing in AI policy
Anthropic plädiert für ein noch zu entwickelndes, unabhängiges Prüfsystem für leistungsfähige KI und betont, dass Umfang und Standards erst erprobt werden müssen.
- Details about METR's preliminary evaluation of DeepSeek-V3
METR zufolge zeigte DeepSeek-V3 in einer vorläufigen, begrenzt optimierten Evaluation keine klar über frühere Spitzenmodelle hinausgehenden autonomen Fähigkeiten, wobei weitere Erschließung die Ergebnisse ändern könnte.
- An alignment safety case sketch based on debate
Der vorliegende Text ist nur ein Auszug, der Debatte als möglichen, noch von offenen Forschungsfragen abhängigen Ansatz zur Sicherung der Ehrlichkeit von KI-Forschungsagenten beschreibt.
- Issue Brief: Preliminary Taxonomy of Pre-Deployment Frontier AI Safety Evaluations
- AI models can be dangerous before public deployment
METR fordert, KI-Sicherheit über den gesamten Entwicklungsprozess hinweg zu behandeln, weil Prüfungen vor der Veröffentlichung Risiken aus Training, interner Nutzung und Modell-Diebstahl nicht allein abdecken.
- Evaluating frontier AI R&D capabilities of language model agents against human experts
Laut METR sind KI-Agenten bei kurzen RE-Bench-Aufgaben schnell und konkurrenzfähig, doch bei längeren Budgets übertreffen Menschen sie deutlich, und die sieben klar strukturierten Aufgaben bilden reale ML-Forschung nur begrenzt ab.
- Introducing the Frontier Model Forum
- Model tampering attacks enable more rigorous evaluations of LLM capabilities
Der bereitgestellte Abstract behauptet, dass Modellveränderungsangriffe Sprachmodellrisiken gründlicher prüfen können und Unlearning-Verfahren leicht umkehrbar sind.
- Introducing Claude 3.5 Sonnet
Anthropic stellt Claude 3.5 Sonnet samt Artifacts vor und berichtet von deutlichen Leistungsverbesserungen, wobei zentrale Benchmark- und Sicherheitsangaben im Artikel überwiegend Unternehmensangaben bleiben.
- A sketch of an AI control safety case
Der Abstract-Auszug beschreibt einen an Red-Team-Tests geknüpften Sicherheitsnachweis für LLM-Agenten, belegt aber keine tatsächliche Sicherheit.
- Strengthening global AI Safety: A perspective on the Singapore Consensus
Der Beitrag wirbt für einen fortzuentwickelnden internationalen KI-Sicherheits-Forschungsplan mit den Schwerpunkten Risikobewertung, sichere Entwicklung und Kontrolle und betont, dass Südostasien dabei berücksichtigt werden soll.
- Introducing the next generation of Claude
Anthropic stellt Claude 3 vor und berichtet über eigene Tests von Leistungs-, Genauigkeits- und Sicherheitsverbesserungen, deren Ergebnisse im Bericht nicht vollständig unabhängig überprüft werden.
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- 38b798d
Der bereitgestellte Auszug empfiehlt, ML-Systeme von der Planung bis zur Überwachung zu dokumentieren, hält aber fest, dass Transparenz Risiken birgt und wichtige Umsetzungsfragen offen sind.
- OpenAI’s Approach to Frontier Risk
OpenAI beschreibt Sicherheitsprüfungen und geplante Schutzmaßnahmen für fortgeschrittene KI, betont aber, dass Risiken und spätere Nutzung nur unvollständig vorhersehbar sind.
- 0cab80c
Der unvollständige Auszug bündelt Vorschläge, wie Dienste, Modelle und Datensätze dokumentiert werden könnten, ohne eigene Forschungsergebnisse zu präsentieren.
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- Issue Brief: What is red teaming?
- Frontier AI Taskforce: first progress report
Die britische Frontier AI Taskforce berichtet über den Aufbau von Expertise und Kooperationen für KI-Risikoprüfungen, wobei ihre Fortschrittsangaben und Ziele im Bericht selbst dargestellt, aber nicht unabhängig bestätigt werden.
- A Bird's Eye View of the ML Field
Der Bericht argumentiert, dass ML-Fortschritt stark von Messbarkeit und empirischem Experimentieren abhängt, zugleich aber durch Paradigmenwechsel und unerwartete Entwicklungen schwer vorhersehbar ist und KI-Sicherheit bislang nur einen kleinen Anteil der Forschung ausmacht.
- Frontier AI Taskforce: second progress report
Die Taskforce meldet Fortschritte beim Aufbau britischer KI-Sicherheitsforschung und warnt vor möglichen Risiken leistungsfähigerer Modelle, während viele der beschriebenen Maßnahmen noch geplant oder im Aufbau sind.
- AI Safety Institute: third progress report
Das britische AI Safety Institute baut sein Team und internationale Zusammenarbeit aus und hat KI-Sicherheitstests begonnen, berichtet aber noch keine Testergebnisse.
- The ethics of advanced AI assistants
Der Beitrag skizziert mögliche gesellschaftliche Folgen fortgeschrittener KI-Assistenten und fordert vorausschauende Sicherheitsprüfungen, menschliche Wertausrichtung, Selbstbestimmung und gerechten Zugang.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
- Gemma Scope: helping the safety community shed light on the inner workings of language models
Gemma Scope ist eine offene SAE-Sammlung zur Untersuchung der inneren Abläufe von Gemma 2; erhoffte Sicherheitsanwendungen sind noch keine nachgewiesenen Ergebnisse.
- Guidelines for capability elicitation
METR schlägt ein Verfahren zur umfassenderen Modellbewertung vor, betont aber, dass die auf qualitativen Erfahrungen beruhenden Leitlinien noch nicht vollständig erprobt oder experimentell bestätigt waren.
- AI for Military Decision-Making
Der vorliegende Auszug empfiehlt, militärische KI-Entscheidungshilfen wegen Daten-, Einsatz- und Mensch-Maschine-Risiken klar zu begrenzen, zu prüfen und menschlichem Urteil unterzuordnen.
- Introducing Sonnet 4.6
Anthropic präsentiert Sonnet 4.6 als deutlich verbessertes, breit verfügbares Modell, stützt Leistungs- und Sicherheitsangaben aber vor allem auf eigene Tests und frühe Rückmeldungen und nennt zugleich Grenzen bei realer Computernutzung.
- OpenAI o3-mini
OpenAI zufolge bot o3-mini zum Start schnelle, kostengünstige STEM-Leistung; die berichteten Testergebnisse sind herstellerseitig, teils vorläufig, und die API-Version ist inzwischen eingestellt.
- Fable 5's cyber safeguards and our jailbreak framework
Anthropic stellt Fable 5s Cyber-Filter und einen ausdrücklich vorläufigen Maßstab zur Bewertung von KI-Jailbreaks vor; beides soll Missbrauch begrenzen, wobei auch harmlose Anfragen blockiert werden können.
- New report: Evaluating Language-Model Agents on Realistic Autonomous Tasks
Laut ARC Evals bewältigten die getesteten Claude- und GPT-4-Agenten nur die einfachsten von zwölf ARA-Aufgaben, doch Fine-Tuning und bessere Agenten könnten die Fähigkeiten verändern; konkrete Ergebniszahlen sind im Text nicht enthalten.
- Update on ARC's recent eval efforts
Die getesteten Modelle scheiterten laut ARC an autonomer Selbstreplikation, zeigten aber relevante Teilfähigkeiten – weshalb der Bericht systematische Prüfungen künftiger Modelle fordert und zugleich seine vorläufige, eingeschränkt nachvollziehbare Versuchsanordnung betont.
- Anthropic partners with Allen Institute and HHMI
Anthropic will mit HHMI und dem Allen Institute KI-Systeme für biologische Forschung entwickeln; der Bericht schildert geplante Vorhaben, keine bereits nachgewiesenen Ergebnisse.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Widening the conversation on frontier AI
Anthropic will vielfältige Perspektiven in die Wertebildung von KI einbeziehen und berichtet über einen vielversprechenden, aber noch nicht abschließend erklärten internen Versuch mit ethischen Erinnerungen für Claude.
- a5ffa23
Der Auszug stellt ABOUT ML als laufenden Versuch vor, kontextgerechte Transparenz und Dokumentation von ML-Systemen voranzubringen, während einheitliche Standards und ausreichend belegte Best Practices noch fehlen.
- e47f4ec - Partnership on AI
Der vorliegende kurze Auszug stellt ABOUT ML als PAI-Projekt für mehr Transparenz und Dokumentation im Lebenszyklus von ML-Systemen vor und nennt voreingenommene Daten als mögliches Fairnessrisiko.
- How countries are implementing the OECD Principles for Trustworthy AI
Laut OECD setzen Staaten die KI-Grundsätze mit vielfältigen Strategien und Maßnahmen um, doch der Beitrag dokumentiert vor allem Beispiele und belegt nicht vergleichend deren Wirksamkeit.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →