- Illusory Safety: Redteaming DeepSeek R1 and the Strongest Fine-Tunable Models of OpenAI, Anthropic, and Google
- Apollo x Tailscale: Introducing “Watcher” for AI Oversight & Control
Apollo stellt Watcher als Überwachungssystem für KI-Agenten vor und kündigt eine Integration mit Tailscales Aperture an; die Wirksamkeit wird im Bericht nicht unabhängig belegt.
- London ControlConf 2025
- Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity
METR berichtet hohe selbstgeschätzte KI-Produktivitätszuwächse, betont aber, dass die nicht repräsentative Befragung keine tatsächlichen Gewinne belegt.
- Mind the Mitigation Gap: Why AI Companies Must Report Both Pre- and Post-Mitigation Safety Evaluations
- Post by @Sam_McCandlish on X
- AI in 2025: Faster Progress, Harder Problems
- Expanding Daybreak as the Cyber Defense Window Narrows
OpenAI erweitert Daybreak um GPT‑5.6‑Cyber für autorisierte Sicherheitsforschung und berichtet von gemischten Testergebnissen, behobenen Schwachstellenfunden sowie einer Einstufung unterhalb der eigenen „Critical“-Schwelle.
- Leading AI Companies Join White House's Voluntary Commitment to Enhance AI Safety
CAIS unterstützt freiwillige Sicherheitszusagen von sieben KI-Unternehmen und hofft, dass sie in verbindliche Regeln münden.
- AI Safety in China #26
Chinas KI-Sicherheitsarbeit gewinnt laut Bericht an Breite, doch bei Standards, Tests, Gesetzgebung und internationaler Wirkung sind zentrale Ergebnisse noch ungewiss.
- Post by @robertwiblin on X
- The AI expectations gap
Anthropic-Beschäftigte erwarten laut Umfrage deutlich stärkere KI-Fortschritte und Automatisierung als US-Erwachsene; die wirtschaftlichen Zahlen des Berichts sind modellbasierte Szenarien, keine gesicherten Prognosen.
- Post by @robertwiblin on X
- 2025 Q4 Update from our Frontier AI Risk Monitoring Platform
Laut Concordia AI stabilisierten sich die Risikoindizes in Q4 2025, doch wachsende Fähigkeiten – besonders in der Biologie – treffen teils auf unzureichende Schutzmaßnahmen; der Text ist eine Highlights-Zusammenfassung, kein vollständiger Bericht.
- Template for general-purpose AI model providers to summarise their training content
Laut EU-FAQ müssen Anbieter allgemeiner KI-Modelle auf dem Unionsmarkt ihre Trainingsinhalte nach einer verbindlichen Vorlage öffentlich zusammenfassen, mit begrenzten und zu begründenden Informationslücken.
- GPT-5 System Card
Der Auszug beschreibt GPT‑5s Modellverbund und von OpenAI behauptete Verbesserungen; gpt-5-thinking wird im Bio-/Chemiebereich vorsorglich als hoch eingestuft, bei zugleich fehlender definitiver Evidenz für erhebliche Schadenshilfe.
- Results from first Anthropic Public Record
Anthropics US-Umfrage von Ende 2025 zeigt große Hoffnungen auf medizinischen Nutzen, verbreitete Sorgen über KI-Folgen, mehrheitliche Unterstützung staatlicher Aufsicht und geringes Vertrauen in KI-Unternehmen.
- Impact of modeling assumptions on time horizon results
METR zufolge beeinflussen Modellierungsannahmen die Zeithorizont-Schätzungen, doch die größte Unsicherheit bleibt die Aufgabenauswahl und die ungenaue Messung ihrer Schwierigkeit für Modelle.
- China Speeds AI Law; DeepSeek, Alibaba Face Disclosure Push
China kündigt ein umfassendes KI-Gesetz mit Sicherheits- und Meldeanforderungen an, doch Entwurf, Zeitplan und konkrete Pflichten bleiben laut Bericht offen.
- We spent 2 hours working in the future
Ein kleines METR-Planspiel deutet darauf hin, dass sehr leistungsfähige Agenten die Umsetzung beschleunigen könnten, während menschliche Prüfung, Feedback und Organisation zum Engpass werden; der geschätzte Produktivitätsgewinn von drei- bis fünffach ist ausdrücklich unsicher.
- Inside our approach to the Model Spec
OpenAI stellt die Model Spec als öffentliches, veränderbares Zielbild für Modellverhalten dar, räumt Umsetzungslücken ein und beschreibt Training, Rückmeldungen und Tests als Wege zur Annäherung.
- Exploring possible AI trajectories through 2030
Der vorliegende Auszug kündigt vier mithilfe von Fachleuteinschätzungen und OECD-Beta-Indikatoren entwickelte Szenarien zur KI-Entwicklung bis 2030 an, enthält aber keine Details zu ihnen.
- ChatGPT agent System Card
Der Auszug beschreibt ChatGPT agent und seine Schutzmaßnahmen sowie eine vorsorgliche biologische und chemische Risikoeinstufung; Einzelheiten und Bewertungsergebnisse enthält er nicht.
- Announcing the "AI Agent Standards Initiative" for Interoperable and Secure Innovation
- International consensus and open questions in AI evaluations
Laut Bericht gibt es gemeinsame Grundsätze für KI-Evaluationen, aber wichtige Fragen zu Risiken, Offenlegung, Prioritäten und Systemtests sind noch ungeklärt.
- Documenting the Impacts of Foundation Models
Der bereitgestellte Auszug skizziert vier Praktiken zur Dokumentation von Foundation-Model-Auswirkungen, fünf Hindernisse und dazugehörige Empfehlungen, ohne Methoden und Beispiele ausführlich darzustellen.
- Third-Party Assessments
- Public AI: Policies for democratic and sustainable AI infrastructures
Der Beitrag plädiert für offene, demokratisch kontrollierte und nachhaltige KI als digitales öffentliches Gut und empfiehlt dafür koordinierte Maßnahmen bei Rechenleistung, Daten und Modellen.
- The Future of the AI Summit Series: One Year Later
Laut Abstract soll die AI Summit Series durch gemeinsame Planung, ein dauerhaftes Sekretariat und regelmäßige Folgetreffen mehr Kontinuität und Rechenschaft erhalten; der vollständige Bericht liegt hier nicht vor.
- Teaching Claude why
- AI Safety in China #24
Der Bericht zeigt wachsende chinesische Debatten über KI-Sicherheit, aber auch unterschiedliche Einschätzungen zu Risiken, Regulierung und ihrer politischen Priorität.
- AISI Frontier AI Trends Report (2025)
Der Auszug beschreibt laut Abstract Zweck und zeitlichen Rahmen einer AISI-Analyse zu führenden KI-Systemen, enthält aber keine konkreten Ergebnisse.
- The Singapore Consensus on Global AI Safety Research Priorities
- Safety overview: GPT-6 Astra
OpenAI berichtet von stärkeren Sicherheits- und Alignment-Ergebnissen bei GPT‑6 Astra, hebt aber eine verringerte Überwachbarkeit seiner Gedankengänge und mögliche Monitorumgehung unter adversarialen Testbedingungen hervor.
- Catherine Aiken's Testimony before the National Artificial Intelligence Advisory Committee
Aiken fordert, KI-Fortschritt nicht nur an Forschung und Investitionen, sondern auch an ihrer praktischen Wirkung zu messen – gestützt auf bessere, breitere Daten.
- Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems
- 10 Key Insights from Concordia AI’s “Frontier AI Risk Monitoring Platform”
Concordias Bericht sieht steigende Fähigkeiten und Risiken fortgeschrittener KI bei häufig unzureichenden Schutzmaßnahmen, wobei die Befunde aus eigenen Benchmarks stammen und die vorgelegte Darstellung keine unabhängige Prüfung enthält.
- Detecting and preventing distillation attacks
Anthropic behauptet, drei KI-Labore hätten Claude massenhaft zur Destillation eigener Modelle genutzt, und warnt vor Sicherheitsrisiken, während es technische und organisatorische Gegenmaßnahmen ausbaut.
- Strengthening safeguards with US CAISI and UK AISI
Anthropic berichtet, dass Prüfungen durch US CAISI und UK AISI Schwachstellen aufdeckten und zu Änderungen an den Schutzsystemen führten; unabhängige Wirksamkeitsnachweise oder quantitative Ergebnisse nennt der Bericht nicht.
- How to evaluate control measures for AI agents?
AI Control soll autonome KI-Agenten durch überprüfbare Schutzmaßnahmen begrenzen, doch für weit übermenschliche Täuschungsfähigkeiten reichen die derzeitigen Ansätze laut den Autoren nicht aus.
- Concordia AI: 2025 Mid-Year Impact Report
Concordia AI stellt zahlreiche eigene Beiträge zur internationalen KI-Sicherheit im ersten Halbjahr 2025 vor, ohne deren Wirkung unabhängig zu messen.
- Building safeguards for Claude
Anthropic schildert mehrstufige Schutzmaßnahmen für Claude, liefert im Bericht jedoch keine messbaren oder unabhängigen Belege für deren Gesamtwirksamkeit.
- Op-Ed: China Is Taking AI Safety Seriously. So Must the U.S.
Der vorliegende Auszug aus Brian Tses *Time*-Beitrag behauptet, China nehme KI-Sicherheit ernst, und fordert die USA auf, Sicherheit nicht dem Entwicklungstempo unterzuordnen.
- Confidence-Building Measures for Artificial Intelligence
Der Auszug nennt sechs mögliche vertrauensbildende Maßnahmen gegen Sicherheitsrisiken von Foundation Models, liefert aber keine Details zu ihrer Umsetzung oder Wirksamkeit.
- Latest from the FMF: Grant-Making to Address AI-Bio Risk Challenges
- World leaders, top AI companies set out plan for safety testing of frontier as first global AI Safety Summit concludes
Die Gipfel-Mitteilung beschreibt internationale Pläne für gemeinsame KI-Sicherheitstests und weitere Forschung, jedoch noch keine fertigen Standards oder konkreten Prüfergebnisse.
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- AI Governance at the Frontier
Der Auszug empfiehlt, gemeinsame und strittige Annahmen hinter KI-Governance-Vorschlägen systematisch zu prüfen; die meisten der fünf betrachteten US-bezogenen Vorschläge betonen Fachkräfte und Rahmenwerke, doch über wirksame Risikominderung bestehe kein Konsens.
- International Scientific Report on the Safety of Advanced AI: interim report
Der vorliegende Auszug einer Regierungswebseite beschreibt einen internationalen Zwischenbericht, der Chancen und Risiken fortgeschrittener KI abwägt und erhebliche Unsicherheiten sowie Grenzen heutiger Prüfverfahren hervorhebt.
- Frontier AI Biosafety Thresholds
- Interviewing AI researchers on automation of AI R&D
Acht Interviews zeigen breite Uneinigkeit über das Tempo der KI-Forschungsautomatisierung, aber einen gemeinsamen Fokus auf Programmierung und Fehlersuche als mögliche Haupttreiber.
- OpenAI’s Frontier Governance Framework
OpenAI kündigt ein öffentliches Governance Framework zu KI-Sicherheitsrisiken und regulatorischen Pflichten an; der Bericht nennt Themen und geplante Weiterentwicklung, bleibt aber eine knappe Übersicht.
- AI Safety Institute approach to evaluations
AISI berichtet über frühe Tests, die mögliche Risiken fortgeschrittener KI aufzeigen, betont aber, dass diese vorläufig sind und keine umfassende Sicherheitsbewertung darstellen.
- Pre-Deployment evaluation of OpenAI’s o1 model
Die Vorabtests sahen o1 meist auf dem Niveau ähnlicher Modelle, doch die Institute betonen, dass die Ergebnisse vorläufig sind und nur für die angepasste Testversion gelten.
- Exploring institutions for global AI governance
Ein Whitepaper skizziert vier mögliche Institutionen für globale KI-Governance, betont aber, dass ihre Umsetzung mit erheblichen offenen Fragen verbunden ist.
- Guidelines on obligations for General-Purpose AI providers
Die Kommission legt unverbindlich aus, welche Dokumentations-, Urheberrechts-, Transparenz- und Risikopflichten Anbieter allgemeiner KI-Modelle nach dem EU-KI-Gesetz erfüllen sollen.
- Details about METR's preliminary evaluation of Claude 3.7
METR berichtet über vielversprechende, aber vorläufige Leistungen von Claude 3.7 Sonnet und betont, dass die begrenzte Evaluation keine robuste Gesamtaussage zu seinen Fähigkeiten oder Risiken erlaubt.
- FMF Response: Request for Information on the Development of an AI Action Plan
- Measuring AI Ability to Complete Long Software Tasks
METR berichtet von stark wachsenden KI-Zeithorizonten, doch Vorhersagen zu langen Projekten hängen davon ab, dass der historische Trend anhält und sich auf reale Arbeit übertragen lässt.
- The HAIP Reporting Framework: Feedback on a quiet revolution in AI transparency
Frühe qualitative Rückmeldungen sehen HAIP als nützlichen, aber noch erklärungsbedürftigen Transparenzrahmen, dessen Weiterentwicklung Flexibilität, Vergleichbarkeit und kontextbezogene Bewertung ausbalancieren sollte.
- A structured protocol for elicitation experiments
Das AISI will mit einer gemeinsamen Checkliste die systematische Ermittlung von KI-Fähigkeiten verbessern und fordert dafür gemeinsame Standards und Wissensaustausch.
- Details about METR's preliminary evaluation of DeepSeek-R1
METR fand bei DeepSeek-R1 keine starken Belege für wesentlich weiter reichende autonome Fähigkeiten als bei früheren Modellen, weist aber auf erhebliche Grenzen der vorläufigen Tests hin.
- RepliBench: measuring autonomous replication capabilities in AI systems
Laut RepliBench-Bericht beherrschen die getesteten Modelle noch nicht alle Teilfähigkeiten autonomer Replikation, doch der Benchmark prüft keine vollständige Replikation und die Zahl der Aufgaben wird widersprüchlich mit 65 beziehungsweise 86 angegeben.
- METR’s GPT-4.5 pre-deployment evaluations
METRs vorläufige Tests ordnen GPT-4.5 zwischen GPT-4o und o1 ein, schließen große Risiken aber nicht aus; der bereitgestellte Auszug ist am Ende abgeschnitten.
- General-purpose AI obligations under the AI Act | Shaping Europe’s digital future
Die Seite überblickt GPAI-Pflichten nach dem KI-Gesetz, darunter zusätzliche Vorgaben für systemische Risiken, deren Schwellenwert laut Bericht überprüft wird.
- Measuring Automated Kernel Engineering
METR zufolge können KI-Agenten einfache GPU-Kernel-Aufgaben deutlich beschleunigen, doch der begrenzte Benchmark belegt keine Automatisierung menschlicher Kernel-Expertise.
- Fundamental rights protection authorities with special powers under the AI Act
Der Auszug nennt einige österreichische und eine belgische Stelle auf einer laut Bericht fortlaufend aktualisierten Liste von Grundrechtsschutzbehörden zum EU-KI-Gesetz; das angegebene Aktualisierungsdatum ist der 25. Juli 2025.
- Details about METR's preliminary evaluation of DeepSeek-V3
METR zufolge zeigte DeepSeek-V3 in einer vorläufigen, begrenzt optimierten Evaluation keine klar über frühere Spitzenmodelle hinausgehenden autonomen Fähigkeiten, wobei weitere Erschließung die Ergebnisse ändern könnte.
- Frontier model security
Anthropic fordert strengere Sicherheitspraktiken und mehr staatlich-industrielle Zusammenarbeit für Spitzen-KI und erklärt, diese Maßnahmen selbst schrittweise umzusetzen.
- A blueprint for democratic governance of frontier AI
Der Auszug fasst OpenAIs Vorschlag für einen dauerhaften US-Rahmen zur KI-Sicherheit knapp zusammen; der verlinkte vollständige Entwurf liegt nicht vor.
- Emerging practices in frontier AI safety frameworks
Der vorliegende Auszug skizziert drei Kernbereiche von Sicherheitsrahmenwerken für Frontier-KI, nennt aber keine konkreten Praktiken oder Ergebnisse.
- Progress Update: Advancing Frontier AI Safety in 2024 and Beyond
- Introducing the Frontier Model Forum
- Introducing the next generation of Claude
Anthropic stellt Claude 3 vor und berichtet über eigene Tests von Leistungs-, Genauigkeits- und Sicherheitsverbesserungen, deren Ergebnisse im Bericht nicht vollständig unabhängig überprüft werden.
- Amazon and Meta join the Frontier Model Forum to promote AI safety
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- Testimony before the U.S. House Committee on the Judiciary, Subcommittee on Courts, Intellectual Property, Artificial Intelligence, and the Internet
Der Auszug argumentiert, die US-Regierung solle laut Helen Toner zugleich KI-Geschäftsgeheimnisse schützen und die Technologie führender Unternehmen beobachten; konkrete Maßnahmen nennt der Textausschnitt nicht.
- Introducing Claude Sonnet 4.5
Anthropic zufolge verbessert Claude Sonnet 4.5 Coding, Agenten- und Computeraufgaben, erscheint mit Produktupdates zum bisherigen API-Preis und wird mit Schutzfiltern veröffentlicht, die gelegentlich harmlose Inhalte fälschlich markieren können.
- Safety Cases: A scalable approach to Frontier AI safety
Der kurze Abstract argumentiert, Sicherheitsnachweise könnten die Sicherheit von Frontier-KI besser beurteilbar machen, lässt aber Methodik und Umsetzung als offene Forschungsfragen stehen.
- Issue Brief: What is red teaming?
- Anticipating Biological Risk: A Toolkit for Strategic Biosecurity Policy
Der vorliegende Text ist ein Auszug: Der Bericht skizziert zwei Wege zu biologischem Schaden und fordert laut Zusammenfassung breiter angelegte, koordinierte Schutzmaßnahmen sowie klarere Aufsichtskriterien.
- AI Safety Fund initiates first round of research grants
- An update on our general capability evaluations
METRs vorläufige Messreihe deutet auf breite, aber ungleichmäßige Fähigkeiten getesteter KI-Agenten und niedrige Kosten bei lösbaren Aufgaben hin; die begrenzten Vergleichsdaten und einfachen Testverfahren lassen noch keine abschließenden Schlüsse zu.
- ML Engineers Needed for New AI R&D Evals Project
METR will ML-Fachleute einstellen, um Tests zu KI-F&E-Fähigkeiten und möglichen Schutzmaßnahmen zu entwickeln.
- The ethics of advanced AI assistants
Der Beitrag skizziert mögliche gesellschaftliche Folgen fortgeschrittener KI-Assistenten und fordert vorausschauende Sicherheitsprüfungen, menschliche Wertausrichtung, Selbstbestimmung und gerechten Zugang.
- Why I joined AISI by Geoffrey Irving
Irving begründet seinen Wechsel zum AISI mit dem langsamen Fortschritt der KI-Sicherheitsforschung und dem Bedarf an technischer Arbeit für politische Entscheidungen.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
- Announcing Chris Meserole as Executive Director and the New AI Safety Fund
- Fable 5's cyber safeguards and our jailbreak framework
Anthropic stellt Fable 5s Cyber-Filter und einen ausdrücklich vorläufigen Maßstab zur Bewertung von KI-Jailbreaks vor; beides soll Missbrauch begrenzen, wobei auch harmlose Anfragen blockiert werden können.
- Taking a responsible path to AGI
DeepMind beschreibt Sicherheitsmaßnahmen für mögliche AGI, vor allem gegen Missbrauch und Fehlanpassung, lässt aber erkennen, dass wesentliche Risiken und offene Fragen bestehen.
- Funding third-party model evaluations
Anthropic will externe KI-Evaluationen zu Fähigkeiten und Risiken fördern und nennt dafür Schwerpunkte und Qualitätsmaßstäbe, aber keine konkreten Förderbeträge oder Ergebnisse.
- Anthropic achieves ISO 42001 certification
Anthropic meldet eine ISO/IEC-42001-Zertifizierung als unabhängige Bestätigung seines KI-Managementrahmens, nennt im Bericht aber keine Einzelheiten zum Prüfungsumfang oder konkrete Prüfergebnisse.
- A milestone in international AI transparency: The OECD publishes initial submissions from the G7 Hiroshima AI Process Reporting Framework
Die OECD veröffentlicht erste KI-Governance-Berichte von 19 Organisationen; konkrete Auswertungsergebnisse enthält der Beitrag noch nicht.
- Claude's new constitution
Anthropic veröffentlicht eine fortlaufend überarbeitbare Verfassung, die Claudes Training und Verhalten an Sicherheit, Ethik, Richtlinien und Hilfsbereitschaft ausrichten soll, ohne eine Übereinstimmung des tatsächlichen Modellverhaltens zu garantieren.
- Washington voluntary safety pact leaves tech giants to police their own superintelligence
- Introducing Claude 4
Anthropic kündigt Claude Opus 4 und Sonnet 4 samt neuen Agenten-, Claude-Code- und API-Funktionen an und berichtet starke, methodisch unterschiedlich ermittelte Benchmarkwerte.
- Introducing The Anthropic Institute
Anthropic kündigt ein Institut für die gesellschaftlichen Folgen leistungsfähiger KI und den Ausbau seiner Public-Policy-Arbeit an; die zugrunde liegenden Zukunftsaussagen sind Unternehmensprognosen.
- The Next Chapter of the Microsoft–OpenAI Partnership
OpenAI zufolge wird die Microsoft-Partnerschaft fortgeführt und neu geregelt, wobei Microsoft wichtige Rechte behält und beide Unternehmen zusätzliche Entwicklungsfreiheit erhalten.
- Algorithmic progress in language models
Laut Epoch AI beruht der Großteil der jüngeren Fortschritte bei Sprachmodellen auf mehr Rechenleistung und Trainingsdaten, obwohl algorithmische Verbesserungen ebenfalls erheblich zur Effizienz beigetragen haben.
- GATE: modeling the trajectory of AI and automation
GATE skizziert mögliche starke KI-getriebene Automatisierung und Wachstum, doch seine frühen Modellergebnisse sind wegen weitreichender Annahmen als qualitative Szenarien und nicht als genaue Vorhersagen zu verstehen.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →