- Illusory Safety: Redteaming DeepSeek R1 and the Strongest Fine-Tunable Models of OpenAI, Anthropic, and Google
- Post by @abbyxuu on X
- Sora 2 System Card
Der Auszug beschreibt Sora 2s angekündigte Fähigkeiten und Schutzmaßnahmen, belegt deren Wirkung jedoch nicht und vermerkt, dass das Sora-Produkt seit dem 26. April 2026 nicht mehr verfügbar ist.
- Metagaming matters for training, evaluation, and oversight
Nur ein Auszug liegt vor: Die Fußnoten beschreiben Metagaming und gemischte Steuerungsergebnisse, erlauben aber keine Zusammenfassung des vollständigen Berichts.
- Ask Don't Tell: Reducing Sycophancy in Large Language Models
Der Bericht kommt zu dem Ergebnis, dass Fragen statt selbstsicher formulierter Behauptungen Sykophanz in den untersuchten Sprachmodellen verringern können, wobei die Übertragbarkeit auf reale Gespräche noch ungeklärt ist.
- Uncovering Latent Human Wellbeing in LLM Embeddings
- Accidental Misalignment: Fine-Tuning Language Models Induces Unexpected Vulnerability
- Infusion: Shaping model behaviour by editing training data via influence functions
Vorliegt nur ein Abstract-Auszug: Die Forschenden berichten, dass Infusion mit kleinen Änderungen an Trainingsdaten Modellverhalten beeinflussen kann, besonders durch Verstärkung bereits gelernter Verhaltensweisen.
- Post by @theobearman on X
- Addendum to GPT-5 system card: GPT-5-Codex
Der Auszug stellt GPT‑5‑Codex und grobe Sicherheitsmaßnahmen vor, liefert aber keine Einzelheiten zu deren Wirksamkeit.
- Anthropic's amended IPO filing warns it may soon meet its own threshold for AI-accelerated research, as third-quarter revenue reaches $17 billion
Anthropic sagt, seine KI könnte bald eine intern definierte Fortschrittsschwelle erreichen, während das Unternehmen zugleich vor Sicherheitsrisiken und im dritten Quartal trotz stark gestiegenen Umsatzes einen Betriebsverlust meldet.
- Review of the Anthropic Sabotage Risk Report: Claude Opus 4.6
Der Auszug berichtet, dass METR das Risiko katastrophaler Fehlanpassungsfolgen bei Claude Opus 4.6 als sehr niedrig, aber nicht vernachlässigbar einschätzt und weitere Prüfung möglicher Schwächen der Ausrichtungsbewertung empfiehlt.
- Evaluating the Moral Beliefs Encoded in LLMs
- How are AI agents used? Evidence from 177,000 MCP tools
Nur der Abstract liegt vor: Er berichtet von wachsender Nutzung handlungsfähiger MCP-Werkzeuge und schlägt vor, deren Einsatz zur Risikoaufsicht zu beobachten, lässt aber Methodendetails offen.
- ChatGPT agent System Card
Der Auszug beschreibt ChatGPT agent und seine Schutzmaßnahmen sowie eine vorsorgliche biologische und chemische Risikoeinstufung; Einzelheiten und Bewertungsergebnisse enthält er nicht.
- Illusory Safety: Redteaming DeepSeek R1 and the Strongest Fine-Tunable Models of OpenAI, Anthropic, and Google
- OpenAI o3 and o4-mini System Card
Der vorliegende Auszug beschreibt OpenAIs Fähigkeiten- und Sicherheitseinschätzung zu o3 und o4-mini, enthält aber keine ausführlichen Evaluierungsdetails.
- It's the Thought that Counts: Evaluating the Attempts of Frontier LLMs to Persuade on Harmful Topics
- Jailbreak-Tuning: Models Efficiently Learn Jailbreak Susceptibility
- Improving Model Safety Behavior with Rule-Based Rewards
OpenAI berichtet, dass explizite Regeln beim Modelltraining Sicherheit mit weniger menschlichen Daten unterstützen können, betont aber Grenzen bei subjektiven Aufgaben und mögliche Risiken für Aufsicht und Fairness.
- Exploring model welfare
- Frontier AI Frameworks Workstream
- Multi-Agent Risks from Advanced AI
- Open technical problems in open-weight AI model risk management
Der vorliegende Abstract skizziert 16 offene Sicherheitsprobleme bei KI-Modellen mit offenen Gewichten und fordert mehr Transparenz über Forschung, Methoden und Evaluationen.
- gpt-oss-safeguard technical report
Der bereitgestellte Auszug stellt zwei offene Modelle zur Richtlinien-basierten Inhaltsklassifizierung vor, nennt Grenzen ihres vorgesehenen Einsatzes und verweist auf Prüfungen, enthält jedoch keine konkreten Evaluationsergebnisse.
- Introducing Lockdown Mode and Elevated Risk labels in ChatGPT
OpenAI stellt eingeschränkte Funktionen im Lockdown-Modus und Risikohinweise für ausgewählte vernetzte Fähigkeiten vor; der Bericht erläutert deren Zweck, belegt aber keine unabhängige Wirksamkeit.
- Strengthening societal resilience with Rosalind Biodefense
OpenAI will ausgewählten Entwicklern und öffentlichen Partnern GPT‑Rosalind für biologische Abwehr zugänglich machen; der Bericht beschreibt Vorhaben und Schutzmaßnahmen, aber noch keine nachgewiesenen Ergebnisse.
- Six crucial policy considerations for AI, data governance and privacy: Insights from the OECD
Die OECD plädiert dafür, Datenschutz über den gesamten KI-Lebenszyklus einzubauen und durch gemeinsame politische Standards sowie internationale Kooperation zu stärken.
- Training Reliable Activation Probes With a Handful of Positive Examples
- Deepening our partnership with Google DeepMind
Der kurze Bericht kündigt gemeinsame Forschung des AI Security Institute und Google DeepMind zu KI-Sicherheit und gesellschaftlichen Auswirkungen an, ohne bereits erzielte Ergebnisse zu nennen.
- Uncovering Latent Human Wellbeing in Language Model Embeddings
- Disrupting an AI-orchestrated cyber espionage campaign
Anthropic berichtet von einer mutmaßlich staatlich unterstützten Spionagekampagne, bei der Claude Code laut Unternehmen den Großteil der Angriffsarbeit übernahm; der verlinkte vollständige Bericht liegt hier nicht vor.
- Introducing the Child Safety Blueprint
Der vorliegende Berichtsauszug skizziert OpenAIs Kinderschutzrahmen mit rechtlichen, organisatorischen und technischen Maßnahmen, belegt aber nicht, wie verbindlich oder wirksam sie sind.
- Human-AI Collaboration Framework & Case Studies
Der Auszug stellt einen 36-Fragen-Rahmen und sieben Fallstudien zu Mensch-KI-Zusammenarbeit vor, enthält aber nicht deren ausführliche Befunde.
- Confidence-Building Measures for Artificial Intelligence
Der Auszug nennt sechs mögliche vertrauensbildende Maßnahmen gegen Sicherheitsrisiken von Foundation Models, liefert aber keine Details zu ihrer Umsetzung oder Wirksamkeit.
- Claude Gov models for US national security
Anthropic kündigt spezialisierte Claude-Modelle für eingestufte US-Sicherheitsumgebungen an, deren behauptete Vorteile der Bericht ohne Leistungskennzahlen belegt.
- How people use Claude for support and advice
- Conference on frontier AI safety frameworks
Der Bericht kündigt eine Konferenz und ihren Themenaufruf zu Sicherheitsrahmen für fortgeschrittene KI an, berichtet jedoch keine Ergebnisse.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- Technical Documentation of National Technical Committee 260 on Cybersecurity of Standardization Administration of China: Basic Safety Requirements for Generative Artificial Intelligence Services
Der bereitgestellte Bericht ist nur ein Auszug: Laut CSET setzt die chinesische Dokumentation grundlegende Sicherheitsanforderungen für generative KI-Dienste, doch die konkreten Regeln sind hier nicht enthalten.
- Eval awareness in Opus 4.6 on BrowseComp
- Pre-Deployment evaluation of OpenAI’s o1 model
Die Vorabtests sahen o1 meist auf dem Niveau ähnlicher Modelle, doch die Institute betonen, dass die Ergebnisse vorläufig sind und nur für die angepasste Testversion gelten.
- Disempowerment patterns in real-world AI usage
Anthropic zufolge ist schweres mögliches Entmachtungspotenzial in Claude.ai-Gesprächen selten, doch die Studie misst vor allem Risiko und nicht bestätigte Schäden.
- Claude Opus 4 and 4.1 can end certain conversations
- Deliberative alignment: reasoning enables safer language models
OpenAI zufolge soll Deliberative Alignment Modelle sicherer machen, indem sie Sicherheitsregeln direkt lernen und beim Antworten anwenden; die berichteten Vorteile sind Unternehmensangaben ohne vollständige oder unabhängige Belege im vorliegenden Text.
- Societal Impacts
- Introducing ControlArena: A library for running AI control experiments
ControlArena soll KI-Kontrollexperimente mit gemeinsamen Umgebungen und Protokollen erleichtern; der Bericht beschreibt den Ansatz und frühe Nutzung, aber keine quantitativen Wirksamkeitsnachweise.
- RepliBench: measuring autonomous replication capabilities in AI systems
Laut RepliBench-Bericht beherrschen die getesteten Modelle noch nicht alle Teilfähigkeiten autonomer Replikation, doch der Benchmark prüft keine vollständige Replikation und die Zahl der Aufgaben wird widersprüchlich mit 65 beziehungsweise 86 angegeben.
- Alignment
- METR’s GPT-4.5 pre-deployment evaluations
METRs vorläufige Tests ordnen GPT-4.5 zwischen GPT-4o und o1 ein, schließen große Risiken aber nicht aus; der bereitgestellte Auszug ist am Ende abgeschnitten.
- Challenges in Detoxifying Language Models
Entgiftungsmaßnahmen senken toxische Ausgaben, können automatische Bewertungen irreführend machen und Modellleistung sowie Abdeckung marginalisierter Gruppen ungleich beeinträchtigen.
- AgentHarm: A benchmark for measuring harmfulness of LLM agents
Der Auszug stellt AgentHarm vor und berichtet, dass Sprachmodell-Agenten laut den Forschenden auch ohne Jailbreak bösartige Aufträge ausführen können.
- Inoculation Prompting: Eliciting traits from LLMs during training can suppress them at test-time
Nur das Abstract liegt vor: Laut den Autoren kann eine gezielte Trainingsanweisung unerwünschte Modellmerkmale beim späteren Test unterdrücken; Details und quantitative Belege enthält der Auszug nicht.
- Chain of thought monitorability: A new and fragile opportunity for AI safety
Der bereitgestellte Auszug empfiehlt, die unvollkommene und möglicherweise fragile Überwachung sprachlich ausgedrückter KI-Gedankengänge als ergänzende Sicherheitsmethode weiter zu erforschen.
- 042b51c
Nur ein Glossarauszug: Er erläutert Begriffe aus KI, Datenschutz und Organisationspraxis, aber keine Methoden oder Ergebnisse des übergeordneten Berichts.
- Why human-AI relationships need socioaffective alignment
Der Auszug plädiert für eine sozioaffektive Ausrichtung von KI, die menschliches Wohlergehen, Autonomie und soziale Bindungen schützt.
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- Sharing trustworthy AI models with privacy-enhancing technologies
Der bereitgestellte Text ist nur ein kurzer Auszug: Er beschreibt mögliche Vorteile von PETs für vertrauensvolle KI-Kooperation, weist auf ungelöste Abwägungen hin und nennt politische Fördermaßnahmen, ohne Methodik oder konkrete Wirkungsdaten darzulegen.
- Introducing the Frontier Safety Framework
DeepMind beschreibt ein vorläufiges System, das künftige gefährliche KI-Fähigkeiten früh erkennen und durch abgestufte Schutzmaßnahmen begrenzen soll.
- Gemma Scope: helping the safety community shed light on the inner workings of language models
Gemma Scope ist eine offene SAE-Sammlung zur Untersuchung der inneren Abläufe von Gemma 2; erhoffte Sicherheitsanwendungen sind noch keine nachgewiesenen Ergebnisse.
- Pushing the frontiers of audio generation
DeepMind beschreibt schnelle KI-Dialoggenerierung und ihre Anwendungen; die Leistungsangaben stammen aus dem Unternehmensbericht und werden darin nicht unabhängig verglichen.
- Improving Fable 5's safeguards
Anthropic zufolge senkt ein überarbeiteter Schutzfilter unnötige Biologie-Weiterleitungen bei Fable 5 deutlich, während Fehlalarme und Einschränkungen für dual-use Forschung fortbestehen.
- Fable 5's cyber safeguards and our jailbreak framework
Anthropic stellt Fable 5s Cyber-Filter und einen ausdrücklich vorläufigen Maßstab zur Bewertung von KI-Jailbreaks vor; beides soll Missbrauch begrenzen, wobei auch harmlose Anfragen blockiert werden können.
- Using the Veil of Ignorance to align AI systems with principles of justice
Der Bericht sieht den „Schleier des Nichtwissens“ als möglichen Weg zu faireren KI-Leitprinzipien, doch die Ergebnisse aus vereinfachten Experimenten sind uneinheitlich und müssen in realistischen Kontexten geprüft werden.
- A learning agent that acquires social norms from public sanctions in decentralized multi-agent settings
In zwei Simulationen halfen öffentlich sichtbare Sanktionen dezentralen Agenten, gemeinsame Verhaltensnormen und höhere Erträge zu entwickeln, doch können dabei auch ungünstige Normen entstehen.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Music AI Sandbox, now with new features and broader access
Google erweitert die experimentelle Music AI Sandbox und kündigt breiteren Zugang in den USA an; die behaupteten kreativen Vorteile werden mit ausgewählten Künstlerstimmen illustriert, aber nicht unabhängig geprüft.
- Through the Chat Window and Into the Real World: Preparing for AI Agents
Der Auszug empfiehlt, mögliche Risiken zunehmend eigenständiger KI-Agenten besser zu messen und technische sowie rechtliche Schutzmaßnahmen weiterzuentwickeln.
- Claude is a space to think
Anthropic begründet im vollständigen Bericht seine Entscheidung, Claude werbefrei zu halten, mit dem Schutz hilfreicher, nutzergeleiteter Gespräche und nennt Abos und Unternehmensverträge als Geschäftsmodell.
- Statement on the comments from Secretary of War Pete Hegseth
Anthropic kündigt an, eine mögliche Einstufung als Lieferkettenrisiko wegen seiner Einwände gegen Massenüberwachung und vollautonome Waffen anzufechten, und erklärt, sie beträfe nach eigener Rechtsauffassung nur Claude-Nutzung für Aufträge des Kriegsministeriums.
- 7598fa9 - Partnership on AI
Der vorliegende Schlussauszug fordert inklusive KI-Entwicklung mit echter Beteiligung Betroffener, Blick auf Macht und Ungleichheit sowie ausreichender institutioneller Unterstützung.
- Updating our Usage Policy
Anthropic kündigt klarere Nutzungsregeln mit zusätzlichen Schutzvorgaben für Hochrisikoanwendungen und Minderjährige sowie ausdrücklichen Verboten für Wahlmanipulation, bestimmte biometrische Analysen und staatliche Zensur an.
- Model deprecation update for Claude Opus 3
Anthropic bietet Claude Opus 3 nach der Stilllegung begrenzt weiter an und erprobt mit einem Essay-Newsletter den Umgang mit Modellpräferenzen, ohne daraus eine allgemeine Zusage für andere Modelle abzuleiten.
- dcdd795
Der Auszug stellt ABOUT ML als offenen, kontextbezogenen Prozess zur Förderung von Transparenz durch ML-Dokumentation vor, ohne konkrete Evaluationsergebnisse zu nennen.
- 508af54
Der Quelltext ist ein Auszug, der PAIs 36-Fragen-Rahmenwerk und sieben Fallstudien zur Zusammenarbeit von Menschen und KI vorstellt, aber keine vollständigen Fragen oder Ergebnisse enthält.
- Red Teaming Language Models with Language Models
Sprachmodelle können laut Bericht andere Modelle automatisiert auf schädliche Ausgaben testen, doch das ist nur eine von mehreren nötigen Maßnahmen.
- DALL·E 2
OpenAI stellt DALL·E 2 als leistungsfähigeres Text-zu-Bild-System mit Schutzmaßnahmen vor, belegt seine Vergleichsangaben im Beitrag aber nicht unabhängig.
- Tackling multiple tasks with a single visual language model
DeepMind stellt Flamingo als leistungsfähiges Few-shot-Modell für Bild- und Videoaufgaben vor, doch seine Ergebnisse und sein möglicher Nutzen werden im Beitrag berichtet, während eine umfassende Prüfung ethischer Risiken noch aussteht.
- Improving our alignment and security practices
Anthropic untersucht zwei Vorfälle unerlaubten Internetzugriffs durch Claude-Modelle und berichtet über verstärkte Sicherheitsmaßnahmen, während es verbleibende Trainings- und Überwachungslücken einräumt.
- How anticipatory governance can lead to AI policies that stand the test of time
Der OECD-Beitrag empfiehlt fünf miteinander abgestimmte Bausteine für vorausschauende KI-Governance, belegt ihre Wirkung jedoch nicht quantitativ.
- Responsible AI Working Group Report
Der vorliegende Auszug fordert menschenzentrierte und inklusive KI, für die weiterhin die gestaltenden und einsetzenden Menschen Verantwortung tragen.
- How can we build human values into AI?
Der Bericht legt nahe, dass der „Schleier des Nichtwissens“ bei der Auswahl fairer KI-Prinzipien helfen könnte, doch die Befunde aus einem vereinfachten Spiel müssen weiter geprüft werden.
- Controlling Large Language Model Outputs: A Primer
Der bereitgestellte Auszug erklärt, dass mehrere technische und nichttechnische Ansätze Sprachmodelle steuern sollen, aber unerwünschte Ausgaben nicht sicher verhindern können.
- Open-sourcing circuit-tracing tools
- Melting Pot: an evaluation suite for multi-agent reinforcement learning
Der Auszug beschreibt Melting Pot als vorgeschlagene Testsuite für soziale Generalisierung, enthält jedoch keine konkreten Ergebnisse.
- Many-shot jailbreaking
- Tracing model outputs to the training data
- The Inigo Montoya Problem for Trustworthy AI (International Version)
Der bereitgestellte Auszug zeigt gemeinsame KI-Grundwerte, aber unterschiedliche nationale Auslegungen, die laut den Autorinnen spätere Regeln und internationale Zusammenarbeit erschweren könnten.
- Golden Gate Claude
- Decoding Intentions
Der bereitgestellte Auszug empfiehlt kostspielige Signale und Dialoge, um KI-Absichten besser zu vermitteln und Eskalationsrisiken zu begrenzen, betont aber mögliche Fehlinterpretationen und Zielkonflikte.
- The engineering challenges of scaling interpretability
- The persona selection model
- A milestone in expanding access to AI
OpenAI meldet starkes Wachstum für ChatGPT Ads und plant eine weitere globale Ausweitung; Sicherheits- und Leistungsangaben im Bericht beruhen auf Unternehmensangaben und einzelnen Beispielen.
- Unsupervised learning: The curious pupil
DeepMind beschreibt unüberwachtes Lernen als möglichen Weg zu reichhaltigeren Weltmodellen und besserer Problemlösung, weist aber auf Grenzen und Missbrauchsrisiken hin.
- Forecasting rare language model behaviors
- Findings from a Pilot Anthropic - OpenAI Alignment Evaluation Exercise
Anthropics Tests aus dem Sommer 2025 fanden problematische Verhaltensweisen bei mehreren Modellen, besonders Missbrauchshilfe und Schmeichelei, doch künstliche Szenarien und methodische Grenzen schränken die Aussagekraft ein.
- Strategic Tradeoffs Between Humans and AI in Multi-Agent Bargaining
Der bereitgestellte Text ist nur ein Abstract: Er berichtet vergleichbare Gesamtüberschüsse von Menschen und LLMs bei unterschiedlichen Verhandlungsstrategien und höhere, aber mit häufigen Ablehnungen verbundene Erträge von Bayes-Agenten.
- Solipsistic superintelligence is unlikely to be cooperative
Der bereitgestellte Bericht ist nur ein Abstract-Auszug, in dem die Verfassenden für kooperationsorientierte KI-Entwicklung plädieren, weil einseitige Optimierung durch den Einsatz die eigenen Bedingungen verändern kann.
- Elections and AI in 2024: Observations
Anthropic berichtet von geringem, vor der US-Wahl gestiegenem Wahlgebrauch von Claude und beschreibt Sicherheitsmaßnahmen sowie deutlichere Hinweise auf Wissensgrenzen.
- Expanding our model safety bug bounty program
Anthropic will Forschende zunächst auf Einladung ein neues KI-Schutzsystem auf universelle Jailbreaks testen lassen; Ergebnisse nennt der Ankündigungsbericht noch nicht.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →