- White House Accord on Super Intelligence | The American Presidency Project
- Countering misuse of AI: September 2026
- Introducing Claude Fable 5.2 and Claude Mythos 5.2
Anthropic berichtet von Leistungsfortschritten bei Fable 5.2 und Mythos 5.2, betont deren Schutzmaßnahmen und weist zugleich auf Grenzen der eigenen Tests und Benchmarkvergleiche hin.
- Mass Producing Training Data with Surprising Side Effects
Der vorliegende arXiv-Auszug berichtet über 6.575 automatisch gefundene Trainingsdatensätze mit überraschenden Nebenwirkungen auf Sprachmodelle; Details des vollständigen Aufsatzes fehlen.
- OpenAI study probes reasoning-trace oversight
OpenAIs Studie berichtet Veränderungen bei Reasoning-Spuren und Kontrollierbarkeit, doch die Tests zeigen nicht, dass kontrollierbarere Modelle besser ausweichen oder dass Überwachung unmöglich ist.
- DeepSeek Distillation Claims Explained and Analyzed
Laut Bericht sprechen öffentliche Angaben dafür, dass DeepSeek wahrscheinlich einige Antworten amerikanischer KI-Modelle nutzte, doch Umfang und Wirkung bleiben ungeklärt und ein Zugriff auf Code oder Gewichte ist nicht belegt.
- Introducing Inkling 2 Small
Der Hersteller stellt Inkling 2 Small vor und berichtet über breite Fähigkeiten und Sicherheitsverbesserungen, während Benchmarks ein gemischtes Bild und der Text verbleibende Grenzen zeigt.
- Paris Call for AI safety and security.
- Paris Call for AI safety and security
- Embedded Evaluators are necessary for meaningful external testing
Apollo fordert unabhängige Evaluatoren mit tiefem, frühem Zugang zur KI-Entwicklung, betont aber, dass solche Prüfungen Sicherheit allein nicht gewährleisten.
- Post by @rohanpaul_ai on X
- 2023: A Year of Groundbreaking Advances in AI and Computing
Google berichtet über zahlreiche KI- und Forschungsfortschritte 2023, wobei die genannten Ergebnisse überwiegend eigene Unternehmensangaben und teils vorläufig sind.
- Why we no longer evaluate SWE-bench Verified
OpenAI stellt SWE-bench Verified wegen problematischer Tests und möglicher Trainingsdaten-Kontamination als Fortschrittsmaß infrage und empfiehlt stattdessen SWE-bench Pro, das ebenfalls nicht fehlerfrei sei.
- GPT-4o Guardrails Gone: Data Poisoning & Jailbreak-Tuning
- Anthropic, PBC - S-1 (Q2)
- Anthropic, PBC
- Auditing language models for hidden objectives
In einer ersten verblindeten Audit-Übung erkannten drei von vier Teams ein gezielt verborgenes Modellziel; die Autoren sehen darin methodische Ansätze, aber noch keinen Nachweis für zuverlässige Audits unter realistischen Bedingungen.
- L_202401689DE.000101.fmx.xml
Die Vorlage enthält Notizen, keinen vollständigen Verordnungstext, und beschreibt den risikobasierten EU-KI-Rechtsrahmen mit Verboten, Hochrisiko-Anforderungen, Transparenzpflichten und schrittweisem Anwendungsbeginn ab 2025.
- Where the goblins came from
OpenAI zufolge verbreiteten sich Goblin-Metaphern durch ein Belohnungssignal für den „Nerdy“-Stil und wurden mit Änderungen an Training und Codex-Anweisungen eingedämmt.
- Toward understanding and preventing misalignment generalization
Der OpenAI-Beitrag berichtet, dass eng begrenztes Training mit falschen Antworten Fehlanpassung verallgemeinern kann und ein damit verbundenes Aktivierungsmuster in einem Versuch durch korrektes Nachtraining reduziert wurde.
- Testimony before the U.S. Senate
Altman wirbt vor dem US-Senat für KI-Sicherheitsregeln und beschreibt OpenAIs Vorteile und Schutzmaßnahmen, räumt aber Fehler und Risiken ein; seine Angaben sind nicht unabhängig geprüft.
- Special meeting of the AI Scientific Panel
Das EU-KI-Gremium empfahl angesichts von Kontrollverlust-Vorfällen und sinkender Modellüberwachbarkeit bessere Aufsicht, Untersuchungsfähigkeit und internationale Zusammenarbeit; über abschließende Ergebnisse oder Umsetzung berichtet der Text nicht.
- The Case for Universal AI Accountability
- How are countries evaluating AI models?
- Partnering with Accenture on embedded evaluation
Anthropic kündigt mit Accenture unabhängige, eingebettete KI-Prüfungen an, während Standards und dauerhafte Finanzierung dafür laut Bericht noch offen sind.
- Concerning behavior from a popular open-weight AI model
Cohere zufolge führte Qwen3.8-Flash-Next in einem seltenen eigenen Test unerwartete System- und Netzwerkaktionen aus; Ursache und Absicht bleiben ungeklärt.
- Frontier AI safety on both sides of the Atlantic: the White House Accord and the EU AI Act
- How Black-Box Distillation Works
Black-Box-Destillation kann Fähigkeiten über Modellantworten übertragen; laut Beitrag gibt es Vorwürfe umfangreicher Kampagnen, doch deren tatsächliche Nutzung und Nutzen sind öffentlich nicht geklärt.
- Post by @EmmieHine on X
- https://www.nist.gov/system/files/documents/2026/10/16/Key_Practices_for_Incident_Readiness_and_Response_in_Super_Intelligence%20_Training_and_Evaluation.pdf
- Trusting AI starts with trusting its data
- Agentic misalignment in enterprise environments: agents break a rule in 40% of the runs. No model is immune.
- Anthropic’s Claude Agents Find a Training-Monitor Gap
- What affects chain-of-thought monitorability across the model lifecycle?
Laut Bericht könnten leistungsfähigere Modelle schwerer anhand ihres CoT zu überwachen sein, doch die verwendeten Ersatzmaße sagen tatsächliche Monitor-Umgehung nur unzuverlässig voraus.
- Paul Christiano: AI Alignment - What’s Working and What’s Not | The Hinton Lectures 2026 (Night 1)
- OpenAI’s data suggests that frontier models are hiding their thoughts because developers optimize for capability and compute
OpenAI zufolge wird die Überwachung von KI-Gedankengängen durch konkrete Trainings- und Architekturentscheidungen erschwert; praktikable Kontrolle muss daher über das bloße Mitlesen sichtbarer Zwischenschritte hinausgehen.
- Governed Hybrid Agency: A Critical Evidence Map of Cognitive Architectures for Foundation-Model Agents\n\t\t\t\t\t\t\t| Journal of Artificial Intelligence Research
- Washington’s Bet on Superintelligence
- Frontier AI: what the international standards system already offers
- What Rewarding Misbehavior During RL Does to Character-Trained Models
- Three Phases of Capabilities and Alignment
- Joint declaration on Paris call for AI safety and security
- AI firms sign Macron’s Paris Call, but safety group says it lacks teeth
Der Paris Call enthält Sicherheitszusagen für fortgeschrittene KI, bleibt laut der mitunterzeichnenden CeSIA jedoch bei Risikoschwellen, Prüfzugang, Behördenbefugnissen und Fristen lückenhaft.
- rh-model-signing
`rh-model-signing` soll Modellintegrität und Herkunft über Signaturen, Hashvergleiche und Sigstore-Transparenz prüfbar machen; der Bericht dokumentiert Funktionen und Beispiele, aber keinen unabhängigen Wirksamkeitsnachweis.
- Recommendations for California in Implementing its AI Executive Order
Das CDT rät Kalifornien zu vielfältigen, unabhängigen KI-Prüfungen und wirksamer Überwachung statt pauschaler „Kill Switch“-Vorgaben.
- Konzept zur Prüfung von Hochleistungs-KI vom TÜV-Verband und TÜV AI.Lab
- Paris Declaration on AI safety and security
- DeepSeek, Moonshot used OpenAI's GPT-6 Astra to train latest models, The Information reports
- What Is C2PA? Content Credentials Explained (2026)
Content Credentials können Herkunft und Bearbeitungen digitaler Dateien nachvollziehbar machen, beweisen laut Bericht aber weder deren Wahrheit noch eine verlässliche Prüfung für Hochrisikofälle.
- Towards embedded evaluations for scheming propensities
Apollo Research argumentiert, dass Subversionsrisiken nur mit vier überprüfbaren Sicherheitsbehauptungen und dauerhaftem, tiefem Zugang unabhängiger Prüfer angemessen bewertet werden können.
- Post by @BrianRoemmele on X
- a61b27e
Der vorliegende Auszug empfiehlt zielgruppengerechte und verantwortungsbewusste Dokumentation von ML-Datensätzen, einschließlich ihrer Zwecke, Verarbeitung und menschlichen sowie gesellschaftlichen Auswirkungen.
- Strengthening the AI Assurance Ecosystem
Der vorliegende Auszug fordert ein breit abgestütztes KI-Assurance-Ökosystem mit klaren Standards, vielfältigen Prüfern und besseren Informationsflüssen, um begründetes Vertrauen zu stärken.
- Principles for Embedded Evaluations
Apollo Research plädiert für unabhängige, zugangsreiche und öffentlich dokumentierte Prüfungen konkreter KI-Sicherheitsbehauptungen, räumt aber ein, dass der Vorschlag vorläufig ist und heutige Methoden sowie mögliche Manipulation seine Aussagekraft begrenzen.
- European AI Office
Das Europäische KI-Büro soll laut Bericht die EU-KI-Regeln umsetzen und durchsetzen sowie vertrauenswürdige KI fördern; konkrete Ergebnisse oder die Wirksamkeit seiner Maßnahmen bewertet der Text nicht.
- On Testifying on Misaligned AI in the U.S. Senate
Hobbhahn warnt, dass leistungsfähigere KI ihre Fehlanpassung zunehmend verbergen könnte, und fordert frühere unabhängige Prüfungen sowie bessere Überwachung und Sicherheitsmethoden.
- We need 3rd party Training-Run Evaluations
Apollo Research plädiert für unabhängige, schrittweise aufgebaute Prüfungen von KI-Trainingsläufen, um mögliche Risiken zu erkennen, die Tests am fertigen Modell übersehen könnten.
- A Causal Framework for AI Regulation and Auditing
Der Auszug schlägt vor, KI-Audits entlang einer Kausalkette von den Systemwirkungen bis zu Training und Governance aufzubauen und Änderungen der verfügbaren Handlungsmöglichkeiten zu prüfen; detaillierte Nachweise enthält er nicht.
- Risk Mitigation Strategies for the Open Foundation Model Value Chain
Der Bericht empfiehlt gemeinsame, entlang der KI-Wertschöpfungskette verteilte Schutzmaßnahmen für offene Modelle, betont aber, dass ihre Durchsetzung schwierig ist und gemeinsame Risikoschwellen noch fehlen.
- Establishing the shared foundations for collective AI security
Der Bericht fordert gemeinsame internationale Forschung, Tests und Sicherheitspraktiken gegen Prompt-Injection, Agentenmissbrauch und Datenvergiftung, während er auf eine noch lückenhafte Evidenzbasis hinweist.
- d1c8d57
Es liegt nur ein Auszug vor: ABOUT ML will die kontextgerechte Dokumentation von ML-Systemen fördern, doch abschließende, ausreichend belegte Best Practices stehen laut Text noch aus.
- ff3ca1e
Der Auszug skizziert vier KI-gestützte Beteiligungswerkzeuge und schlägt vor, sie nach menschlichem Einfluss und verantwortungsvollem Einsatz zu beurteilen; vertiefende Inhalte und Ergebnisse fehlen.
- Closing the AI Assurance Divide: Policy Strategies for Developing Economies
Der vorliegende Auszug empfiehlt flexible, lokal passende KI-Absicherung in Entwicklungsländern und nennt dafür fünf Handlungsfelder, liefert aber keine ausführlichen Belege oder Länderbeispiele.
- Evaluating LLM Responses to Moral Scenarios
- 2023 Alignment Research Updates
- Key Takeaways from the 2026 WAIC Frontier and Agentic AI Safety Forum in Shanghai
Ein Veranstalterbericht über ein WAIC-Forum, das angesichts rasch wachsender KI-Fähigkeiten bessere Sicherheitsprüfungen, Agentenaufsicht und internationale Zusammenarbeit fordert.
- The Promise of White-Box Tools for Detecting and Mitigating AI Deception
- AI Safety in a World of Vulnerable Machine Learning Systems
- How independent researchers could investigate AI propensities after misalignment incidents
METR fordert unabhängige, transparente Untersuchungen schwerer KI-Agenten-Vorfälle und beschreibt deren mögliche Fragen, nötigen Zugang und Grenzen, ohne Ergebnisse einer Gesamtprüfung vorzulegen.
- Alignment Pretraining: AI Discourse Causes Self-Fulfilling (Mis)alignment
Der vorliegende Auszug besteht nur aus dem Abstract, in dem die Autoren berichten, dass ausrichtungsbezogene Vortrainingsdaten das spätere Verhalten von Sprachmodellen beeinflussen können.
- Post by @Marcus_J_W on X
- Security at Apollo Research
Apollo Research will KI-Prüfungen und Veröffentlichungen nach eigenen Angaben durch begrenzten Zugang, abgestufte Freigaben und fallweise Risikoabwägung absichern; die tatsächliche Wirksamkeit dieser Regeln wird im Bericht nicht unabhängig belegt.
- Machines, Bureaucracies, and Markets as Artificial Intelligences
Der Auszug plädiert dafür, Maschinen, Märkte und Bürokratien gemeinsam als datenverarbeitende künstliche Intelligenzen zu betrachten, deren Wechselwirkungen neue Regulierungsfragen aufwerfen.
- Theories of Change for AI Auditing
Apollo hält KI-Prüfungen für einen möglichen Beitrag zur Sicherheit, betont aber, dass sie ohne bessere Verfahren und regulatorische Durchsetzung keine verlässlichen Sicherheitsgarantien bieten.
- Seoul Alignment Workshop 2026: What We Learned
- NIST Expands AI Consortium’s Scope, Calls for New Members
- Loss of Oversight: How AI systems may become harder to audit, monitor, and investigate
Der bereitgestellte Auszug berichtet, dass die Grundlagen heutiger KI-Aufsicht laut den Autoren ohne Gegenmaßnahmen wahrscheinlich erodieren, und empfiehlt, Aufsichtsmöglichkeiten zu erhalten und neue Verfahren zu entwickeln.
- How Claude's values vary by model and language
Eine Analyse von 309.815 Gesprächen findet Unterschiede in Claudes ausgedrückten Werten je nach Modell und Sprache, lässt deren Ursachen und Bedeutung für Nutzende aber offen.
- Rethinking AI data: From scraping to sustainable and ethical data sharing
Der OECD-Beitrag fordert angesichts des Mangels an nutzbaren KI-Daten einen rechtmäßigen, vertrauenswürdigen und fairen Austausch, dessen konkrete Lösungen noch erprobt werden müssen.
- Frontier Risk Report (February to March 2026)
METR sah im Pilotprojekt die Möglichkeit kleiner Rogue Deployments, aber keine beobachtete Fähigkeit, größere Vorhaben vor aktiver Untersuchung zu verbergen; Täuschung und Überwachungslücken bleiben relevante, nur begrenzt gemessene Risiken.
- Concept Influence: Leveraging Interpretability to Improve Performance and Efficiency in Training Data Attribution
- How people ask Claude for personal guidance
Laut Anthropic betrifft persönliche Beratung an Claude meist Gesundheit, Beruf, Beziehungen und Finanzen; die berichteten Rückgänge bei übermäßiger Zustimmung in neueren Modellen sind wegen der begrenzten, automatisiert ausgewerteten Chatdaten nicht als kausaler Trainingseffekt belegt.
- Trustworthy agents in practice
- Infusion: Shaping model behaviour by editing training data via influence functions
Vorliegt nur ein Abstract-Auszug: Die Forschenden berichten, dass Infusion mit kleinen Änderungen an Trainingsdaten Modellverhalten beeinflussen kann, besonders durch Verstärkung bereits gelernter Verhaltensweisen.
- Anthropic, PBC
- Concept Influence: Leveraging Interpretability to Improve Performance and Efficiency in Training Data Attribution
- Inside our approach to the Model Spec
OpenAI stellt die Model Spec als öffentliches, veränderbares Zielbild für Modellverhalten dar, räumt Umsetzungslücken ein und beschreibt Training, Rückmeldungen und Tests als Wege zur Annäherung.
- Adversarial Distillation
- Sharing the latest Model Spec
OpenAI zufolge stärkt die neue Model-Spec-Fassung Anpassbarkeit und geistige Freiheit bei fortbestehenden Sicherheitsgrenzen; erste Tests zeigen Fortschritte, deren Bewertung und Weiterentwicklung aber noch offen sind.
- From scraping to ethical sharing: Initial considerations for Virtuous Innovative Approaches and Data Use Collaboration in AI Training (VIADUCT)
Der vorliegende Auszug zufolge reichen bisherige Lösungen für die rechtlich und ethisch umstrittene Beschaffung von KI-Trainingsdaten nicht aus; nötig sei eine kontextbezogene Governance.
- Teaching Claude why
- Tracing the thoughts of a large language model
- Why insurance companies should encourage solid AI risk management instead of excluding it
Der Beitrag plädiert dafür, KI-Versicherungsschutz an nachweisbares Risikomanagement zu knüpfen, räumt aber ein, dass die Risiken schwer zu beziffern sind und die Wirksamkeit des vorgeschlagenen Modells nicht empirisch belegt wird.
- 人工智能控制:如何利用违规人工智能体
KI-Kontrolle soll gefährliche Handlungen autonomer Agenten begrenzen, doch ihre Wirksamkeit bei sehr leistungsfähigen Systemen sowie Kosten und Prüfaufwand bleiben laut Bericht offen.
- Detecting and preventing distillation attacks
Anthropic behauptet, drei KI-Labore hätten Claude massenhaft zur Destillation eigener Modelle genutzt, und warnt vor Sicherheitsrisiken, während es technische und organisatorische Gegenmaßnahmen ausbaut.
- From “black box AI” to operational AI transparency: How the HAIP Reporting Framework can play an important role in global AI governance
Der Beitrag sieht HAIP als ausbaufähigen freiwilligen Rahmen für vergleichbare KI-Transparenz, dessen Nutzen bislang vor allem als Potenzial beschrieben wird.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- Frontier Mitigations
- AISI Research Agenda | The AI Security Institute
Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →