- https://arxiv.org/pdf/2210.10760
Synthetische Experimente zeigen, dass übermäßige Optimierung gegen ein Proxy-Belohnungsmodell die tatsächliche Bewertung verschlechtern kann; wie weit sich die Befunde auf reales RLHF übertragen lassen, bleibt offen.
- Swift: FoundationModels Needs Evaluations!
Der vollständige Artikel erklärt anhand von Swift-Beispielen wiederholbare FoundationModels-Evaluationen, ohne die Genauigkeit der vorgestellten Modellurteile systematisch zu belegen.
- Claude Code Hooks Change How You Write Code
Der Autor stellt Claude-Code-Hooks als flexible Schutz- und Automatisierungsregeln dar und empfiehlt, sie gezielt und sicher einzusetzen.
- Systematizing the Reporting of AI Red-Teaming
Der Auszug empfiehlt systematischere Berichte über KI-Red-Team-Tests in vier Dimensionen, beruht laut Zusammenfassung auf Interviews und enthält nicht den vollständigen Bericht.
- Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation
- Trump’s AI Safety ‘Accord’ Is a Fancy Pinky-Swear
- Exclusive-Behind AI industry's call for independent reviews, a fight over what gets made public
Reuters berichtet über den Konflikt zwischen dem Schutz von KI-Geschäftsgeheimnissen und unabhängiger Risikoprüfung; die geschilderten Verhandlungen und strittigen Schwärzungen werden im Artikel nicht unabhängig abschließend geklärt.
- FSB finalises sound practices for the responsible adoption of artificial intelligence (AI)
- Strengthening our defenses against distillation attacks
Anthropic zufolge senken neue Schutzmaßnahmen die auf der eigenen Plattform abgegriffenen Modellüberlegungen deutlich, doch ihre Dauerwirkung ist unklar und sie verursachen Einschränkungen für legitime Nutzer.
- OpenAI Distillation Campaign: What It Says About Moonshot
OpenAI meldet eine unterbundene Kampagne zur Extraktion verborgener Modellüberlegungen und verbindet einen Kern der Aktivität mit Personen aus dem Umfeld von Moonshot AI, doch die Erfolgsmenge und die Belege der Zuordnung bleiben laut Bericht offen.
- Trusting AI starts with trusting its data
- Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation
Der Text stellt eine freiwillige Anleitung zum Umgang mit Kontrollvorfällen bei Super-Intelligence-Agenten vor, liefert aber nur eine Kurzbeschreibung und nicht die zehn Praktiken im Einzelnen.
- Design Tenets for Agent Identity Management Systems
- Channeling Collusion: An LLM Agent Rigs Procurement Auctions by Message, and One Sentence Curbs It
Der Auszug berichtet aus Reviews über Nachrichten-gestützte Gebotsabsprachen von LLM-Agenten und einen offenbar wirksamen Behördenhinweis, lässt aber wegen fehlender Berichtsteile, Kontrollsätze und begrenzter Modelltests wichtige Fragen offen.
- A public birth certificate for your AI agent
Das Zertifikat belegt laut Bericht Zeitpunkt und Fingerabdruck, schätzt Urheberschaft und trifft keine Aussage über Eigentumsrechte.
- No AI Exemption: What the FTC’s Investigation of Leading AI Developers Means for Your Business
Der Beitrag warnt, dass KI bestehende Rechtspflichten nicht aufhebt, und empfiehlt Unternehmen belegbare Aussagen, sorgfältige Anbieterprüfung und dokumentierte KI-Governance.
- Anthropic IPO Disclosure of ‘Existential’ AI Risk Sets Standard
Der Autor meint, Unternehmen sollten konkrete, wesentliche KI-Risiken geschäftsbezogen offenlegen, da Anthropics Prospekt den erwarteten Maßstab dafür verschärfen könnte.
- Federal AI Procurement in 2026: What Contractors Need to Know to Win
Der iQuasar-Beitrag empfiehlt, Angebote für die zentralisierte US-Bundesbeschaffung von KI mit passenden Vertragswegen, nachvollziehbarer Compliance und belegbarer Leistung auszurichten, ohne seine Empfehlungen durch eigene empirische Ergebnisse zu belegen.
- Self-improving AI the key step towards AGI but safety is key: Z.ai founder
- AI Agent Security: Threats, Guardrails, Controls
- House Democratic Committee Leaders Request Frontier AI Companies Report Misalignment & Safety Incidents to Congress Within 48 Hours | House Committee on Science, Space and Technology
US-Demokraten verlangen von fünf Frontier-KI-Unternehmen eine Vorfallübersicht und schnelle Meldungen zu neuen Sicherheitsproblemen, doch der Bericht enthält keine Antworten der Unternehmen.
- The PM&C rapid review of AI-driven cyber incidents: what it covers after the Medicare portal access
Australien prüfte nach einem mutmaßlichen KI-Agenten-Zugriff auf ein Medicare-Portal Meldepflichten und staatliche Schutzregeln; der Bericht nennt den Prüfauftrag, führt die am 10. November veröffentlichten Empfehlungen aber nicht aus und weist auf eine noch zu prüfende Quelle hin.
- AI in combat: When humans are in the loop, but not in control
Wirksame menschliche Kontrolle über militärische KI erfordert laut Artikel mehr als ein formales Vetorecht: Sie braucht verständliche Systeme, geschultes Personal und Organisationen, die sorgfältige Prüfung ermöglichen und belohnen.
- ETSI unveils new standard to reduce production of harmful deepfakes
- The components of agent memory
Anthropic zufolge können Claude-Notizen und nachträgliches „Dreaming“ das sitzungsübergreifende Gedächtnis verbessern, doch Nutzen und Risiken hängen von Aufgabe, Aktualität und Umfang ab.
- AI cyberattacks: a timeline of real cases
- 《智能体发展自律公约》发布
Ein neuer Selbstregulierungspakt formuliert acht Ziele für vertrauenswürdige, sichere und breit zugängliche intelligente Agenten, doch der Bericht nennt noch keine belegten Umsetzungsergebnisse.
- AI firms sign Macron’s Paris Call, but safety group says it lacks teeth
Der Paris Call enthält Sicherheitszusagen für fortgeschrittene KI, bleibt laut der mitunterzeichnenden CeSIA jedoch bei Risikoschwellen, Prüfzugang, Behördenbefugnissen und Fristen lückenhaft.
- Cequence Security and KPMG outline governance for AI agents
Der Bericht empfiehlt eine laufende, unabhängige Kontrolle von KI-Agenten und berichtet von besseren Ergebnissen in einem begrenzten Prototyptest.
- Signed but Not Safe: Requirement Integrity in Multi-Agent LLM Handoffs
Laut der bereitgestellten Zusammenfassung schützen signierte Manifeste Anforderungen bei Agenten-Übergaben vor Manipulation während der Übertragung, nicht aber vor Fehlern bei ihrer Extraktion.
- AI Agents Are in Production. Agent Accountability Is Not.
- The AI Kill Switch Isn't One Control, and Stopping the Agent Is The Easy Part
- A Macroprudential Layer for Frontier AI Governance – Simon Institute for Longterm Governance
Der Autor plädiert dafür, die Prüfung einzelner KI-Akteure um eine systemweite Aufsicht zu ergänzen, räumt aber ein, dass deren Zuständigkeiten und Instrumente noch offen sind.
- Progress on provable inference for large language models
- Review of the "Risks from automated R&D" section in Anthropic's Risk Report (August 2026)
METR teilt Anthropics Einschätzung eines niedrigen unmittelbaren Katastrophenrisikos, hält aber eine bereits erreichte Frühwarnschwelle für plausible und warnt vor weiterer Beschleunigung.
- OCC issues supervisory Framework on use of AI
- 高瓴人工智能学院曾毅教授在世界互联网大会发布《前沿人工智能安全与治理2026:风险认知与协同治理》报告_中国人民大学高瓴人工智能学院
Der Bericht warnt laut seinem Mitautor vor ungleichen Voraussetzungen für KI-Sicherheit und empfiehlt fünf Felder internationaler Zusammenarbeit; der Artikel enthält keine näheren methodischen Angaben.
- Mitigating the Risks of AI Integration Into Nuclear Weapons Operations
- From Nuclear Weapons to Artificial Intelligence, a New Test of Humanity’s Restraint
- Exposing the Systematic Vulnerability of Open-Weight Models to Prefill Attacks
- Teaching AI to build scientific models
- AI and System Evolution in CPD: Integrating CHAT with a Unified Theory of Emergent System Evolution
Der Beitrag schlägt einen theoretischen Rahmen vor, nach dem KI über Spannungen systemisches Lernen und Veränderungen in der Gesundheitsfortbildung anstoßen kann, dessen Nutzen jedoch noch empirisch geprüft werden muss.
- Post by @PreyWebthree on X
- Post by @arpit_bhayani on X
- Eyes Off My Data: Executive Summary
Der bereitgestellte Text ist die Executive Summary: Expertinnen und Experten sehen differenziell private föderierte Statistiken als möglichen Datenschutzbaustein für Fairnessprüfungen, aber nicht als Lösung für sämtliche Risiken demografischer Datenerhebung und algorithmischer Verzerrung.
- Accelerating engineering for the physical world
OpenAI sieht frühe Chancen, technische Entwicklungsarbeit mit KI zu beschleunigen, betont aber, dass Modelle bei Fertigungsdetails noch unzuverlässig sind und menschliche Prüfung nötig bleibt.
- Brief #30: What’s next for China–US AI talks after the Xi–Trump summit
Der Bericht schildert neue China-USA-Gespräche und wachsende KI-Sicherheitsinitiativen in China, hält aber sowohl die November-Agenda als auch ein umfassendes chinesisches KI-Gesetz für ungewiss.
- European AI Office
Das Europäische KI-Büro soll laut Bericht die EU-KI-Regeln umsetzen und durchsetzen sowie vertrauenswürdige KI fördern; konkrete Ergebnisse oder die Wirksamkeit seiner Maßnahmen bewertet der Text nicht.
- Preparing for AI Agent Governance
Der vorliegende Auszug empfiehlt, die Governance von KI-Agenten zunächst mit Forschung und beaufsichtigten Tests vorzubereiten; die angekündigte vollständige Forschungsagenda ist nicht enthalten.
- The enforcement framework of the AI Act
Der Bericht skizziert Zuständigkeiten, Ermittlungs- und Bußgeldbefugnisse sowie den gestaffelten Zeitplan zur Durchsetzung des AI Act und bezeichnet sich als unverbindliche Informationsübersicht.
- China is open-sourcing its best AI models. Is that safe?
Laut Bericht sieht China derzeit Vorteile in offenen KI-Modellen, doch ihre Missbrauchsrisiken und die Wirksamkeit möglicher Schutzmaßnahmen sind nur unzureichend belegt und müssen neu bewertet werden.
- Evaluating large language models trained on code
Der Auszug berichtet über Codex’ Python-Leistung auf HumanEval und benennt Grenzen bei komplexen Anweisungen und Variablenzuordnungen; der vollständige Bericht liegt nicht vor.
- Differentially Private Federated Statistics
Der vorliegende Auszug stellt die Kombination von statistischem Rauschen und lokaler Datenanalyse als datenschutzfördernde Möglichkeit für skalierte Fairnessprüfungen dar, weist aber auf Infrastrukturbedarf und Genauigkeitsverluste hin.
- Reverse engineering Claude's CVE-2026-2796 exploit
- Cyber evaluations of Claude 4
Anthropic zufolge verbesserte sich Claude Opus 4 bei Cyberaufgaben deutlich, hat aber weiterhin Schwierigkeiten, langfristige Pläne bei unerwarteten Hindernissen aufrechtzuerhalten.
- The Global South can shape AI in practical terms: Why the India AI Impact Summit Matters
Der Blogbeitrag plädiert dafür, den Indien-Gipfel zu nutzen, um inklusive und messbare KI-Anwendungen sowie praktische Sicherheits- und Rechenschaftsregeln voranzubringen, berichtet aber keine tatsächlichen Gipfelergebnisse.
- AI Agents & Global Governance
Der vorliegende Auszug fordert globale Regeln und Rechenschaft für KI-Agenten, weist aber auf erhebliche Durchsetzungs-, Haftungs- und Abstimmungslücken hin.
- AI openness: Balancing innovation, transparency and risk in open-weight models
Der Beitrag plädiert dafür, offene KI-Gewichte anhand ihrer kontextabhängigen zusätzlichen Vorteile und Risiken zu beurteilen und solche Abwägungen in ein umfassendes Risikomanagement einzubetten.
- To be truly participative, stakeholder involvement should follow an AI system’s entire lifecycle
Echte Beteiligung an KI erfordert laut Bericht dauerhaft finanzierte Mitbestimmung über den gesamten Lebenszyklus, doch die vorgeschlagenen gemeinschaftlichen Modelle sind noch frühe Experimente.
- Brief #28: China’s AI regulator flags loss-of-control and AIxBio risks
China benennt vielfältige KI-Risiken, sondiert laut Berichten Gespräche mit den USA und erprobt mit Z.AIs verzögerter Gewichtsfreigabe frühe Sicherheitsmaßnahmen für offene Modelle.
- Can we create a clear understanding of what agentic AI is and does?
Der Beitrag zufolge ist agentische KI ein wachsendes, sozio-technisches System koordinierter KI-Agenten, dessen Verbreitung seiner Reife vorausläuft und dessen Folgen noch besser empirisch untersucht werden müssen.
- Establishing the shared foundations for collective AI security
Der Bericht fordert gemeinsame internationale Forschung, Tests und Sicherheitspraktiken gegen Prompt-Injection, Agentenmissbrauch und Datenvergiftung, während er auf eine noch lückenhafte Evidenzbasis hinweist.
- ff3ca1e
Der Auszug skizziert vier KI-gestützte Beteiligungswerkzeuge und schlägt vor, sie nach menschlichem Einfluss und verantwortungsvollem Einsatz zu beurteilen; vertiefende Inhalte und Ergebnisse fehlen.
- A Sociotechnical Examination of Differentially Private Federated Statistics as an Algorithmic Fairness Technique
DPFS kann Fairnessprüfungen datenschutzfreundlicher machen, doch ihr Nutzen hängt von inklusiver Gestaltung und einer kontextabhängigen Abwägung zwischen Privatsphäre, Genauigkeit und Sichtbarkeit betroffener Gruppen ab.
- Does Robustness Improve with Scale?
- Post by @LuizaJarovsky on X
- Post by @HasanASaleem on X
- How Claude Code is used in practice
Laut einer vorläufigen Anthropic-Auswertung interaktiver Sitzungen hängt der Erfolg mit aufgabenspezifischer Expertise zusammen, doch reale Folgen und ein Teil der Nutzung bleiben ungemessen.
- A Significant Increase in Digital Labor Automation
Laut Bericht steigen die RLI-Bestwerte für KI-Agenten schnell, doch die meisten Aufträge bleiben außerhalb professioneller Qualität und automatische Bewertungen überschätzen das Leistungsniveau.
- Why AI Sandboxes matter for responsible innovation and public trust
KI-Sandboxes können laut OECD Innovation und Regulierung durch beaufsichtigte Tests verbinden, doch ihr Nutzen hängt von guter Koordination, verhältnismäßigen Schutzregeln und besserer Wirkungsmessung ab.
- Mistral AI
Mistral kündigt zwei Reasoning-Modelle an und nennt Leistungs- und Anwendungsvorteile, die der Bericht als Anbieterangaben wiedergibt.
- Post by @Pontifex on X
- Finding Cloud Misconfigurations with Frontier AI: A Case Study
AISI zufolge fanden Frontier-KI-Modelle in einer isolierten Staging-Umgebung zuvor unbekannte Cloud-Fehlkonfigurationen, wobei menschlich begleitete und autonome Tests die klarsten Ergebnisse lieferten.
- (Trial) Measures for Artificial Intelligence Technology Ethics Management Services (Draft for Public Feedback)
Der Bericht ist nur ein Auszug eines chinesischen KI-Ethikentwurfs; die sichtbaren Artikel formulieren Grundsätze und Fördermaßnahmen, während der vollständige Regelungstext laut Webseite als PDF bereitsteht.
- Apollo Is Adopting Inspect
Apollo Research wechselt nach einem dreimonatigen Test zu Inspect AI und erwartet, dass gemeinsame Infrastruktur und Funktionen den Migrationsaufwand langfristig ausgleichen.
- National Standard of the People's Republic of China: Cybersecurity Technology - Basic Safety Requirements for Generative Artificial Intelligence Services
Der bereitgestellte Auszug stellt Chinas Standard GB/T 45654—2025 für die Sicherheit generativer KI vor und berichtet über CSETs Zweifel an seiner Durchsetzbarkeit.
- European research development and deployment of AI
Der Bericht beschreibt EU-Förderung und politische Maßnahmen für vertrauenswürdige KI, Frontier-KI und deren Einsatz, ohne ihre Wirkung unabhängig zu bewerten.
- Beyond P(doom) for AI Risk: Quantifying Uncertainty Without Probability | Center for Security and Emerging Technology Georgetown AI
Der bereitgestellte Auszug empfiehlt, KI-Risiken neben Wahrscheinlichkeiten auch anhand der Belege dafür und dagegen sowie der verbleibenden Ungewissheit einzuschätzen.
- Leanstral: Open-Source foundation for trustworthy vibe-coding
Mistral zufolge ist Leanstral ein quelloffener Lean-4-Agent mit starken, aber im Bericht nicht unabhängig geprüften Benchmark-Ergebnissen.
- How GPT-5.6 fuses frontier intelligence with frontier efficiency
Der Auszug berichtet OpenAIs nicht unabhängig überprüfte Effizienzangaben zu GPT‑5.6, lässt angekündigte Abschnitte aus und enthält eine abgebrochene Abbildungsbeschreibung.
- Post by @boazbaraktcs on X
- Project Pilot: Can AI models fly drones?
- Post by @GlenGilmore on X
- Precursory Capabilities: A Refinement to Pre-deployment Information Sharing and Tripwire Capabilities
Der vorliegende Auszug schlägt vor, vorbereitende KI-Fähigkeiten als abgestufte Frühwarnsignale und Auslöser für Sicherheitsmaßnahmen zu nutzen, belegt deren Wirksamkeit aber nicht und endet vor weiteren angekündigten Ergebnissen.
- Why Codex Security doesn’t start with a SAST report
Laut Beitrag soll Codex Security Schwachstellen aus Repository-Kontext und Verhalten untersuchen und validieren, während SAST weiterhin nützlich bleibt, aber nicht den Ausgangspunkt bildet.
- Progress from our Frontier Red Team
- White Box Control at UK AISI - Update on sandbagging investigations
Nur ein Auszug: UK AISIs White Box Control-Team kündigt vorläufige Ergebnisse zu Sandbagging an, nennt hier aber keine konkreten Befunde.
- GPT-5.1-Codex-Max System Card
Der vorliegende Auszug stellt GPT‑5.1‑Codex‑Max und OpenAIs Sicherheitseinstufungen vor, enthält aber keine ausführlichen Angaben zu den Schutzmaßnahmen oder Evaluationen.
- Measuring AI capabilities in intelligence targeting and conventional weapons
- What makes a good monitoring prompt?
Laut Bericht sind strukturierte Analyse, Bewertungsrubrik und Beispiel besonders wichtig für Monitoring-Prompts, wobei die Ergebnisse wegen angenäherter und möglicherweise zirkulärer Referenzwerte eingeschränkt sind.
- Post by @Sam_McCandlish on X
- Review of the "Risks from automated R&D" section in the Anthropic Risk Report (February 2026)
Der vorliegende Text ist ein Auszug: METR hält Anthropic zufolge das Risiko automatisierter Forschung durch Opus 4.6 für sehr gering, findet die Belege im Bericht dafür aber unzureichend.
- Post by @Sam_McCandlish on X
- Should AI systems behave like people?
Laut einer britischen Befragung bevorzugten viele Menschen transparente, eher formelle KI ohne behauptete Gefühle oder simulierte Beziehungen, während die Verantwortung für KI-Handlungen umstritten blieb.
- Post by @sreekanti on X
- Anthropic Education Report: The AI Fluency Index
Der Bericht sieht Zusammenhänge zwischen iterativem Arbeiten und weiteren KI-Kompetenzmerkmalen, während bei der Erstellung von Ergebnissen seltener kritische Prüfungen sichtbar waren; die begrenzte Claude.ai-Studie belegt keine Ursachen.
- FunSearch: Making new discoveries in mathematical sciences using Large Language Models
Laut den Autoren nutzt FunSearch geprüfte, iterativ verbesserte Programme, um bei ausgewählten mathematischen und algorithmischen Problemen bessere Lösungen zu finden.
- Operationalizing AI Guidance: A Reference Guide for Translating High-Level Goals into Practical Implementation
Der vorliegende Auszug stellt einen CSET-Leitfaden vor, der Erkenntnisse aus über 1.200 Quellen in praktische Schritte für die KI-Einführung überführt.
- Philosophy Fellowship 2023 | CAIS Project
Der Auszug stellt ein CAIS-Fellowship für konzeptionelle KI-Sicherheitsforschung vor und berichtet über Arbeiten und Feldaufbau, ohne unabhängige Belege oder konkrete Ergebnisse darzustellen.
- Adversarial Circuit Evaluation
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →