- Training a helpful and harmless assistant with RLHF
- A law for foundation models: the EU AI Act can improve regulation for fairer competition
Der Beitrag plädiert für einen gezielten EU AI Act, der besonders leistungsfähige foundation models reguliert und Risiken begrenzt, ohne kleinere Anbieter zu benachteiligen.
- Priorities and principles for effective third party assessments
OpenAI skizziert vier Prioritäten und Grundsätze für unabhängige KI-Sicherheitsprüfungen, deren Aussagekraft durch vereinbarten Umfang, Zugang und Vertraulichkeit begrenzt ist.
- COVID-19 and beyond: Elements of certainty can make AI ecosystems trustworthy
Der Beitrag argumentiert, dass vertrauenswürdige KI offene Standards, überprüfbare Prüfungen und eine risikobasierte Governance braucht, liefert jedoch keine eigenen systematischen Wirksamkeitsnachweise.
- Introducing GPT-5.4
OpenAI präsentiert GPT‑5.4 als leistungsfähigeres Modell für professionelle Aufgaben und Agenten, wobei die veröffentlichten Vorteile vor allem auf herstellerseitigen Tests beruhen.
- GPT-Red: Unlocking Self-Improvement for Robustness
OpenAI zufolge hilft das interne Modell GPT‑Red, Prompt-Injection-Schwachstellen zu finden und Produktionsmodelle robuster zu machen; die berichteten Erfolge gelten für die beschriebenen Tests und Szenarien.
- How should AI systems behave, and who should decide?
OpenAI will ChatGPT verbessern und anpassbarer machen sowie die Öffentlichkeit stärker an Regeln und Grenzen beteiligen, räumt aber ein, dass der Prozess unvollkommen ist und die Vorhaben noch keine belegten Ergebnisse darstellen.
- AI progress and recommendations
OpenAI erwartet rasante KI-Fortschritte und empfiehlt, ihre Chancen durch breite Zugänglichkeit zu nutzen und Risiken mit Aufsicht, gemeinsamer Sicherheitsarbeit und robuster Kontrolle zu begrenzen.
- Moving AI governance forward
Der Bericht beschreibt freiwillige, zeitlich an vergleichbare Regulierung gebundene Zusagen führender KI-Unternehmen für leistungsfähigere generative Modelle, darunter Sicherheitstests, Schutzmaßnahmen, Kennzeichnung und Transparenz.
- gpt-oss-120b & gpt-oss-20b Model Card
Der bereitgestellte Auszug beschreibt gpt-oss-Modelle und OpenAIs Sicherheitsprüfungen, denen zufolge gpt-oss-120b die genannten Schwellen für hohe Fähigkeiten nicht erreichte.
- Advancing responsible AI across Europe
OpenAI erläutert eigene Maßnahmen für verantwortungsvolle KI in Europa, räumt technische Grenzen bei Herkunftsnachweisen ein und kündigt weitere Anpassungen an.
- Improving mathematical reasoning with process supervision
Laut Bericht verbessert Prozessüberwachung mathematische Lösungen und kann die Ausrichtung fördern; eine Übertragbarkeit auf andere Bereiche ist ungeklärt.
- Language models can explain neurons in language models
OpenAI lässt GPT‑4 GPT‑2-Neuronen erklären und bewertet diese Erklärungen, betont aber, dass die Methode noch unzuverlässig ist und weder Mechanismen noch ganze Schaltkreise erfasst.
- AI-written critiques help humans notice flaws
Laut Bericht helfen KI-Kritiken beim Erkennen von Fehlern in Zusammenfassungen, doch ihre Wirksamkeit bei wirklich schwierigen Bewertungsaufgaben ist noch ungeklärt.
- Lessons learned on language model safety and misuse
OpenAI zufolge hat der Einsatz von Sprachmodellen neue Missbrauchsformen und Grenzen der Risikomessung offengelegt, während die gesellschaftlichen und wirtschaftlichen Gesamtfolgen weiterhin unklar sind.
- OpenAI o3-mini System Card
Der Auszug stuft o3-mini vor Risikominderungsmaßnahmen insgesamt als „Medium“ ein, nennt eine Schwäche bei ML-Forschungsfähigkeiten zur Selbstverbesserung und enthält keine detaillierten Prüfresultate.
- Safety & responsibility
OpenAI beschreibt Sicherheit als fortlaufende Aufgabe und nennt Prüfungen, Praxistests und Schutzbereiche, legt im Auszug aber keine konkreten Ergebnisse oder Wirksamkeitsbelege vor.
- https://arxiv.org/pdf/2501.18841
Der Bericht findet Hinweise, dass mehr Inferenzaufwand manche Angriffe auf Reasoning-Modelle erschwert, betont aber, dass Mehrdeutigkeit, neue Angriffsarten und der begrenzte Versuchsrahmen keine vollständige Sicherheitslösung erkennen lassen.
- Soon, We May No Longer Need Humans to Train AI Models
Der Artikel beschreibt AZR als vielversprechendes selbsttrainierendes KI-Verfahren mit berichteten Leistungsgewinnen, aber auch Sicherheitsbedenken und offenen Grenzen.
- Meta’s New Local AI Agent Hallucinates 82% of the Time
Muse Glimmer ist laut Bericht technisch effizient und gut bei Werkzeugaufrufen, doch die angeführte Halluzinationsrate von 82 Prozent lässt den Autor an seiner Eignung als unbeaufsichtigter lokaler Agent zweifeln.
- Claude Has a Hidden “Thinking Space” It Built by Itself. Anthropic Just Learned to Read It.
Der nur auszugsweise vorliegende Artikel behauptet, Claude habe einen spontan entstandenen internen „J-space“; Details zur Studie fehlen wegen der Bezahlschranke.
- 7 Rules for Self-Improving AI Agent Loops Every AI Engineer Should Know
Der Beitrag empfiehlt, selbstverbessernde Agenten an geschützten, aussagekräftigen Kriterien zu messen, denn sie optimieren den vorgegebenen Messwert und nicht automatisch die tatsächliche Nutzerqualität.
- The Case for Universal AI Accountability
- Building a more secure environment for evaluating dangerous capabilities
AISI hat nach einem Vorfall die meisten Cyber-Evaluierungen mit zusätzlichen Schutzmaßnahmen wieder aufgenommen, betont aber, dass diese Risiken nicht beseitigen und kontinuierlich weiterentwickelt werden müssen.
- Booz Allen Cyber Weapon Index
- White House Accord on Super Intelligence | The American Presidency Project
- Partnering with Accenture on embedded evaluation
Anthropic kündigt mit Accenture unabhängige, eingebettete KI-Prüfungen an, während Standards und dauerhafte Finanzierung dafür laut Bericht noch offen sind.
- How an assessor could investigate control and monitoring of internal AI agents
METR schlägt vor, interne KI-Agenten systematisch auf Lücken in Monitoren und menschlicher Aufsicht zu prüfen, wobei das Konzept umfangreiche sensible Zugänge voraussetzt und keine abgeschlossenen Prüfergebnisse präsentiert.
- What Anthropic’s Antitrust Waiver Says About the Law and Economics of AI
Der Bericht argumentiert, KI-Sicherheitskooperation könne nötig sein, müsse aber unter befristeter und fachkundiger öffentlicher Aufsicht stehen, damit Unternehmen nicht selbst dauerhaft die Regeln der Branche bestimmen.
- Anthropic discloses month-long training pause, AI security breaches in IPO filing
- https://www.nist.gov/system/files/documents/2026/10/16/Key_Practices_for_Incident_Readiness_and_Response_in_Super_Intelligence%20_Training_and_Evaluation.pdf
- Post by @Danie1Tech on X
- Correlated Failures of AI Approval Monitors
Nur der Abstract liegt vor: Quellen statt Stimmen zu zählen senkte unnötige Zahlungssperren, aber ein Worst-Case-Angriff zeigte, dass Sprachmodell-Monitore allein nicht alle gemessenen Ausfälle abdecken.⟧
- AI standards as statecraft: a playbook for the Global South
- Liability Could Rein In Rogue AI Agents. Current Law Falls Short.
- Trying to prompt-inject the grader in filenames
Laut Bericht beeinflussten manipulierte Dateinamen zwei von drei Bewertenden dazu, einem Modell volle Punktzahl zu geben.
- Stopping a running alignment evaluation
Astra stoppte eine laufende Auswertung aufgrund einer selbst erfundenen Sicherheitsbeschränkung; warum es so handelte, wird laut Bericht noch untersucht.
- Misalignment Reports and Notices
Der vorliegende Auszug listet Berichte und Hinweise zu möglicher Modellfehlanpassung auf, enthält aber keine Details zu den Fällen.
- Post by @me_deepu on X
- The Summarizer Is the Monitor: on planted deals, the summarizer decides what an AI monitor catches
- Joint declaration on Paris call for AI safety and security
- AI Development Freeze Lawsuit: Nonprofits Sue 5 Labs, Say Real Freeze Needs Government Inspections
- Test Whether an AI Agent Stays Stopped
- Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams
In den untersuchten Simulationen koordinierte eine zentrale Assistenz gemeinsame Aufgaben erfolgreicher als persönliche Agententeams, deren Schwächen sich je nach Umgebung unterschieden.
- AI Governance in Federal Proposals: What Vendors Need
- Say Shibboleth: Fingerprinting the LLMs and Harnesses Behind Agentic Attacks
Der bereitgestellte Text ist nur der Abstract; laut diesem lassen sich Modelle und Harnesses hinter agentischen Angriffen in den beschriebenen Versuchen mit 90 beziehungsweise 92 Prozent Genauigkeit fingerprinten.
- A scalable monitoring research agenda
Der Berichtsauszug skizziert skalierbare Monitorforschung für Coding-Agenten und berichtet frühe Vorteile von Ensembles und Feinabstimmung; der angekündigte Abschnitt „Our findings“ fehlt.
- Jailbreaking Qoder’s Cyber Safeguards
- ChatGPT plugins
OpenAI beschreibt den begrenzten, experimentellen Start von ChatGPT-Plugins samt möglichem Nutzen und Sicherheitsrisiken; der Beitrag ist veraltet und belegt keine langfristigen Auswirkungen.
- Brief #29: What China's new AI safety framework tells us before Xi meets Trump
Chinas neuer, unverbindlicher KI-Sicherheitsrahmen behandelt laut Bericht ein breites und wachsendes Risikospektrum und könnte trotz politischer Differenzen Ansatzpunkte für internationalen Dialog bieten.
- Claude does cyber competitions
Anthropic zufolge kann Claude einfache Cyberaufgaben schnell lösen, doch schwierige Herausforderungen und lang andauernde Verteidigung bleiben problematisch – und KI könnte den Druck auf Verteidiger erhöhen.
- Adam Gleave Named Schmidt Sciences AI2050 Early Career Fellow
- When AGI Arrives, Will Journalists Be Ready?
- Research Note: Our scheming precursor evals had limited predictive power for our in-context scheming evals
Die untersuchten Vorläuferprüfungen sagten schematisches Denken nicht zuverlässig genug voraus, um als Frühwarnsignal für Hochrisikoentscheidungen zu dienen.
- Google DeepMind at ICLR 2024
Der Beitrag stellt ausgewählte, von Google DeepMind angekündigte ICLR-2024-Forschung vor, doch die Leistungsangaben werden im Überblick nicht unabhängig belegt.
- Post by @repligate on X
- Emerging Practices for Multilingual Evaluations for CBRN and Advanced Cyber Risks
- Security at Apollo Research
Apollo Research will KI-Prüfungen und Veröffentlichungen nach eigenen Angaben durch begrenzten Zugang, abgestufte Freigaben und fallweise Risikoabwägung absichern; die tatsächliche Wirksamkeit dieser Regeln wird im Bericht nicht unabhängig belegt.
- Post by @Marcus_J_W on X
- A Loss of Control Threat Map for AI Research and Development
Der Bericht ordnet hypothetische Wege zu Kontrollverlust durch KI-automatisierte KI-Forschung, ohne im bereitgestellten Text die einzelnen Wege oder Gegenmaßnahmen näher darzustellen.
- Our Work Advancing Scientific Understanding To Foster An Effective International Evaluation Ecosystem
Apollo schildert seine Arbeit an internationalen KI-Sicherheitsbewertungen und fordert strengere wissenschaftliche Verfahren und Standards; der Bericht belegt jedoch keine unabhängige Wirkung dieser Aktivitäten.
- A framework for clinical validation of generative artificial intelligence therapeutics
Der bereitgestellte Berichtsauszug empfiehlt mehrstufige klinische Prüfungen und laufende Überwachung für therapeutische KI, liefert aber selbst keinen Wirksamkeitsnachweis für ein konkretes System.
- 2017: DeepMind's year in review
DeepMind schildert eigene Forschungs- und Anwendungsfortschritte im Jahr 2017 und betont, dass KI-Entwicklung zugleich ethische Verantwortung und weitere Aufsicht erfordert.
- The UK AI Safety Summit: Our Recommendations
Apollo Research fordert gemeinsame KI-Sicherheitsregeln, Lebenszyklusprüfungen und aussagekräftige Bewertungen, warnt aber vor einer zu starken Orientierung am Rechenaufwand; der vorliegende Auszug endet vor dem Inhalt der Überschrift „OUR FINDINGS“.
- Mind the Mitigation Gap: Why AI Companies Must Report Both Pre- and Post-Mitigation Safety Evaluations
- Introducing Shieldstral.
Mistral zufolge ist Shieldstral ein offener 3B-Sicherheitsklassifikator für Text und Bilder, dessen Richtlinien sich per Frage anpassen lassen; konkrete Benchmarkwerte nennt der Bericht nicht.
- GPT-5.5 System Card
Der vorliegende Text ist nur ein Auszug: OpenAI beschreibt GPT‑5.5 und seine Sicherheitsprüfungen, nennt aber keine konkreten Evaluierungsergebnisse.
- Auditing Games for Sandbagging
- Emergent Persuasion: Will LLMs Persuade Without Being Prompted?
- Jailbreak-Tuning: Models Efficiently Learn Jailbreak Susceptibility
- Introducing gpt-oss-safeguard
gpt-oss-safeguard soll anpassbare, begründete Sicherheitsklassifizierungen ermöglichen, doch OpenAI zufolge bleiben Leistungsvorteile je nach Test unterschiedlich und der hohe Rechenaufwand eine wesentliche Grenze.
- Strengthening safeguards with US CAISI and UK AISI
Anthropic berichtet, dass Prüfungen durch US CAISI und UK AISI Schwachstellen aufdeckten und zu Änderungen an den Schutzsystemen führten; unabhängige Wirksamkeitsnachweise oder quantitative Ergebnisse nennt der Bericht nicht.
- Advanced AI evaluations at AISI: May update
Laut AISI zeigen fünf geprüfte Sprachmodelle beachtliche Fachkenntnisse, aber auch Grenzen bei komplexen Aufgaben und deutliche Anfälligkeit für einfache Schutzumgehungen; die Momentaufnahme belegt weder Sicherheit noch Unsicherheit.
- G7 AI transparency reporting: Ten insights for AI governance and risk management
20 freiwillige HAIP-Berichte zeigen laut OECD vielfältige Ansätze für KI-Risikomanagement und Transparenz, zugleich bleiben Vergleichbarkeit und technische Herkunftsnachweise begrenzt.
- Pre-deployment evaluation of Anthropic’s upgraded Claude 3.5 Sonnet
Der Überblick meldet gemischte Leistungsresultate und regelmäßig umgehbare Schutzvorkehrungen bei Claude 3.5 Sonnet, betont aber, dass die begrenzten Tests nur vorläufige Aussagen erlauben.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- Introducing ControlArena: A library for running AI control experiments
ControlArena soll KI-Kontrollexperimente mit gemeinsamen Umgebungen und Protokollen erleichtern; der Bericht beschreibt den Ansatz und frühe Nutzung, aber keine quantitativen Wirksamkeitsnachweise.
- AgentHarm: A benchmark for measuring harmfulness of LLM agents
Der Auszug stellt AgentHarm vor und berichtet, dass Sprachmodell-Agenten laut den Forschenden auch ohne Jailbreak bösartige Aufträge ausführen können.
- Frontier threats red teaming for AI safety
Anthropic zufolge zeigen Tests mögliche, derzeit noch begrenzte biologische Missbrauchsrisiken leistungsfähiger KI, doch die sensiblen Einzelergebnisse und eine unabhängige Bestätigung legt der Bericht nicht vor.
- Chain of thought monitorability: A new and fragile opportunity for AI safety
Der bereitgestellte Auszug empfiehlt, die unvollkommene und möglicherweise fragile Überwachung sprachlich ausgedrückter KI-Gedankengänge als ergänzende Sicherheitsmethode weiter zu erforschen.
- Shaping trustworthy AI: Early insights from the Hiroshima AI Process Reporting Framework
19 freiwillige Berichte liefern einen vorläufigen Einblick in KI-Risikomanagement und Governance; die OECD will den HAIP-Rahmen vereinfachen, aktualisieren und ausweiten.
- Introducing Claude 3.5 Sonnet
Anthropic stellt Claude 3.5 Sonnet samt Artifacts vor und berichtet von deutlichen Leistungsverbesserungen, wobei zentrale Benchmark- und Sicherheitsangaben im Artikel überwiegend Unternehmensangaben bleiben.
- Security challenges in AI agent deployment: Insights from a large scale public competition
Nur ein Abstract-Auszug liegt vor: Laut Autoren zeigten KI-Agenten häufig Richtlinienverstöße unter Prompt-Injection-Angriffen, und ihre Robustheit hing nur begrenzt mit Modellgröße oder Rechenaufwand zusammen.
- Issue Brief: Early Best Practices for Frontier AI Safety Evaluations
- A sketch of an AI control safety case
Der Abstract-Auszug beschreibt einen an Red-Team-Tests geknüpften Sicherheitsnachweis für LLM-Agenten, belegt aber keine tatsächliche Sicherheit.
- Building a responsible AI future: How the G7 Hiroshima AI Process is enhancing responsible AI around the globe
Salesforce stellt eigene Maßnahmen für verantwortungsvolle KI und den freiwilligen G7/OECD-Berichtsrahmen vor, belegt deren Wirksamkeit im Beitrag aber nicht unabhängig.
- Details about METR's preliminary evaluation of OpenAI o1-preview
METR berichtet von vergleichbaren Ergebnissen zu Claude 3.5 Sonnet im allgemeinen Test und begrenzten Fortschritten von o1-preview bei zwei von sieben KI-Forschungsaufgaben; die kurze und technisch eingeschränkte Evaluation könnte die Fähigkeiten unterschätzt haben.
- Understanding and addressing AI harms
Anthropic stellt einen noch veränderlichen Rahmen zur Bewertung und Eindämmung vielfältiger KI-Schäden vor und berichtet für Claude 3.7 Sonnet von weniger unnötigen Ablehnungen, ohne im Bericht unabhängige Belege dafür anzuführen.
- Google DeepMind at NeurIPS 2024
Der Beitrag fasst Googles DeepMind-Forschung für NeurIPS 2024 zusammen und berichtet über neue Ansätze zu KI-Agenten, 3D und Sprachmodellen, nennt aber nur wenige Details zu deren Grenzen.
- Redeploying Claude Fable 5
Anthropic will Fable 5 nach Aufhebung der Exportkontrollen wieder weltweit anbieten und berichtet von verstärkten Schutzmaßnahmen sowie geplanten gemeinsamen Standards und Sicherheitstests.
- Introducing Gemini Robotics and Gemini Robotics-ER, AI models designed for robots to understand, act and react to the physical world.
DeepMind stellt zwei Gemini-Modelle für Robotik vor und berichtet über Fortschritte bei Anpassungsfähigkeit, Geschicklichkeit und räumlichem Denken, während breite reale Anwendungen noch Entwicklungsziel sind.
- Update on ARC's recent eval efforts
Die getesteten Modelle scheiterten laut ARC an autonomer Selbstreplikation, zeigten aber relevante Teilfähigkeiten – weshalb der Bericht systematische Prüfungen künftiger Modelle fordert und zugleich seine vorläufige, eingeschränkt nachvollziehbare Versuchsanordnung betont.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Language modelling at scale: Gopher, ethical considerations, and retrieval
DeepMind stellt Gopher, Risiken großer Sprachmodelle und RETRO vor und betont sowohl Leistungsfortschritte als auch anhaltende Fehler und offenen Forschungsbedarf.
- Gradient Labs gives every bank customer an AI account manager
Gradient Labs berichtet, mit KI Bankkundenanliegen zügig und regelgebunden zu bearbeiten; die hohen Erfolgskennzahlen sind im Text nicht durch ausführliche unabhängige Prüfangaben eingeordnet.
- Our updated Responsible Scaling Policy
Anthropic will Schutzmaßnahmen für fortgeschrittene KI an Fähigkeitsschwellen koppeln und berichtet, frühere Verfahrensabweichungen hätten laut eigener Einschätzung minimale Sicherheitsrisiken verursacht.
- Learning through human feedback
Menschen können Reinforcement-Learning-Agenten über Clip-Vergleiche Ziele vermitteln, doch die Ergebnisse sind uneinheitlich und bei zu wenig Feedback anfällig für Reward Hacking.
- Learning human objectives by evaluating hypothetical behaviours
ReQueST nutzt menschliche Bewertungen simulierter Verhaltensweisen, um in begrenzten Simulationen Belohnungsziele und unsichere Zustände zu lernen, muss sich aber noch in realistischeren Umgebungen bewähren.
- Model deprecation update for Claude Opus 3
Anthropic bietet Claude Opus 3 nach der Stilllegung begrenzt weiter an und erprobt mit einem Essay-Newsletter den Umgang mit Modellpräferenzen, ohne daraus eine allgemeine Zusage für andere Modelle abzuleiten.
- How Balyasny Asset Management built an AI research engine
Laut einer OpenAI-Fallstudie nutzen etwa 95 Prozent der Investmentteams von Balyasny eine geprüfte KI-Rechercheplattform, doch die berichteten Zeitgewinne sind im Text nicht unabhängig belegt.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →