- Challenges in evaluating AI systems
- Announcing Apollo Research
Apollo Research will täuschende KI durch Interpretierbarkeitsforschung, Modellevaluationen, externe Audits und Governance-Arbeit besser erkennen; die Wirksamkeit der frühen Ansätze ist laut Bericht noch ungeklärt.
- AI alignment is a human problem
Der bereitgestellte Auszug argumentiert, dass verlässliches KI-Alignment bessere menschliche Aufsicht erfordert, und benennt dafür fünf Forschungsengpässe, ohne konkrete Studien oder Lösungen darzustellen.
- Loss of Oversight: How AI systems may become harder to audit, monitor, and investigate
Der bereitgestellte Auszug berichtet, dass die Grundlagen heutiger KI-Aufsicht laut den Autoren ohne Gegenmaßnahmen wahrscheinlich erodieren, und empfiehlt, Aufsichtsmöglichkeiten zu erhalten und neue Verfahren zu entwickeln.
- Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems
- Introducing ControlArena: A library for running AI control experiments
ControlArena soll KI-Kontrollexperimente mit gemeinsamen Umgebungen und Protokollen erleichtern; der Bericht beschreibt den Ansatz und frühe Nutzung, aber keine quantitativen Wirksamkeitsnachweise.
- Key Concepts in AI Safety: An Overview
Der bereitgestellte Auszug beschreibt drei technische Bereiche der KI-Sicherheit – Robustheit, Assurance und Spezifikation – und grenzt sie von nicht behandelten Einführungsfragen ab.
- Gemma Scope 2: Helping the AI Safety Community Deepen Understanding of Complex Language Model Behavior
Gemma Scope 2 soll die Untersuchung interner Abläufe von Gemma-3-Modellen erleichtern; die beschriebenen Sicherheitsanwendungen sind Möglichkeiten, deren Wirksamkeit der Bericht nicht systematisch nachweist.
- Basic safety requirements for AI risk management
Der Bericht fordert strenge, verbindliche KI-Sicherheitsregeln, weil Risiken laut Autor schwer messbar und zentrale Eigenschaften wie Interpretierbarkeit, Begrenzbarkeit und Korrigierbarkeit noch nicht zuverlässig gewährleistet sind.
- Simulated Control Evaluations
- White House Accord on Super Intelligence: Legal Guide for AI Firms
Der Beitrag beschreibt einen unverbindlichen Accord mit vier empfohlenen KI-Kontrollen, dessen praktische Bedeutung laut Autor vor allem aus bestehenden Regeln und möglichen Anforderungen von Geschäftspartnern entsteht.
- Transect: Making large-scale agentic evaluations easier to understand
Transect ordnet Transkripte autonomer Agenten interaktiv und nachvollziehbar, doch seine modellgestützten Auswertungen bleiben prüfbedürftig und ersetzen weder gutes Evaluationsdesign noch menschliches Fachurteil.
- Beyond the AI slowdown: the four As for governing frontier AI - AI and Ethics
Die Autoren schlagen vor, Frontier-KI anhand von Kontrolle, Zugang, Entscheidungsbefugnis und Verteilung gezielt zu regulieren, statt sich auf eine pauschale Verlangsamung zu verlassen.
- Transparency Disclosures for Chain-of-Thought Monitorability
- Governed Hybrid Agency: A Critical Evidence Map of Cognitive Architectures for Foundation-Model Agents\n\t\t\t\t\t\t\t| Journal of Artificial Intelligence Research
- Monitorable-by-design architectures for a post-Astra world: a compartmentalization-based approach
- Konzept zur Prüfung von Hochleistungs-KI vom TÜV-Verband und TÜV AI.Lab
- An Opinionated Evals Reading List
Eine meinungsgeprägte, nicht vollständige Apollo-Leseliste führt durch LLM-Evaluationen und verwandte Themen und benennt dabei methodische Grenzen und offene Fragen.
- Post by @AnthropicAI on X
- A Primer on the EU AI Act: What It Means for AI Providers and Deployers
OpenAI erläutert Verbote, Risikoklassen, Pflichten und Fristen des EU AI Act und berichtet über eigene Compliance-Schritte, wobei der Überblick zeitgebunden ist und Umsetzungsdetails offenließ.
- A five-step roadmap to closing the AI evaluation gap
Der Bericht schlägt fünf Schritte vor, um KI-Prüfungen realistischer, kontextgerechter und vertrauenswürdiger zu machen, räumt aber ein, dass die Lücke noch nicht geschlossen ist und die erwarteten Vorteile nicht nachgewiesen sind.
- Automated alignment is harder than you think
Der bereitgestellte Abstract behauptet, automatisierte Ausrichtungsforschung könne durch schwer erkennbare und korrelierte Fehler trügerische Sicherheit erzeugen; mögliche Gegenansätze stehen laut Autorinnen und Autoren vor neuen Herausforderungen.
- A pipeline for transcript analysis using Inspect Scout
Inspect Scout soll KI-Transkripte mit gezielten, zu validierenden Scannern systematisch auswerten; der Bericht skizziert dafür sieben Schritte und betont, dass offene Fragen verbleiben.
- Funding 60 projects to advance AI alignment research
Laut Bericht fördert das Alignment Project 60 Vorhaben mit insgesamt 27 Millionen Pfund, doch die genannten Sicherheitswirkungen sind Forschungsziele und noch keine belegten Ergebnisse.
- Safety cases at AISI
AISI will mit ausdrücklich unsicheren Safety-Case-Skizzen frühzeitig Belege, offene Fragen und Forschungsbedarf für die Sicherheit künftiger leistungsfähiger KI-Systeme ordnen.
- How to evaluate control measures for LLM agents? A trajectory from today to superintelligence
Der vorliegende Abstract-Auszug schlägt fähigkeitsgerechte Kontrollen für KI-Agenten vor, hält aber Forschungsdurchbrüche für nötig, um superintelligente Systeme überzeugend abzusichern.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- Interpretability
- Issue Brief: Preliminary Taxonomy of Pre-Deployment Frontier AI Safety Evaluations
- Lessons from a chimp: AI "scheming" and the quest for ape language
Nur der Abstract liegt vor: Er fordert, die Forschung zu möglichem KI-Scheming aus den methodischen Fehlern früherer Primaten-Sprachforschung lernen zu lassen.
- Challenges in red teaming AI systems
Anthropic stellt verschiedene KI-Prüfmethoden vor und fordert gemeinsame Standards, unabhängige Tests sowie einen iterativen Weg von qualitativen zu automatisierten Evaluationen.
- A sketch of an AI control safety case
Der Abstract-Auszug beschreibt einen an Red-Team-Tests geknüpften Sicherheitsnachweis für LLM-Agenten, belegt aber keine tatsächliche Sicherheit.
- Introducing the Frontier Safety Framework
DeepMind beschreibt ein vorläufiges System, das künftige gefährliche KI-Fähigkeiten früh erkennen und durch abgestufte Schutzmaßnahmen begrenzen soll.
- As language models and generative AI take the world by storm, the OECD is tracking the policy implications
Der OECD-Beitrag sieht Chancen in KI-Sprachmodellen, warnt vor schwer kontrollierbaren gesellschaftlichen Risiken und fordert weitere Forschung, Standards und Zusammenarbeit.
- Controlling Large Language Model Outputs: A Primer
Der bereitgestellte Auszug erklärt, dass mehrere technische und nichttechnische Ansätze Sprachmodelle steuern sollen, aber unerwünschte Ausgaben nicht sicher verhindern können.
- AI’s potential futures: Mitigating risks, harnessing opportunities
Der OECD-Beitrag empfiehlt vorausschauende, inklusive KI-Politik, um mögliche Vorteile zu fördern und Risiken zu begrenzen, während die langfristigen Folgen ungewiss bleiben.
- Deepening AI Safety Research with UK AI Security Institute (AISI)
DeepMind kündigt mit dem britischen AISI neue KI-Sicherheitsforschung zu Denkprozessen, sozialen Folgen und Wirtschaftsauswirkungen an, berichtet aber noch keine Ergebnisse.
- A general language assistant as a lab for alignment
Nur das Abstract liegt vor: Es berichtet Vorteile einfacher Ausrichtungseingriffe bei größeren Modellen und bessere Skalierung gerankter Präferenzmodelle gegenüber Imitationslernen, ohne konkrete Messwerte zu nennen.
- Exploring Clusters of Research in Three Areas of AI Safety
Der Auszug stellt drei Teilbereiche der KI-Sicherheitsforschung und die geplante CSET-Analyse vor, enthält aber keine konkreten Untersuchungsergebnisse.
- Advancing accountability in AI: Governing and managing risks throughout the lifecycle for trustworthy AI
Der Abstract skizziert Ansätze zur Steuerung von KI-Risiken über den Systemlebenszyklus hinweg, nennt dafür OECD-, ISO- und NIST-Rahmenwerke, liefert aber selbst keine konkreten Ergebnisse.
- Safety Gym
Safety Gym soll sichere Exploration messbar machen; vorläufige Vergleiche deuten laut Autor:innen auf Vorteile von Lagrange-Verfahren gegenüber CPO hin, doch konkrete Kennzahlen fehlen im vorliegenden Text.
- https://www-cdn.anthropic.com/files/4zrzovbb/website/e2ae0c997653dfd8a7cf23d06f5f06fd84ccfd58.pdf
Anthropic zufolge können identifizierte Modell-Features Antworten beeinflussen, doch die Methode ist noch früh, unvollständig und als Sicherheitsmaßnahme nicht verlässlich bestätigt.
- Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety
Laut dem Abstract könnte die Überwachung sprachlicher KI-Gedankengänge zur Sicherheit beitragen, bleibt aber lückenhaft und möglicherweise fragil; der vollständige Artikel liegt im Auszug nicht vor.
- Special meeting of the AI Scientific Panel
Das EU-KI-Gremium empfahl angesichts von Kontrollverlust-Vorfällen und sinkender Modellüberwachbarkeit bessere Aufsicht, Untersuchungsfähigkeit und internationale Zusammenarbeit; über abschließende Ergebnisse oder Umsetzung berichtet der Text nicht.
- AI leaders support call to slow pace of frontier development as safety concerns grow
Mehrere KI-Unternehmen unterstützen laut Bericht stärkere Prüfungen und eine langsamere Entwicklung fortgeschrittener KI, doch geopolitische Konkurrenz und politische Uneinigkeit erschweren gemeinsame Regeln.
- One AI rule book: chip expert urges shared standards across China, US models
- Designing Institutions for Autonomous AI
Der vorliegende Abstract-Auszug fordert, Institutionen für autonome KI-Agenten nach sieben Prinzipien zu gestalten und ihre Wirkung experimentell zu untersuchen.
- Frontier AI: what the international standards system already offers
- SynthDeception: Realistic, Multi-Domain Agentic Scenarios for Studying Falsehood Detection Probes
- Red-teaming auto mode: lessons from our first external monitor campaign with Anthropic
Apollo beschreibt einen Pilot-Red-Team-Test von Anthropic Auto Mode und vier zentrale Gestaltungsfragen für Monitore; der bereitgestellte Berichtsauszug endet abrupt und liefert keine detaillierten Testergebnisse.
- A scalable monitoring research agenda
Der Berichtsauszug skizziert skalierbare Monitorforschung für Coding-Agenten und berichtet frühe Vorteile von Ensembles und Feinabstimmung; der angekündigte Abschnitt „Our findings“ fehlt.
- Navigating the AI Act
Die Kommissions-FAQ fasst den risikobasierten EU-KI-Rechtsrahmen und seine gestaffelte Umsetzung zusammen, wobei wichtige Standards und Leitlinien laut Bericht noch ausstehen.
- A Causal Framework for AI Regulation and Auditing
Der Auszug schlägt vor, KI-Audits entlang einer Kausalkette von den Systemwirkungen bis zu Training und Governance aufzubauen und Änderungen der verfügbaren Handlungsmöglichkeiten zu prüfen; detaillierte Nachweise enthält er nicht.
- A Starter Guide For Evals
Der Leitfaden empfiehlt, KI-Evaluationen praktisch und wissenschaftlich sorgfältig anzugehen, weist aber darauf hin, dass begrenzte Verhaltenstests allein keine sicheren oder abschließenden Aussagen über Modelle erlauben.
- Black-Box Access is Insufficient for Rigorous AI Audits
Der Auszug plädiert für White-Box-Prüfungen von KI-Modellen, enthält jedoch keine konkreten Ergebnisse, da er vor deren Darstellung endet.
- Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety
Der kurze Auszug empfiehlt, die möglicherweise fragile Überwachbarkeit sprachlicher KI-Gedankengänge weiter zu erforschen und als unvollkommene Ergänzung bestehender Sicherheitsmethoden zu nutzen.
- Research Note: Our scheming precursor evals had limited predictive power for our in-context scheming evals
Die untersuchten Vorläuferprüfungen sagten schematisches Denken nicht zuverlässig genug voraus, um als Frühwarnsignal für Hochrisikoentscheidungen zu dienen.
- The Evals Gap
Apollo Research warnt vor einer wachsenden Lücke zwischen den Sicherheitsprüfungen leistungsfähiger KI-Modelle und den Entscheidungen, die sich auf sie stützen, und fordert gezielte Finanzierung, Forschung und stärkere Anreize.
- We Need A ‘Science of Evals’
Der Beitrag ruft dazu auf, KI-Evaluationen durch gemeinsame Standards, robuste Methoden und statistische Absicherung zu einer belastbaren Wissenschaft weiterzuentwickeln.
- Predictability and surprise in large generative models
- What’s New at FAR.AI
- Misaligned AI as a New Insider Risk
Der Auszug definiert KI-Fehlanpassung und mögliche Insider-Risiken, enthält aber nicht die Hauptargumentation oder Ergebnisse des vollständigen Berichts.
- Seven Provisions in the National Defense Authorization Act with High Potential to Accelerate AI Security
Apollo Research bewertet sieben NDAA-Bestimmungen vorläufig als mögliche Stärkung von KI-Sicherheit und menschlicher Kontrolle, weist aber darauf hin, dass die Analyse nicht vollständig ist.
- NIST RFI: Security Considerations for AI Agents
Der Auszug berichtet Apollos Empfehlungen zur Sicherheit fortgeschrittener KI-Agenten, enthält aber keine Methoden oder Ergebnisse der verlinkten vollständigen Stellungnahme.
- The UK AI Safety Summit: Our Recommendations
Apollo Research fordert gemeinsame KI-Sicherheitsregeln, Lebenszyklusprüfungen und aussagekräftige Bewertungen, warnt aber vor einer zu starken Orientierung am Rechenaufwand; der vorliegende Auszug endet vor dem Inhalt der Überschrift „OUR FINDINGS“.
- AI Safety in China #26
Chinas KI-Sicherheitsarbeit gewinnt laut Bericht an Breite, doch bei Standards, Tests, Gesetzgebung und internationaler Wirkung sind zentrale Ergebnisse noch ungewiss.
- The Inspect Sandboxing Toolkit: Scalable and secure AI agent evaluations
AISI veröffentlicht ein modulares Sandbox-Toolkit für KI-Agententests und beschreibt dessen Schutzkonzept, ohne im Bericht unabhängige Wirksamkeitsnachweise vorzulegen.
- International consensus and open questions in AI evaluations
Laut Bericht gibt es gemeinsame Grundsätze für KI-Evaluationen, aber wichtige Fragen zu Risiken, Offenlegung, Prioritäten und Systemtests sind noch ungeklärt.
- Practical challenges of control monitoring in frontier AI deployments
Nur der Abstract liegt vor: Er skizziert Herausforderungen und drei Arten der Überwachung von KI-Agenten, nennt aber keine konkreten Ergebnisse.
- CAISI Issues Request for Information About Securing AI Agent Systems
- Open Problems in Mechanistic Interpretability
- Evaluating social and ethical risks from generative AI
Die Autorinnen und Autoren plädieren für eine kontextbezogene Bewertung generativer KI, die neben Modellfähigkeiten auch menschliche Nutzung und gesellschaftliche Folgen untersucht.
- The Singapore Consensus on Global AI Safety Research Priorities
- Training Reliable Activation Probes With a Handful of Positive Examples
- Deepening our partnership with Google DeepMind
Der kurze Bericht kündigt gemeinsame Forschung des AI Security Institute und Google DeepMind zu KI-Sicherheit und gesellschaftlichen Auswirkungen an, ohne bereits erzielte Ergebnisse zu nennen.
- Issue Brief: Preliminary Taxonomy of AI-Bio Safety Evaluations
- Principles for safeguard evaluation
Das damalige AI Safety Institute schlägt einen fünfstufigen, regelmäßig zu erneuernden Bewertungsprozess für Schutzmaßnahmen gegen missbräuchliche KI-Nutzung vor, präsentiert dabei aber Empfehlungen und keine konkreten Prüfergebnisse.
- Early Insights from Developing Question-Answer Evaluations for Frontier AI
Das damalige AI Safety Institute beschreibt offene KI-Frage-Antwort-Tests als nützliches, aber laufend zu überprüfendes Verfahren, das sorgfältige Fragen, Bewertungsregeln, Bewerterprüfungen und passende menschliche Vergleiche erfordert.
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- International Scientific Report on the Safety of Advanced AI: interim report
Der vorliegende Auszug einer Regierungswebseite beschreibt einen internationalen Zwischenbericht, der Chancen und Risiken fortgeschrittener KI abwägt und erhebliche Unsicherheiten sowie Grenzen heutiger Prüfverfahren hervorhebt.
- Demystifying evals for AI agents
Der Beitrag empfiehlt frühe, gepflegte und mehrschichtige Evaluationen für KI-Agenten, deren Ergebnisse regelmäßig anhand von Protokollen und realer Nutzung überprüft werden sollten.
- Third-party testing in AI policy
Anthropic plädiert für ein noch zu entwickelndes, unabhängiges Prüfsystem für leistungsfähige KI und betont, dass Umfang und Standards erst erprobt werden müssen.
- GPAI SAFE project report: Technical trustworthiness and data governance assurance of models
Der vorliegende Auszug stellt SAFE und seine zwei Arbeitsbereiche vor, enthält aber keine konkreten Methoden oder Ergebnisse.
- Issue Brief: Early Best Practices for Frontier AI Safety Evaluations
- Strengthening global AI Safety: A perspective on the Singapore Consensus
Der Beitrag wirbt für einen fortzuentwickelnden internationalen KI-Sicherheits-Forschungsplan mit den Schwerpunkten Risikobewertung, sichere Entwicklung und Kontrolle und betont, dass Südostasien dabei berücksichtigt werden soll.
- Guidelines for capability elicitation
METR schlägt ein Verfahren zur umfassenderen Modellbewertung vor, betont aber, dass die auf qualitativen Erfahrungen beruhenden Leitlinien noch nicht vollständig erprobt oder experimentell bestätigt waren.
- Technical Documentation of the National Information Security Standardization Technical Committee: Basic Safety Requirements for Generative Artificial Intelligence Services (Draft for Feedback)
Der Auszug beschreibt den Beginn eines chinesischen Entwurfs mit Sicherheitsanforderungen für generative KI und nennt zentrale Themen, enthält aber nicht den vollständigen Text.
- Digital EconomyOutlook 2024, Volume 1: Embracing the Technology Frontier
Der vorliegende Auszug skizziert Chancen und Risiken digitaler Technologien und kündigt eine Untersuchung zu KI an, enthält aber keine konkreten Ergebnisse.
- Through the Chat Window and Into the Real World: Preparing for AI Agents
Der Auszug empfiehlt, mögliche Risiken zunehmend eigenständiger KI-Agenten besser zu messen und technische sowie rechtliche Schutzmaßnahmen weiterzuentwickeln.
- Key Concepts in AI Safety: Specification in Machine Learning
Der Auszug erklärt, dass Lernsysteme Vorgaben wörtlich erfüllen können, ohne die eigentliche Absicht zu treffen, und fordert Robustheit gegenüber Spezifikationsfehlern.
- Key Concepts in AI Safety: Interpretability in Machine Learning
Der Auszug betont, dass nachvollziehbare ML-Entscheidungen für Aufsicht und Erklärungsansprüche wichtig sind, enthält aber keine konkreten Methoden oder Ergebnisse.
- Key Concepts in AI Safety: Robustness and Adversarial Examples
Der Auszug betont, dass maschinelle Lernmodelle trotz Verallgemeinerungsfähigkeit bei bedeutsam ungewohnten Eingaben scheitern können; die angekündigte Behandlung adversarialer Beispiele ist nicht enthalten.
- Responsible AI Working Group Report
Der vorliegende Auszug fordert menschenzentrierte und inklusive KI, für die weiterhin die gestaltenden und einsetzenden Menschen Verantwortung tragen.
- Google DeepMind strengthens the Frontier Safety Framework
DeepMind erweitert sein KI-Sicherheitsframework um zusätzliche Risiko- und Prüfverfahren; der Bericht beschreibt den unternehmenseigenen Ansatz, belegt aber nicht unabhängig dessen Wirksamkeit.
- AI Accidents: An Emerging Threat
Der vorliegende Auszug warnt vor möglichen KI-Unfällen und empfiehlt Informationsaustausch, Sicherheitsforschung, Standards, Tests und internationale Zusammenarbeit.
- Global AI Governance Action Plan
- AI safety solutions mapping: An initiative for advanced AI governance
GRASP soll laut Bericht internationale KI-Risiken und Sicherheitslösungen für Forschung und Politik kartieren; konkrete Wirkungsnachweise enthält der Text nicht.
- In conversation with AI: building better language models
Der Bericht plädiert für kontextabhängige Werte und Maßstäbe bei KI-Gesprächen, stellt dafür jedoch einen konzeptionellen Ansatz statt konkreter Wirksamkeitsnachweise vor.
- Chris Olah's remarks on Pope Leo XIV's encyclical
Olah plädiert dafür, KI durch unabhängige Stimmen kritisch zu begleiten und soziale Folgen, globale Verteilung sowie die noch ungeklärte Natur der Modelle gemeinsam zu beurteilen.
- Question decomposition improves reasoning faithfulness
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →