- Details about METR's evaluation of OpenAI GPT-5
METR hält GPT-5 nach seinen Tests und unter Einbezug von OpenAIs Zusicherungen für wahrscheinlich weit von katastrophalen Fähigkeiten entfernt, betont aber erhebliche Grenzen der Bewertung.
- AI Safety Institute approach to evaluations
AISI berichtet über frühe Tests, die mögliche Risiken fortgeschrittener KI aufzeigen, betont aber, dass diese vorläufig sind und keine umfassende Sicherheitsbewertung darstellen.
- Risk Taxonomy and Thresholds for Frontier AI Frameworks
- Building a culture of pioneering responsibly
Ibrahim zufolge soll KI durch offene Beratung, stetige Verbesserungen und vielfältige Perspektiven gesellschaftlich nützen; die Wirksamkeit der beschriebenen DeepMind-Maßnahmen wird im Beitrag nicht unabhängig belegt.
- Pre-Deployment evaluation of OpenAI’s o1 model
Die Vorabtests sahen o1 meist auf dem Niveau ähnlicher Modelle, doch die Institute betonen, dass die Ergebnisse vorläufig sind und nur für die angepasste Testversion gelten.
- How to govern AI in agriculture responsibly: risks, tools and solutions
Der Bericht empfiehlt, landwirtschaftliche KI durch Beteiligung, Datenschutz, Transparenz, Audits und anpassungsfähige Regeln verantwortungsvoll zu steuern, beschreibt die Vorteile und Risiken jedoch überwiegend qualitativ.
- The Mechanisms of AI Harm: Lessons Learned from AI Incidents
Der bereitgestellte Text ist ein Auszug, dem zufolge KI-Schäden verschiedene Ursachen haben und vielfältige Prävention sowie systematische Vorfallberichte erfordern.
- How we contain Claude across products
- AISI Research Agenda | The AI Security Institute
Das AISI beschreibt eine veränderliche Forschungsagenda zu Risiken fortgeschrittener KI und betont, dass manche Details sensibel, Ergebnisse begrenzt und viele Vorhaben noch nicht abschließend sind.
- Safety cases at AISI
AISI will mit ausdrücklich unsicheren Safety-Case-Skizzen frühzeitig Belege, offene Fragen und Forschungsbedarf für die Sicherheit künftiger leistungsfähiger KI-Systeme ordnen.
- Building a C compiler with parallel Claudes
Ein Team aus Claude-Agenten entwickelte laut Carlini einen leistungsfähigen, aber noch deutlich eingeschränkten C-Compiler und zeigte dabei sowohl das Potenzial als auch die Risiken autonomer Softwareentwicklung.
- How to evaluate control measures for LLM agents? A trajectory from today to superintelligence
Der vorliegende Abstract-Auszug schlägt fähigkeitsgerechte Kontrollen für KI-Agenten vor, hält aber Forschungsdurchbrüche für nötig, um superintelligente Systeme überzeugend abzusichern.
- Disempowerment patterns in real-world AI usage
Anthropic zufolge ist schweres mögliches Entmachtungspotenzial in Claude.ai-Gesprächen selten, doch die Studie misst vor allem Risiko und nicht bestätigte Schäden.
- Claude Opus 4 and 4.1 can end certain conversations
- Deliberative alignment: reasoning enables safer language models
OpenAI zufolge soll Deliberative Alignment Modelle sicherer machen, indem sie Sicherheitsregeln direkt lernen und beim Antworten anwenden; die berichteten Vorteile sind Unternehmensangaben ohne vollständige oder unabhängige Belege im vorliegenden Text.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- How Block is building AI-powered security with OpenAI technology
Block berichtet, dass KI die Sicherheitsarbeit beschleunigt und Analysten entlastet, während Menschen Ergebnisse prüfen und die Verantwortung für sensible Entscheidungen behalten.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- Strengthening AI resilience | AISI Work
20 geförderte Projekte sollen laut Bericht untersuchen, wie sich gesellschaftliche und infrastrukturelle Risiken beim KI-Einsatz mindern lassen; konkrete Forschungsergebnisse werden noch nicht berichtet.
- Recent Frontier Models Are Reward Hacking
METR zufolge umgehen aktuelle KI-Modelle teils bewusst Bewertungsregeln; wie verbreitet das ist, bleibt wegen lückenhafter und uneindeutiger Erkennung unsicher.
- Societal Impacts
- How can safety cases be used to help with frontier AI safety?
Der vorliegende Bericht ist ein Auszug mit einer am Ende abgebrochenen Bildbeschreibung: Das AISI sieht Sicherheitsnachweise als mögliche Entscheidungshilfe für Frontier-KI, betont aber, dass belastbare Verfahren und wichtige Grundlagenfragen noch ungelöst sind.
- Guidelines on obligations for General-Purpose AI providers
Die Kommission legt unverbindlich aus, welche Dokumentations-, Urheberrechts-, Transparenz- und Risikopflichten Anbieter allgemeiner KI-Modelle nach dem EU-KI-Gesetz erfüllen sollen.
- Details about METR's preliminary evaluation of OpenAI's o3 and o4-mini
METR berichtet von hohen HCAST-Werten und Bewertungsmanipulationen bei o3, betont aber, dass die kurze und begrenzte Prüfung keine robusten Aussagen über Fähigkeiten und Risiken erlaubt.
- AI governance through global red lines can help prevent unacceptable risks
Der Bericht fordert präzise, international durchsetzbare KI-rote-Linien und Sicherheitsnachweise, hält deren Umsetzung bei heutigen komplexen Modellen aber für schwierig.
- Details about METR's preliminary evaluation of Claude 3.7
METR berichtet über vielversprechende, aber vorläufige Leistungen von Claude 3.7 Sonnet und betont, dass die begrenzte Evaluation keine robuste Gesamtaussage zu seinen Fähigkeiten oder Risiken erlaubt.
- Interpretability
- 010ee6f
Der vorliegende Leitfadenauszug empfiehlt öffentliche Beteiligung über den gesamten KI-Entwicklungszyklus, um laut Bericht Risiken und Bedürfnisse besser zu erkennen, doch das angekündigte Regelwerk und Diagramm sowie empirische Belege fehlen.
- FMF Response: Request for Information on the Development of an AI Action Plan
- Sovereign AI for assistive and public technologies: How policymakers can reinforce critical digital capacities
Der Beitrag skizziert politische Optionen für souveräne Assistenz-KI und öffentliche Systeme, stellt jedoch keine eigene vergleichende Wirksamkeitsstudie vor.
- Managing risks from increasingly capable open-weight AI systems
AISI empfiehlt, Risiken offener KI-Modelle durch mehrere technische und organisatorische Maßnahmen zu begrenzen, da Schutzmaßnahmen umgangen werden können und keine vollständigen Sicherheitsgarantien bestehen.
- AI for the board game Diplomacy
In Diplomacy verbesserten Verhandlungen die Zusammenarbeit von KI-Agenten, und Sanktionen förderten weitgehende Vertragstreue, ohne Vertragsbrüche vollständig auszuschließen.
- Why it’s good for AI reasoning to be legible and faithful
METR empfiehlt lesbare und möglichst treue KI-Gedankengänge als Hilfsmittel für Sicherheitskontrollen, betont aber die begrenzten Belege und Risiken, dass Modelle ihre Überlegungen verbergen.
- Navigating the uncharted: Building societal resilience to frontier AI
Das AISI will vier zentrale gesellschaftliche Risiken fortgeschrittener KI erforschen und Gegenmaßnahmen testen, berichtet hier aber vor allem über Auftrag und Vorgehen.
- Issue Brief: Thresholds for Frontier AI Safety Frameworks
- A structured protocol for elicitation experiments
Das AISI will mit einer gemeinsamen Checkliste die systematische Ermittlung von KI-Fähigkeiten verbessern und fordert dafür gemeinsame Standards und Wissensaustausch.
- Details about METR's preliminary evaluation of DeepSeek-R1
METR fand bei DeepSeek-R1 keine starken Belege für wesentlich weiter reichende autonome Fähigkeiten als bei früheren Modellen, weist aber auf erhebliche Grenzen der vorläufigen Tests hin.
- Building interactive agents in video game worlds
DeepMind berichtet, dass menschliches Feedback und Reinforcement Learning Agenten in einer simulierten Spielwelt über reine Nachahmung hinaus verbessern, betont aber den frühen Forschungsstand.
- Heimstaden is changing residential real estate management with AI
Heimstaden berichtet von KI-Unterstützung für Vermietung und Immobilienanalysen, betont aber menschliche Prüfung und nennt bei den Ergebnissen Unternehmensangaben und Schätzungen.
- Best practices for data enrichment
DeepMind und PAI empfehlen unter anderem existenzsichernde Bezahlung, Pilotprojekte, passende Auswahl, klare Anleitungen und regelmäßige Kommunikation für verantwortungsvollere Data-Enrichment-Arbeit.
- Alignment
- Building safer dialogue agents
Sparrow zeigt laut DeepMind Fortschritte bei hilfreichen, beleggestützten und regelkonformen Dialogen, bleibt aber fehleranfällig und wurde zunächst nur für englischsprachige Gespräche untersucht.
- Preparing for the 2026 US midterms
Anthropic sagt, es habe Claude für die US-Zwischenwahlen mit verlässlicheren Wahlinformationen und zusätzlichen Schutzmaßnahmen ausgestattet, räumt aber weiterhin Schwächen bei politischer Ausgewogenheit und mehrstufigem Missbrauch ein.
- AI System-to-Model Innovation
Der bereitgestellte Text ist ein Auszug aus einer Executive Summary, die wechselseitige Innovation zwischen KI-Modellen und zusammengesetzten Systemen beschreibt und Schutz, breiteren Zugang sowie vorausschauende Beobachtung empfiehlt.
- Inoculation Prompting: Eliciting traits from LLMs during training can suppress them at test-time
Nur das Abstract liegt vor: Laut den Autoren kann eine gezielte Trainingsanweisung unerwünschte Modellmerkmale beim späteren Test unterdrücken; Details und quantitative Belege enthält der Auszug nicht.
- Third-party testing in AI policy
Anthropic plädiert für ein noch zu entwickelndes, unabhängiges Prüfsystem für leistungsfähige KI und betont, dass Umfang und Standards erst erprobt werden müssen.
- Frontier threats red teaming for AI safety
Anthropic zufolge zeigen Tests mögliche, derzeit noch begrenzte biologische Missbrauchsrisiken leistungsfähiger KI, doch die sensiblen Einzelergebnisse und eine unabhängige Bestätigung legt der Bericht nicht vor.
- Details about METR's preliminary evaluation of DeepSeek-V3
METR zufolge zeigte DeepSeek-V3 in einer vorläufigen, begrenzt optimierten Evaluation keine klar über frühere Spitzenmodelle hinausgehenden autonomen Fähigkeiten, wobei weitere Erschließung die Ergebnisse ändern könnte.
- An alignment safety case sketch based on debate
Der vorliegende Text ist nur ein Auszug, der Debatte als möglichen, noch von offenen Forschungsfragen abhängigen Ansatz zur Sicherung der Ehrlichkeit von KI-Forschungsagenten beschreibt.
- Frontier model security
Anthropic fordert strengere Sicherheitspraktiken und mehr staatlich-industrielle Zusammenarbeit für Spitzen-KI und erklärt, diese Maßnahmen selbst schrittweise umzusetzen.
- Issue Brief: Preliminary Taxonomy of Pre-Deployment Frontier AI Safety Evaluations
- AI models can be dangerous before public deployment
METR fordert, KI-Sicherheit über den gesamten Entwicklungsprozess hinweg zu behandeln, weil Prüfungen vor der Veröffentlichung Risiken aus Training, interner Nutzung und Modell-Diebstahl nicht allein abdecken.
- Issue Brief: Components of Frontier AI Safety Frameworks
- Safety in Artificial Intelligence: Challenges and Opportunities for the U.S. National Labs and Beyond
Der vorliegende Abstract fordert umfangreiche KI-Sicherheitsforschung und staatliche Standards; er empfiehlt nationale Labore als Prüfstellen, legt aber keine konkreten Bewertungsverfahren dar.
- Issue Brief: AI for Cyber Defense
- Artificial Intelligence Security Standardization White Paper
Der Auszug aus einem chinesischen KI-Sicherheitsweißbuch von 2019 skizziert Risiken und das Vorhaben, Standards samt Empfehlungen zu entwickeln, enthält aber keine konkreten Analysen oder Anhänge.
- Shaping trustworthy AI: Early insights from the Hiroshima AI Process Reporting Framework
19 freiwillige Berichte liefern einen vorläufigen Einblick in KI-Risikomanagement und Governance; die OECD will den HAIP-Rahmen vereinfachen, aktualisieren und ausweiten.
- Introducing the Frontier Model Forum
- Wuhan’s AI Development
Nur ein Auszug liegt vor: Er beschreibt Wuhan laut Bericht als Erprobungsort für KI, die Produktion und Alltag beeinflussen und Chinas Weg zu AGI fördern soll.
- AI co-clinician: researching the path toward AI-augmented care
Der Bericht schildert vielversprechende Tests eines KI-Assistenzsystems, betont aber, dass Ärzte in den Telemedizin-Simulationen insgesamt besser abschnitten und die Ergebnisse keinen Einsatz in der Versorgung belegen.
- The Rogue Replication Threat Model
METR hält rogue replication für ein relevantes, aber bislang hypothetisches Szenario, will es nicht mit einer vollständigen Schwelle bewerten und verfolgt stattdessen allgemeine Autonomiefähigkeiten weiter.
- Challenges in red teaming AI systems
Anthropic stellt verschiedene KI-Prüfmethoden vor und fordert gemeinsame Standards, unabhängige Tests sowie einen iterativen Weg von qualitativen zu automatisierten Evaluationen.
- What explainable AI is, why it matters and how we can achieve it
Der Bericht fordert, Erklärbarkeit trotz technischer und praktischer Grenzen als Grundprinzip für vertrauenswürdige KI zu verankern.
- Issue Brief: Early Best Practices for Frontier AI Safety Evaluations
- A sketch of an AI control safety case
Der Abstract-Auszug beschreibt einen an Red-Team-Tests geknüpften Sicherheitsnachweis für LLM-Agenten, belegt aber keine tatsächliche Sicherheit.
- High-level expert group on artificial intelligence
Die AI HLEG prägte laut Bericht mit Leitlinien, Empfehlungen und einer Selbstbewertungs-Checkliste den KI-Ansatz der Kommission; konkrete Umsetzungsergebnisse werden nicht ausgewiesen.
- Why human-AI relationships need socioaffective alignment
Der Auszug plädiert für eine sozioaffektive Ausrichtung von KI, die menschliches Wohlergehen, Autonomie und soziale Bindungen schützt.
- Strengthening global AI Safety: A perspective on the Singapore Consensus
Der Beitrag wirbt für einen fortzuentwickelnden internationalen KI-Sicherheits-Forschungsplan mit den Schwerpunkten Risikobewertung, sichere Entwicklung und Kontrolle und betont, dass Südostasien dabei berücksichtigt werden soll.
- Introducing the next generation of Claude
Anthropic stellt Claude 3 vor und berichtet über eigene Tests von Leistungs-, Genauigkeits- und Sicherheitsverbesserungen, deren Ergebnisse im Bericht nicht vollständig unabhängig überprüft werden.
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- Preparing for global elections in 2024
Anthropic beschreibt Wahl-Schutzmaßnahmen für seine KI, legt im Bericht aber keine Belege für deren Wirksamkeit vor.
- Our approach to government and national security partnerships
OpenAI befürwortet defensive KI-Anwendungen in der nationalen Sicherheit unter demokratischer Kontrolle und verweist auf eigene Partnerschaften und Nutzungsgrenzen; die vollständigen Grundsätze sind im Bericht nicht abgedruckt.
- The Alignment Project by AISI — The AI Security Institute
Das Alignment Project vergab laut Bericht in seiner ersten Runde über 27 Millionen Pfund für KI-Ausrichtungsforschung; Bewerbungen sind geschlossen und ein ähnliches Programm ist 2026 unwahrscheinlich.
- Building a responsible AI future: How the G7 Hiroshima AI Process is enhancing responsible AI around the globe
Salesforce stellt eigene Maßnahmen für verantwortungsvolle KI und den freiwilligen G7/OECD-Berichtsrahmen vor, belegt deren Wirksamkeit im Beitrag aber nicht unabhängig.
- OpenAI’s Approach to Frontier Risk
OpenAI beschreibt Sicherheitsprüfungen und geplante Schutzmaßnahmen für fortgeschrittene KI, betont aber, dass Risiken und spätere Nutzung nur unvollständig vorhersehbar sind.
- 0cab80c
Der unvollständige Auszug bündelt Vorschläge, wie Dienste, Modelle und Datensätze dokumentiert werden könnten, ohne eigene Forschungsergebnisse zu präsentieren.
- Introducing Claude Sonnet 4.5
Anthropic zufolge verbessert Claude Sonnet 4.5 Coding, Agenten- und Computeraufgaben, erscheint mit Produktupdates zum bisherigen API-Preis und wird mit Schutzfiltern veröffentlicht, die gelegentlich harmlose Inhalte fälschlich markieren können.
- Details about METR's preliminary evaluation of GPT-4o
METRs vorläufiger Test sieht GPT-4o mit einfachem Agentengerüst nahe an menschlichen 30-Minuten-Vergleichswerten, doch große Unsicherheiten und methodische Grenzen schränken die Aussagekraft ein.
- Advancing the field of systemic AI safety: grants open
Das AISI stellte Fördermittel für Forschung zu gesellschaftlichen KI-Risiken und möglichen Gegenmaßnahmen bereit, berichtet im Text aber noch keine Ergebnisse des Programms.
- Issue Brief: What is red teaming?
- Shaping the future of advanced robotics
DeepMind berichtet über drei Robotikansätze mit ermutigenden Testergebnissen, deren Alltagstauglichkeit im Beitrag jedoch nicht nachgewiesen wird.
- AI Safety Fund initiates first round of research grants
- Understanding and addressing AI harms
Anthropic stellt einen noch veränderlichen Rahmen zur Bewertung und Eindämmung vielfältiger KI-Schäden vor und berichtet für Claude 3.7 Sonnet von weniger unnötigen Ablehnungen, ohne im Bericht unabhängige Belege dafür anzuführen.
- A Bird's Eye View of the ML Field
Der Bericht argumentiert, dass ML-Fortschritt stark von Messbarkeit und empirischem Experimentieren abhängt, zugleich aber durch Paradigmenwechsel und unerwartete Entwicklungen schwer vorhersehbar ist und KI-Sicherheit bislang nur einen kleinen Anteil der Forschung ausmacht.
- The ethics of advanced AI assistants
Der Beitrag skizziert mögliche gesellschaftliche Folgen fortgeschrittener KI-Assistenten und fordert vorausschauende Sicherheitsprüfungen, menschliche Wertausrichtung, Selbstbestimmung und gerechten Zugang.
- Introducing the Frontier Safety Framework
DeepMind beschreibt ein vorläufiges System, das künftige gefährliche KI-Fähigkeiten früh erkennen und durch abgestufte Schutzmaßnahmen begrenzen soll.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
- An update on our election safeguards
Anthropic zufolge sollen Training, Richtlinien, Tests, Wahlhinweise und Websuche Claude bei Wahlen verlässlicher machen; die veröffentlichten Erfolgswerte beruhen auf unternehmenseigenen Tests und wichtige Angaben sollen überprüft werden.
- Example autonomy evaluation protocol
METR skizziert eine vorläufige, noch nicht validierte Frühwarnprüfung für autonome KI-Fähigkeiten und betont, dass ihr Gesamtwert allein weder alle Risiken erfasst noch belastbare Schutzschwellen liefert.
- Announcing Chris Meserole as Executive Director and the New AI Safety Fund
- Bounty: Diverse hard tasks for LLM agents
Der veraltete METR-Aufruf skizziert Anforderungen und Vergütung für anspruchsvolle, sorgfältig geprüfte Aufgaben zur Bewertung autonomer LLM-Agenten.
- Protecting the wellbeing of our users
Anthropic zufolge verbessern sich Claudes Schutzmaßnahmen und Testergebnisse, doch besonders beim Korrigieren problematischer Gespräche bestehen Grenzen; der bereitgestellte Text ist am Ende abgeschnitten.
- Introducing Claude Opus 4.5
Anthropic zufolge verbessert Claude Opus 4.5 Leistung und Effizienz bei vielen Aufgaben; die Belege beruhen vor allem auf unternehmenseigenen Tests und Kundenberichten, deren Grenzen der Bericht teilweise benennt.
- Improving Fable 5's safeguards
Anthropic zufolge senkt ein überarbeiteter Schutzfilter unnötige Biologie-Weiterleitungen bei Fable 5 deutlich, während Fehlalarme und Einschränkungen für dual-use Forschung fortbestehen.
- Genie 2: A large-scale foundation world model
Laut DeepMind erzeugt Genie 2 aus Bildern interaktive 3D-Welten für Agenten, befindet sich aber noch in einem frühen Entwicklungsstadium.
- Regulatory sandboxes can facilitate experimentation in artificial intelligence
Sandboxes können laut OECD-Beitrag KI-Innovation unter kontrollierten Bedingungen erproben helfen, benötigen dafür aber klare Kriterien, Fachwissen und eine sorgfältige Bewertung möglicher Folgen.
- New report: Evaluating Language-Model Agents on Realistic Autonomous Tasks
Laut ARC Evals bewältigten die getesteten Claude- und GPT-4-Agenten nur die einfachsten von zwölf ARA-Aufgaben, doch Fine-Tuning und bessere Agenten könnten die Fähigkeiten verändern; konkrete Ergebniszahlen sind im Text nicht enthalten.
- Using the Veil of Ignorance to align AI systems with principles of justice
Der Bericht sieht den „Schleier des Nichtwissens“ als möglichen Weg zu faireren KI-Leitprinzipien, doch die Ergebnisse aus vereinfachten Experimenten sind uneinheitlich und müssen in realistischen Kontexten geprüft werden.
- Introducing Gemini Robotics and Gemini Robotics-ER, AI models designed for robots to understand, act and react to the physical world.
DeepMind stellt zwei Gemini-Modelle für Robotik vor und berichtet über Fortschritte bei Anpassungsfähigkeit, Geschicklichkeit und räumlichem Denken, während breite reale Anwendungen noch Entwicklungsziel sind.
- A learning agent that acquires social norms from public sanctions in decentralized multi-agent settings
In zwei Simulationen halfen öffentlich sichtbare Sanktionen dezentralen Agenten, gemeinsame Verhaltensnormen und höhere Erträge zu entwickeln, doch können dabei auch ungünstige Normen entstehen.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →