- Announcing Inspect Evals | AISI Work
Der Bericht kündigt Inspect Evals als gemeinschaftliche, quelloffene Benchmark-Sammlung für Sprachmodelle an, deren Nutzen und Qualität hier nicht unabhängig belegt werden.
- International joint testing exercise: Agentic testing
Eine internationale Testübung entwickelte vorläufige Empfehlungen zur Bewertung von KI-Agenten, doch kleine Stichproben, abweichende Modellurteile und technische Fehler begrenzen die Aussagekraft.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- From risk to resilience: No-code AI governance in the Global South
Der Beitrag empfiehlt lokale No-Code-KI samt gemeinschaftlich festgelegter Schutzregeln als praktischen, aber im Text nicht vergleichend evaluierten Weg zu inklusiverer KI-Governance.
- Technical Documentation of National Technical Committee 260 on Cybersecurity of Standardization Administration of China: Basic Safety Requirements for Generative Artificial Intelligence Services
Der bereitgestellte Bericht ist nur ein Auszug: Laut CSET setzt die chinesische Dokumentation grundlegende Sicherheitsanforderungen für generative KI-Dienste, doch die konkreten Regeln sind hier nicht enthalten.
- Frontier AI Biosafety Thresholds
- Infrastructure noise in agentic coding evals
- Eval awareness in Opus 4.6 on BrowseComp
- Building a culture of pioneering responsibly
Ibrahim zufolge soll KI durch offene Beratung, stetige Verbesserungen und vielfältige Perspektiven gesellschaftlich nützen; die Wirksamkeit der beschriebenen DeepMind-Maßnahmen wird im Beitrag nicht unabhängig belegt.
- Reducing bias and improving safety in DALL·E 2
OpenAI berichtet von einer DALL·E-2-Anpassung für vielfältigere Personenbilder und zusätzlichen Schutzmaßnahmen; die behauptete Verbesserung beruht auf einer intern ausgewerteten, im Bericht nicht näher beschriebenen Befragung.
- How to govern AI in agriculture responsibly: risks, tools and solutions
Der Bericht empfiehlt, landwirtschaftliche KI durch Beteiligung, Datenschutz, Transparenz, Audits und anpassungsfähige Regeln verantwortungsvoll zu steuern, beschreibt die Vorteile und Risiken jedoch überwiegend qualitativ.
- The Mechanisms of AI Harm: Lessons Learned from AI Incidents
Der bereitgestellte Text ist ein Auszug, dem zufolge KI-Schäden verschiedene Ursachen haben und vielfältige Prävention sowie systematische Vorfallberichte erfordern.
- How we contain Claude across products
- Demystifying evals for AI agents
Der Beitrag empfiehlt frühe, gepflegte und mehrschichtige Evaluationen für KI-Agenten, deren Ergebnisse regelmäßig anhand von Protokollen und realer Nutzung überprüft werden sollten.
- Building a C compiler with parallel Claudes
Ein Team aus Claude-Agenten entwickelte laut Carlini einen leistungsfähigen, aber noch deutlich eingeschränkten C-Compiler und zeigte dabei sowohl das Potenzial als auch die Risiken autonomer Softwareentwicklung.
- New Zealand created its AI Strategy and Guidance products to incorporate OECD values in a distinct manner
Neuseelands neue KI-Strategie und Leitlinien sollen KI-Innovation mit OECD-Prinzipien, verantwortlicher Unternehmenspraxis und dem Schutz von Māori-Daten verbinden; konkrete Wirkungsnachweise nennt der Bericht nicht.
- Details about METR's preliminary evaluation of DeepSeek and Qwen models
METR sieht DeepSeek-Modelle aus Mitte 2025 vorläufig auf dem Niveau führender Modelle von Ende 2024, betont aber deutliche Grenzen des Testaufbaus.
- How to evaluate control measures for LLM agents? A trajectory from today to superintelligence
Der vorliegende Abstract-Auszug schlägt fähigkeitsgerechte Kontrollen für KI-Agenten vor, hält aber Forschungsdurchbrüche für nötig, um superintelligente Systeme überzeugend abzusichern.
- Disempowerment patterns in real-world AI usage
Anthropic zufolge ist schweres mögliches Entmachtungspotenzial in Claude.ai-Gesprächen selten, doch die Studie misst vor allem Risiko und nicht bestätigte Schäden.
- Claude Opus 4 and 4.1 can end certain conversations
- Deliberative alignment: reasoning enables safer language models
OpenAI zufolge soll Deliberative Alignment Modelle sicherer machen, indem sie Sicherheitsregeln direkt lernen und beim Antworten anwenden; die berichteten Vorteile sind Unternehmensangaben ohne vollständige oder unabhängige Belege im vorliegenden Text.
- Skewed Score: A statistical framework to assess autograders
Der Abstract schlägt bayesianische Modelle zur Analyse von Zuverlässigkeit und möglichen Verzerrungen bei LLM-Autogradern vor; konkrete Ergebnisse enthält der Auszug nicht.
- Strengthening AI resilience | AISI Work
20 geförderte Projekte sollen laut Bericht untersuchen, wie sich gesellschaftliche und infrastrukturelle Risiken beim KI-Einsatz mindern lassen; konkrete Forschungsergebnisse werden noch nicht berichtet.
- From bugs to bypasses: adapting vulnerability disclosure for AI safeguards
Der Auszug sieht mögliche Vorteile öffentlicher Schwachstellenprogramme für KI, betont aber, dass sie gründliche Sicherheitsarbeit nicht ersetzen und allein keine Sicherheit belegen.
- Developing reliable AI tools for healthcare
CoDoC soll KI und klinische Einschätzung bei medizinischen Bildern passend kombinieren; die berichteten Vorteile stammen aus theoretischen Auswertungen historischer, de-identifizierter Daten, nicht aus dem klinischen Alltag.
- Exploring institutions for global AI governance
Ein Whitepaper skizziert vier mögliche Institutionen für globale KI-Governance, betont aber, dass ihre Umsetzung mit erheblichen offenen Fragen verbunden ist.
- How can safety cases be used to help with frontier AI safety?
Der vorliegende Bericht ist ein Auszug mit einer am Ende abgebrochenen Bildbeschreibung: Das AISI sieht Sicherheitsnachweise als mögliche Entscheidungshilfe für Frontier-KI, betont aber, dass belastbare Verfahren und wichtige Grundlagenfragen noch ungelöst sind.
- OpenAI Board Forms Safety and Security Committee
OpenAI setzt laut Bericht einen Ausschuss zur Prüfung seiner Sicherheitsmaßnahmen ein, doch Ergebnisse und Empfehlungen liegen darin noch nicht vor.
- How we’re working with frontier AI developers to improve model security
Das AISI berichtet über Kooperationen zur Verbesserung der KI-Sicherheit und bewertet sie als nützlich, legt im Beitrag jedoch keine konkreten Befunde oder messbaren Ergebnisse vor.
- FMF Announces First-Of-Its-Kind Information-Sharing Agreement
- How will AI enable the crimes of the future?
Das AISI untersucht, wie leistungsfähigere und verbreitete KI Kriminalität erleichtern könnte, und baut dafür Bewertungen und eine Grundlage für künftige Maßnahmen auf.
- Details about METR's preliminary evaluation of Claude 3.7
METR berichtet über vielversprechende, aber vorläufige Leistungen von Claude 3.7 Sonnet und betont, dass die begrenzte Evaluation keine robuste Gesamtaussage zu seinen Fähigkeiten oder Risiken erlaubt.
- 010ee6f
Der vorliegende Leitfadenauszug empfiehlt öffentliche Beteiligung über den gesamten KI-Entwicklungszyklus, um laut Bericht Risiken und Bedürfnisse besser zu erkennen, doch das angekündigte Regelwerk und Diagramm sowie empirische Belege fehlen.
- Disrupting malicious uses of AI by state-affiliated threat actors
OpenAI berichtet von der Sperrung von Konten fünf staatlich zugeordneter Akteure und setzt nach eigenen Angaben auf Überwachung, Zusammenarbeit und verbesserte Schutzmaßnahmen, kann Missbrauch aber nicht vollständig verhindern.
- Long-Form Tasks | AISI Work
AISI erprobt ausführliche, rubrikbasierte Aufgaben zur Bewertung wissenschaftlicher Sprachmodell-Assistenz, sieht aber deutliche Grenzen bei automatischer Bewertung und der Übertragbarkeit auf praktische Laborarbeit.
- Sovereign AI for assistive and public technologies: How policymakers can reinforce critical digital capacities
Der Beitrag skizziert politische Optionen für souveräne Assistenz-KI und öffentliche Systeme, stellt jedoch keine eigene vergleichende Wirksamkeitsstudie vor.
- Navigating the uncharted: Building societal resilience to frontier AI
Das AISI will vier zentrale gesellschaftliche Risiken fortgeschrittener KI erforschen und Gegenmaßnahmen testen, berichtet hier aber vor allem über Auftrag und Vorgehen.
- Issue Brief: Thresholds for Frontier AI Safety Frameworks
- The HAIP Reporting Framework: Feedback on a quiet revolution in AI transparency
Frühe qualitative Rückmeldungen sehen HAIP als nützlichen, aber noch erklärungsbedürftigen Transparenzrahmen, dessen Weiterentwicklung Flexibilität, Vergleichbarkeit und kontextbezogene Bewertung ausbalancieren sollte.
- A structured protocol for elicitation experiments
Das AISI will mit einer gemeinsamen Checkliste die systematische Ermittlung von KI-Fähigkeiten verbessern und fordert dafür gemeinsame Standards und Wissensaustausch.
- Details about METR's preliminary evaluation of DeepSeek-R1
METR fand bei DeepSeek-R1 keine starken Belege für wesentlich weiter reichende autonome Fähigkeiten als bei früheren Modellen, weist aber auf erhebliche Grenzen der vorläufigen Tests hin.
- Building interactive agents in video game worlds
DeepMind berichtet, dass menschliches Feedback und Reinforcement Learning Agenten in einer simulierten Spielwelt über reine Nachahmung hinaus verbessern, betont aber den frühen Forschungsstand.
- Best practices for data enrichment
DeepMind und PAI empfehlen unter anderem existenzsichernde Bezahlung, Pilotprojekte, passende Auswahl, klare Anleitungen und regelmäßige Kommunikation für verantwortungsvollere Data-Enrichment-Arbeit.
- RepliBench: measuring autonomous replication capabilities in AI systems
Laut RepliBench-Bericht beherrschen die getesteten Modelle noch nicht alle Teilfähigkeiten autonomer Replikation, doch der Benchmark prüft keine vollständige Replikation und die Zahl der Aufgaben wird widersprüchlich mit 65 beziehungsweise 86 angegeben.
- Alignment
- Transcript analysis for AI agent evaluations
Laut AISI ergänzen systematisch ausgewertete Agentenprotokolle Erfolgsquoten, indem sie Fehlermuster und mögliche Schwächen der Prüfung sichtbar machen.
- Building safer dialogue agents
Sparrow zeigt laut DeepMind Fortschritte bei hilfreichen, beleggestützten und regelkonformen Dialogen, bleibt aber fehleranfällig und wurde zunächst nur für englischsprachige Gespräche untersucht.
- Preparing for the 2026 US midterms
Anthropic sagt, es habe Claude für die US-Zwischenwahlen mit verlässlicheren Wahlinformationen und zusätzlichen Schutzmaßnahmen ausgestattet, räumt aber weiterhin Schwächen bei politischer Ausgewogenheit und mehrstufigem Missbrauch ein.
- Existing Large Language Model unlearning evaluations are inconclusive
Der bereitgestellte Abstract behauptet, gängige Tests könnten den Erfolg von Machine Unlearning irreführend bewerten, und empfiehlt weniger Informationszufuhr sowie aufgabenbewusste Prüfungen.
- RepliBench: Evaluating the autonomous replication capabilities of language model agents
Der vorliegende Abstract berichtet, dass getestete Sprachmodell-Agenten noch keine glaubwürdige Gefahr autonomer Selbstreplikation darstellen, ihre Teilfähigkeiten aber rasch wachsen.
- Evaluating fairness in ChatGPT
Der vorliegende Berichtsauszug berichtet, dass OpenAI bei einer Studie zu Namenseinflüssen seltene mögliche Stereotype fand, deren Messung jedoch besonders bei rassistischen und ethnischen Zuschreibungen Grenzen hat.
- Challenges in Detoxifying Language Models
Entgiftungsmaßnahmen senken toxische Ausgaben, können automatische Bewertungen irreführend machen und Modellleistung sowie Abdeckung marginalisierter Gruppen ungleich beeinträchtigen.
- AI System-to-Model Innovation
Der bereitgestellte Text ist ein Auszug aus einer Executive Summary, die wechselseitige Innovation zwischen KI-Modellen und zusammengesetzten Systemen beschreibt und Schutz, breiteren Zugang sowie vorausschauende Beobachtung empfiehlt.
- Signing the General-Purpose AI code of practice
Laut EU-FAQ können Anbieter den Kodex als Compliance-Nachweis nutzen, während Nichtteilnehmende ihre Pflichterfüllung anderweitig erklären müssen; Unterzeichnung ist jederzeit möglich und die Signatur widerrufbar.
- Frontier threats red teaming for AI safety
Anthropic zufolge zeigen Tests mögliche, derzeit noch begrenzte biologische Missbrauchsrisiken leistungsfähiger KI, doch die sensiblen Einzelergebnisse und eine unabhängige Bestätigung legt der Bericht nicht vor.
- Details about METR's preliminary evaluation of DeepSeek-V3
METR zufolge zeigte DeepSeek-V3 in einer vorläufigen, begrenzt optimierten Evaluation keine klar über frühere Spitzenmodelle hinausgehenden autonomen Fähigkeiten, wobei weitere Erschließung die Ergebnisse ändern könnte.
- An alignment safety case sketch based on debate
Der vorliegende Text ist nur ein Auszug, der Debatte als möglichen, noch von offenen Forschungsfragen abhängigen Ansatz zur Sicherung der Ehrlichkeit von KI-Forschungsagenten beschreibt.
- Issue Brief: Preliminary Taxonomy of Pre-Deployment Frontier AI Safety Evaluations
- An update on our preliminary evaluations of Claude 3.5 Sonnet and o1
METR fand bei Claude 3.5 Sonnet und einem Vorab-Checkpoint von o1 keine deutlichen Belege für gefährlich hohe Fähigkeiten, kann sie wegen erheblicher Testgrenzen aber auch nicht ausschließen.
- A blueprint for democratic governance of frontier AI
Der Auszug fasst OpenAIs Vorschlag für einen dauerhaften US-Rahmen zur KI-Sicherheit knapp zusammen; der verlinkte vollständige Entwurf liegt nicht vor.
- Chain of thought monitorability: A new and fragile opportunity for AI safety
Der bereitgestellte Auszug empfiehlt, die unvollkommene und möglicherweise fragile Überwachung sprachlich ausgedrückter KI-Gedankengänge als ergänzende Sicherheitsmethode weiter zu erforschen.
- Issue Brief: AI for Cyber Defense
- Artificial Intelligence Security Standardization White Paper
Der Auszug aus einem chinesischen KI-Sicherheitsweißbuch von 2019 skizziert Risiken und das Vorhaben, Standards samt Empfehlungen zu entwickeln, enthält aber keine konkreten Analysen oder Anhänge.
- Claude 3.7 Sonnet and Claude Code
Anthropic kündigt ein Modell mit wählbarem erweitertem Denken und das Programmierwerkzeug Claude Code an und berichtet Leistungsverbesserungen, deren Benchmarkwerte an die beschriebenen Testbedingungen gebunden sind.
- New policy ideas for the Intelligence Age
OpenAI fördert 14 geplante Forschungs- und Praxisprojekte zu Chancen und Risiken des KI-Wandels; Ergebnisse werden für 2027 angekündigt.
- Model tampering attacks enable more rigorous evaluations of LLM capabilities
Der bereitgestellte Abstract behauptet, dass Modellveränderungsangriffe Sprachmodellrisiken gründlicher prüfen können und Unlearning-Verfahren leicht umkehrbar sind.
- Advancing human-centric AI: Highlights from the 2025 GPAI-Associated Innovation Workshop in Tokyo
Ein GPAI-Workshop in Tokio entwickelte Vorschläge für inklusivere und besser abgestimmte KI-Governance, deren Umsetzung laut Bericht noch aussteht.
- AI co-clinician: researching the path toward AI-augmented care
Der Bericht schildert vielversprechende Tests eines KI-Assistenzsystems, betont aber, dass Ärzte in den Telemedizin-Simulationen insgesamt besser abschnitten und die Ergebnisse keinen Einsatz in der Versorgung belegen.
- Principles for evaluating misuse safeguards of frontier AI systems
Nur der Abstract liegt vor: Die Verfasser schlagen fünf Prinzipien und eine Vorlage zur strengeren Bewertung von Missbrauchsschutz für Frontier-KI vor, doch Details und Wirksamkeitsbelege fehlen.
- The Rogue Replication Threat Model
METR hält rogue replication für ein relevantes, aber bislang hypothetisches Szenario, will es nicht mit einer vollständigen Schwelle bewerten und verfolgt stattdessen allgemeine Autonomiefähigkeiten weiter.
- What explainable AI is, why it matters and how we can achieve it
Der Bericht fordert, Erklärbarkeit trotz technischer und praktischer Grenzen als Grundprinzip für vertrauenswürdige KI zu verankern.
- Co-Scientist: A multi-agent AI partner to accelerate research
Laut DeepMind unterstützt Co-Scientist Forschende bei Hypothesen und zeigte in ausgewählten Laborprojekten Nutzen, bleibt aber ein Hilfsmittel unter fachlicher Verantwortung.
- Introducing the next generation of Claude
Anthropic stellt Claude 3 vor und berichtet über eigene Tests von Leistungs-, Genauigkeits- und Sicherheitsverbesserungen, deren Ergebnisse im Bericht nicht vollständig unabhängig überprüft werden.
- Safety case template for frontier AI: A cyber inability argument
Nur das Abstract liegt vor: Die Autoren schlagen eine beleggestützte CAE-Vorlage zur Bewertung offensiver Cyberfähigkeiten von KI vor, berichten aber keine konkreten Modellergebnisse.
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- Issue Brief: Measuring Training Compute
- Details about METR's preliminary evaluation of GPT-4o
METRs vorläufiger Test sieht GPT-4o mit einfachem Agentengerüst nahe an menschlichen 30-Minuten-Vergleichswerten, doch große Unsicherheiten und methodische Grenzen schränken die Aussagekraft ein.
- Advancing the field of systemic AI safety: grants open
Das AISI stellte Fördermittel für Forschung zu gesellschaftlichen KI-Risiken und möglichen Gegenmaßnahmen bereit, berichtet im Text aber noch keine Ergebnisse des Programms.
- Issue Brief: What is red teaming?
- Shaping the future of advanced robotics
DeepMind berichtet über drei Robotikansätze mit ermutigenden Testergebnissen, deren Alltagstauglichkeit im Beitrag jedoch nicht nachgewiesen wird.
- AI Safety Fund initiates first round of research grants
- Detecting and countering malicious uses of Claude
Anthropic berichtet über vier Arten missbräuchlicher Claude-Nutzung und erklärt, die Konten gesperrt zu haben; für mehrere Vorhaben sei kein erfolgreicher Einsatz bestätigt.
- An update on our general capability evaluations
METRs vorläufige Messreihe deutet auf breite, aber ungleichmäßige Fähigkeiten getesteter KI-Agenten und niedrige Kosten bei lösbaren Aufgaben hin; die begrenzten Vergleichsdaten und einfachen Testverfahren lassen noch keine abschließenden Schlüsse zu.
- Understanding and addressing AI harms
Anthropic stellt einen noch veränderlichen Rahmen zur Bewertung und Eindämmung vielfältiger KI-Schäden vor und berichtet für Claude 3.7 Sonnet von weniger unnötigen Ablehnungen, ohne im Bericht unabhängige Belege dafür anzuführen.
- A Bird's Eye View of the ML Field
Der Bericht argumentiert, dass ML-Fortschritt stark von Messbarkeit und empirischem Experimentieren abhängt, zugleich aber durch Paradigmenwechsel und unerwartete Entwicklungen schwer vorhersehbar ist und KI-Sicherheit bislang nur einen kleinen Anteil der Forschung ausmacht.
- Helping developers build safer AI experiences for teens
OpenAI veröffentlicht anpassbare, quelloffene Prompt-Richtlinien für den Jugendschutz in KI-Anwendungen und betont, dass sie nur ein Ausgangspunkt ohne Sicherheitsgarantie sind.
- Frontier AI Taskforce: second progress report
Die Taskforce meldet Fortschritte beim Aufbau britischer KI-Sicherheitsforschung und warnt vor möglichen Risiken leistungsfähigerer Modelle, während viele der beschriebenen Maßnahmen noch geplant oder im Aufbau sind.
- FMF Joins USAISI Consortium as a Founding Member
- AI Safety Institute: third progress report
Das britische AI Safety Institute baut sein Team und internationale Zusammenarbeit aus und hat KI-Sicherheitstests begonnen, berichtet aber noch keine Testergebnisse.
- The ethics of advanced AI assistants
Der Beitrag skizziert mögliche gesellschaftliche Folgen fortgeschrittener KI-Assistenten und fordert vorausschauende Sicherheitsprüfungen, menschliche Wertausrichtung, Selbstbestimmung und gerechten Zugang.
- Sharing trustworthy AI models with privacy-enhancing technologies
Der bereitgestellte Text ist nur ein kurzer Auszug: Er beschreibt mögliche Vorteile von PETs für vertrauensvolle KI-Kooperation, weist auf ungelöste Abwägungen hin und nennt politische Fördermaßnahmen, ohne Methodik oder konkrete Wirkungsdaten darzulegen.
- Why I joined AISI by Geoffrey Irving
Irving begründet seinen Wechsel zum AISI mit dem langsamen Fortschritt der KI-Sicherheitsforschung und dem Bedarf an technischer Arbeit für politische Entscheidungen.
- Opinions on Strengthening the Governance of Science and Technology Ethics
Der Auszug skizziert Chinas geplante Governance für Wissenschaftsethik, doch konkrete Prüfregeln sind im bereitgestellten Text nicht enthalten.
- (Trial) Measures for Science and Technology Ethics Reviews
Nur ein Auszug liegt vor: Er skizziert Zweck, Anwendungsbereich und Grundsätze chinesischer Ethikprüfungen; die vollständigen Verfahren und übrigen Regelungen stehen laut Seite im PDF.
- (Trial) Measures for Science and Technology Ethics Reviews (Draft for Feedback)
Der Bericht ist nur ein Auszug eines Entwurfs von 2023, der ethische Prüfungen für risikobehaftete Forschung vorsieht; Einzelheiten des vollständigen Verfahrens fehlen.
- Partnering with Mozilla on Firefox security
Anthropic berichtet, Claude habe 22 Firefox-Schwachstellen gefunden, während zwei einfache Exploit-Versuche nur in einer um wichtige Schutzmaßnahmen reduzierten Testumgebung gelangen.
- Mapping the misuse of generative AI
Eine begrenzte Medienanalyse beschreibt verbreitete Missbrauchsmuster generativer KI und mögliche Schutzmaßnahmen, erlaubt aber keine repräsentative Aussage über das Ausmaß des Missbrauchs.
- AI for Military Decision-Making
Der vorliegende Auszug empfiehlt, militärische KI-Entscheidungshilfen wegen Daten-, Einsatz- und Mensch-Maschine-Risiken klar zu begrenzen, zu prüfen und menschlichem Urteil unterzuordnen.
- Measuring the impact of post-training enhancements
Auf METRs Aufgabenmix brachte Post-Training einen großen Leistungszuwachs, zusätzliche Agentenoptimierung einen kleineren, unsicheren; wegen begrenzter und nicht auf Gefahren ausgerichteter Tests bleiben die Ergebnisse vorläufig.
- Responsible Scaling Policies (RSPs)
METR zufolge können RSPs KI-Entwicklung an Tests und Schutzmaßnahmen koppeln, sind aber nur ein freiwilliger erster Schritt und kein Ersatz für Regulierung.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →