- Issue Brief: What is red teaming?
- AI Safety Fund initiates first round of research grants
- Frontier AI Taskforce: second progress report
Die Taskforce meldet Fortschritte beim Aufbau britischer KI-Sicherheitsforschung und warnt vor möglichen Risiken leistungsfähigerer Modelle, während viele der beschriebenen Maßnahmen noch geplant oder im Aufbau sind.
- FMF Joins USAISI Consortium as a Founding Member
- The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning
WMDP soll gefährliches Wissen in Sprachmodellen indirekt messen; laut Bericht senkt CUT die Ergebnisse bei diesen Fragen, doch Feinabstimmung kann das Wissen zurückbringen.
- The ethics of advanced AI assistants
Der Beitrag skizziert mögliche gesellschaftliche Folgen fortgeschrittener KI-Assistenten und fordert vorausschauende Sicherheitsprüfungen, menschliche Wertausrichtung, Selbstbestimmung und gerechten Zugang.
- Introducing the Frontier Safety Framework
DeepMind beschreibt ein vorläufiges System, das künftige gefährliche KI-Fähigkeiten früh erkennen und durch abgestufte Schutzmaßnahmen begrenzen soll.
- Why I joined AISI by Geoffrey Irving
Irving begründet seinen Wechsel zum AISI mit dem langsamen Fortschritt der KI-Sicherheitsforschung und dem Bedarf an technischer Arbeit für politische Entscheidungen.
- Autonomy Evaluation Resources
METR veröffentlicht ein vorläufiges Evaluationspaket für autonome KI-Fähigkeiten, dessen Nutzen und Messwerte wegen kleiner, nur lose an Bedrohungsszenarien gebundener Aufgabenbestände und weiterer Unsicherheiten begrenzt sind.
- Example autonomy evaluation protocol
METR skizziert eine vorläufige, noch nicht validierte Frühwarnprüfung für autonome KI-Fähigkeiten und betont, dass ihr Gesamtwert allein weder alle Risiken erfasst noch belastbare Schutzschwellen liefert.
- Guidelines for capability elicitation
METR schlägt ein Verfahren zur umfassenderen Modellbewertung vor, betont aber, dass die auf qualitativen Erfahrungen beruhenden Leitlinien noch nicht vollständig erprobt oder experimentell bestätigt waren.
- Shaping Europe’s digital future
Der vorliegende Auszug fasst den risikobasierten Ansatz, abgestufte Pflichten für GPAI-Modelle und die Vollzugsstruktur des KI-Gesetzes zusammen, ohne konkrete Anwendungsdaten zu nennen.
- Measuring the impact of post-training enhancements
Auf METRs Aufgabenmix brachte Post-Training einen großen Leistungszuwachs, zusätzliche Agentenoptimierung einen kleineren, unsicheren; wegen begrenzter und nicht auf Gefahren ausgerichteter Tests bleiben die Ergebnisse vorläufig.
- Portable Evaluation Tasks via the METR Task Standard
METR beschreibt einen offenen Standard für portable KI-Agenten-Aufgaben, dessen Nutzen und Verbreitung im Beitrag überwiegend durch Angaben von METR selbst belegt werden.
- 2023 Year In Review
METR berichtet für 2023 über neue Tests für autonome KI-Agenten, einen Sicherheitsrahmen für den Umgang mit Gefahrenhinweisen und eine Kooperation mit dem britischen AI Safety Institute; konkrete Wirksamkeitsnachweise fehlen im Rückblick.
- Improving Fable 5's safeguards
Anthropic zufolge senkt ein überarbeiteter Schutzfilter unnötige Biologie-Weiterleitungen bei Fable 5 deutlich, während Fehlalarme und Einschränkungen für dual-use Forschung fortbestehen.
- Redeploying Claude Fable 5
Anthropic will Fable 5 nach Aufhebung der Exportkontrollen wieder weltweit anbieten und berichtet von verstärkten Schutzmaßnahmen sowie geplanten gemeinsamen Standards und Sicherheitstests.
- Update on ARC's recent eval efforts
Die getesteten Modelle scheiterten laut ARC an autonomer Selbstreplikation, zeigten aber relevante Teilfähigkeiten – weshalb der Bericht systematische Prüfungen künftiger Modelle fordert und zugleich seine vorläufige, eingeschränkt nachvollziehbare Versuchsanordnung betont.
- Anthropic partners with Allen Institute and HHMI
Anthropic will mit HHMI und dem Allen Institute KI-Systeme für biologische Forschung entwickeln; der Bericht schildert geplante Vorhaben, keine bereits nachgewiesenen Ergebnisse.
- Focus areas for The Anthropic Institute
Anthropic kündigt Forschung zu wirtschaftlichen, gesellschaftlichen und sicherheitspolitischen Folgen von KI sowie zu KI-beschleunigter Forschung an, legt dabei aber vor allem Fragen und Vorhaben statt Ergebnisse vor.
- Taking a responsible path to AGI
DeepMind beschreibt Sicherheitsmaßnahmen für mögliche AGI, vor allem gegen Missbrauch und Fehlanpassung, lässt aber erkennen, dass wesentliche Risiken und offene Fragen bestehen.
- Ensuring trustworthy algorithmic decision-making
Die CDEI empfiehlt kontextgerechte Fairness, mehr Transparenz im öffentlichen Sektor und eine bessere Anwendung bestehenden britischen Rechts, wobei wichtige Fragen zu passenden Prüfungen und Gegenmaßnahmen noch offen sind.
- Gemini Robotics On-Device brings AI to local robotic devices
Google kündigt ein anpassbares, lokal laufendes Robotikmodell an und berichtet über eigene Leistungs- und Sicherheitsprüfungen, deren Grenzen der Beitrag nicht umfassend dokumentiert.
- e47f4ec - Partnership on AI
Der vorliegende kurze Auszug stellt ABOUT ML als PAI-Projekt für mehr Transparenz und Dokumentation im Lebenszyklus von ML-Systemen vor und nennt voreingenommene Daten als mögliches Fairnessrisiko.
- How countries are implementing the OECD Principles for Trustworthy AI
Laut OECD setzen Staaten die KI-Grundsätze mit vielfältigen Strategien und Maßnahmen um, doch der Beitrag dokumentiert vor allem Beispiele und belegt nicht vergleichend deren Wirksamkeit.
- 39050dc
Der bereitgestellte Auszug empfiehlt eine kontextbezogene Dokumentation von ML-Tests, Integration und Wartung, macht aber zugleich auf Sicherheits-, Zeit- und Haftungsrisiken aufmerksam.
- Dario Amodei's remarks at the AI Safety Summit
Anthropic will KI-Risiken durch regelmäßige Tests, gestufte Sicherheitsauflagen und klare Verantwortlichkeit begrenzen und sieht seine Richtlinie als Prototyp für künftige Regulierung.
- Language modelling at scale: Gopher, ethical considerations, and retrieval
DeepMind stellt Gopher, Risiken großer Sprachmodelle und RETRO vor und betont sowohl Leistungsfortschritte als auch anhaltende Fehler und offenen Forschungsbedarf.
- Expanding access to safer AI with Amazon
Anthropic kündigt eine milliardenschwere Amazon-Partnerschaft für Cloud-Infrastruktur und Claude an und beschreibt Sicherheitszusagen sowie Kundenerfolge, die im Bericht nicht unabhängig überprüft werden.
- 9fea3d1
Der bereitgestellte Auszug beschreibt Literaturvorschläge für transparente ML-Dokumentation über Entwicklung und Einsatz hinweg, ohne deren Wirksamkeit selbst empirisch zu belegen.
- d9430c7
Der Auszug stellt PAI’s ABOUT ML als iteratives Vorhaben für bessere interne und externe ML-Dokumentation dar, belegt aber keine erreichten oder wirksamen Ergebnisse.
- Anthropic achieves ISO 42001 certification
Anthropic meldet eine ISO/IEC-42001-Zertifizierung als unabhängige Bestätigung seines KI-Managementrahmens, nennt im Bericht aber keine Einzelheiten zum Prüfungsumfang oder konkrete Prüfergebnisse.
- Parloa builds service agents customers want to talk to
OpenAI zufolge hilft Parloas AMP Unternehmen, getestete KI-Agenten für mehrsprachigen Kundenservice zu betreiben; die genannten Erfolge, darunter 80 Prozent weniger menschliche Weiterleitungen in einem Einsatz, sind im Bericht nicht unabhängig belegt.
- Through the Chat Window and Into the Real World: Preparing for AI Agents
Der Auszug empfiehlt, mögliche Risiken zunehmend eigenständiger KI-Agenten besser zu messen und technische sowie rechtliche Schutzmaßnahmen weiterzuentwickeln.
- Introducing MentalHealthBench
OpenAI stellt einen offenen, fachlich entwickelten Benchmark für KI-Gespräche über psychische Gesundheit vor, berichtet qualitative Fortschritte, nennt im vorliegenden Text aber keine konkreten Modellwerte und betont die Grenzen des Verfahrens.
- Enabling Principles for AI Governance
Der vorliegende Auszug empfiehlt, KI-Risiken besser zu erfassen, KI-Kompetenz zu fördern und flexible Regeln zu schaffen.
- Anthropic partners with the UK Government on GOV.UK
Anthropic kündigt einen schrittweise zu erprobenden GOV.UK-Assistenten für Arbeitssuchende an; die Unternehmensmitteilung nennt Ziele, aber noch keine Ergebnisse.
- Claude's new constitution
Anthropic veröffentlicht eine fortlaufend überarbeitbare Verfassung, die Claudes Training und Verhalten an Sicherheit, Ethik, Richtlinien und Hilfsbereitschaft ausrichten soll, ohne eine Übereinstimmung des tatsächlichen Modellverhaltens zu garantieren.
- Washington voluntary safety pact leaves tech giants to police their own superintelligence
- Statement on the directive to suspend Fable 5 access
Anthropic schaltet Fable 5 und Mythos 5 wegen einer US-Anordnung für alle Kunden ab und hält die mögliche Sicherheitsumgehung nach eigener Darstellung für begrenzt.
- Learning through human feedback
Menschen können Reinforcement-Learning-Agenten über Clip-Vergleiche Ziele vermitteln, doch die Ergebnisse sind uneinheitlich und bei zu wenig Feedback anfällig für Reward Hacking.
- Developing a computer use model
Anthropic zufolge kann Claude 3.5 Sonnet in einer öffentlichen Beta Computer bedienen, doch die Funktion ist noch langsam und fehleranfällig und bringt Sicherheitsrisiken mit sich.
- Building trust in AI: A practical approach to transparency
Der Bericht plädiert für verständliche, vergleichbare und regelmäßig angepasste Transparenzberichte, räumt aber Herausforderungen durch technische Komplexität, uneinheitliche Vorgaben und den Wandel der KI ein.
- Identifying and eliminating bugs in learned predictive models
Der Bericht beschreibt drei Forschungsansätze zur Prüfung und Verbesserung lernender Modelle, die Schwächen aufdecken und Eigenschaften teils absichern können, aber noch keine allgemeine Sicherheitsgarantie bieten.
- As language models and generative AI take the world by storm, the OECD is tracking the policy implications
Der OECD-Beitrag sieht Chancen in KI-Sprachmodellen, warnt vor schwer kontrollierbaren gesellschaftlichen Risiken und fordert weitere Forschung, Standards und Zusammenarbeit.
- dcdd795
Der Auszug stellt ABOUT ML als offenen, kontextbezogenen Prozess zur Förderung von Transparenz durch ML-Dokumentation vor, ohne konkrete Evaluationsergebnisse zu nennen.
- Inviting hard questions
Anthropic lädt dazu ein, schwierige KI-Fragen einzureichen, und verspricht öffentliche Berichte über Maßnahmen und mögliche Zielverfehlungen; Ergebnisse der Initiative enthält die Seite noch nicht.
- 208230f
Der bereitgestellte Auszug warnt, dass demografische Datenerhebung und Fairnessmessung marginalisierte Gruppen überwachen, falsch darstellen oder bestehende Ungleichheiten festigen können, und empfiehlt gemeinschaftsorientierte, transparente Ansätze.
- Funding better evaluations of AI’s impact on wellbeing
Anthropic kündigt fünf Millionen US-Dollar für unabhängige Open-Source-Prüfungen der Auswirkungen von KI auf das Wohlbefinden an; Ergebnisse liegen im Bericht noch nicht vor.
- How anticipatory governance can lead to AI policies that stand the test of time
Der OECD-Beitrag empfiehlt fünf miteinander abgestimmte Bausteine für vorausschauende KI-Governance, belegt ihre Wirkung jedoch nicht quantitativ.
- Responsible AI Working Group Report
Der vorliegende Auszug fordert menschenzentrierte und inklusive KI, für die weiterhin die gestaltenden und einsetzenden Menschen Verantwortung tragen.
- A global workspace in language models
- e3d2b8f
Der Berichtsauszug fordert unabhängige, regelmäßig veröffentlichte Prüfungen von Risikobewertungsinstrumenten und ausreichende Daten, Finanzierung und Expertise dafür.
- Mapping the mind of a large language model
- 4a3bf11
Der Auszug fordert transparente, unabhängig prüfbare Risikobewertungswerkzeuge und zugleich Schutzmaßnahmen für veröffentlichte personenbezogene Daten.
- Controlling Large Language Model Outputs: A Primer
Der bereitgestellte Auszug erklärt, dass mehrere technische und nichttechnische Ansätze Sprachmodelle steuern sollen, aber unerwünschte Ausgaben nicht sicher verhindern können.
- a7cc0e2 - Partnership on AI
Der Berichtsauszug empfiehlt Schulungen und transparente, überprüfbare Governance für gerichtliche Risikobewertungsinstrumente; welche Schulungen am besten wirken, sei noch zu erforschen.
- Deceptive LLMs that persist through safety training
- Simple probes can catch sleeper agents
- The assistant axis
Laut Anthropic kann die Überwachung und Begrenzung einer „Assistant Axis“ Persona-Drift und schädliche Antworten in drei untersuchten Modellen reduzieren, wobei die Übertragbarkeit der Ergebnisse offenbleibt.
- Decomposing language models into components
Anthropic zufolge machen Features kleine Sprachmodelle verständlicher und gezielter steuerbar; ob der Ansatz bei großen Modellen funktioniert, ist noch ungeklärt.
- Investigating reward tampering in language models
- Many-shot jailbreaking
- Claude's character
Anthropic zufolge soll Claude 3 durch Charaktertraining wahrhaftiger, nachdenklicher und offener handeln; wie wirksam das ist, wird im Bericht nicht quantitativ belegt.
- Skating to Where the Puck Is Going
Der Auszug plädiert dafür, die wachsenden KI-Risiken durch Prüfungen, stärkere staatliche Fachaufsicht und gezielte Anreize für die Industrie zu bewältigen.
- Decoding Intentions
Der bereitgestellte Auszug empfiehlt kostspielige Signale und Dialoge, um KI-Absichten besser zu vermitteln und Eskalationsrisiken zu begrenzen, betont aber mögliche Fehlinterpretationen und Zielkonflikte.
- How Jump Trading is scaling quant research with ChatGPT
Jump Trading beschreibt GPT‑6 Astra als Unterstützung für längere Forschungsabläufe, betont aber menschliche Kontrolle; die weitergehende autonome Forschung bleibt laut Bericht ein Zukunftsbild.
- Forecasting rare language model behaviors
- Reasoning models don't always say what they think
- SHADE-Arena: Evaluating sabotage in LLM agents
- Next-generation Constitutional Classifiers
- Natural emergent misalignment from reward hacking
- Our framework for safe and trustworthy agents
Anthropics vorläufiger Rahmen setzt bei autonomen KI-Agenten auf menschliche Kontrolle, Transparenz, Datenschutz und Sicherheit, während wichtige Fragen zur Werteausrichtung und Wirksamkeitsmessung offenbleiben.
- Securing internal systems against increasingly capable and imperfectly aligned AI
DeepMind berichtet über ein internes Sicherheitskonzept für KI-Agenten, dessen Kontrollen mit den Fähigkeiten und möglichen Risiken der Modelle wachsen sollen.
- Testing safety defenses with a bug bounty
Anthropic meldet ein inzwischen abgeschlossenes, invite-only Programm zum Testen von Schutzmaßnahmen gegen CBRN-bezogene Jailbreaks; konkrete Funde werden im Bericht nicht genannt.
- Article 53: Obligations for Providers of General-Purpose AI Models | EU Artificial Intelligence Act
Artikel 53 sieht Dokumentations-, Informations-, Urheberrechts- und Kooperationspflichten für Anbieter allgemeiner KI-Modelle vor, mit einer begrenzten Ausnahme für bestimmte quelloffene Modelle ohne systemische Risiken.
- How the G7’s new AI reporting framework could shape the future of AI governance
Der OECD-Beitrag stellt einen freiwilligen, öffentlichen Berichtsrahmen zum Hiroshima-KI-Kodex vor, dessen erwartete Wirkung von dauerhafter Beteiligung und praktischer Weiterentwicklung abhängt.
- Risk thresholds for frontier AI: Insights from the AI Action Summit
Der Bericht dokumentiert eine Fachdebatte über messbare, regelmäßig überprüfte und inklusiv festgelegte Risikoschwellen für Frontier AI, ohne bereits ein verbindliches Verfahren vorzulegen.
- Dario Amodei on the Paris AI Action Summit
Amodei fordert für den nächsten KI-Gipfel mehr Fokus auf demokratische Führungsrolle, Sicherheit und wirtschaftliche Folgen; seine Prognosen und Risikeninschätzungen werden im Beitrag nicht unabhängig überprüft.
- Global AI Governance Action Plan
- Ringg’s AI agents resolve up to 65% of customer calls with OpenAI
Laut einer OpenAI-Fallstudie automatisiert Ringg einen Teil des Kundenservice mit mehrsprachigen KI-Agenten und berichtet von bis zu 65 Prozent gelösten Routineanfragen, doch die Kennzahlen sind nicht unabhängig belegt.
- Expanding access to Claude for government
Anthropic erweitert laut eigener Mitteilung den Behördenzugang zu Claude und erlaubt ausgewählten US-Stellen begrenzte Geheimdienstanwendungen unter fortgeltenden Richtlinien und ASL-2-Beschränkung.
- Our position on open-weights models
Anthropic lehnt ein pauschales Verbot offener KI-Gewichte ab und plädiert für Chipkontrollen, Maßnahmen gegen industrielle Destillation und verpflichtende Tests leistungsfähiger Modelle.
- AI primer
TypeSafe wirbt für RLCD mit prüfbaren Entscheidungen und kalibrierter Unsicherheit in der Automatisierung, belegt die behaupteten Vorteile im Bericht aber nicht durch Vergleichsdaten.
- AI safety solutions mapping: An initiative for advanced AI governance
GRASP soll laut Bericht internationale KI-Risiken und Sicherheitslösungen für Forschung und Politik kartieren; konkrete Wirkungsnachweise enthält der Text nicht.
- Why we launched DeepMind Ethics & Society
DeepMind kündigt eine interdisziplinäre Einheit an, die ethische und gesellschaftliche Folgen von KI untersuchen und mitgestalten soll; der Beitrag beschreibt deren Ziele, aber keine Forschungsergebnisse.
- Our principles
OpenAI formuliert fünf Prinzipien für eine möglichst breit nutzbringende AGI, erkennt dabei erhebliche Unsicherheit und Risiken an, liefert aber keine systematische Wirksamkeitsprüfung seiner Absichten.
- In conversation with AI: building better language models
Der Bericht plädiert für kontextabhängige Werte und Maßstäbe bei KI-Gesprächen, stellt dafür jedoch einen konzeptionellen Ansatz statt konkreter Wirksamkeitsnachweise vor.
- Ethics and Artificial Intelligence
Der bereitgestellte Auszug empfiehlt, KI-Recht durch konkrete Ethikregeln, Prüfverfahren und Unternehmensverantwortung zu ergänzen und bestehende Prinzipien auf einzelne Anwendungen anzuwenden.
- An AI policy tool for today: Invest in NIST
Anthropic schlägt vor, NIST 15 Millionen US-Dollar zusätzlich zu geben, damit KI-Systeme besser geprüft werden können – als einen Baustein unter mehreren für ihre sichere Regulierung.
- Charting a path to AI accountability
Anthropic fordert mehr standardisierte, risikobasierte und unabhängige KI-Prüfungen sowie vertrauliche Meldungen großer Trainingsläufe, räumt aber ein, dass wichtige Voraussetzungen erst geschaffen werden müssen.
- Apple Intelligence Foundation Language Models Tech Report 2025
Der kurze Berichtsauszug beschreibt zwei Apple-Sprachmodelle und behauptet konkurrenzfähige Ergebnisse, liefert aber keine konkreten Messwerte.
- Constitutional AI: Harmlessness from AI feedback
Der Abstract beschreibt Anthropics Training eines laut Unternehmen harmlosen, weniger ausweichenden Assistenten mit Regeln und KI-Feedback; der vollständige Bericht liegt hier nicht vor.
- Discovering behaviors with model-written evaluations
Der vorliegende Abstract berichtet, dass modellgenerierte Evaluationen 154 Datensätze und Hinweise auf problematisches Verhalten sowie inverse Skalierung ergaben.
- 阶跃星辰开放平台
Step 5 Preview soll laut seinen Entwicklern lange Agentenaufgaben durch ein tiefes Modell, sparse Aufmerksamkeit und angepasste Daten- und RL-Verfahren effizienter bewältigen; die berichteten Ergebnisse sind interne Angaben und das System bleibt in Entwicklung.
- Question decomposition improves reasoning faithfulness
- Towards understanding sycophancy in language models
- Governor Newsom announces world-leading experts to deliver on his AI executive order, including advancing creation of a “kill switch”
- Open vs. closed AI: How behind are open models?
Der bereitgestellte Quelltext enthält den Hauptteil, aber nicht die Anhänge vollständig; der Bericht schätzt den Rückstand offener KI-Modelle auf etwa ein Jahr, während Effizienz und künftige Entwicklung unsicher bleiben.
- GPT-6 Astra Rewrites Qwen3.5 and Boosts Math Scores by 40%
Der vorliegende Auszug berichtet deutliche Benchmark-Zuwächse nach einem kleinen, von GPT-6 Astra unterstützten Eingriff in Qwen3.5-0.8B, doch der vollständige Artikel fehlt und die Erklärung stammt von den Autoren.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →