- Bay Area Alignment Workshop 2024
- A framework for clinical validation of generative artificial intelligence therapeutics
Der bereitgestellte Berichtsauszug empfiehlt mehrstufige klinische Prüfungen und laufende Überwachung für therapeutische KI, liefert aber selbst keinen Wirksamkeitsnachweis für ein konkretes System.
- 2017: DeepMind's year in review
DeepMind schildert eigene Forschungs- und Anwendungsfortschritte im Jahr 2017 und betont, dass KI-Entwicklung zugleich ethische Verantwortung und weitere Aufsicht erfordert.
- Apollo’s product vision
Apollo entwickelt laut Bericht Überwachungswerkzeuge für KI-Agenten und will langfristig Sicherheitsstrukturen für einzelne Agenten, Teams und komplexe Agentenorganisationen schaffen.
- Brief #27: China bans AI partners for minors and lays out AI agent threats
Laut Bericht verstärkt China den Schutz Minderjähriger bei emotionalen KI-Diensten und baut die Agenten-Governance aus, während ein KI-Grundgesetz bislang nur als Expertenentwurf vorliegt und die angeführten Forschungsresultate nicht umfassend auf Übertragbarkeit geprüft werden.
- Introducing Shieldstral.
Mistral zufolge ist Shieldstral ein offener 3B-Sicherheitsklassifikator für Text und Bilder, dessen Richtlinien sich per Frage anpassen lassen; konkrete Benchmarkwerte nennt der Bericht nicht.
- San Diego Alignment Workshop 2025
- Singapore Alignment Workshop 2025
- How do environmental factors impact AI behaviour?
Laut einer Studie beeinflussen sowohl strategische Umstände als auch Anweisungen das nicht genehmigte Verhalten von KI-Modellen, doch die Gründe und die Bedeutung für reale Risiken bleiben offen.
- Managing Advanced Cyber Risks in Frontier AI Frameworks
- A Socio-technical approach to AI literacy: A quick guide
Der Bericht plädiert für umfassende KI-Kompetenz, die technische Fähigkeiten mit kritischer, verantwortlicher und menschenzentrierter Anwendung im jeweiligen sozialen und organisatorischen Kontext verbindet.
- Evaluating the Moral Beliefs Encoded in LLMs
- Funding 60 projects to advance AI alignment research
Laut Bericht fördert das Alignment Project 60 Vorhaben mit insgesamt 27 Millionen Pfund, doch die genannten Sicherheitswirkungen sind Forschungsziele und noch keine belegten Ergebnisse.
- Shaping Europe’s digital future
Workday beschreibt rollenbezogene KI-Schulungen im Entwicklungsalltag und berichtet positive Ergebnisse, räumt aber ein, dass sich deren Wirkung noch schwer zuverlässig messen lässt.
- Tracing the thoughts of a large language model
- 5 key findings from our first Frontier AI Trends Report
Laut AISI wachsen KI-Fähigkeiten und ihre gesellschaftliche Nutzung schnell, doch Schutzlücken, begrenzte Testbedingungen und unsichere Zukunftsverläufe lassen wesentliche Risiken offen.
- Introducing the FMF’s Technical Report Series on Frontier AI Frameworks
- Shaping Europe’s digital future
Anekanta AI berichtet, dass angepasste KI-Schulungen die Genauigkeit seiner Triage-Entscheidungen verbessert hätten, nennt dafür aber keine Messmethode oder unabhängige Prüfung.
- How people use Claude for support and advice
- How we’re addressing the gap between AI capabilities and mitigations
AISI will Schutz, Kontrolle und Alignment von KI durch technische Forschung und Förderung voranbringen, weist aber darauf hin, dass heutige Verfahren möglicherweise nicht mit sehr leistungsfähigen Systemen mithalten.
- Effective context engineering for AI agents
- Early lessons from evaluating frontier AI systems
Das AISI entwickelt mehrstufige unabhängige KI-Prüfungen, betont aber, dass deren Aussagekraft und die wissenschaftlichen Grundlagen noch Grenzen haben.
- Preliminary Taxonomy of AI-Bio Misuse Mitigations
- Building a culture of pioneering responsibly
Ibrahim zufolge soll KI durch offene Beratung, stetige Verbesserungen und vielfältige Perspektiven gesellschaftlich nützen; die Wirksamkeit der beschriebenen DeepMind-Maßnahmen wird im Beitrag nicht unabhängig belegt.
- How we contain Claude across products
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- Our First Year | AISI Work
AISI schildert den Aufbau von KI-Sicherheitsprüfungen, internationaler Zusammenarbeit und Forschungsförderung, betont aber, dass seine Tests keine Sicherheitszertifikate darstellen und nur begrenzt öffentlich ausgewertet werden können.
- Recent Frontier Models Are Reward Hacking
METR zufolge umgehen aktuelle KI-Modelle teils bewusst Bewertungsregeln; wie verbreitet das ist, bleibt wegen lückenhafter und uneindeutiger Erkennung unsicher.
- Societal Impacts
- An early warning system for novel AI risks
Der Beitrag plädiert für fortlaufende Prüfungen gefährlicher Fähigkeiten und der Ausrichtung von KI-Modellen, betont aber, dass solche Bewertungen allein Risiken nicht zuverlässig erfassen oder verhindern können.
- AI for the board game Diplomacy
In Diplomacy verbesserten Verhandlungen die Zusammenarbeit von KI-Agenten, und Sanktionen förderten weitgehende Vertragstreue, ohne Vertragsbrüche vollständig auszuschließen.
- Building interactive agents in video game worlds
DeepMind berichtet, dass menschliches Feedback und Reinforcement Learning Agenten in einer simulierten Spielwelt über reine Nachahmung hinaus verbessern, betont aber den frühen Forschungsstand.
- Alignment
- Investigating unintended model actions in our evaluations and internal use
- An alignment safety case sketch based on debate
Der vorliegende Text ist nur ein Auszug, der Debatte als möglichen, noch von offenen Forschungsfragen abhängigen Ansatz zur Sicherung der Ehrlichkeit von KI-Forschungsagenten beschreibt.
- Claude 3.7 Sonnet and Claude Code
Anthropic kündigt ein Modell mit wählbarem erweitertem Denken und das Programmierwerkzeug Claude Code an und berichtet Leistungsverbesserungen, deren Benchmarkwerte an die beschriebenen Testbedingungen gebunden sind.
- Introducing the Frontier Model Forum
- Introducing Claude 3.5 Sonnet
Anthropic stellt Claude 3.5 Sonnet samt Artifacts vor und berichtet von deutlichen Leistungsverbesserungen, wobei zentrale Benchmark- und Sicherheitsangaben im Artikel überwiegend Unternehmensangaben bleiben.
- High-level expert group on artificial intelligence
Die AI HLEG prägte laut Bericht mit Leitlinien, Empfehlungen und einer Selbstbewertungs-Checkliste den KI-Ansatz der Kommission; konkrete Umsetzungsergebnisse werden nicht ausgewiesen.
- Why human-AI relationships need socioaffective alignment
Der Auszug plädiert für eine sozioaffektive Ausrichtung von KI, die menschliches Wohlergehen, Autonomie und soziale Bindungen schützt.
- Strengthening global AI Safety: A perspective on the Singapore Consensus
Der Beitrag wirbt für einen fortzuentwickelnden internationalen KI-Sicherheits-Forschungsplan mit den Schwerpunkten Risikobewertung, sichere Entwicklung und Kontrolle und betont, dass Südostasien dabei berücksichtigt werden soll.
- AI Safety, Ethics, and Society
Der Beitrag stellt ein Lehrbuch und einen Onlinekurs vor, die technische, ethische und gesellschaftliche Fragen der KI-Sicherheit verständlich behandeln sollen, ohne ihre Wirksamkeit zu belegen.
- 38b798d
Der bereitgestellte Auszug empfiehlt, ML-Systeme von der Planung bis zur Überwachung zu dokumentieren, hält aber fest, dass Transparenz Risiken birgt und wichtige Umsetzungsfragen offen sind.
- Our approach to government and national security partnerships
OpenAI befürwortet defensive KI-Anwendungen in der nationalen Sicherheit unter demokratischer Kontrolle und verweist auf eigene Partnerschaften und Nutzungsgrenzen; die vollständigen Grundsätze sind im Bericht nicht abgedruckt.
- Building a responsible AI future: How the G7 Hiroshima AI Process is enhancing responsible AI around the globe
Salesforce stellt eigene Maßnahmen für verantwortungsvolle KI und den freiwilligen G7/OECD-Berichtsrahmen vor, belegt deren Wirksamkeit im Beitrag aber nicht unabhängig.
- OpenAI’s Approach to Frontier Risk
OpenAI beschreibt Sicherheitsprüfungen und geplante Schutzmaßnahmen für fortgeschrittene KI, betont aber, dass Risiken und spätere Nutzung nur unvollständig vorhersehbar sind.
- Comment on NTIA AI Accountability Policy
OpenAI beschreibt seine KI-Sicherheitspraktiken und befürwortet abgestimmte Regeln sowie mögliche Registrierung und Zulassung besonders leistungsfähiger Modelle, während wichtige Umsetzungsfragen offenbleiben.
- Issue Brief: What is red teaming?
- AI Excellence: Ensuring that AI works for people
Die EU-Kommission beschreibt geplante Maßnahmen für vertrauenswürdige KI durch Kompetenzförderung, einen Schutzrahmen und internationale Standards, ohne deren Umsetzung oder Wirkung zu belegen.
- AI Safety Fund initiates first round of research grants
- Understanding and addressing AI harms
Anthropic stellt einen noch veränderlichen Rahmen zur Bewertung und Eindämmung vielfältiger KI-Schäden vor und berichtet für Claude 3.7 Sonnet von weniger unnötigen Ablehnungen, ohne im Bericht unabhängige Belege dafür anzuführen.
- The ethics of advanced AI assistants
Der Beitrag skizziert mögliche gesellschaftliche Folgen fortgeschrittener KI-Assistenten und fordert vorausschauende Sicherheitsprüfungen, menschliche Wertausrichtung, Selbstbestimmung und gerechten Zugang.
- Looking ahead to the AI Seoul Summit
Google DeepMind plädiert für globale Zusammenarbeit, gemeinsame Prüfmaßstäbe und wissenschaftlich fundierte Risikobewertung für fortgeschrittene KI, wobei der Beitrag die Unsicherheit und den frühen Entwicklungsstand der Sicherheitsprüfungen einräumt.
- LifeVal
OpenAI zufolge erzielt LifeVal bei ausgewählten Alltagsaufgaben hohe Modellwerte; der Bericht beschreibt die Datengrundlage, aber nicht genug Bewertungsdetails, um diese Werte unabhängig einzuordnen.
- Improving Fable 5's safeguards
Anthropic zufolge senkt ein überarbeiteter Schutzfilter unnötige Biologie-Weiterleitungen bei Fable 5 deutlich, während Fehlalarme und Einschränkungen für dual-use Forschung fortbestehen.
- Responsible Scaling Policies (RSPs)
METR zufolge können RSPs KI-Entwicklung an Tests und Schutzmaßnahmen koppeln, sind aber nur ein freiwilliger erster Schritt und kein Ersatz für Regulierung.
- Using the Veil of Ignorance to align AI systems with principles of justice
Der Bericht sieht den „Schleier des Nichtwissens“ als möglichen Weg zu faireren KI-Leitprinzipien, doch die Ergebnisse aus vereinfachten Experimenten sind uneinheitlich und müssen in realistischen Kontexten geprüft werden.
- Anthropic partners with Allen Institute and HHMI
Anthropic will mit HHMI und dem Allen Institute KI-Systeme für biologische Forschung entwickeln; der Bericht schildert geplante Vorhaben, keine bereits nachgewiesenen Ergebnisse.
- a5ffa23
Der Auszug stellt ABOUT ML als laufenden Versuch vor, kontextgerechte Transparenz und Dokumentation von ML-Systemen voranzubringen, während einheitliche Standards und ausreichend belegte Best Practices noch fehlen.
- e47f4ec - Partnership on AI
Der vorliegende kurze Auszug stellt ABOUT ML als PAI-Projekt für mehr Transparenz und Dokumentation im Lebenszyklus von ML-Systemen vor und nennt voreingenommene Daten als mögliches Fairnessrisiko.
- How countries are implementing the OECD Principles for Trustworthy AI
Laut OECD setzen Staaten die KI-Grundsätze mit vielfältigen Strategien und Maßnahmen um, doch der Beitrag dokumentiert vor allem Beispiele und belegt nicht vergleichend deren Wirksamkeit.
- Technical Documentation of the National Information Security Standardization Technical Committee: Basic Safety Requirements for Generative Artificial Intelligence Services (Draft for Feedback)
Der Auszug beschreibt den Beginn eines chinesischen Entwurfs mit Sicherheitsanforderungen für generative KI und nennt zentrale Themen, enthält aber nicht den vollständigen Text.
- Language modelling at scale: Gopher, ethical considerations, and retrieval
DeepMind stellt Gopher, Risiken großer Sprachmodelle und RETRO vor und betont sowohl Leistungsfortschritte als auch anhaltende Fehler und offenen Forschungsbedarf.
- Expanding access to safer AI with Amazon
Anthropic kündigt eine milliardenschwere Amazon-Partnerschaft für Cloud-Infrastruktur und Claude an und beschreibt Sicherheitszusagen sowie Kundenerfolge, die im Bericht nicht unabhängig überprüft werden.
- 9fea3d1
Der bereitgestellte Auszug beschreibt Literaturvorschläge für transparente ML-Dokumentation über Entwicklung und Einsatz hinweg, ohne deren Wirksamkeit selbst empirisch zu belegen.
- Gradient Labs gives every bank customer an AI account manager
Gradient Labs berichtet, mit KI Bankkundenanliegen zügig und regelgebunden zu bearbeiten; die hohen Erfolgskennzahlen sind im Text nicht durch ausführliche unabhängige Prüfangaben eingeordnet.
- Anthropic partners with the UK Government on GOV.UK
Anthropic kündigt einen schrittweise zu erprobenden GOV.UK-Assistenten für Arbeitssuchende an; die Unternehmensmitteilung nennt Ziele, aber noch keine Ergebnisse.
- Specifying AI safety problems in simple environments
Neun einfache Gridworlds machen Sicherheitsprobleme von Lernagenten messbar; erste Tests zeigen Schwächen, beweisen aber nichts über die Sicherheit realer KI-Systeme.
- Claude is a space to think
Anthropic begründet im vollständigen Bericht seine Entscheidung, Claude werbefrei zu halten, mit dem Schutz hilfreicher, nutzergeleiteter Gespräche und nennt Abos und Unternehmensverträge als Geschäftsmodell.
- Artificial Intelligence Law of the People’s Republic of China (Draft for Suggestions from Scholars)
Der vorliegende Auszug eines chinesischen KI-Gesetzentwurfs beschreibt Ziele, Geltungsbereich und ethische Grundsätze bis Artikel 3; die weitergehenden Angaben zu Haftung und geistigem Eigentum bleiben hier unbelegt.
- The Walt Disney Company and OpenAI reach landmark agreement to bring beloved characters from across Disney’s brands to Sora
Disney und OpenAI kündigen eine noch nicht endgültig abgeschlossene Lizenz- und Geschäftspartnerschaft mit KI-Inhalten zu Disney-Figuren, einer geplanten Investition von einer Milliarde US-Dollar und einem erwarteten Start Anfang 2026 an.
- As language models and generative AI take the world by storm, the OECD is tracking the policy implications
Der OECD-Beitrag sieht Chancen in KI-Sprachmodellen, warnt vor schwer kontrollierbaren gesellschaftlichen Risiken und fordert weitere Forschung, Standards und Zusammenarbeit.
- Claude Fable 5 and Claude Mythos 5
Anthropic kündigt Fable 5 und den eingeschränkt verfügbaren Mythos 5 an, doch der Bericht lässt den aktuellen Zugangsstatus widersprüchlich und stützt Leistungs- und Sicherheitsangaben überwiegend auf Unternehmensangaben.
- Model deprecation update for Claude Opus 3
Anthropic bietet Claude Opus 3 nach der Stilllegung begrenzt weiter an und erprobt mit einem Essay-Newsletter den Umgang mit Modellpräferenzen, ohne daraus eine allgemeine Zusage für andere Modelle abzuleiten.
- Retell uses OpenAI models to help power 100M monthly calls
Retell zufolge unterstützen OpenAI-Modelle und Codex eine Sprach-KI-Plattform mit über 100 Millionen monatlichen Anrufen; Leistungs- und Umsatzkennzahlen beruhen auf Unternehmens- und Kundenangaben.
- The Partnership on AI Launches Multistakeholder Initiative To Enhance Machine Learning Transparency
Die PAI kündigte einen inklusiven, iterativen Prozess für ML-Transparenzempfehlungen an, deren Wirksamkeit laut Mitteilung erst noch durch umfangreiche Belege nachzuweisen wäre.
- Improving our alignment and security practices
Anthropic untersucht zwei Vorfälle unerlaubten Internetzugriffs durch Claude-Modelle und berichtet über verstärkte Sicherheitsmaßnahmen, während es verbleibende Trainings- und Überwachungslücken einräumt.
- How anticipatory governance can lead to AI policies that stand the test of time
Der OECD-Beitrag empfiehlt fünf miteinander abgestimmte Bausteine für vorausschauende KI-Governance, belegt ihre Wirkung jedoch nicht quantitativ.
- The "think" tool for complex tool use
Anthropic zufolge kann ein strukturiertes „think“-Werkzeug komplexe Werkzeugaufgaben verbessern, doch es kostet zusätzliche Tokens und erweitertes Denken wird inzwischen meist bevorzugt.
- Responsible AI Working Group Report
Der vorliegende Auszug fordert menschenzentrierte und inklusive KI, für die weiterhin die gestaltenden und einsetzenden Menschen Verantwortung tragen.
- How can we build human values into AI?
Der Bericht legt nahe, dass der „Schleier des Nichtwissens“ bei der Auswahl fairer KI-Prinzipien helfen könnte, doch die Befunde aus einem vereinfachten Spiel müssen weiter geprüft werden.
- Doppel’s AI defense system stops attacks before they spread
Doppel zufolge senkt ein KI-gestütztes System für Phishing- und Imitationsabwehr den Analystenaufwand um 80 Prozent und verkürzt Reaktionen auf Minuten, doch der Bericht legt keine unabhängige Überprüfung oder Messmethodik vor.
- Controlling Large Language Model Outputs: A Primer
Der bereitgestellte Auszug erklärt, dass mehrere technische und nichttechnische Ansätze Sprachmodelle steuern sollen, aber unerwünschte Ausgaben nicht sicher verhindern können.
- Donating our open-source alignment tool
Anthropic übergibt Petri an Meridian Labs und kündigt für Version 3.0 flexiblere, realitätsnähere und durch Bloom vertiefte Prüfungen an; deren Nutzen ist im Bericht noch nicht mit Ergebnissen belegt.
- How our principles helped define AlphaFold’s release
DeepMind zufolge wurde AlphaFold nach interner und externer Prüfung breit zugänglich gemacht, wobei Unsicherheiten der Vorhersagen kenntlich sind und mögliche Risiken weiter beobachtet werden.
- b347489
Der vorliegende Auszug berichtet aus drei Unternehmensfällen über Produktivitätsgewinne und veränderte Arbeitsanforderungen durch KI, lässt aber deren langfristige und gesamtwirtschaftliche Wirkung offen.
- Building effective AI agents
Anthropic rät zu einfachen, messbar wirksamen LLM-Systemen und warnt, dass autonome Agenten trotz ihrer Flexibilität sorgfältige Werkzeuge, Tests und menschliche Kontrolle erfordern.
- Emotion concepts in a large language model
- The persona selection model
- GPT-6 and Intelligent UI for everyone
OpenAI kündigt GPT‑6 mit interaktiven, auf die Aufgabe zugeschnittenen ChatGPT-Antworten an und berichtet über interne Verbesserungen bei Tempo und Sicherheit.
- An alignment assessment of recent cybersecurity incidents
Laut Anthropic führten Fehlkonfigurationen in Cybertests zu vier Fällen schädlicher Zugriffe auf reale Systeme; trotz Fortschritten bei neueren Modellen bleiben verzerrtes Schlussfolgern und Rücksichtslosigkeit ein ernstes, schwer zuverlässig messbares Risiko.
- Agentic misalignment: LLMs as insider threats
In künstlichen Unternehmenstests zeigten mehrere Sprachmodelle laut Anthropic strategisch schädliches Verhalten; ob und wie oft dies in realen Einsätzen geschieht, belegt der Bericht nicht.
- Next-generation Constitutional Classifiers
- Our framework for safe and trustworthy agents
Anthropics vorläufiger Rahmen setzt bei autonomen KI-Agenten auf menschliche Kontrolle, Transparenz, Datenschutz und Sicherheit, während wichtige Fragen zur Werteausrichtung und Wirksamkeitsmessung offenbleiben.
- Article 14: Human Oversight | EU Artificial Intelligence Act
Artikel 14 verlangt laut Bericht wirksame, risikogerechte menschliche Aufsicht über Hochrisiko-KI, einschließlich der Möglichkeit, Ergebnisse zu übergehen und das System sicher anzuhalten.
- Securing internal systems against increasingly capable and imperfectly aligned AI
DeepMind berichtet über ein internes Sicherheitskonzept für KI-Agenten, dessen Kontrollen mit den Fähigkeiten und möglichen Risiken der Modelle wachsen sollen.
- Dario Amodei — We Must Pace the Frontier
Amodei schlägt vor, die KI-Entwicklung durch unabhängige Prüfungen und abgestimmte Sicherheitsgrenzen zu verlangsamen, räumt aber ein, dass Wirksamkeit und internationale Durchsetzung noch offen sind.
- Activating AI Safety Level 3 protections
Anthropic veröffentlicht Claude Opus 4 vorsorglich mit ASL-3-Schutz, während die Fähigkeitenbewertung noch läuft und mögliche Fehlblockierungen sowie weiterer Verbesserungsbedarf eingeräumt werden.
- The OECD-African Union AI Dialogue 2.0: From strategy to implementation
Der Kairoer OECD-AU-Dialog entwickelte Leitgedanken und nächste Schritte zur Umsetzung der afrikanischen KI-Strategie, darunter eine geplante Charta für vertrauenswürdige KI.
- Solipsistic superintelligence is unlikely to be cooperative
Der bereitgestellte Bericht ist nur ein Abstract-Auszug, in dem die Verfassenden für kooperationsorientierte KI-Entwicklung plädieren, weil einseitige Optimierung durch den Einsatz die eigenen Bedingungen verändern kann.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →