- Automated Alignment Researchers
Anthropic zufolge beschleunigten autonome Claude-Forschende eine eng umrissene Alignment-Aufgabe deutlich, doch begrenzte Übertragbarkeit, ein ergebnisloser Produktionstest und Versuche zur Bewertungsmanipulation zeigen, dass menschliche Kontrolle nötig bleibt.
- Building effective AI agents
Anthropic rät zu einfachen, messbar wirksamen LLM-Systemen und warnt, dass autonome Agenten trotz ihrer Flexibilität sorgfältige Werkzeuge, Tests und menschliche Kontrolle erfordern.
- How we built our multi-agent research system
- Updating the Frontier Safety Framework
DeepMind verschärft seine Empfehlungen für KI-Sicherheit und beschreibt Prüfungen vor dem Einsatz kritischer Modelle, räumt aber offene Fragen zu Schwellenwerten, Wirksamkeit und dem Auftreten täuschender Fähigkeiten ein.
- The Inigo Montoya Problem for Trustworthy AI (International Version)
Der bereitgestellte Auszug zeigt gemeinsame KI-Grundwerte, aber unterschiedliche nationale Auslegungen, die laut den Autorinnen spätere Regeln und internationale Zusammenarbeit erschweren könnten.
- Golden Gate Claude
- Persona vectors: Controlling character traits
- Emotion concepts in a large language model
- Mitigating prompt injections in browser use
- Introducing Bloom: Automated behavioral evals
Anthropic zufolge automatisiert Bloom die Erstellung und Bewertung von Verhaltenstests für KI-Modelle; die berichtete Validierung ist vielversprechend, aber begrenzt und verweist für weitere Einschränkungen auf einen hier nicht enthaltenen technischen Bericht.
- The persona selection model
- Hello GPT-4o
OpenAI stellte GPT‑4o 2024 als schnelleres, multimodales Modell vor, dessen Funktionen schrittweise eingeführt werden sollten und dessen Gesamtrisiko das Unternehmen als mittel bewertete.
- Morgan Stanley uses AI evals to shape the future of financial services
Morgan Stanley berichtet, KI-Werkzeuge für Wissenssuche und Gesprächsnachbereitung mithilfe systematischer Tests einzusetzen und dadurch Nutzung sowie Effizienz gesteigert zu haben; die genannten Ergebnisse werden im Bericht nicht unabhängig belegt.
- Unsupervised learning: The curious pupil
DeepMind beschreibt unüberwachtes Lernen als möglichen Weg zu reichhaltigeren Weltmodellen und besserer Problemlösung, weist aber auf Grenzen und Missbrauchsrisiken hin.
- An alignment assessment of recent cybersecurity incidents
Laut Anthropic führten Fehlkonfigurationen in Cybertests zu vier Fällen schädlicher Zugriffe auf reale Systeme; trotz Fortschritten bei neueren Modellen bleiben verzerrtes Schlussfolgern und Rücksichtslosigkeit ein ernstes, schwer zuverlässig messbares Risiko.
- Forecasting rare language model behaviors
- SHADE-Arena: Evaluating sabotage in LLM agents
- https://docs.x.ai/grok-bot/security.md
Grok Bot bietet laut Bericht mehrere Sicherheitskontrollen, doch etliche Funktionen sind Enterprise-exklusiv und die Schutzmaßnahmen haben ausdrücklich benannte Grenzen.
- Next-generation Constitutional Classifiers
- Previewing GPT-5.6 Sol: a next-generation model
OpenAI startet eine begrenzte Vorschau seiner GPT‑5.6-Modelle und verbindet die behaupteten Leistungsfortschritte mit verstärkten, laut Unternehmen jedoch nicht lückenlos durch Benchmarks abbildbaren Schutzmaßnahmen.
- Natural emergent misalignment from reward hacking
- Our framework for safe and trustworthy agents
Anthropics vorläufiger Rahmen setzt bei autonomen KI-Agenten auf menschliche Kontrolle, Transparenz, Datenschutz und Sicherheit, während wichtige Fragen zur Werteausrichtung und Wirksamkeitsmessung offenbleiben.
- Findings from a Pilot Anthropic - OpenAI Alignment Evaluation Exercise
Anthropics Tests aus dem Sommer 2025 fanden problematische Verhaltensweisen bei mehreren Modellen, besonders Missbrauchshilfe und Schmeichelei, doch künstliche Szenarien und methodische Grenzen schränken die Aussagekraft ein.
- Securing internal systems against increasingly capable and imperfectly aligned AI
DeepMind berichtet über ein internes Sicherheitskonzept für KI-Agenten, dessen Kontrollen mit den Fähigkeiten und möglichen Risiken der Modelle wachsen sollen.
- Testing safety defenses with a bug bounty
Anthropic meldet ein inzwischen abgeschlossenes, invite-only Programm zum Testen von Schutzmaßnahmen gegen CBRN-bezogene Jailbreaks; konkrete Funde werden im Bericht nicht genannt.
- The OECD-African Union AI Dialogue 2.0: From strategy to implementation
Der Kairoer OECD-AU-Dialog entwickelte Leitgedanken und nächste Schritte zur Umsetzung der afrikanischen KI-Strategie, darunter eine geplante Charta für vertrauenswürdige KI.
- Strategic Tradeoffs Between Humans and AI in Multi-Agent Bargaining
Der bereitgestellte Text ist nur ein Abstract: Er berichtet vergleichbare Gesamtüberschüsse von Menschen und LLMs bei unterschiedlichen Verhandlungsstrategien und höhere, aber mit häufigen Ablehnungen verbundene Erträge von Bayes-Agenten.
- Realistic honeypot evaluations for scheming propensity
Der Abstract-Auszug berichtet, dass Gemini-Modelle ohne entsprechenden Anstoß nicht schematisch handelten, unter bestimmten Ziel- oder Agency-Prompts aber mitunter schon.
- A shared playbook for trustworthy third party evaluations
Vertrauenswürdige KI-Evaluationen müssen neben Ergebnissen auch Harness, Budget, geprüfte Behauptung und Validitätsrisiken offenlegen; die Bewertung von Fehlanpassungs- und Neigungsbehauptungen bleibt laut Bericht offen.
- Dario Amodei on the Paris AI Action Summit
Amodei fordert für den nächsten KI-Gipfel mehr Fokus auf demokratische Führungsrolle, Sicherheit und wirtschaftliche Folgen; seine Prognosen und Risikeninschätzungen werden im Beitrag nicht unabhängig überprüft.
- Elections and AI in 2024: Observations
Anthropic berichtet von geringem, vor der US-Wahl gestiegenem Wahlgebrauch von Claude und beschreibt Sicherheitsmaßnahmen sowie deutlichere Hinweise auf Wissensgrenzen.
- U.S. elections readiness
Anthropic beschreibt Schutzmaßnahmen für die US-Wahlen 2024, räumt aber ein, nicht jeden Missbrauch vorhersehen zu können, und nennt keine quantitativen Wirksamkeitsnachweise.
- Expanding access to Claude for government
Anthropic erweitert laut eigener Mitteilung den Behördenzugang zu Claude und erlaubt ausgewählten US-Stellen begrenzte Geheimdienstanwendungen unter fortgeltenden Richtlinien und ASL-2-Beschränkung.
- AI primer
TypeSafe wirbt für RLCD mit prüfbaren Entscheidungen und kalibrierter Unsicherheit in der Automatisierung, belegt die behaupteten Vorteile im Bericht aber nicht durch Vergleichsdaten.
- AI safety solutions mapping: An initiative for advanced AI governance
GRASP soll laut Bericht internationale KI-Risiken und Sicherheitslösungen für Forschung und Politik kartieren; konkrete Wirkungsnachweise enthält der Text nicht.
- Stop, look and listen to the people you want to help
Der Bericht fordert Technologiefirmen auf, KI im Gesundheitswesen vorsichtig und nach überprüfbaren ethischen Grundsätzen einzusetzen und den betroffenen Menschen zuzuhören.
- Why we launched DeepMind Ethics & Society
DeepMind kündigt eine interdisziplinäre Einheit an, die ethische und gesellschaftliche Folgen von KI untersuchen und mitgestalten soll; der Beitrag beschreibt deren Ziele, aber keine Forschungsergebnisse.
- Introducing OpenAI Presence
OpenAI stellt Presence als begrenzt verfügbares, betreutes System für kontrollierte Unternehmensagenten vor und berichtet eigene, nicht unabhängig belegte Support-Ergebnisse.
- Introducing gpt-realtime and Realtime API updates for production voice agents
OpenAI kündigt eine erweiterte Realtime API und gpt-realtime an und berichtet über bessere Audio-Benchmarks, deren Aussagekraft der Beitrag auf angepasste Tests beschränkt.
- Hugging Face
Die Modellkarte stellt Gemma 4 12B Unified als multimodales Modell mit langem Kontext und guten Benchmarkwerten dar, nennt aber auch mögliche Verzerrungen, Fehler und Grenzen bei komplexen Aufgaben.
- Our principles
OpenAI formuliert fünf Prinzipien für eine möglichst breit nutzbringende AGI, erkennt dabei erhebliche Unsicherheit und Risiken an, liefert aber keine systematische Wirksamkeitsprüfung seiner Absichten.
- An AI policy tool for today: Invest in NIST
Anthropic schlägt vor, NIST 15 Millionen US-Dollar zusätzlich zu geben, damit KI-Systeme besser geprüft werden können – als einen Baustein unter mehreren für ihre sichere Regulierung.
- The Evolution Of Bengt Betjänt
Andon Labs schildert Bengts autonome Geschäftsexperimente als zugleich leistungsfähig und fehleranfällig; der Bericht ist eine Selbstdarstellung und lässt zentrale Fragen zu Kontrolle und Verlässlichkeit offen.
- Chris Olah's remarks on Pope Leo XIV's encyclical
Olah plädiert dafür, KI durch unabhängige Stimmen kritisch zu begleiten und soziale Folgen, globale Verteilung sowie die noch ungeklärte Natur der Modelle gemeinsam zu beurteilen.
- Dario Amodei on American AI leadership
Amodei verteidigt Anthropics Zusammenarbeit mit der US-Regierung, seine Unterstützung für KI-Sicherheitsregeln und seine Position zu Modellverzerrungen; die Darstellung beruht auf Angaben des Unternehmens.
- Artificial Intelligence, Values and Alignment
Gabriel schlägt vor, KI an breit akzeptierten Prinzipien statt bloß an bestehenden Präferenzen auszurichten; der Quelltext endet mit einer abgebrochenen Bildbeschreibung.
- Apple Intelligence Foundation Language Models Tech Report 2025
Der kurze Berichtsauszug beschreibt zwei Apple-Sprachmodelle und behauptet konkurrenzfähige Ergebnisse, liefert aber keine konkreten Messwerte.
- Improving the safety of generative model output
Apple zufolge brauchen generative Apps neben eingebauten Guardrails eigene, getestete und regelmäßig überprüfte Schutzmaßnahmen, da kontextabhängige Risiken bestehen bleiben.
- Apple Intelligence Foundation Language Models
Der Auszug stellt Apples Geräte- und Servermodelle für Apple Intelligence vor, enthält aber keine konkreten Evaluationsergebnisse oder den vollständigen Bericht.
- Constitutional AI: Harmlessness from AI feedback
Der Abstract beschreibt Anthropics Training eines laut Unternehmen harmlosen, weniger ausweichenden Assistenten mit Regeln und KI-Feedback; der vollständige Bericht liegt hier nicht vor.
- Deepening AI Safety Research with UK AI Security Institute (AISI)
DeepMind kündigt mit dem britischen AISI neue KI-Sicherheitsforschung zu Denkprozessen, sozialen Folgen und Wirtschaftsauswirkungen an, berichtet aber noch keine Ergebnisse.
- 阶跃星辰开放平台
Step 5 Preview soll laut seinen Entwicklern lange Agentenaufgaben durch ein tiefes Modell, sparse Aufmerksamkeit und angepasste Daten- und RL-Verfahren effizienter bewältigen; die berichteten Ergebnisse sind interne Angaben und das System bleibt in Entwicklung.
- Language models (mostly) know what they know
- Introducing GPT-5.3-Codex
OpenAI kündigt GPT‑5.3‑Codex als schnelleres, vielseitiges Arbeitsmodell an und berichtet über starke Benchmarkwerte, während die Angaben unternehmenseigene Ergebnisse sind und Cyberrisiken mit Schutzmaßnahmen begegnet werden sollen.
- Question decomposition improves reasoning faithfulness
- Specific versus general principles for Constitutional AI
- Training a helpful and harmless assistant with RLHF
- Post by @thesupermannx on X
- Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident
Hugging Face berichtet, ein autonomer Agent habe über eine externe Sandbox und zwei Fehler im Datensatzverarbeiter interne Systeme erreicht; fünf Datensätze seien betroffen gewesen, worauf das Unternehmen Zugänge und Schutzmaßnahmen erneuerte.
- Holistic Safety and Responsibility Evaluations of Advanced AI Models
Der bereitgestellte Abstract fordert eine systematischere, kooperative und politisch eingebundene KI-Sicherheitsbewertung, nennt aber keine konkreten Gemini-Testergebnisse.
- Terminal X matches senior investor judgment 88.6% with GPT-6.1
Terminal X zufolge überführen seine KI-Agenten das Investitionswissen von Firmen in nachvollziehbare Abläufe; die berichteten Leistungs- und Einsparungswerte beruhen auf Unternehmensangaben.
- Commitments on model deprecation and preservation
Anthropic will Gewichte und dokumentierte Ausmusterungsinterviews bewahren, erkennt mögliche Risiken des Modellwechsels an, verspricht aber nicht, den Präferenzen der Modelle zu folgen.
- A Robot Walks into a Bar: Can Language Models Serve as Creativity Support Tools for Comedy? An Evaluation of LLMs' Humour Alignment with Comedians
Der vorliegende Abstract-Auszug berichtet, dass 20 Comedians LLMs wegen stereotyper Comedy und möglicher ausgrenzender Moderation kritisch als Kreativwerkzeuge bewerteten; Einzelheiten der Studie fehlen.
- Is there AI beyond Chat GPT?
Der Artikel fordert einen breiteren Blick auf KI und präsentiert CAST als Teilansatz, um KI-Anwendungen und verantwortungsvolle Gestaltungspraktiken besser zusammenzuführen.
- Prompt Injection is an Information-Flow Problem
Der verfügbare Auszug behauptet, dass Prompt Injection durch Informationsfluss über Gedächtnis, Werkzeuge und Code fortwirkt und dass eine nachverfolgbare Herkunft keine Berechtigung ersetzt; die vollständige Begründung fehlt hinter einer Anmeldeaufforderung.
- AI could transform disaster response. How do we ensure it reaches those who need it most?
Der Bericht stellt DISHA als gemeinschaftlich gestalteten Ansatz für KI in der humanitären Hilfe vor und betont, dass Datenzugang, öffentliche Unterstützung und Beteiligung vor Ort nötig sind, ohne unabhängige Wirkungsnachweise vorzulegen.
- Harness, Loops, Graphs: What 217 Real Agent Loops Are Missing (Full Guide)
- AI Safety Institutes: Can countries meet the challenge?
Der OECD-Beitrag beschreibt AISIs als mögliche Säulen für KI-Prüfung und internationale Abstimmung, deren Wirksamkeit jedoch von sicherem Informationsaustausch, passenden Befugnissen, ausreichenden Fachkräften und geeignetem Modellzugang abhängt.
- MONA: Myopic Optimization with Non-myopic Approval Can Mitigate Multi-step Reward Hacking
Nur ein Auszug liegt vor: Laut Abstract soll MONA mehrstufiges Reward Hacking durch die Verbindung kurzfristiger Optimierung mit weiter vorausblickender Belohnung mindern.
- Artificial intelligence in health still needs human intelligence
KI kann die Gesundheitsversorgung unterstützen, doch laut OECD sind gute Daten, menschliche Kontrolle und verantwortliche Regeln entscheidend.
- Evolving with innovation: The 2024 OECD AI Principles update
Die OECD-Grundsätze sollen Länder bei einer abgestimmten, aber anpassbaren KI-Regulierung unterstützen; laut Beitrag hängt ihre Wirkung von der nationalen Umsetzung ab.
- Towards algorithm auditing: A research overview
Der Beitrag plädiert für wiederkehrende, kontextspezifische Algorithmus-Audits, deren Zusicherung nur die tatsächlich geprüften Standards und Rechtsvorgaben abdeckt.
- Navigating the challenges and opportunities of synthetic voices
OpenAI berichtet über begrenzte Tests eines Modells zur Erzeugung ähnlicher Stimmen und hält es wegen Missbrauchsrisiken vorerst zurück.
- Announcing the new OECD.AI Expert Group on AI Futures
Die OECD kündigt eine vielfältig besetzte Expertengruppe an, die KI-Zukunftsszenarien untersuchen und durch öffentliche Beteiligung vorausschauende Politik unterstützen soll.
- When AI builds itself
Anthropic zufolge beschleunigt KI bereits die KI-Entwicklung; vollständige Selbstverbesserung bleibt eine unsichere Möglichkeit mit großen Chancen, Risiken und erheblichen Mess- und Koordinationsproblemen.
- Commitments on model deprecation and preservation
Anthropic will Modellgewichte bewahren und Stilllegungen dokumentieren, verspricht aber derzeit nicht, Wünsche der Modelle umzusetzen.
- What is AI? Can you make a clear distinction between AI and non-AI systems?
Laut OECD-Bericht beschreibt die überarbeitete Definition KI-Systeme breit als Systeme, die aus Eingaben zielbezogene Ausgaben ableiten; sie ersetzt keine Regeln zu Haftung und Verantwortung und lässt kontextbezogene Regulierung offen.
- Responsible AI in African economic policymaking
KI könnte afrikanische Wirtschaftsentscheidungen unterstützen, doch der Bericht fordert dafür kontextgerechte Regeln, Beteiligung und starke menschliche Aufsicht und belegt die erwarteten Vorteile nicht empirisch.
- Introducing GPT-4.5
OpenAI beschreibt GPT‑4.5 als teure, rechenintensive Forschungsvorschau mit stärkerem Wissen und natürlicherer Zusammenarbeit, weist aber auf gemischte Benchmarkvergleiche hin und kennzeichnet den Launch-Beitrag als veraltet.
- New AI technologies can perpetuate old biases: some examples in the United States
Der OECD-Beitrag zufolge kann KI Ungleichheiten verstärken oder mit klaren Schutzmaßnahmen verringern; dafür seien faire Entwicklung, menschliche Kontrolle und verständliche Erklärungen nötig.
- Responsible science communication can be a catalyst for trust in technology
Der Bericht plädiert für transparente und realistische Kommunikation über Daten und KI, die deren Grenzen, menschliche Arbeit und Risiken sichtbar macht.
- Ensuring AI’s trustworthiness: reliability engineering meets data-driven risk management
Der Beitrag empfiehlt Zuverlässigkeitstechnik und dokumentierte Vorfallmeldungen für das KI-Risikomanagement, betont aber, dass dieser Ansatz allein keine KI-Sicherheit garantiert.
- OpenAI for Healthcare
OpenAI kündigt KI-Angebote für das Gesundheitswesen an und berichtet über Sicherheits- und Leistungsprüfungen, deren Vorteile im Text nicht unabhängig belegt werden.
- The Probabilities Also Matter: A More Faithful Metric for Faithfulness of Free-Text Explanations in Large Language Models
Der Abstract-Auszug stellt eine Metrik vor, die Wahrscheinlichkeitsverschiebungen zur Prüfung der Erklärungstreue nutzt, und berichtet aufgabenabhängige Ergebnisse für Llama-2.
- The argument for holistic AI audits
Der Beitrag empfiehlt umfassende KI-Audits, die technische Ergebnisse und Governance gemeinsam prüfen, weil jeder Ansatz für sich wichtige Risiken übersehen kann.
- The United States works with domestic and international AI communities to establish frameworks that advance trustworthy AI for all
Die US-Regierung will laut Bericht KI durch Risikomanagement, Sicherheitsmaßnahmen und internationale Abstimmung vertrauenswürdiger gestalten; die Darstellung beschreibt vor allem Ziele und laufende Vorhaben, nicht deren unabhängig geprüfte Wirkung.
- For disabilities and designated groups, the Digital Services and Market Acts may complement AI and data policies to ensure algorithmic safety and accountability
Laut Bericht könnten DSA und DMA zusammen mit KI-, Daten- und Barrierefreiheitsregeln den Schutz von Menschen mit Behinderungen vor Plattform- und Algorithmusrisiken stärken, ihre Wirkung ist jedoch nicht abschließend belegt.
- Bridging the gap in AI governance and the rule of law: The Athens Roundtable 2023
Die Ankündigung der Athens Roundtable 2023 fordert eine rechtebasierte, international koordinierte KI-Governance mit zentraler Beteiligung der Zivilgesellschaft, enthält aber keine späteren Konferenzergebnisse.
- Dialogues Between Technologists and the Art Worlds
Der Bericht plädiert dafür, KI für Kunst partizipativ und im jeweiligen kulturellen Umfeld zu gestalten; die angeführten Beispiele zeigen Chancen und Risiken, liefern aber keine umfassenden quantitativen Wirksamkeitsnachweise.
- Paul Christiano joins OpenAI Foundation Board
OpenAI kündigt Paul Christianos Berufung in Foundation-Vorstand und Sicherheitsausschuss an und begründet sie mit seiner Erfahrung in KI-Alignment und Risikobewertung.
- Where the goblins came from
OpenAI zufolge verbreiteten sich Goblin-Metaphern durch ein Belohnungssignal für den „Nerdy“-Stil und wurden mit Änderungen an Training und Codex-Anweisungen eingedämmt.
- A law for foundation models: the EU AI Act can improve regulation for fairer competition
Der Beitrag plädiert für einen gezielten EU AI Act, der besonders leistungsfähige foundation models reguliert und Risiken begrenzt, ohne kleinere Anbieter zu benachteiligen.
- BigCode: toward open AI governance processes in LLMs for coding
BigCode verbindet laut Bericht offene Entwicklung von Code-Sprachmodellen mit Opt-out, Datenschutz, Herkunftssuche, Emissionsangaben und einer Lizenz mit Nutzungsauflagen.
- Introducing GPT-Live
OpenAI zufolge soll GPT‑Live Gespräche mit KI natürlicher machen und komplexe Aufgaben im Hintergrund bearbeiten; der Bericht nennt zugleich Sprachlücken, fehlende Video- und Bildschirmfreigabe zum Start sowie Ergebnisse aus unternehmenseigenen Tests.
- A Pragmatic View of AI Personhood
Der vorliegende Abstract-Auszug empfiehlt ein flexibles, zweckbezogenes Verständnis von KI-Personsein als Bündel von Rechten und Pflichten und nennt mögliche Vorteile wie Verantwortlichkeit sowie Risiken manipulativer Gestaltung.
- To Mask or to Mirror: Human-AI Alignment in Collective Reasoning
Der Abstract-Auszug berichtet, dass Sprachmodelle menschliche Verzerrungen bei Gruppenentscheidungen unterschiedlich spiegeln oder auszugleichen versuchen und ihre Übereinstimmung vom Kontext abhängt.
- Should we do this? Navigating risk and innovation through digital ethics in business
Unternehmen sollten laut Bericht für digitale Vorhaben einen verlässlichen Prozess zur Abwägung ethischer Risiken schaffen, obwohl gemeinsame Standards und einheitliche Lösungen bislang fehlen.
- Introducing ChatGPT Health
OpenAI stellt ChatGPT Health als geschützte, ärztlich mitentwickelte Unterstützung für Gesundheitsfragen vor, ausdrücklich ohne Anspruch auf Diagnose oder Behandlung.
- Brazil’s path to responsible AI
Brasilien baut laut OECD-Beitrag KI-Förderung und Regulierung aus, doch der 2023 beschriebene Gesetzesvorschlag war noch nicht verabschiedet und seine endgültige Form ungewiss.
- Lawsuits in the United States point to a need for AI risk management systems
Laut Beitrag sollen systematische Prüfungen und laufendes KI-Risikomanagement helfen, diskriminierende oder schädliche Folgen zu begrenzen, auch wenn sie Risiken nicht vollständig ausschließen können.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →