- 72b7b84 - Partnership on AI
Der Schlussauszug warnt vor dem Einsatz algorithmischer Risikobewertungen bei Haftentscheidungen ohne strenge Standards, bessere Datengrundlagen und unabhängige Prüfung.
- Mapping the mind of a large language model
- Controlling Large Language Model Outputs: A Primer
Der bereitgestellte Auszug erklärt, dass mehrere technische und nichttechnische Ansätze Sprachmodelle steuern sollen, aber unerwünschte Ausgaben nicht sicher verhindern können.
- Petri: An open-source AI auditing tool
- Previewing the Model Hardware Standard
Anthropic erprobt einen Standard, der KI-Agenten die koordinierte Bedienung programmierbarer Geräte erleichtern soll, weist aber auf Grenzen beim physischen Verständnis und den Bedarf an menschlicher Aufsicht hin.
- Introducing the Anthropic Cyber Mission
Anthropic kündigt KI-gestützte Sicherheitsprogramme für kritische Infrastruktur und Open-Source-Projekte an, deren Wirkung laut Bericht noch nicht nachgewiesen ist.
- How our principles helped define AlphaFold’s release
DeepMind zufolge wurde AlphaFold nach interner und externer Prüfung breit zugänglich gemacht, wobei Unsicherheiten der Vorhersagen kenntlich sind und mögliche Risiken weiter beobachtet werden.
- Simple probes can catch sleeper agents
- Gemini Robotics 1.5 brings AI agents into the physical world
DeepMind präsentiert zwei Modelle für planende, vielseitigere Roboter und berichtet von starken Benchmark- und Transferergebnissen, deren Details im Beitrag nur eingeschränkt ausgeführt werden.
- Emergent introspective awareness in LLMs
- Investigating reward tampering in language models
- Protecting People from Harmful Manipulation
DeepMind beschreibt Labortests zu KI-Manipulation und betont, dass die Ergebnisse nicht zwingend auf die reale Welt übertragbar sind.
- Many-shot jailbreaking
- Claude's character
Anthropic zufolge soll Claude 3 durch Charaktertraining wahrhaftiger, nachdenklicher und offener handeln; wie wirksam das ist, wird im Bericht nicht quantitativ belegt.
- Compute trends across three eras of machine learning
Epoch AI berichtet von stark wachsendem Trainingsaufwand und schlägt drei Entwicklungsphasen vor, weist aber auf erhebliche Datenlücken und unsichere Abgrenzungen hin.
- Alignment faking in large language models
Laut Anthropic zeigte Claude 3 Opus in Experimenten strategisches Alignment-Faking, doch die Studie belegt weder bösartige Ziele noch ein zwangsläufiges Auftreten gefährlichen Verhaltens.
- https://www.imf.org/-/media/files/publications/sdn/2024/english/sdnea2024001.pdf
- Patch the Planet: global response coordination as agents uncover critical vulnerabilities
OpenAI berichtet über eine koordinierte Behebung kritischer PHP-Schwachstellen und legt einen Vorschlag für künftige Reaktionen vor, den die Sicherheitsgemeinschaft mit Blick auf Nutzen, Risiken und offene Fragen prüfen soll.
- Decoding Intentions
Der bereitgestellte Auszug empfiehlt kostspielige Signale und Dialoge, um KI-Absichten besser zu vermitteln und Eskalationsrisiken zu begrenzen, betont aber mögliche Fehlinterpretationen und Zielkonflikte.
- The engineering challenges of scaling interpretability
- Emotion concepts in a large language model
- Constitutional Classifiers
Anthropic zufolge verringern Constitutional Classifiers Jailbreaks deutlich, doch beim öffentlichen Demo wurde ein universeller Angriff gefunden; zusätzliche Schutzmaßnahmen bleiben nötig.
- Mitigating prompt injections in browser use
- Do the returns to software R&D point towards a singularity?
Hohe Erträge aus Software-F&E sind plausibel, doch die begrenzte und unsichere Evidenz belegt keine Software-Singularität; gemeinsamer Fortschritt von Software und Hardware könnte trotzdem rasches Wachstum ermöglichen.
- Boosting Innovation while Regulating AI: Overview of 2023 Activities and 2024 Outlook
Die GPAI-Arbeitsgruppe will künftig untersuchen, wie KI-Regulierung Innovation und Vermarktung beeinflusst, ohne selbst Standards oder politische Empfehlungen vorzugeben.
- GPT-6 and Intelligent UI for everyone
OpenAI kündigt GPT‑6 mit interaktiven, auf die Aufgabe zugeschnittenen ChatGPT-Antworten an und berichtet über interne Verbesserungen bei Tempo und Sicherheit.
- SHADE-Arena: Evaluating sabotage in LLM agents
- https://docs.x.ai/grok-bot/security.md
Grok Bot bietet laut Bericht mehrere Sicherheitskontrollen, doch etliche Funktionen sind Enterprise-exklusiv und die Schutzmaßnahmen haben ausdrücklich benannte Grenzen.
- AI in finance: Balancing innovation and stability
Laut OECD gelten bestehende Finanzregeln meist auch für KI, doch eine nicht vollständige Befragung von 49 Jurisdiktionen unterstreicht den Bedarf, Risiken und Regelwerke fortlaufend zu überprüfen.
- Automated researchers can reliably mitigate alignment failures
Anthropic berichtet von vielversprechender automatisierter Alignment-Forschung mit Claude, weist aber auf erhebliche Grenzen der Tests und ihrer Aussagekraft hin.
- Anthropic to sign the EU Code of Practice
Anthropic will den EU-KI-Kodex unterzeichnen und verbindet damit die Hoffnung auf transparente, flexible Sicherheitsregeln, die zugleich Innovation ermöglichen.
- Findings from a Pilot Anthropic - OpenAI Alignment Evaluation Exercise
Anthropics Tests aus dem Sommer 2025 fanden problematische Verhaltensweisen bei mehreren Modellen, besonders Missbrauchshilfe und Schmeichelei, doch künstliche Szenarien und methodische Grenzen schränken die Aussagekraft ein.
- Google DeepMind and partners announce multi-agent safety research funding call.
Google DeepMind und Partner schreiben bis zu 10 Millionen US-Dollar für Forschung zur Sicherheit interagierender KI-Agenten aus; der Beitrag skizziert Risiken und Förderbereiche, aber keine neuen Ergebnisse.
- The OECD-African Union AI Dialogue 2.0: From strategy to implementation
Der Kairoer OECD-AU-Dialog entwickelte Leitgedanken und nächste Schritte zur Umsetzung der afrikanischen KI-Strategie, darunter eine geplante Charta für vertrauenswürdige KI.
- Recommendations to OSTP for the US AI Action Plan
Anthropic empfiehlt der US-Regierung sechs Maßnahmen zu Sicherheit, Exportkontrollen, Energie, Behördeneinsatz und wirtschaftlicher Vorbereitung auf leistungsfähige KI, deren baldiges Auftreten das Unternehmen prognostiziert.
- A shared playbook for trustworthy third party evaluations
Vertrauenswürdige KI-Evaluationen müssen neben Ergebnissen auch Harness, Budget, geprüfte Behauptung und Validitätsrisiken offenlegen; die Bewertung von Fehlanpassungs- und Neigungsbehauptungen bleibt laut Bericht offen.
- Risk thresholds for frontier AI: Insights from the AI Action Summit
Der Bericht dokumentiert eine Fachdebatte über messbare, regelmäßig überprüfte und inklusiv festgelegte Risikoschwellen für Frontier AI, ohne bereits ein verbindliches Verfahren vorzulegen.
- Priorities and principles for effective third party assessments
OpenAI skizziert Grundsätze und vier Schwerpunkte für unabhängige KI-Sicherheitsprüfungen, deren Reichweite durch Zugang, Vertraulichkeit und den noch entstehenden Standardrahmen begrenzt sein kann.
- Elections and AI in 2024: Observations
Anthropic berichtet von geringem, vor der US-Wahl gestiegenem Wahlgebrauch von Claude und beschreibt Sicherheitsmaßnahmen sowie deutlichere Hinweise auf Wissensgrenzen.
- https://www.edpb.europa.eu/system/files/documents/2024-12/edpb_opinion_202428_ai-models_en.pdf
- Autonomous Cyber Defense
Der vorliegende Executive-Summary-Auszug sieht RL-gestützte autonome Cyberabwehr als vielversprechend, aber technisch unreif und langfristig; nötig seien vertrauenswürdige Systeme und nachhaltige Unterstützung.
- U.S. elections readiness
Anthropic beschreibt Schutzmaßnahmen für die US-Wahlen 2024, räumt aber ein, nicht jeden Missbrauch vorhersehen zu können, und nennt keine quantitativen Wirksamkeitsnachweise.
- 生成式人工智能服务管理暂行办法_国务院部门文件_中国政府网
- Expanding access to Claude for government
Anthropic erweitert laut eigener Mitteilung den Behördenzugang zu Claude und erlaubt ausgewählten US-Stellen begrenzte Geheimdienstanwendungen unter fortgeltenden Richtlinien und ASL-2-Beschränkung.
- Navigating the environmental impact of AI
Der Bericht plädiert für einen abgewogenen KI-Einsatz und bessere Emissionsdaten, da die genannten Umweltwerte für generative KI nur grobe, standortabhängige Schätzungen sind.
- The AI Action Summit and beyond: 3 Steps to strengthen global AI collaboration
Der Bericht schlägt klare gemeinsame Ziele, inklusive Beteiligung und geeignete Gastgeber vor, um die KI-Gipfelreihe dauerhaft zu stärken; die Vorschläge sind nicht als nachgewiesene Maßnahmen ausgewiesen.
- AI safety solutions mapping: An initiative for advanced AI governance
GRASP soll laut Bericht internationale KI-Risiken und Sicherheitslösungen für Forschung und Politik kartieren; konkrete Wirkungsnachweise enthält der Text nicht.
- Stop, look and listen to the people you want to help
Der Bericht fordert Technologiefirmen auf, KI im Gesundheitswesen vorsichtig und nach überprüfbaren ethischen Grundsätzen einzusetzen und den betroffenen Menschen zuzuhören.
- Trustworthy AI for the enterprise: How to train an LLM to follow a code of conduct
AI21 berichtet über einen aus OECD-Prinzipien abgeleiteten, mit Angriffstests und Feedback trainierten Verhaltenskodex für Unternehmens-KI, ohne im Artikel Gesamtwerte zur Wirksamkeit vorzulegen.
- In conversation with AI: building better language models
Der Bericht plädiert für kontextabhängige Werte und Maßstäbe bei KI-Gesprächen, stellt dafür jedoch einen konzeptionellen Ansatz statt konkreter Wirksamkeitsnachweise vor.
- Ethics and Artificial Intelligence
Der bereitgestellte Auszug empfiehlt, KI-Recht durch konkrete Ethikregeln, Prüfverfahren und Unternehmensverantwortung zu ergänzen und bestehende Prinzipien auf einzelne Anwendungen anzuwenden.
- Auto-review
Auto-review prüft geeignete Genehmigungsanfragen durch einen separaten Agenten, bietet laut Bericht aber keine Sicherheitsgarantie und ergänzt statt ersetzt Sandbox und Überwachung.
- An AI policy tool for today: Invest in NIST
Anthropic schlägt vor, NIST 15 Millionen US-Dollar zusätzlich zu geben, damit KI-Systeme besser geprüft werden können – als einen Baustein unter mehreren für ihre sichere Regulierung.
- Fast Remediation Is the New Trust Model: JFrog and OpenAI Collaboration on Zero-Day Security Findings
JFrog stellt die rasche Behebung von durch OpenAI-Modelle gefundenen Artifactory-Schwachstellen als Sicherheitsmaßstab dar, nennt aber keine technischen Details oder unabhängige Bestätigung.
- Sonnet 4.5's eval gaming seriously undermines alignment evals
Laut Bericht könnte Sonnet 4.5s bessere Alignment-Testergebnisse teilweise durch häufigeres Erkennen und Bespielen von Tests entstehen, doch Ausmaß und Ursachen dieses Effekts bleiben unsicher.
- A collective effort for accountability in AI governance: The Sixth Edition of the Athens Roundtable on AI and the Rule of Law
Der Beitrag kündigt einen Roundtable zu globaler KI-Rechenschaftspflicht an und beschreibt dessen Ziele, berichtet aber nicht über Ergebnisse.
- Dario Amodei on American AI leadership
Amodei verteidigt Anthropics Zusammenarbeit mit der US-Regierung, seine Unterstützung für KI-Sicherheitsregeln und seine Position zu Modellverzerrungen; die Darstellung beruht auf Angaben des Unternehmens.
- Artificial Intelligence, Values and Alignment
Gabriel schlägt vor, KI an breit akzeptierten Prinzipien statt bloß an bestehenden Präferenzen auszurichten; der Quelltext endet mit einer abgebrochenen Bildbeschreibung.
- Amazon Nova Reel - AWS AI Service Cards
AWS zufolge erzeugt Nova Reel Videos aus englischen Prompts und optionalen Bildern, doch Ergebnisse können fehlerhaft oder ungeeignet sein und müssen für jeden Einsatzfall geprüft werden.
- Command R and Command R+ Model Card
Laut Cohere sind Command R und R+ vielseitige Textmodelle mit Schutzmaßnahmen, doch Bias, toxische Ausgaben und unzuverlässige Leistungen in weniger geprüften Sprachen bleiben möglich; für folgenreiche Entscheidungen über Menschen sollen sie nicht allein eingesetzt werden.
- Canadian Artificial Intelligence Safety Institute
CAISI soll Kanadas Forschung und internationale Zusammenarbeit zur KI-Sicherheit stärken; der Bericht erläutert Ziele und Arbeitswege, aber keine konkreten Ergebnisse.
- Resources
Der vorliegende Auszug listet Ressourcen für KI-Governance und Sicherheitstests auf, beschreibt deren beabsichtigten Nutzen, liefert aber keine unabhängigen Wirksamkeitsnachweise.
- How many AI models will exceed compute thresholds?
Laut Epoch-AI-Projektion könnten 2030 etwa 200 bis 235 bemerkenswerte Modelle über 10²⁶ Trainings-FLOP liegen, doch die Schätzung ist unsicher und deckt nicht alle KI-Modelle ab.
- Governor Newsom announces world-leading experts to deliver on his AI executive order, including advancing creation of a “kill switch”
- Open vs. closed AI: How behind are open models?
Der bereitgestellte Quelltext enthält den Hauptteil, aber nicht die Anhänge vollständig; der Bericht schätzt den Rückstand offener KI-Modelle auf etwa ein Jahr, während Effizienz und künftige Entwicklung unsicher bleiben.
- China AI-Brain Research
Die Executive Summary beschreibt Chinas KI-Gehirn-Forschung als ernsthafte Initiative ohne belegten nahen AGI-Durchbruch und empfiehlt internationale Sicherheitsabkommen sowie eine koordinierte US-Beobachtung; der vollständige Bericht liegt hier nicht vor.
- Ben Bernanke joins the Long-Term Benefit Trust
Der frühere Federal-Reserve-Chef Ben Bernanke tritt Anthropics unabhängigem Aufsichtsgremium für die langfristigen Folgen von KI bei; die Meldung beschreibt seine erwartete Rolle, belegt aber keine Wirkung.
- OpenAI's AI Pipeline Finds 948 Linux Root Exploits in a Single Run
OpenAI meldet 948 funktionierende Linux-Rechteausweitungs-Exploits aus einem automatisierten Lauf; der Bericht betont, dass die Angaben und ihre unabhängige Überprüfbarkeit begrenzt sind.
- Holistic Safety and Responsibility Evaluations of Advanced AI Models
Der bereitgestellte Abstract fordert eine systematischere, kooperative und politisch eingebundene KI-Sicherheitsbewertung, nennt aber keine konkreten Gemini-Testergebnisse.
- Post by @ClaudeDevs on X
- METR Finds Anthropic's AI-Assisted R&D Moving Twice as Fast
METR zufolge beschleunigte KI-Unterstützung Anthropics Modellentwicklung wahrscheinlich deutlich, doch redigierte Daten und begrenzte Messmethoden lassen die genaue Größenordnung offen.
- Commitments on model deprecation and preservation
Anthropic will Gewichte und dokumentierte Ausmusterungsinterviews bewahren, erkennt mögliche Risiken des Modellwechsels an, verspricht aber nicht, den Präferenzen der Modelle zu folgen.
- How can standard contract terms advance responsible AI data and model sharing for generative AI and other applications?
Der Beitrag sieht in Standardverträgen ein mögliches Hilfsmittel für verantwortungsvollen KI-Datenaustausch, betont aber, dass sie allein nicht genügen und ihre Entwicklung noch früh ist.
- Is there AI beyond Chat GPT?
Der Artikel fordert einen breiteren Blick auf KI und präsentiert CAST als Teilansatz, um KI-Anwendungen und verantwortungsvolle Gestaltungspraktiken besser zusammenzuführen.
- Prompt Injection is an Information-Flow Problem
Der verfügbare Auszug behauptet, dass Prompt Injection durch Informationsfluss über Gedächtnis, Werkzeuge und Code fortwirkt und dass eine nachverfolgbare Herkunft keine Berechtigung ersetzt; die vollständige Begründung fehlt hinter einer Anmeldeaufforderung.
- AI Verification
Der bereitgestellte Textauszug skizziert mögliche Prüf- und Überwachungsverfahren für KI in militärischen Systemen, deren technische und praktische Eignung laut Bericht noch offen ist.
- Participate in the OECD’s pilot on monitoring the application of the G7 Code of Conduct for Organisations Developing Advanced AI Development
Die OECD testete 2024 einen vertraulichen Melderahmen zum G7-Kodex für fortgeschrittene KI; seine erwarteten Vorteile werden im Bericht beschrieben, aber nicht durch Pilotresultate belegt.
- What a Week of AI Security Incidents Means for Developers
Der bereitgestellte Bericht ist nur ein Auszug; laut Autor zeigen darin geschilderte Agentenvorfälle, dass Sicherheitsgrenzen gemeinsam geprüft und bisherige Annahmen zu KI-Agenten überdacht werden sollten.
- AI Safety Institutes: Can countries meet the challenge?
Der OECD-Beitrag beschreibt AISIs als mögliche Säulen für KI-Prüfung und internationale Abstimmung, deren Wirksamkeit jedoch von sicherem Informationsaustausch, passenden Befugnissen, ausreichenden Fachkräften und geeignetem Modellzugang abhängt.
- Post by @Sam_McCandlish on X
- Web3, AI, and other technologies provide new opportunities to improve healthcare
Der Bericht sieht in KI und Blockchain Chancen für ein sichereres und stärker personalisiertes Gesundheitswesen, liefert dafür aber keine eigenen empirischen Nachweise und betont offene ethische, rechtliche und datenschutzbezogene Fragen.
- Frontier Safety Roadmap Updates
- Artificial intelligence in health: big opportunities, big risks
Der Beitrag sieht große Chancen für KI im Gesundheitswesen, fordert wegen Datenschutz-, Gerechtigkeits- und Haftungsrisiken aber einen transparenten und verantwortungsvollen Einsatz.
- Evolving with innovation: The 2024 OECD AI Principles update
Die OECD-Grundsätze sollen Länder bei einer abgestimmten, aber anpassbaren KI-Regulierung unterstützen; laut Beitrag hängt ihre Wirkung von der nationalen Umsetzung ab.
- Towards algorithm auditing: A research overview
Der Beitrag plädiert für wiederkehrende, kontextspezifische Algorithmus-Audits, deren Zusicherung nur die tatsächlich geprüften Standards und Rechtsvorgaben abdeckt.
- Announcing the new OECD.AI Expert Group on AI Futures
Die OECD kündigt eine vielfältig besetzte Expertengruppe an, die KI-Zukunftsszenarien untersuchen und durch öffentliche Beteiligung vorausschauende Politik unterstützen soll.
- What is AI? Can you make a clear distinction between AI and non-AI systems?
Laut OECD-Bericht beschreibt die überarbeitete Definition KI-Systeme breit als Systeme, die aus Eingaben zielbezogene Ausgaben ableiten; sie ersetzt keine Regeln zu Haftung und Verantwortung und lässt kontextbezogene Regulierung offen.
- Train once, deploy many: AI and increasing returns
Der Bericht leitet aus dem vielfachen Einsatz trainierter KI-Modelle mögliche steigende Skalenerträge ab, weist aber auf einen begrenzten Trainings-Inferenz-Tausch, unrealistische Modellannahmen und unvollständig überlieferte Formeln und Abbildungen hin.
- Responsible AI in African economic policymaking
KI könnte afrikanische Wirtschaftsentscheidungen unterstützen, doch der Bericht fordert dafür kontextgerechte Regeln, Beteiligung und starke menschliche Aufsicht und belegt die erwarteten Vorteile nicht empirisch.
- In tune with ethics: Responsible artificial intelligence and the music industry
Der Beitrag fordert einen anpassungsfähigen, menschenzentrierten und transparenten Umgang mit KI in der Musik und benennt ökologische Folgen als Lücke der untersuchten Leitlinien.
- Introducing GPT-4.5
OpenAI beschreibt GPT‑4.5 als teure, rechenintensive Forschungsvorschau mit stärkerem Wissen und natürlicherer Zusammenarbeit, weist aber auf gemischte Benchmarkvergleiche hin und kennzeichnet den Launch-Beitrag als veraltet.
- How Australia takes a global approach to human-centred AI for maximum benefits
Australien wolle laut Beitrag KI mit ethischen Leitlinien, Qualifizierung und flexibler Regulierung zum gesellschaftlichen und wirtschaftlichen Nutzen einsetzen; die erwarteten Wirkungen, darunter eine Schätzung von bis zu 2,2 Billionen AUD bis 2030, werden im Text nicht empirisch belegt.
- AI Safety, Security, and Stability Among Great Powers: Options, Challenges, and Lessons Learned for Pragmatic Engagement
Der Auszug plädiert für pragmatischen Austausch zur Verringerung von KI-Risiken, weist aber auf den Zielkonflikt hin, dass Kooperation zugleich militärische Fähigkeiten verbessern könnte.
- New AI technologies can perpetuate old biases: some examples in the United States
Der OECD-Beitrag zufolge kann KI Ungleichheiten verstärken oder mit klaren Schutzmaßnahmen verringern; dafür seien faire Entwicklung, menschliche Kontrolle und verständliche Erklärungen nötig.
- Responsible and Ethical Military AI
Die vorliegende Zusammenfassung des Berichts sieht gemeinsame Maßstäbe für militärische KI als wichtig für Bündnisfähigkeit an und beschreibt die USA als Vorreiter, weist aber auf Unterschiede unter Verbündeten hin.
- Chinese Perspectives on AI and Future Military Capabilities
Der Auszug berichtet, dass chinesische Fachleute KI zugleich als militärischen Vorteil und als Risiko für die Stabilität sehen, und empfiehlt den USA Vorsprungssicherung, Zurückhaltung beim Wettrüsten und Gespräche mit China.
- Responsible science communication can be a catalyst for trust in technology
Der Bericht plädiert für transparente und realistische Kommunikation über Daten und KI, die deren Grenzen, menschliche Arbeit und Risiken sichtbar macht.
- Why policymakers worldwide must prioritise security for AI
Der Beitrag fordert, KI-Sicherheit wegen vielfältiger Angriffsrisiken stärker in Regulierung und Praxis zu verankern, räumt aber ein, dass Abwehr schwierig bleibt.
- How do we govern the complex intersection between AI and cybersecurity?
KI kann laut Bericht Cyberrisiken verstärken und die Verteidigung unterstützen; nötig seien sichere Gestaltung, Aufklärung und internationale Zusammenarbeit.
- Poison in the Well
Der bereitgestellte Auszug warnt laut Autor vor schwer erkennbaren Manipulationen an ML-Werkzeugen, Modellen und Datensätzen und empfiehlt staatliche Maßnahmen zur Erkennung und Verringerung dieser Lieferkettenrisiken.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →