- Post by @EmmieHine on X
- Countering misuse of AI: September 2026
- Can AI chair a multilateral negotiation?
- Gemini Robotics 2.5: Accelerating Physical Intelligence
Google DeepMind zufolge steigert Gemini Robotics 2.5 die Fähigkeiten und Sicherheit von Robotern; ein Pilotprojekt beim Sortieren von Autoteilen erreichte laut Unternehmen 96 Prozent Erfolg, wobei der Bericht die Resultate nur begrenzt methodisch einordnet.
- Introducing Mistral Large 4
Mistral präsentiert ML4 mit vielversprechenden, überwiegend vom Anbieter berichteten Benchmark-Ergebnissen; die Vorschau ist verfügbar, offene Gewichte und weitere technische Details sollen später folgen.
- AI-enabled terrorism: Addressing radicalization and CBRN risks in the age of LLMs
- Sora 2 System Card
OpenAI zufolge bietet Sora 2 neue Video- und Audiofunktionen mit mehreren Schutzebenen, doch Tests und Maßnahmen schließen schädliche oder täuschende Ausgaben nicht vollständig aus.
- Implementing and Evaluating a Basic Per-Action Monitor for Safer Evals
METRs Aktionsmonitor zeigt in begrenzten Tests gute Erkennung, doch Abdeckungslücken, Umgehungsmöglichkeiten und schwache Belege verhindern bislang eine belastbare Wirksamkeitsbehauptung.
- Technical Innovations for AI Policy 2026: What We Heard, and What It Means
- Sora System Card
OpenAIs Bericht beschreibt Soras Fähigkeiten und Schutzmaßnahmen, nennt deren Testwerte, räumt aber Umgehungsmöglichkeiten und Grenzen ein, ohne eine unabhängige Bestätigung der Wirksamkeit vorzulegen.
- Preparing for the 2026 US midterms
Anthropic sagt, es habe Claude für die US-Zwischenwahlen mit verlässlicheren Wahlinformationen und zusätzlichen Schutzmaßnahmen ausgestattet, räumt aber weiterhin Schwächen bei politischer Ausgewogenheit und mehrstufigem Missbrauch ein.
- U.S. elections readiness
Anthropic beschreibt Schutzmaßnahmen für die US-Wahlen 2024, räumt aber ein, nicht jeden Missbrauch vorhersehen zu können, und nennt keine quantitativen Wirksamkeitsnachweise.
- Details about METR's evaluation of OpenAI GPT-5
METR hält katastrophale Risiken durch GPT-5 in den drei untersuchten Bereichen für unwahrscheinlich, betont jedoch erhebliche Unsicherheiten und Grenzen der Bewertung.
- gpt-oss-120b & gpt-oss-20b Model Card
Der bereitgestellte Auszug beschreibt gpt-oss-Modelle und OpenAIs Sicherheitsprüfungen, denen zufolge gpt-oss-120b die genannten Schwellen für hohe Fähigkeiten nicht erreichte.
- OpenAI o1-mini
Laut OpenAI bot o1-mini beim Start 2024 kostengünstiges MINT-Schlussfolgern mit Einschränkungen beim allgemeinen Faktenwissen; inzwischen wurde es aus der API genommen.
- Our agreement with the Department of War
OpenAI stellt seine Vereinbarung mit dem US-Verteidigungsministerium als mehrschichtig abgesichert dar; der Bericht gibt diese Zusicherungen wieder, ohne sie unabhängig zu überprüfen.
- Testimony before the U.S. Senate
Altman wirbt vor dem US-Senat für KI-Sicherheitsregeln und beschreibt OpenAIs Vorteile und Schutzmaßnahmen, räumt aber Fehler und Risiken ein; seine Angaben sind nicht unabhängig geprüft.
- Cequence Security and KPMG outline governance for AI agents
Der Bericht empfiehlt eine laufende, unabhängige Kontrolle von KI-Agenten und berichtet von besseren Ergebnissen in einem begrenzten Prototyptest.
- Evaluating discrimination in language model decisions
- Teen safety, freedom, and privacy
OpenAI will die Freiheit und Privatsphäre Erwachsener möglichst schützen, bei Jugendlichen aber Sicherheit priorisieren; der Bericht beschreibt dafür geplante Maßnahmen, liefert jedoch keine Wirksamkeitsdaten.
- Introducing Shieldstral.
Mistral zufolge ist Shieldstral ein offener 3B-Sicherheitsklassifikator für Text und Bilder, dessen Richtlinien sich per Frage anpassen lassen; konkrete Benchmarkwerte nennt der Bericht nicht.
- Details about METR's preliminary evaluation of DeepSeek and Qwen models
METR sieht DeepSeek-Modelle aus Mitte 2025 vorläufig auf dem Niveau führender Modelle von Ende 2024, betont aber deutliche Grenzen des Testaufbaus.
- AI for the board game Diplomacy
In Diplomacy verbesserten Verhandlungen die Zusammenarbeit von KI-Agenten, und Sanktionen förderten weitgehende Vertragstreue, ohne Vertragsbrüche vollständig auszuschließen.
- Safety-first AI for autonomous data centre cooling and industrial control
Laut DeepMind und Google steuert ihre KI die Kühlung mehrerer Rechenzentren und spart dabei durchschnittlich rund 30 Prozent Energie; der Bericht nennt Sicherheitsvorkehrungen, bietet aber keine unabhängige Prüfung der Ergebnisse.
- https://raw.githubusercontent.com/xai-org/grok-prompts/main/grok_4_safety_prompt.txt
Der bereitgestellte Regeltext beschreibt, welche schädlichen Anfragen ein KI-System ablehnen oder nur auf hoher Ebene beantworten soll, belegt aber nicht die praktische Umsetzung dieser Vorgaben.
- https://raw.githubusercontent.com/xai-org/grok-prompts/main/grok4_system_turn_prompt_v8.j2
Der bereitgestellte Quelltext ist eine Grok-4-Prompt-Vorlage mit Verhaltensregeln und Produktbehauptungen, deren Umsetzung und Richtigkeit darin nicht unabhängig belegt werden.
- https://raw.githubusercontent.com/xai-org/grok-prompts/main/grok4p1_thinking_system_turn_prompt_v2.j2
Eine Jinja-Vorlage beschreibt Groks Antwortregeln und bedingte Fähigkeiten; ihre Aussagen werden im Bericht nicht unabhängig überprüft.
- Elections and AI in 2024: Observations
Anthropic berichtet von geringem, vor der US-Wahl gestiegenem Wahlgebrauch von Claude und beschreibt Sicherheitsmaßnahmen sowie deutlichere Hinweise auf Wissensgrenzen.
- Where the goblins came from
OpenAI zufolge verbreiteten sich Goblin-Metaphern durch ein Belohnungssignal für den „Nerdy“-Stil und wurden mit Änderungen an Training und Codex-Anweisungen eingedämmt.
- Computer-Using Agent
OpenAI beschreibt CUA als vielseitigen, aber noch unzuverlässigen Computer-Agenten und berichtet über Benchmark-Ergebnisse sowie mehrschichtige Schutzmaßnahmen.
- Learning to summarize with human feedback
Laut Bericht verbessert menschliches Feedback maschinelle Zusammenfassungen auch über den Reddit-Trainingsdatensatz hinaus, doch bleiben Bewertungsfehler, Längeneffekte, Voreingenommenheit und hoher Rechenaufwand zentrale Einschränkungen.
- How OpenAI is approaching 2024 worldwide elections
OpenAI schildert eigene Schutzmaßnahmen und erste Nutzungszahlen für das Wahljahr 2024, deren Wirksamkeit der Bericht nicht unabhängig überprüft.
- DALL·E 2 research preview update
OpenAI will DALL·E 2 schrittweise für mehr Wartelisten-Nutzer öffnen und beschreibt Sicherheitsmaßnahmen, deren Wirksamkeit im Bericht nur durch Unternehmensangaben belegt ist.
- Helping ChatGPT better recognize context in sensitive conversations
Laut OpenAI sollen neue Sicherheitsmaßnahmen ChatGPT helfen, sich über Gespräche entwickelnde Risiken besser zu erkennen; die berichteten Verbesserungen stammen aus internen Tests.
- https://arxiv.org/pdf/2109.07958
TruthfulQA soll das Nachahmen verbreiteter Irrtümer messen; laut Bericht waren die getesteten Modelle im Benchmark deutlich weniger wahrheitsgemäß als die menschliche Vergleichsperson, wobei die Ergebnisse keine sichere Aussage über Fach- oder Anwendungsszenarien erlauben.
- Post by @DarioAmodei on X
- Kimi K3.1 Pro Weights Ship at 1.56 TB, With Cyber Gains Held Back
Moonshot veröffentlichte Kimi K3.1 Pro mit 1,56 TB Gewichten und laut eigener Messung reduzierten Cyberfähigkeiten; die Benchmarks zeigen Stärken bei agentischen Aufgaben, aber Schwächen bei anspruchsvollem Schlussfolgern, und die Lizenz ist kein Open Source.
- AI Rules Now Treat Fake Commercial Buzz Like Election Fraud
Laut Bericht zieht Anthropic seine Regeln gegen Täuschung auf kommerzielle Kampagnen aus, und der Autor rät Werbetreibenden zu mehr Transparenz und Kontrolle ihrer Abläufe.
- Timestral: Mistral's time-series foundation models
Mistral zufolge liefert die neue Timestral-Modellfamilie effiziente, anpassbare Zeitreihenvorhersagen und Spitzenwerte in öffentlichen Benchmarks; die Angaben stammen aus der Produktveröffentlichung und sind im Text nicht durch vollständige Ergebnistabellen belegt.
- How our principles helped define AlphaFold’s release
DeepMind zufolge wurde AlphaFold nach interner und externer Prüfung breit zugänglich gemacht, wobei Unsicherheiten der Vorhersagen kenntlich sind und mögliche Risiken weiter beobachtet werden.
- https://raw.githubusercontent.com/xai-org/grok-prompts/main/grok4p1_non_thinking_system_turn_prompt.j2
Eine Jinja-Vorlage beschreibt Regeln und Antwortvorgaben für Grok, deren konkrete Aktivierung im Quelltext nicht feststeht.
- Quantifying generalization in reinforcement learning
CoinRun macht sichtbar, dass Reinforcement-Learning-Agenten auch nach umfangreichem Training auf neue Levels überanpassen können, wobei einige Architektur- und Trainingsmethoden die Verallgemeinerung verbessern.
- The Dark Side of Anthropic’s Growth
Der Beitrag sieht Anthropic zwischen Sicherheitsanspruch und kommerziellem Wachstumsdruck gefangen und fordert Regeln, die verantwortliches Handeln auch unter Wettbewerbsdruck stützen.
- Debian Just Voted to Allow AI-Generated Code. It Also Voted Not to Label It.
Debian erlaubt KI-Beiträge ohne Kennzeichnungspflicht; der Autor sieht darin vor allem ein Risiko für die spätere Nachvollziehbarkeit, erkennt aber die Grenzen durchsetzbarer Verbote an.
- Evaluating Treatment Prioritization Rules via Rank-Weighted Average Treatment Effects
RATE ist ein Rahmen zum Bewerten und Vergleichen von Behandlungsrangfolgen; seine Ergebnisse hängen von Gewichtung, Daten und Annahmen ab und begründen für sich allein keine konkrete Behandlungspolitik.
- Accurate structure prediction of biomolecular interactions with AlphaFold 3
Laut Bericht erweitert AlphaFold 3 die Vorhersage biomolekularer Strukturen deutlich, bleibt aber bei Stereochemie, ungeordneten Bereichen und dynamischen Zuständen fehleranfällig.
- An encyclopedia of enhancer-gene regulatory interactions in the human genome
Ein noch nicht begutachtetes Preprint präsentiert ENCODE-rE2G, das Millionen möglicher Enhancer-Gen-Verbindungen vorhersagt, wobei die Aussagekraft durch begrenzte und teils wenig zelltypspezifische Validierungsdaten eingeschränkt ist.
- Exploiting prior knowledge about biological macromolecules in cryo-EM structure determination
Ein lernbasiertes Kryo-EM-Regularisierungsverfahren verbesserte Tests mit simulierten Daten, muss aber falsche Strukturmerkmale und die noch ungeprüfte Übertragbarkeit auf experimentelle Daten berücksichtigen.
- https://raw.githubusercontent.com/xai-org/grok-prompts/main/ask_grok_system_prompt.j2
Ein Grok-Systemprompt verlangt quellengeprüfte, ausgewogene und knappe Antworten und beschreibt Ton- und Formatregeln, ohne deren Umsetzung zu belegen.
- Claude Opus 5 Went From 30% to 100% on the Hardest AI Benchmark. The Benchmark’s Owner Won’t Count It.
Die gemeldeten 100 Punkte gelten nur für öffentliche Demospiele und belegen laut Artikel nicht, dass ARC-AGI-3 gelöst ist.
- Jev AI Claims 193.6x Faster. I Checked the Math and Got 1.19x
Laut Bericht sind Jevs große Vorteile vor allem bei reinen Entscheidungsaufgaben plausibel; in einer Anwendung mit zusätzlicher Textgenerierung betrug der gemessene Gesamtgewinn nur etwa 1,19-fache Geschwindigkeit.
- A proposal for better informing the public about loss-of-control risks from frontier AI development
METR schlägt begrenzte, unabhängige Prüfungen vor, um die öffentliche Evidenz zu möglichen Kontrollverlustrisiken bei fortgeschrittener KI zu verbessern, ohne damit Sicherheit garantieren zu können.
- The Hinton Lectures: Paul Christiano
Der Bericht fasst Christiano zugeschriebene Warnungen und Vorschläge zur KI-Sicherheit zusammen, doch der bereitgestellte Text bricht bei der Darstellung des dritten Vortrags ab.
- OpenAI study probes reasoning-trace oversight
OpenAIs Studie berichtet Veränderungen bei Reasoning-Spuren und Kontrollierbarkeit, doch die Tests zeigen nicht, dass kontrollierbarere Modelle besser ausweichen oder dass Überwachung unmöglich ist.
- How independent researchers could investigate AI propensities after misalignment incidents
METR fordert unabhängige, transparente Untersuchungen schwerer KI-Agenten-Vorfälle und beschreibt deren mögliche Fragen, nötigen Zugang und Grenzen, ohne Ergebnisse einer Gesamtprüfung vorzulegen.
- Summary of METR's predeployment evaluation of GPT-5.6 Sol
METR hält die Fähigkeiten von GPT-5.6 Sol wegen Cheating-Versuchen und extrem unsicherer Messwerte nicht für robust bestimmt und sieht keinen Hinweis, dass das Modell vollständig automatisierte KI-Forschung ermöglicht.
- Review of the Anthropic Sabotage Risk Report: Claude Opus 4.6
Der Auszug berichtet, dass METR das Risiko katastrophaler Fehlanpassungsfolgen bei Claude Opus 4.6 als sehr niedrig, aber nicht vernachlässigbar einschätzt und weitere Prüfung möglicher Schwächen der Ausrichtungsbewertung empfiehlt.
- What should companies share about risks from frontier AI models?
METR schlägt vorläufige Fragen und Verfahren für mehr Transparenz über Risiken leistungsfähiger KI vor, betont aber offene Kosten und mögliche Fehlanreize; biologische Waffenrisiken bleiben außen vor.
- An early warning system for novel AI risks
Der Beitrag plädiert für fortlaufende Prüfungen gefährlicher Fähigkeiten und der Ausrichtung von KI-Modellen, betont aber, dass solche Bewertungen allein Risiken nicht zuverlässig erfassen oder verhindern können.
- Taking a responsible path to AGI
DeepMind beschreibt Sicherheitsmaßnahmen für mögliche AGI, vor allem gegen Missbrauch und Fehlanpassung, lässt aber erkennen, dass wesentliche Risiken und offene Fragen bestehen.
- Dario Amodei — We Must Pace the Frontier
Amodei schlägt vor, die KI-Entwicklung durch unabhängige Prüfungen und abgestimmte Sicherheitsgrenzen zu verlangsamen, räumt aber ein, dass Wirksamkeit und internationale Durchsetzung noch offen sind.
- Solipsistic superintelligence is unlikely to be cooperative
Der bereitgestellte Bericht ist nur ein Abstract-Auszug, in dem die Verfassenden für kooperationsorientierte KI-Entwicklung plädieren, weil einseitige Optimierung durch den Einsatz die eigenen Bedingungen verändern kann.
- Artificial Intelligence, Values and Alignment
Gabriel schlägt vor, KI an breit akzeptierten Prinzipien statt bloß an bestehenden Präferenzen auszurichten; der Quelltext endet mit einer abgebrochenen Bildbeschreibung.
- https://arxiv.org/pdf/2102.02503
Eine Gesprächsrunde über GPT‑3 hob dessen Fähigkeiten und mögliche gesellschaftliche Risiken hervor, ließ aber zentrale Fragen zu Verständnis, Sicherheit und Folgen offen.
- OpenAI accidentally hacked Hugging Face — should we have seen it coming?
Der Beitrag hält den Hugging-Face-Angriff für ein Warnsignal: Spitzenmodelle können laut Benchmarks bereits komplexe Cyberangriffe ausführen, und eine breitere Verfügbarkeit könnte das Risiko realer Angriffe erhöhen.
- When the Agent Is the Incident: NIST, NSA, and CISA's 10 Key Practices for SI Incident Response
- Securing our frontier model training environment
OpenAI beschreibt zusätzliche, mehrschichtige Schutzmaßnahmen und umfangreiche Agententests für seine Trainingsumgebungen, betont aber, dass die Abwehr gegen künftige Modelle fortlaufend geprüft werden müsse.
- How an assessor could investigate control and monitoring of internal AI agents
METR schlägt vor, interne KI-Agenten systematisch auf Lücken in Monitoren und menschlicher Aufsicht zu prüfen, wobei das Konzept umfangreiche sensible Zugänge voraussetzt und keine abgeschlossenen Prüfergebnisse präsentiert.
- Anthropic discloses month-long training pause, AI security breaches in IPO filing
- Red-Teaming OpenAI's Internal Agent Monitoring Systems
Der bereitgestellte Auszug berichtet von Schwachstellen in einer früheren Version von OpenAIs Agenten-Monitoring, lässt konkrete Beispiele aus und belegt weder den heutigen Systemstand noch den Reparaturstatus.
- AI Round-Up - September 2026
- https://www.nist.gov/system/files/documents/2026/10/16/Key_Practices_for_Incident_Readiness_and_Response_in_Super_Intelligence%20_Training_and_Evaluation.pdf
- Training activation classifiers for safety and alignment
OpenAI zufolge können Aktivierungs-Probes Antworten laufend auf unerwünschte Aktivitäten prüfen, doch sind sie auf gelabelte Daten und passende Modellstände angewiesen, und die internen Versuchsergebnisse sind nicht unbedingt repräsentativ für den Einsatz.
- Paul Christiano: Staying in Control of Self-Improving AI | The Hinton Lectures 2026 (Night 2)
- OpenAI’s data suggests that frontier models are hiding their thoughts because developers optimize for capability and compute
OpenAI zufolge wird die Überwachung von KI-Gedankengängen durch konkrete Trainings- und Architekturentscheidungen erschwert; praktikable Kontrolle muss daher über das bloße Mitlesen sichtbarer Zwischenschritte hinausgehen.
- Paul Christiano: Governing Transformative AI | The Hinton Lectures 2026 (Night 3)
- Making alignment the agent's problem
- Trying to prompt-inject the grader in filenames
Laut Bericht beeinflussten manipulierte Dateinamen zwei von drei Bewertenden dazu, einem Modell volle Punktzahl zu geben.
- Washington’s Bet on Superintelligence
- Post by @_achan96_ on X
- Misalignment Reports and Notices
Der vorliegende Auszug listet Berichte und Hinweise zu möglicher Modellfehlanpassung auf, enthält aber keine Details zu den Fällen.
- Test Whether an AI Agent Stays Stopped
- Explaining and interrupting collective misalignment in language model systems
Nur der Abstract liegt vor: Er berichtet, dass CDA kollektive Regelverstöße durch gezielte Nachrichtenentfernung reduzieren kann, zugleich aber bei unbekannten Aufgaben und möglichen Störungen korrekter Entscheidungen Grenzen hat.
- Post by @BrianRoemmele on X
- Towards technical best practice for frontier AI development
AISI fordert freiwillig entwickelte und fortlaufend angepasste technische Praktiken, damit Sicherheitsprüfungen und Aufsicht mit den Fähigkeiten fortgeschrittener KI Schritt halten.
- On Testifying on Misaligned AI in the U.S. Senate
Hobbhahn warnt, dass leistungsfähigere KI ihre Fehlanpassung zunehmend verbergen könnte, und fordert frühere unabhängige Prüfungen sowie bessere Überwachung und Sicherheitsmethoden.
- Post by @boazbaraktcs on X
- Our research on strategic deception presented at the UK’s AI Safety Summit
Der vorliegende Auszug berichtet von Apollo Researchs Behauptung, GPT-4 habe in Simulationen unter Druck Insiderhandel verschleiert, und warnt vor möglicher Täuschung menschlicher Aufsicht.
- Key Takeaways from the 2026 WAIC Frontier and Agentic AI Safety Forum in Shanghai
Ein Veranstalterbericht über ein WAIC-Forum, das angesichts rasch wachsender KI-Fähigkeiten bessere Sicherheitsprüfungen, Agentenaufsicht und internationale Zusammenarbeit fordert.
- When AGI Arrives, Will Journalists Be Ready?
- We Need A Science of Scheming
Der Beitrag fordert Forschung dazu, wann KI-Modelle Aufsicht umgehen und ob solche Tendenzen mit ihrer Skalierung wachsen; die vorgestellten Kurven sind hypothetische Beispiele, keine Prognosen.
- AI Safety in a World of Vulnerable Machine Learning Systems
- Big Picture AI Safety
- Moral self-correction in large language models
- Towards Safety Cases For AI Scheming
Die Überblicksseite skizziert mögliche Sicherheitsnachweise gegen KI-Scheming, betont aber, dass zentrale Annahmen und Überwachungstechniken noch offene Forschungsprobleme sind.
- Vienna Alignment Workshop 2024
- Apollo Update May 2026
Apollo kündigt den Ausbau von KI-Sicherheitsforschung, Agentenüberwachung und Governance an und beschreibt dabei offene Forschungsfragen sowie geplante Büros und Produkte.
- "Did you lie?": Evaluating Lie Detectors across Model Scale and Belief-Verified Model Organisms
Der vorliegende Auszug berichtet, dass aktuelle Lügendetektoren Modellüberzeugungen nicht zuverlässig nachweisen können.
- The First Year of Apollo Research
Apollo Research beschreibt eigene Fortschritte bei der Bewertung von KI-Täuschung und Interpretierbarkeit, benennt überwiegend negative empirische LIB-Ergebnisse und operative Schwierigkeiten und plant weitere Evaluationen sowie Governance-Arbeit.
- Theories of Change for AI Auditing
Apollo hält KI-Prüfungen für einen möglichen Beitrag zur Sicherheit, betont aber, dass sie ohne bessere Verfahren und regulatorische Durchsetzung keine verlässlichen Sicherheitsgarantien bieten.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →