- Deepening AI Safety Research with UK AI Security Institute (AISI)
DeepMind kündigt mit dem britischen AISI neue KI-Sicherheitsforschung zu Denkprozessen, sozialen Folgen und Wirtschaftsauswirkungen an, berichtet aber noch keine Ergebnisse.
- 阶跃星辰开放平台
Step 5 Preview soll laut seinen Entwicklern lange Agentenaufgaben durch ein tiefes Modell, sparse Aufmerksamkeit und angepasste Daten- und RL-Verfahren effizienter bewältigen; die berichteten Ergebnisse sind interne Angaben und das System bleibt in Entwicklung.
- GPT-6 Astra Rewrites Qwen3.5 and Boosts Math Scores by 40%
Der vorliegende Auszug berichtet deutliche Benchmark-Zuwächse nach einem kleinen, von GPT-6 Astra unterstützten Eingriff in Qwen3.5-0.8B, doch der vollständige Artikel fehlt und die Erklärung stammt von den Autoren.
- Models as Insider Risks in the Super Intelligence Era
- How AI Agents Are Learning to Rewrite Their Own Stack
Der Auszug stellt Verfahren vor, mit denen KI-Agenten ihre Skills anhand von Ausführungserfahrungen verbessern sollen; der vollständige Bericht liegt hier nicht vor.
- Harness, Loops, Graphs: What 217 Real Agent Loops Are Missing (Full Guide)
- AI Safety Institutes: Can countries meet the challenge?
Der OECD-Beitrag beschreibt AISIs als mögliche Säulen für KI-Prüfung und internationale Abstimmung, deren Wirksamkeit jedoch von sicherem Informationsaustausch, passenden Befugnissen, ausreichenden Fachkräften und geeignetem Modellzugang abhängt.
- MONA: Myopic Optimization with Non-myopic Approval Can Mitigate Multi-step Reward Hacking
Nur ein Auszug liegt vor: Laut Abstract soll MONA mehrstufiges Reward Hacking durch die Verbindung kurzfristiger Optimierung mit weiter vorausblickender Belohnung mindern.
- GPT-4
OpenAI zufolge ist GPT‑4 in vielen Tests leistungsfähiger als GPT‑3.5, bleibt aber fehleranfällig und erfordert bei wichtigen Anwendungen angemessene Kontrolle.
- Frontier Safety Roadmap
- Announcing the new OECD.AI Expert Group on AI Futures
Die OECD kündigt eine vielfältig besetzte Expertengruppe an, die KI-Zukunftsszenarien untersuchen und durch öffentliche Beteiligung vorausschauende Politik unterstützen soll.
- Measurements for understanding the pace of AI development inside frontier labs
Anthropic berichtet vorläufige Kennzahlen zu KI-Forschung, Agentenaufsicht und Sicherheits-Rechenleistung und fordert vergleichbare Messungen sowie unabhängige Prüfungen.
- When AI builds itself
Anthropic zufolge beschleunigt KI bereits die KI-Entwicklung; vollständige Selbstverbesserung bleibt eine unsichere Möglichkeit mit großen Chancen, Risiken und erheblichen Mess- und Koordinationsproblemen.
- What is AI? Can you make a clear distinction between AI and non-AI systems?
Laut OECD-Bericht beschreibt die überarbeitete Definition KI-Systeme breit als Systeme, die aus Eingaben zielbezogene Ausgaben ableiten; sie ersetzt keine Regeln zu Haftung und Verantwortung und lässt kontextbezogene Regulierung offen.
- RoboCat: A Self-Improving Foundation Agent for Robotic Manipulation
Der bereitgestellte Bericht ist nur ein Abstract-Auszug: Laut Autorinnen und Autoren überträgt RoboCat Robotererfahrungen auf neue Aufgaben und kann durch zusätzliche Trainingsdaten seine Anpassungsfähigkeit steigern.
- Evaluating Frontier Models for Dangerous Capabilities
Der Abstract-Auszug berichtet, dass erste Tests eines fünf Bereiche umfassenden Programms bei Gemini keine ausgeprägten gefährlichen Fähigkeiten belegten, aber frühe Warnzeichen zeigten.
- The United States works with domestic and international AI communities to establish frameworks that advance trustworthy AI for all
Die US-Regierung will laut Bericht KI durch Risikomanagement, Sicherheitsmaßnahmen und internationale Abstimmung vertrauenswürdiger gestalten; die Darstellung beschreibt vor allem Ziele und laufende Vorhaben, nicht deren unabhängig geprüfte Wirkung.
- Accelerating science could be the most valuable use of AI
Der Beitrag sieht großes wissenschaftliches und gesellschaftliches Potenzial in KI, betont aber, dass Governance, Zugang und mögliche Risiken noch offene Fragen sind.
- Initial policy considerations for generative artificial intelligence
Der OECD-Beitrag sieht in generativer KI Chancen und erhebliche, teils noch ungewisse Risiken und fordert frühzeitige politische Antworten.
- A law for foundation models: the EU AI Act can improve regulation for fairer competition
Der Beitrag plädiert für einen gezielten EU AI Act, der besonders leistungsfähige foundation models reguliert und Risiken begrenzt, ohne kleinere Anbieter zu benachteiligen.
- Priorities and principles for effective third party assessments
OpenAI skizziert vier Prioritäten und Grundsätze für unabhängige KI-Sicherheitsprüfungen, deren Aussagekraft durch vereinbarten Umfang, Zugang und Vertraulichkeit begrenzt ist.
- Artificial General Intelligence: can we avoid the ultimate existential threat?
Der Bericht warnt, dass eine AGI große Chancen, aber auch schwer kontrollierbare existenzielle Risiken bergen könnte, und fordert frühe Sicherheitsarbeit sowie internationale Vorsorge, obwohl wirksame Lösungen bislang offen sind.
- 9 big questions benchmarks can help answer
Der Beitrag entwirft neun offene Fragen zu wirtschaftlich wichtigen KI-Fähigkeiten und erklärt, wie Benchmarks sie untersuchen könnten, ohne sie bislang abschließend zu beantworten.
- Decree of the President of the Russian Federation on the Development of Artificial Intelligence in the Russian Federation
Russlands 2019 beschlossene KI-Strategie setzt bis 2030 Ziele für Forschung, Daten, Technik, Fachkräfte und Regulierung, doch der Bericht belegt nicht, ob diese erreicht wurden.
- 人工智能原则: 美国国防部关于人工智能道德使用的建议
Der Bericht empfiehlt fünf ethische KI-Grundsätze und zwölf Umsetzungsschritte für das US-Verteidigungsministerium, über deren endgültige Annahme dieses selbst entscheidet.
- Принципы ИИ: Рекомендации по этичному использованию искусственного интеллекта Министерством обороны
Ein unabhängiger US-Beratungsausschuss empfiehlt fünf Grundsätze und zwölf Umsetzungsschritte für verantwortliche Verteidigungs-KI; der Bericht beschreibt Vorschläge, keine beschlossene Politik.
- GPT-5.6: Frontier intelligence that scales with your ambition
OpenAI bewirbt GPT‑5.6 als leistungsfähigere und effizientere Modellfamilie, doch die Belege beruhen teils auf Schätzungen und internen Tests und enthalten eine ungeklärte Abweichung bei Agents’ Last Exam.
- How fast can algorithms advance capabilities?
Laut Beitrag kann KI auch mit begrenzter Rechenleistung vorankommen, doch die größten algorithmischen Gewinne erfordern oft große Maßstäbe; die zugrunde liegenden Tests sind klein und erfassen nur Vortrainingsverlust.
- Most AI value will come from broad automation, not from R&D
Der Beitrag prognostiziert, dass breite KI-Automatisierung mehr wirtschaftlichen Wert schaffen dürfte als die Automatisierung von Forschung allein, räumt dafür aber erhebliche Unsicherheiten ein.
- The huge potential implications of long-context inference
Der Meinungsbeitrag sieht in sehr langen Kontexten großes Potenzial für lernfähigere und stärker schlussfolgernde KI, betont aber offene technische, praktische und wirtschaftliche Grenzen.
- The least understood driver of AI progress
Ho hält schnellen KI-Softwarefortschritt für plausibel, betont aber, dass unklare Datenlage, bessere Trainingsdaten und die Abhängigkeit von größerem Compute sowohl die Messungen als auch Prognosen einer möglichen KI-Forschungsbeschleunigung unsicher machen.
- The promise of reasoning models
Der Autor erwartet große Fortschritte von Reasoning-Modellen bei überprüfbaren Denkaufgaben, aber langsamere Automatisierung praktischer Arbeit; seine Zeit- und Geschäftsentwicklungsprognosen bleiben ausdrücklich unsicher.
- Three challenges facing compute-based AI policies
Der bereitgestellte Auszug zufolge erfassen gängige Rechenmetriken wichtige Fähigkeitsquellen nur unvollständig; die Autoren plädieren für regelmäßige Überprüfung und ergänzende Bewertungen.
- Building self-improving tax agents with Codex
OpenAI und Partner beschreiben einen Codex-gestützten Verbesserungszyklus für Tax AI und berichten von Effizienz- und Genauigkeitszuwächsen, ohne unabhängige Prüfung der Kennzahlen auszuweisen.
- Why future AI agents will be trained to work together
Der Beitrag prognostiziert den Übergang von starr vorgegebenen Agententeams zu KI-Modellen, die ihre Zusammenarbeit selbst organisieren, wobei Nutzen, Kosten und langfristige Entwicklung offenbleiben.
- Building more with GPT-5.1-Codex-Max
OpenAI zufolge verbessert GPT‑5.1‑Codex‑Max die Ergebnisse und Ausdauer bei agentischen Programmieraufgaben, doch der Bericht stützt sich überwiegend auf unternehmenseigene Benchmarks und interne Beobachtungen und empfiehlt weiterhin menschliche Kontrolle.
- GPT-5 lowers the cost of cell-free protein synthesis
Ein automatisiertes Labor mit GPT‑5 senkte laut Bericht die CFPS-Kosten für sfGFP um 40 Prozent, doch die Übertragbarkeit auf andere Proteine und Systeme ist noch ungezeigt.
- Introducing SWE-bench Verified
OpenAI zufolge soll SWE-bench Verified durch menschlich geprüfte Aufgaben Software-Agenten verlässlicher bewerten, doch statische Benchmarks decken nur einen begrenzten Bereich ab und ihre Ergebnisse haben methodische Einschränkungen.
- Prover-Verifier Games improve legibility of language model outputs
Ein Prover-Verifier-Spiel soll laut Bericht die Prüfbarkeit von Modelllösungen verbessern und einen Teil des Genauigkeitsgewinns bewahren; untersucht wurde es bislang nur an einem Datensatz.
- An Alien Mind
Der OpenAI-Wissenschaftler Jakub Pachocki warnt, dass KI schneller leistungsfähiger werden könnte, als ihre Ausrichtung und Überwachung Schritt halten, und fordert deshalb Sicherheitsgrenzen und internationale Koordination.
- Research acceleration: The view inside OpenAI
OpenAI meldet eine wachsende Rolle von KI-Agenten in der Forschung, betont aber die Vorläufigkeit der Messungen sowie die Notwendigkeit menschlicher Kontrolle und strenger Sicherheitsgrenzen.
- Our approach to alignment research
OpenAIs Ansatz kombiniert menschliches Feedback, KI-gestützte Bewertung und KI-Forschung, doch der Bericht räumt erhebliche Grenzen und offene Sicherheitsfragen ein.
- AI progress and recommendations
OpenAI erwartet rasante KI-Fortschritte und empfiehlt, ihre Chancen durch breite Zugänglichkeit zu nutzen und Risiken mit Aufsicht, gemeinsamer Sicherheitsarbeit und robuster Kontrolle zu begrenzen.
- Moving AI governance forward
Der Bericht beschreibt freiwillige, zeitlich an vergleichbare Regulierung gebundene Zusagen führender KI-Unternehmen für leistungsfähigere generative Modelle, darunter Sicherheitstests, Schutzmaßnahmen, Kennzeichnung und Transparenz.
- Our approach to AI safety
OpenAI schildert eigene Sicherheitsmaßnahmen für KI, räumt fortbestehende Risiken ein und präsentiert Verbesserungswerte, ohne sie im Bericht unabhängig überprüfen zu lassen.
- Detecting and reducing scheming in AI models
Laut OpenAI und Apollo Research senkte ein Anti-Scheming-Training verdeckte Handlungen in Tests deutlich, doch Testwahrnehmung, mögliche Verschleierung und die Abhängigkeit von lesbaren Gedankengängen erschweren die Bewertung.
- Solving Rubik’s Cube with a robot hand
Der Bericht beschreibt OpenAIs simulationsbasiertes Training einer Roboterhand zum Würfellösen, mit 60 Prozent Erfolg bei einfacheren und 20 Prozent bei besonders schwierigen Aufgaben.
- gpt-oss-120b & gpt-oss-20b Model Card
Der bereitgestellte Auszug beschreibt gpt-oss-Modelle und OpenAIs Sicherheitsprüfungen, denen zufolge gpt-oss-120b die genannten Schwellen für hohe Fähigkeiten nicht erreichte.
- Emergent tool use from multi-agent interaction
Laut Bericht kann Wettbewerb in einer Versteckspiel-Simulation komplexe Strategien hervorbringen, doch deren Übertragbarkeit auf andere Aufgaben blieb begrenzt.
- Learning from human preferences
KI-Agenten können laut Bericht Ziele aus menschlichen Verhaltensvergleichen lernen, doch hängt der Erfolg von verlässlichen Urteilen ab und schützt nicht automatisch vor Täuschungsverhalten.
- Advancing the next era of national science
OpenAI sagt Unterstützung für die US-amerikanische Genesis-Forschungsmission zu und beschreibt erwartete KI-Anwendungen, ohne bereits erzielte Wirkungen unabhängig zu belegen.
- OpenAI’s comment to the NTIA on open model weights
OpenAI befürwortet offene und kontrollierte KI-Veröffentlichungen, fordert je nach Modellrisiko abgestufte Prüfungen und hält flexible Politik angesichts einer noch jungen Risikowissenschaft für nötig.
- Introducing OpenAI o1
Der Bericht fasst OpenAIs Einführung von o1-preview und o1-mini samt selbst berichteten Leistungs- und Sicherheitswerten zusammen und weist darauf hin, dass die damaligen Zugangsinformationen historisch sind und beide Modelle inzwischen aus der API zurückgezogen wurden.
- More on Dota 2
Laut OpenAI besiegte ein per Selbstspiel trainierter Bot Dota-2-Profis im 1-gegen-1, blieb aber anfällig für ungewohnte Strategien; 5 gegen 5 war noch ungelöst.
- Evolution through large models
Der vorliegende Auszug behauptet, dass große Code-Sprachmodelle genetische Programmierung für Sodarace-Roboter unterstützen können; der vollständige Bericht und prüfbare Versuchsdetails sind nicht enthalten.
- OpenAI Five
OpenAI Five erzielte laut einem Bericht von Juni 2018 mit massiv skaliertem Selbstspiel erste Siege gegen menschliche Dota-2-Teams, allerdings unter Einschränkungen und mit offenem Ausgang für das geplante Spitzenspiel.
- Planning for AGI and beyond
OpenAI beschreibt einen vorsichtigen und gesellschaftlich abgestimmten Weg zu AGI, räumt erhebliche Unsicherheit ein und kennzeichnet die Organisationsangaben des Beitrags als veraltet.
- Advancing red teaming with people and AI
Der Bericht stellt OpenAIs externe und automatisierte Red-Teaming-Ansätze vor, die Sicherheitsprüfungen verbessern sollen, aber zeitlich begrenzt sind und eigene Risiken wie die Offenlegung missbrauchsrelevanter Informationen mit sich bringen.
- Confidence-Building Measures for Artificial Intelligence: Workshop proceedings
Der Auszug benennt sechs vertrauensbildende Maßnahmen gegen mögliche internationale Sicherheitsrisiken durch Foundation Models, erläutert oder bewertet ihre Umsetzung aber nicht.
- Accelerating life sciences research
Laut OpenAI und Retro Biosciences verbesserten KI-entworfene Proteine in Laborversuchen die Zellreprogrammierung und DNA-Schadensmarker, doch klinische Wirksamkeit ist damit nicht belegt.
- AI and compute
Laut Bericht wuchs der Compute großer KI-Trainingsläufe seit 2012 außergewöhnlich schnell, doch Dauer und Folgen dieses Trends bleiben unsicher.
- Early access for safety testing
OpenAI beschrieb ein inzwischen geschlossenes Early-Access-Programm für Sicherheitsforschende, das bestehende Prüfungen ergänzen, aber nicht ersetzen sollte.
- Testimony before the U.S. Senate
Altman wirbt vor dem US-Senat für KI-Sicherheitsregeln und beschreibt OpenAIs Vorteile und Schutzmaßnahmen, räumt aber Fehler und Risiken ein; seine Angaben sind nicht unabhängig geprüft.
- Questions for the Record
OpenAI legt in den Antworten seine Vorschläge zu KI-Regeln und eigene Sicherheits-, Kreativ- und Kinderschutzmaßnahmen dar; der Bericht gibt dabei die Unternehmenssicht wieder, ohne deren Wirksamkeit unabhängig zu prüfen.
- Response to NIST Executive Order on AI
OpenAI beschreibt Ansätze für KI-Sicherheitsprüfungen und Herkunftsnachweise, betont aber, dass deren Ergebnisse begrenzt, teils unsicher und weiter zu erforschen sind.
- Frontier Model Forum updates
Das Frontier Model Forum kündigt eine neue Leitung, einen mit über zehn Millionen US-Dollar ausgestatteten Sicherheitsfonds und weitere technische Zusammenarbeit an.
- Competitive self-play
Laut Bericht kann Selbstspiel simulierte Agenten dazu bringen, Wettkampffähigkeiten zu entwickeln und sie auf neue Situationen zu übertragen.
- Frontier risk and preparedness
OpenAI kündigt ein Team und eine Richtlinie zur Vorbereitung auf katastrophale KI-Risiken an, legt im Bericht aber noch keine konkreten Ergebnisse oder Prüfmaßstäbe vor.
- Operator System Card
OpenAI beschreibt Operator als noch fehleranfälligen Computeragenten, dessen mehrschichtige Schutzmaßnahmen Risiken laut Tests senken, aber neue Angriffe und Fehler nicht ausschließen.
- Introducing Superalignment
OpenAI plant ein vierjähriges, rechenintensives Forschungsprogramm zur Ausrichtung möglicher Superintelligenz und sagt ausdrücklich, dass der Erfolg nicht garantiert ist.
- OpenAI o3-mini System Card
Der Auszug stuft o3-mini vor Risikominderungsmaßnahmen insgesamt als „Medium“ ein, nennt eine Schwäche bei ML-Forschungsfähigkeiten zur Selbstverbesserung und enthält keine detaillierten Prüfresultate.
- How we think about safety and alignment
OpenAI setzt laut Bericht auf schrittweise Erprobung, mehrschichtige Schutzmaßnahmen, menschliche Kontrolle und gemeinsame Verantwortung, räumt jedoch erhebliche Unsicherheit und offene Wirksamkeitsfragen ein.
- https://arxiv.org/pdf/2005.14165
Die Notizen beschreiben GPT‑3s teils starke, aber aufgabenabhängige Few‑Shot-Leistung und betonen Einschränkungen durch Schwächen einzelner Aufgaben, mögliche Datenkontamination und unvollständige Erläuterungen in den Anhangsauszügen.
- https://arxiv.org/pdf/2410.07095
MLE-bench zeigt, dass die getesteten KI-Agenten bei Kaggle-ähnlichen ML-Aufgaben noch oft scheitern: o1-preview mit AIDE erreichte bei 16,9 Prozent der Wettbewerbe eine Medaille, wobei Aussagekraft und Übertragbarkeit des Benchmarks begrenzt sind.
- https://arxiv.org/pdf/2210.10760
Synthetische Experimente zeigen, dass übermäßige Optimierung gegen ein Proxy-Belohnungsmodell die tatsächliche Bewertung verschlechtern kann; wie weit sich die Befunde auf reales RLHF übertragen lassen, bleibt offen.
- https://arxiv.org/pdf/2102.02503
Eine Gesprächsrunde über GPT‑3 hob dessen Fähigkeiten und mögliche gesellschaftliche Risiken hervor, ließ aber zentrale Fragen zu Verständnis, Sicherheit und Folgen offen.
- gpt-oss-120b & gpt-oss-20b Model Card
Die Model Card berichtet über leistungsfähige offene Schlussfolgerungsmodelle mit benannten Sicherheitsgrenzen und kommt anhand der beschriebenen Tests zu dem Schluss, dass sie interne Schwellen für hohe Fähigkeiten in drei Risikobereichen nicht erreichen.
- Das Zeitfenster für KI-Richtlinien ist offen. Wir müssen handeln.
OpenAI drängt auf rasche KI-Sicherheitsregeln und erklärt, seine Schutzmaßnahmen mit den Fähigkeiten der Systeme weiterzuentwickeln.
- Wie wir Fehlausrichtung bei Frontier-Modellen erkennen
OpenAI berichtet über ein erweitertes Überwachungssystem für KI-Agenten, das Vorfälle früher erkennen soll, aber laut Bericht durch Fehlalarme, Umgehungsmöglichkeiten und Datenschutzgrenzen eingeschränkt bleibt.
- Auf dem Weg zu Sicherheitsnachweisen für das Training von Frontier-KI
OpenAI skizziert vorläufige Sicherheitsleitlinien für Frontier-KI-Training und betont, dass belastbare Sicherheitsnachweise ein langfristiges Ziel sind.
- Project EVE: Claude plays MMORPGs
- Soon, We May No Longer Need Humans to Train AI Models
Der Artikel beschreibt AZR als vielversprechendes selbsttrainierendes KI-Verfahren mit berichteten Leistungsgewinnen, aber auch Sicherheitsbedenken und offenen Grenzen.
- Two Engineers Made a Joke About Graph Engineering. Six Days Later It Had Courses.
Der Bericht hält Graphen für nützlich bei passenden Aufgaben, warnt aber vor vermischten Begriffen, überzogenen Behauptungen und unterschätzten Kosten sowie Fehlern.
- Ornith-1.5: A 9B Open-Source Model Built to Improve Itself
Der Artikel beschreibt Ornith-1.5 als lokal nutzbare offene Modellfamilie mit selbstverbesserndem Trainingsansatz und starken, im Bericht nicht unabhängig bestätigten Benchmarkangaben.
- 5 Hermes Plugins That Turn an AI Agent Into a Self-Improving System
Der Bericht skizziert fünf Plugins für lernfähigere und besser organisierte KI-Agenten, ohne deren Nutzen durch Tests oder Messwerte zu belegen.
- Google’s AlphaEvolve: The AI System That Evolves Code and Discovers New Science
Der Bericht zufolge entwickelt AlphaEvolve Code durch automatisierte Tests weiter und erzielt dabei mathematische und technische Verbesserungen, wobei die angeführten Erfolge zugeschrieben und im Text nicht unabhängig überprüft werden.
- Agentic Context Engineering (ACE): The Powerful New Way for LLMs to Self-Improve
ACE soll laut Bericht LLMs durch ein gepflegtes Kontext-Playbook verbessern; die angeführten Leistungs- und Kostenvorteile werden im Text nicht methodisch ausführlich belegt.
- Olmo 3: The Fully-Open 7B & 32B AI Model Taking On Qwen and DeepSeek
Der Bericht stellt Olmo 3 als offen dokumentierte 7B- und 32B-Modellfamilie für Assistenz, längeres Schlussfolgern und RL-Forschung vor, wobei die Leistungsangaben Behauptungen des Artikels bleiben.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →