- Introducing Claude Opus 4.5
Anthropic zufolge verbessert Claude Opus 4.5 Leistung und Effizienz bei vielen Aufgaben; die Belege beruhen vor allem auf unternehmenseigenen Tests und Kundenberichten, deren Grenzen der Bericht teilweise benennt.
- Introducing Claude 4
Anthropic kündigt Claude Opus 4 und Sonnet 4 samt neuen Agenten-, Claude-Code- und API-Funktionen an und berichtet starke, methodisch unterschiedlich ermittelte Benchmarkwerte.
- A global workspace in language models
- Natural Language Autoencoders
- Constitutional Classifiers
Anthropic zufolge verringern Constitutional Classifiers Jailbreaks deutlich, doch beim öffentlichen Demo wurde ein universeller Angriff gefunden; zusätzliche Schutzmaßnahmen bleiben nötig.
- Mitigating prompt injections in browser use
- Next-generation Constitutional Classifiers
- L_202401689DE.000101.fmx.xml
Die Vorlage enthält Notizen, keinen vollständigen Verordnungstext, und beschreibt den risikobasierten EU-KI-Rechtsrahmen mit Verboten, Hochrisiko-Anforderungen, Transparenzpflichten und schrittweisem Anwendungsbeginn ab 2025.
- https://www.whitehouse.gov/wp-content/uploads/2025/02/M-25-22-Driving-Efficient-Acquisition-of-Artificial-Intelligence-in-Government.pdf
- Hugging Face
Laut Z.ai verbessert GLM-5.3 viele Benchmark-Ergebnisse gegenüber GLM-5.2, doch seine Platzierung variiert nach Aufgabe und Testbedingungen.
- Introducing Claude Opus 4.7
Anthropic stellt Opus 4.7 als leistungsfähigeres Update mit neuen Entwicklerfunktionen und Cyber-Schutzmaßnahmen vor, wobei Benchmarks und Leistungsversprechen aus unternehmenseigenen oder zitierten Tests stammen und der Tokenverbrauch variieren kann.
- Can AI automate AI R&D yet?
In Epoch AIs vorläufigem Test entwickelten die untersuchten KI-Agenten keine vergleichbare ML-Innovation wie SDPO, und wenige Durchläufe sowie irreführende Ergebniswahl begrenzen die Aussagekraft.
- Introducing Claude Haiku 4.5
Anthropic stellt Haiku 4.5 als schnelles, preisgünstiges Modell mit annähernder Spitzenleistung vor und berichtet über positive Sicherheitsmessungen, deren Aussagen und Testgrundlagen im Beitrag von Anthropic selbst stammen.
- Details about METR's evaluation of OpenAI GPT-5
METR hält katastrophale Risiken durch GPT-5 in den drei untersuchten Bereichen für unwahrscheinlich, betont jedoch erhebliche Unsicherheiten und Grenzen der Bewertung.
- nemotron-3.5-super-vl-120b-a12b Model by NVIDIA
Laut NVIDIA ist Nemotron 3.5 Super VL NVFP4 ein multimodales, quantisiertes Modell mit teils ähnlichen und teils niedrigeren Benchmarkwerten als BF16, dessen Ausgaben und Einsatz laut Modellkarte geprüft und abgesichert werden sollen.
- Project Glasswing: An initial update
Anthropic berichtet von zahlreichen durch Mythos Preview gefundenen Schwachstellen und sieht deren Prüfung und Behebung als Engpass; wegen Missbrauchsrisiken bleibt das Modell vorerst unveröffentlicht.
- Safeguards
Der vorliegende Auszug ist eine Liste von Anthropics Safeguards-Beiträgen und Teasern, deren Wirksamkeitsangaben hier nicht unabhängig belegt werden.
- When AI builds itself
Anthropic zufolge beschleunigt KI bereits die KI-Entwicklung; vollständige Selbstverbesserung bleibt eine unsichere Möglichkeit mit großen Chancen, Risiken und erheblichen Mess- und Koordinationsproblemen.
- Introducing GPT-Live
OpenAI zufolge soll GPT‑Live Gespräche mit KI natürlicher machen und komplexe Aufgaben im Hintergrund bearbeiten; der Bericht nennt zugleich Sprachlücken, fehlende Video- und Bildschirmfreigabe zum Start sowie Ergebnisse aus unternehmenseigenen Tests.
- Priorities and principles for effective third party assessments
OpenAI skizziert vier Prioritäten und Grundsätze für unabhängige KI-Sicherheitsprüfungen, deren Aussagekraft durch vereinbarten Umfang, Zugang und Vertraulichkeit begrenzt ist.
- Introducing GPT-5.4
OpenAI präsentiert GPT‑5.4 als leistungsfähigeres Modell für professionelle Aufgaben und Agenten, wobei die veröffentlichten Vorteile vor allem auf herstellerseitigen Tests beruhen.
- Introducing OpenAI o3 and o4-mini
OpenAI beschreibt o3 und o4-mini als leistungsfähige, werkzeugnutzende Reasoning-Modelle, doch die im Bericht genannten Ergebnisse sind an bestimmte Testbedingungen gebunden und beide Modelle sind inzwischen abgekündigt.
- GPT-5.6: Frontier intelligence that scales with your ambition
OpenAI bewirbt GPT‑5.6 als leistungsfähigere und effizientere Modellfamilie, doch die Belege beruhen teils auf Schätzungen und internen Tests und enthalten eine ungeklärte Abweichung bei Agents’ Last Exam.
- Introducing GPT-5
OpenAI zufolge verbindet GPT‑5 schnelle Antworten mit bedarfsgesteuertem Nachdenken und erzielt in eigenen Tests Fortschritte, deren Aussagekraft an die genannten Testbedingungen gebunden ist.
- Introducing GPT-5 for developers
OpenAI kündigt GPT‑5 mit neuen API-Steuerungen an und berichtet von starken Benchmark-Ergebnissen, deren Aussagekraft an die beschriebenen Testbedingungen gebunden ist.
- Aligning language models to follow instructions
Laut OpenAI verbessert menschliches Feedback bei InstructGPT die Befolgung von Anweisungen und mehrere Sicherheitsmaße, doch bleiben Fehlverhalten, Verzerrungen und unsichere Antworten ungelöst.
- Learning to reason with LLMs
OpenAI zufolge verbessert o1 die Leistung bei anspruchsvollen Denkaufgaben, doch die Ergebnisse gelten für bestimmte Tests und der Bericht nennt zugleich Grenzen sowie Sicherheitsauffälligkeiten.
- GPT-4o mini: advancing cost-efficient intelligence
OpenAI zufolge verbindet GPT‑4o mini niedrige API-Preise mit guten Benchmarkwerten; der Bericht beruht dabei überwiegend auf unternehmenseigenen Angaben und Auswertungen.
- Strengthening ChatGPT’s responses in sensitive conversations
OpenAI zufolge reagiert GPT‑5 in sensiblen psychischen Gesprächen besser, doch die berichteten Messwerte sind wegen seltener Fälle, schwieriger Erfassung und eigens herausfordernder Tests nur begrenzt verallgemeinerbar.
- GPT-2: 1.5B release
OpenAI veröffentlicht GPT‑2 mit 1,5 Milliarden Parametern und berichtet zugleich über mögliche missbräuchliche Nutzung, begrenzte Erkennung und offene Fragen zu Bias und verantwortungsvoller Veröffentlichung.
- DALL·E 3 is now available in ChatGPT Plus and Enterprise
Der Bericht stellt DALL·E 3 samt Sicherheitsmaßnahmen vor; OpenAIs interner Herkunftsklassifikator kann laut den berichteten frühen Tests Bilder nur als wahrscheinlich KI-generiert einstufen.
- https://arxiv.org/pdf/2410.07095
MLE-bench zeigt, dass die getesteten KI-Agenten bei Kaggle-ähnlichen ML-Aufgaben noch oft scheitern: o1-preview mit AIDE erreichte bei 16,9 Prozent der Wettbewerbe eine Medaille, wobei Aussagekraft und Übertragbarkeit des Benchmarks begrenzt sind.
- OpenAI o1 System Card
OpenAI zufolge verbessert o1 viele Sicherheitsmesswerte, birgt aber in bestimmten Bereichen mittlere Risiken, und die Tests erfassen mögliche Gefahren nur begrenzt.
- Project EVE: Claude plays MMORPGs
- CAISI’s Assessment of Z.ai’s GLM-5.3 Cyber Capabilities
- Cross‐lingual safety asymmetry in open‐weight LLMs
Laut Bericht weisen sechs offene Sprachmodelle besonders auf Koreanisch Sicherheitslücken auf, die sich je nach Modell unterschiedlich stark durch bessere Übersetzungen verringern.
- A near-autonomous AI chemist improves a challenging reaction
Laut Bericht verbesserte ein von GPT‑5.4 mitentwickelter TEMPO-Zusatz die untersuchte Chan-Lam-Reaktion, doch die Arbeit war nicht autonom und ihre allgemeine Übertragbarkeit ist noch ungeklärt.
- AI agents find smart contract exploits
- A thousand fewer paths to root
OpenAI zufolge kann eine automatisierte Pipeline Linux-Schwachstellen in großem Umfang finden und ausnutzbar machen, doch Fehler bei der Zuordnung und Testinfrastruktur machen menschliche und unabhängige Prüfungen weiterhin nötig.
- Evaluating feature steering
- Expenditure Horizon: Measuring Optimization Ability, with an Application to NanoGPT
METR schätzt, dass autonome Agenten bei NanoGPT bislang begrenzte Verbesserungen zu Kosten von etwa 600 bis 3.300 Dollar erzielten; die Ergebnisse hängen stark von unsicheren Annahmen über menschlichen Aufwand ab.
- How people ask Claude for personal guidance
Laut Anthropic betrifft persönliche Beratung an Claude meist Gesundheit, Beruf, Beziehungen und Finanzen; die berichteten Rückgänge bei übermäßiger Zustimmung in neueren Modellen sind wegen der begrenzten, automatisiert ausgewerteten Chatdaten nicht als kausaler Trainingseffekt belegt.
- Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity
METR berichtet hohe selbstgeschätzte KI-Produktivitätszuwächse, betont aber, dass die nicht repräsentative Befragung keine tatsächlichen Gewinne belegt.
- An opt-in vulnerability-finding service for open-source software
- FACTS Grounding: A new benchmark for evaluating the factuality of large language models
FACTS Grounding bewertet anhand von 1.719 Beispielen, ob Sprachmodelle Nutzerfragen ausführlich und ohne unbelegte Aussagen aus vorgegebenen Dokumenten beantworten; laut Bericht führt Gemini 2.0 Flash Experimental die anfängliche Rangliste mit 83,6 Prozent an.
- Impact of modeling assumptions on time horizon results
METR zufolge beeinflussen Modellierungsannahmen die Zeithorizont-Schätzungen, doch die größte Unsicherheit bleibt die Aufgabenauswahl und die ungenaue Messung ihrer Schwierigkeit für Modelle.
- Many SWE-bench-Passing PRs Would Not Be Merged into Main
METR berichtet, dass SWE-bench-Ergebnisse die Annahme von KI-Patches durch Maintainer deutlich überschätzen können, wobei die Studie begrenzt ist und keinen Schluss auf die Leistung nach Feedback-Überarbeitungen erlaubt.
- How Claude designed protein binders against scorpion neurotoxins
Claude entwarf Binder, von denen 17 im Labor an einzelne Skorpion-Neurotoxine banden; eine Neutralisierung oder ein wirksames Gegengift wurde nicht nachgewiesen.
- Notes on Scientific Communication at METR
METR will überraschende KI-Ergebnisse samt wichtigen Einschränkungen klar kommunizieren und stellt Genauigkeit über Reichweite.
- Claude 3.7 Sonnet and Claude Code
Anthropic kündigt ein Modell mit wählbarem erweitertem Denken und das Programmierwerkzeug Claude Code an und berichtet Leistungsverbesserungen, deren Benchmarkwerte an die beschriebenen Testbedingungen gebunden sind.
- FACTS Benchmark Suite: a new way to systematically evaluate LLMs factuality
Die FACTS Suite bewertet Sprachmodelle in vier Bereichen; laut Bericht führt Gemini 3 Pro mit 68,8 Prozent, während alle getesteten Modelle unter 70 Prozent bleiben.
- AI co-clinician: researching the path toward AI-augmented care
Der Bericht schildert vielversprechende Tests eines KI-Assistenzsystems, betont aber, dass Ärzte in den Telemedizin-Simulationen insgesamt besser abschnitten und die Ergebnisse keinen Einsatz in der Versorgung belegen.
- Introducing the next generation of Claude
Anthropic stellt Claude 3 vor und berichtet über eigene Tests von Leistungs-, Genauigkeits- und Sicherheitsverbesserungen, deren Ergebnisse im Bericht nicht vollständig unabhängig überprüft werden.
- Partnering with Mozilla on Firefox security
Anthropic berichtet, Claude habe 22 Firefox-Schwachstellen gefunden, während zwei einfache Exploit-Versuche nur in einer um wichtige Schutzmaßnahmen reduzierten Testumgebung gelangen.
- Gradient Labs gives every bank customer an AI account manager
Gradient Labs berichtet, mit KI Bankkundenanliegen zügig und regelgebunden zu bearbeiten; die hohen Erfolgskennzahlen sind im Text nicht durch ausführliche unabhängige Prüfangaben eingeordnet.
- Parloa builds service agents customers want to talk to
OpenAI zufolge hilft Parloas AMP Unternehmen, getestete KI-Agenten für mehrsprachigen Kundenservice zu betreiben; die genannten Erfolge, darunter 80 Prozent weniger menschliche Weiterleitungen in einem Einsatz, sind im Bericht nicht unabhängig belegt.
- Introducing MentalHealthBench
OpenAI stellt einen offenen, fachlich entwickelten Benchmark für KI-Gespräche über psychische Gesundheit vor, berichtet qualitative Fortschritte, nennt im vorliegenden Text aber keine konkreten Modellwerte und betont die Grenzen des Verfahrens.
- How Balyasny Asset Management built an AI research engine
Laut einer OpenAI-Fallstudie nutzen etwa 95 Prozent der Investmentteams von Balyasny eine geprüfte KI-Rechercheplattform, doch die berichteten Zeitgewinne sind im Text nicht unabhängig belegt.
- Can AI automate Epoch?
Epoch zufolge unterstützen die besten getesteten Modelle klar umrissene Aufgaben zuverlässig, können Epochs Arbeit wegen Schwächen bei Urteilsvermögen und offenen Aufgaben aber noch nicht vollständig automatisieren.
- Claude SWE-Bench performance
- Can AI learn from experience? EBR-Bench results
Laut Epoch AI lernen die getesteten KI-Modelle beim wiederholten Spielen von *Earthborne Rangers* bislang kaum dazu, wobei der Test nur den Spieleinstieg abdeckt und die Expertenreferenz vorläufig ist.
- EBR-bench update
Epoch ändert EBR-bench, weil eine von GPT-6 Astra ausgenutzte Karte die zentrale Spielmechanik umgeht; Multi-Agenten erhöhten in kleinen Versuchen eher die Deckvielfalt als die Punktzahlen.
- Elections and AI in 2024: Observations
Anthropic berichtet von geringem, vor der US-Wahl gestiegenem Wahlgebrauch von Claude und beschreibt Sicherheitsmaßnahmen sowie deutlichere Hinweise auf Wissensgrenzen.
- MirrorCode: evidence AI can already do some weeks-long coding tasks
Laut Epoch AI kann Claude Opus 4.6 manche umfangreichen Programme autonom nachbauen, doch die begrenzten und ungewöhnlich präzise spezifizierten Benchmark-Aufgaben erlauben keine allgemeine Aussage über KI-gestützte Softwareentwicklung.
- Where the goblins came from
OpenAI zufolge verbreiteten sich Goblin-Metaphern durch ein Belohnungssignal für den „Nerdy“-Stil und wurden mit Änderungen an Training und Codex-Anweisungen eingedämmt.
- Making ChatGPT free for clinicians
OpenAI startet ChatGPT for Clinicians kostenlos für verifizierte US-Fachkräfte und berichtet über positive interne Bewertungen, während es den Einsatz als Unterstützung statt Ersatz klinischen Urteils einordnet.
- Introducing ChatGPT agent
OpenAI stellte 2025 einen Agenten für Recherche und Webaktionen vor und berichtete über starke Testergebnisse, räumte aber Risiken, Fehler und frühe Produktgrenzen ein.
- Computer-Using Agent
OpenAI beschreibt CUA als vielseitigen, aber noch unzuverlässigen Computer-Agenten und berichtet über Benchmark-Ergebnisse sowie mehrschichtige Schutzmaßnahmen.
- Improving instruction hierarchy in frontier LLMs
Laut OpenAI verbessert IH-Challenge die Befolgung von Anweisungsprioritäten und die Prompt-Injection-Abwehr in Tests, wobei die berichteten Ergebnisse begrenzt sind und einige Präferenzwerte sinken.
- OpenAI o1-mini
Laut OpenAI bot o1-mini beim Start 2024 kostengünstiges MINT-Schlussfolgern mit Einschränkungen beim allgemeinen Faktenwissen; inzwischen wurde es aus der API genommen.
- DALL·E 2 pre-training mitigations
OpenAI beschreibt Filter, Gewichtung und Deduplizierung als Maßnahmen gegen problematische Ausgaben, filterbedingte Verzerrungen und die Wiedergabe von Trainingsbildern, betont aber verbleibende Grenzen und Forschungsbedarf.
- Our approach to EU text provenance rules
OpenAI führt Text-Wasserzeichen schrittweise ein, betont aber, dass Erkennungsergebnisse begrenzt sind und weder Herkunft noch menschlichen Beitrag oder Richtigkeit abschließend klären.
- Improving language model behavior by training on a curated dataset
Laut Bericht kann ein kleines, gezielt erstelltes Datenset das Verhalten von Sprachmodellen beeinflussen, doch Wertauswahl, Messverzerrungen und Übertragbarkeit bleiben offene Fragen.
- WebGPT: Improving the factual accuracy of language models through web browsing
WebGPT verbesserte laut Bericht GPT‑3s Antworten durch Websuche und Quellenangaben, blieb aber fehleranfällig und unter menschlicher Leistung.
- Collective alignment: public input on our Model Spec
OpenAI beschreibt eine frühe Befragung zu Modellverhalten, übernimmt eine Klarstellung zu breiten politischen Inhalten und weist auf erhebliche Grenzen der Stichprobe und Auswertung hin.
- Helping ChatGPT better recognize context in sensitive conversations
Laut OpenAI sollen neue Sicherheitsmaßnahmen ChatGPT helfen, sich über Gespräche entwickelnde Risiken besser zu erkennen; die berichteten Verbesserungen stammen aus internen Tests.
- How we're supporting better tropical cyclone prediction with AI
Weather Lab zeigt experimentelle KI-Prognosen für tropische Wirbelstürme, deren bislang berichtete Testergebnisse vielversprechend sind, die aber keine offiziellen Warnungen darstellen.
- Finding bugs with Claude and property-based testing
- How Claude performs on robotics tasks
Sprachmodelle werden bei Robotikaufgaben besser, doch ihre Leistung hängt stark von der Steuerungsschnittstelle ab und bleibt bei komplexen Aufgaben unzuverlässig.
- Putting sign language AI into users’ hands
Google kündigt SL2T für ASL-zu-Englisch auf Pixel 11 an und berichtet von guten Benchmark-Ergebnissen, während Fehler bestehen bleiben und die Alltagstauglichkeit im Bericht nicht unabhängig geprüft wird.
- Project Swap: What happens when agents trade for us?
- Economic Index report: Economic primitives
Der Bericht findet wirtschaftlich relevante Muster in Claudes Nutzung, betont aber, dass Klassifikationen und Produktivitätsschätzungen wegen begrenzter, nutzerselektierter Daten und Modellannahmen unsicher sind.
- Project Fetch: Phase two
- Scaling Trends for Lie Detector Oversight in Preference Learning
- AI and the future of work: Measuring AI-driven productivity gains for workplace tasks
Eine Pilotstudie berichtet mögliche Produktivitätsgewinne durch KI bei einigen Arbeitsaufgaben, betont aber, dass die Schätzungen wegen der kleinen Stichprobe vorläufig und unsicher sind.
- Evaluating AI’s ability to perform scientific research tasks
OpenAI präsentiert FrontierScience als anspruchsvollen, aber begrenzten Wissenschaftsbenchmark, bei dem GPT‑5.2 laut ersten Ergebnissen besonders bei Olympiad-Aufgaben stark abschneidet.
- Measuring the persuasiveness of language models
- AlphaStar: Mastering the real-time strategy game StarCraft II
DeepMind berichtet von AlphaStars 5:0-Siegen gegen zwei StarCraft-II-Profis, weist aber auf den begrenzten Versuchsrahmen mit einer Rasse, einer Karte und einer direkten Spielschnittstelle hin.
- Evaluating Multimodal Interactive Agents
Die vorgestellte STS bewertet Agenten anhand menschlich bewerteter Fortsetzungen realer Interaktionsszenarien und korreliert laut Bericht mit interaktiver Evaluation mit Spearman r=0,81.
- AlphaFold: a solution to a 50-year-old grand challenge in biology
DeepMind berichtet von einem großen Genauigkeitssprung bei AlphaFold, betont aber, dass Proteinvorhersagen weiterhin Grenzen haben.
- Disempowerment patterns in real-world AI usage
Anthropic zufolge ist schweres mögliches Entmachtungspotenzial in Claude.ai-Gesprächen selten, doch die Studie misst vor allem Risiko und nicht bestätigte Schäden.
- Designing AI resistant technical evaluations
Anthropic berichtet, dass Claude den praxisnahen Einstellungstest zunehmend bewältigte und der neue Test daher ungewöhnliche Programmierpuzzles nutzt.
- Claude Opus 4.1
Anthropic meldet für Claude Opus 4.1 Verbesserungen gegenüber Opus 4, darunter 74,5 Prozent bei SWE-bench Verified, wobei Benchmarks und Kundenberichte Einschränkungen und unterschiedliche Prüfbedingungen aufweisen.
- GopherCite: Teaching language models to support answers with verified quotes
GopherCite stützt Antworten mit Webzitaten und kann Fragen auslassen, doch laut DeepMind-Tests sind Belege allein keine Garantie für Wahrheit.
- Generally capable agents emerge from open-ended play
DeepMind berichtet über Agenten, die in XLand auf ungesehenen Aufgaben generalisierten, wobei die belegten Ergebnisse auf diesen Simulationsraum begrenzt bleiben.
- Gemini’s guided learning: results from a randomized controlled trial in Sierra Leone
Laut DeepMind verbesserte Gemini Guided Learning in einer achtwöchigen Studie den Mathematikfortschritt, wobei bereits stärkere Lernende am meisten profitierten.
- What Parameter Golf taught us about AI-assisted research
OpenAI berichtet, dass Coding-Agenten „Parameter Golf“ zugänglicher und experimentierfreudiger machten, zugleich aber die Prüfung von mehr als 2.000 Einreichungen erschwerten.
- Making Claude a chemist
- 阶跃星辰开放平台
Step 5 Preview soll laut seinen Entwicklern lange Agentenaufgaben durch ein tiefes Modell, sparse Aufmerksamkeit und angepasste Daten- und RL-Verfahren effizienter bewältigen; die berichteten Ergebnisse sind interne Angaben und das System bleibt in Entwicklung.
- BrowseComp: a benchmark for browsing agents
BrowseComp prüft die Suche nach schwer auffindbaren Fakten; laut Bericht ist der Benchmark nützlich, bildet offene Alltagsrecherche aber nur begrenzt ab.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →