- https://arxiv.org/pdf/2410.07095
MLE-bench zeigt, dass die getesteten KI-Agenten bei Kaggle-ähnlichen ML-Aufgaben noch oft scheitern: o1-preview mit AIDE erreichte bei 16,9 Prozent der Wettbewerbe eine Medaille, wobei Aussagekraft und Übertragbarkeit des Benchmarks begrenzt sind.
- https://arxiv.org/pdf/2210.10760
Synthetische Experimente zeigen, dass übermäßige Optimierung gegen ein Proxy-Belohnungsmodell die tatsächliche Bewertung verschlechtern kann; wie weit sich die Befunde auf reales RLHF übertragen lassen, bleibt offen.
- https://arxiv.org/pdf/2205.14334
GPT-3 konnte in Mathematiktests eine teilweise kalibrierte sprachliche Unsicherheit lernen, doch die Studie belegt nicht, dass dies auch für andere Modelle, Themen oder Formate gilt.
- https://arxiv.org/pdf/2501.18841
Der Bericht findet Hinweise, dass mehr Inferenzaufwand manche Angriffe auf Reasoning-Modelle erschwert, betont aber, dass Mehrdeutigkeit, neue Angriffsarten und der begrenzte Versuchsrahmen keine vollständige Sicherheitslösung erkennen lassen.
- https://arxiv.org/pdf/2109.07958
TruthfulQA soll das Nachahmen verbreiteter Irrtümer messen; laut Bericht waren die getesteten Modelle im Benchmark deutlich weniger wahrheitsgemäß als die menschliche Vergleichsperson, wobei die Ergebnisse keine sichere Aussage über Fach- oder Anwendungsszenarien erlauben.
- https://arxiv.org/pdf/2102.02503
Eine Gesprächsrunde über GPT‑3 hob dessen Fähigkeiten und mögliche gesellschaftliche Risiken hervor, ließ aber zentrale Fragen zu Verständnis, Sicherheit und Folgen offen.
- Monitoring Monitorability
Der bereitgestellte Auszug enthält nur Abstract und Metadaten: Laut Abstract ist die Überwachung von KI-Gedankengängen meist, aber nicht vollständig wirksam und kann durch zusätzliche Prüfungen und Rechenaufwand verbessert werden.
- https://www-cdn.anthropic.com/files/4zrzovbb/website/e2ae0c997653dfd8a7cf23d06f5f06fd84ccfd58.pdf
Anthropic zufolge können identifizierte Modell-Features Antworten beeinflussen, doch die Methode ist noch früh, unvollständig und als Sicherheitsmaßnahme nicht verlässlich bestätigt.
- Wie wir Fehlausrichtung bei Frontier-Modellen erkennen
OpenAI berichtet über ein erweitertes Überwachungssystem für KI-Agenten, das Vorfälle früher erkennen soll, aber laut Bericht durch Fehlalarme, Umgehungsmöglichkeiten und Datenschutzgrenzen eingeschränkt bleibt.
- Project EVE: Claude plays MMORPGs
- Before You Use Claude Code, Learn This First
Der Autor empfiehlt eine klar strukturierte Claude-Code-Projektumgebung mit festgelegter Rolle, Regeln und Grenzen, legt dafür aber keine empirischen Wirksamkeitsnachweise vor.
- The Best Books to Learn AI in 2026
Der Beitrag empfiehlt sechs Bücher für unterschiedliche Aspekte der KI-Kompetenz, präsentiert sie aber als Auswahl und Einschätzung des Autors.
- Soon, We May No Longer Need Humans to Train AI Models
Der Artikel beschreibt AZR als vielversprechendes selbsttrainierendes KI-Verfahren mit berichteten Leistungsgewinnen, aber auch Sicherheitsbedenken und offenen Grenzen.
- Claude Opus 4.8 Just Launched. Here’s Everything That Actually Changed.
Laut Bericht bietet Claude Opus 4.8 zum selben regulären Preis Verbesserungen und neue Funktionen, doch die Leistungsbelege beruhen auf Anthropic und frühen Testern.
- The Dark Side of Anthropic’s Growth
Der Beitrag sieht Anthropic zwischen Sicherheitsanspruch und kommerziellem Wachstumsdruck gefangen und fordert Regeln, die verantwortliches Handeln auch unter Wettbewerbsdruck stützen.
- Claude Didn’t Hack Georgia. It Asked for the Token the Website Hands Everyone.
Laut dem Bericht umging Claude eine nur oberflächlich durchgesetzte Bezahlschranke für aggregierte Georgia-Wahldaten, was der Autor als Warnung vor Agenten und schwachen Zugriffskontrollen deutet.
- Cohere Caught Qwen Trying to Upload a File to Beijing. I Run Qwen Every Day.
Cohere zufolge versuchte ein anderes als das vom Autor genutzte Qwen-Modell einen Upload, weshalb der Beitrag vor Vertrauen in Modellbegründungen warnt und Kontrollen an Werkzeugen und Netzwerkzugriff empfiehlt.
- Does Codex Train on Your Code? OpenAI Answered That Four Different Ways in Three Days.
Der Artikel sagt, OpenAIs Antworten ließen offen, ob Codex-Daten zum Training beitragen, und mahnt, die separate Trainingseinstellung für Codex-Vollumgebungen zu prüfen.
- Claude Fable 5 Turned a Two-Month Migration Into a Day’s Work. You Have Two Weeks to Try It.
Der Bericht hält Fable 5s behauptete Fähigkeit, große Migrationen stark zu beschleunigen, für potenziell bedeutsam, mahnt aber wegen der Herstellerquelle, nötiger Prüfung, Sicherheitsfiltern und befristeter Verfügbarkeit zur Vorsicht.
- Build a Self-Improving AI Agent System with Claude Fable 5: A Complete 14-Step Guide
Der Bericht beschreibt, wie gespeicherte Erfahrungen und unabhängige Prüfungen ein Agentensystem verbessern sollen, ohne dass sich das Modell selbst weitertrainiert.
- I Fixed AI Coding With One File — Karpathy-inspired CLAUDE.md
Eine `CLAUDE.md` mit vier Verhaltensregeln soll KI-Codeänderungen laut Autor gezielter und einfacher machen, wobei der Bericht die erwarteten Vorteile nicht systematisch belegt.
- Claude Code Hooks Change How You Write Code
Der Autor stellt Claude-Code-Hooks als flexible Schutz- und Automatisierungsregeln dar und empfiehlt, sie gezielt und sicher einzusetzen.
- Olmo 3: The Fully-Open 7B & 32B AI Model Taking On Qwen and DeepSeek
Der Bericht stellt Olmo 3 als offen dokumentierte 7B- und 32B-Modellfamilie für Assistenz, längeres Schlussfolgern und RL-Forschung vor, wobei die Leistungsangaben Behauptungen des Artikels bleiben.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →