- Training a helpful and harmless assistant with RLHF
- Post by @thesupermannx on X
- Holistic Safety and Responsibility Evaluations of Advanced AI Models
Der bereitgestellte Abstract fordert eine systematischere, kooperative und politisch eingebundene KI-Sicherheitsbewertung, nennt aber keine konkreten Gemini-Testergebnisse.
- Is there AI beyond Chat GPT?
Der Artikel fordert einen breiteren Blick auf KI und präsentiert CAST als Teilansatz, um KI-Anwendungen und verantwortungsvolle Gestaltungspraktiken besser zusammenzuführen.
- Donating another $20 million to Public First Action
Anthropic spendet nach eigenen Angaben weitere 20 Millionen Dollar an Public First Action, um eine politische Debatte über KI-Schutzmaßnahmen zu fördern.
- Deadline extended to 1 October: Public consultation on risk thresholds for advanced AI systems
Der Bericht stellt eine OECD-Konsultation zu noch umstrittenen Risikoschwellen für fortgeschrittene KI vor, deren Beiträge bis zum 1. Oktober 2024 weitere Forschung und politische Arbeit unterstützen sollten.
- AI Safety Institutes: Can countries meet the challenge?
Der OECD-Beitrag beschreibt AISIs als mögliche Säulen für KI-Prüfung und internationale Abstimmung, deren Wirksamkeit jedoch von sicherem Informationsaustausch, passenden Befugnissen, ausreichenden Fachkräften und geeignetem Modellzugang abhängt.
- Anthropic opens Tokyo office
Anthropic eröffnet laut eigener Mitteilung ein Büro in Tokio, baut Partnerschaften in Japan aus und kündigt weitere Expansion nach Seoul und Bengaluru an.
- Boosting the customer retail experience with GPT-4o mini
Laut Zalando-Bericht gingen der Ausbau des Assistenten auf GPT‑4o mini und eine verbesserte Evaluation mit mehr Engagement einher; die Kennzahlen sind nicht unabhängig belegt.
- Towards algorithm auditing: A research overview
Der Beitrag plädiert für wiederkehrende, kontextspezifische Algorithmus-Audits, deren Zusicherung nur die tatsächlich geprüften Standards und Rechtsvorgaben abdeckt.
- Measurements for understanding the pace of AI development inside frontier labs
Anthropic berichtet vorläufige Kennzahlen zu KI-Forschung, Agentenaufsicht und Sicherheits-Rechenleistung und fordert vergleichbare Messungen sowie unabhängige Prüfungen.
- When AI builds itself
Anthropic zufolge beschleunigt KI bereits die KI-Entwicklung; vollständige Selbstverbesserung bleibt eine unsichere Möglichkeit mit großen Chancen, Risiken und erheblichen Mess- und Koordinationsproblemen.
- What is AI? Can you make a clear distinction between AI and non-AI systems?
Laut OECD-Bericht beschreibt die überarbeitete Definition KI-Systeme breit als Systeme, die aus Eingaben zielbezogene Ausgaben ableiten; sie ersetzt keine Regeln zu Haftung und Verantwortung und lässt kontextbezogene Regulierung offen.
- Evaluating Frontier Models for Dangerous Capabilities
Der Abstract-Auszug berichtet, dass erste Tests eines fünf Bereiche umfassenden Programms bei Gemini keine ausgeprägten gefährlichen Fähigkeiten belegten, aber frühe Warnzeichen zeigten.
- New AI technologies can perpetuate old biases: some examples in the United States
Der OECD-Beitrag zufolge kann KI Ungleichheiten verstärken oder mit klaren Schutzmaßnahmen verringern; dafür seien faire Entwicklung, menschliche Kontrolle und verständliche Erklärungen nötig.
- Responsible science communication can be a catalyst for trust in technology
Der Bericht plädiert für transparente und realistische Kommunikation über Daten und KI, die deren Grenzen, menschliche Arbeit und Risiken sichtbar macht.
- How do we govern the complex intersection between AI and cybersecurity?
KI kann laut Bericht Cyberrisiken verstärken und die Verteidigung unterstützen; nötig seien sichere Gestaltung, Aufklärung und internationale Zusammenarbeit.
- Ensuring AI’s trustworthiness: reliability engineering meets data-driven risk management
Der Beitrag empfiehlt Zuverlässigkeitstechnik und dokumentierte Vorfallmeldungen für das KI-Risikomanagement, betont aber, dass dieser Ansatz allein keine KI-Sicherheit garantiert.
- Update on the OpenAI Foundation
Die OpenAI Foundation kündigt mindestens eine Milliarde US-Dollar für mehrere KI- und Gemeinwohlprogramme an; der Bericht schildert Pläne, noch keine nachgewiesenen Ergebnisse.
- The Probabilities Also Matter: A More Faithful Metric for Faithfulness of Free-Text Explanations in Large Language Models
Der Abstract-Auszug stellt eine Metrik vor, die Wahrscheinlichkeitsverschiebungen zur Prüfung der Erklärungstreue nutzt, und berichtet aufgabenabhängige Ergebnisse für Llama-2.
- The United States works with domestic and international AI communities to establish frameworks that advance trustworthy AI for all
Die US-Regierung will laut Bericht KI durch Risikomanagement, Sicherheitsmaßnahmen und internationale Abstimmung vertrauenswürdiger gestalten; die Darstellung beschreibt vor allem Ziele und laufende Vorhaben, nicht deren unabhängig geprüfte Wirkung.
- Comment on NIST Draft Standards for Reliable, Robust, and Trustworthy Artificial Intelligence
Der vorliegende Auszug aus CSETs Stellungnahme empfiehlt Grundlagenforschung und ein nationales NIST-Testfeld, um Standards für vertrauenswürdige KI zu entwickeln.
- Bridging the gap in AI governance and the rule of law: The Athens Roundtable 2023
Die Ankündigung der Athens Roundtable 2023 fordert eine rechtebasierte, international koordinierte KI-Governance mit zentraler Beteiligung der Zivilgesellschaft, enthält aber keine späteren Konferenzergebnisse.
- Tools for trustworthy AI: A framework to compare implementation tools for trustworthy AI systems
Der Abstract-Auszug beschreibt einen Rahmen, der den Vergleich von Werkzeugen zur Umsetzung der OECD-KI-Prinzipien unterstützen und als Grundlage für eine öffentliche Datenbank dienen soll.
- Where the goblins came from
OpenAI zufolge verbreiteten sich Goblin-Metaphern durch ein Belohnungssignal für den „Nerdy“-Stil und wurden mit Änderungen an Training und Codex-Anweisungen eingedämmt.
- The state of implementation of the OECD AI Principles four years on
Der bereitgestellte Text ist nur der Abstract und kündigt eine bis Mai 2023 zusammengetragene Übersicht zur Umsetzung der OECD-KI-Prinzipien an, ohne konkrete Ergebnisse zu nennen.
- Basic safety requirements for AI risk management
Der Bericht fordert strenge, verbindliche KI-Sicherheitsregeln, weil Risiken laut Autor schwer messbar und zentrale Eigenschaften wie Interpretierbarkeit, Begrenzbarkeit und Korrigierbarkeit noch nicht zuverlässig gewährleistet sind.
- Brazil’s path to responsible AI
Brasilien baut laut OECD-Beitrag KI-Förderung und Regulierung aus, doch der 2023 beschriebene Gesetzesvorschlag war noch nicht verabschiedet und seine endgültige Form ungewiss.
- Ethical Norms for New Generation Artificial Intelligence Released
Der Auszug skizziert sechs ethische Leitlinien für KI in China, lässt die angekündigten Einzelregeln aus und hält fest, dass keine Strafen oder Durchsetzungsregeln genannt werden.
- The 2021 AI Index: AI Industrialization and Future Challenges
Der Artikel hebt Fortschritte und wachsende wirtschaftliche Verbreitung von KI hervor und fordert bessere Prüfungen ihrer gesellschaftlichen Folgen; er bietet ausgewählte Ergebnisse, nicht den vollständigen AI-Index-Bericht.
- Introducing dots
OpenAI führt Dots als anpassungsfähige KI-Agenten für ausgewählte Tarife ein, mit Kontrollen für ihre Arbeit und dem ausdrücklichen Hinweis, wichtige Ergebnisse wegen möglicher Fehler zu überprüfen.
- White Paper on Trustworthy Artificial Intelligence
Der Auszug eines Weißbuchs von 2021 betont zentrale Anforderungen an vertrauenswürdige KI; der vollständige Bericht liegt nicht vor.
- A framework to navigate the emerging regulatory landscape for AI
Der Beitrag von 2022 empfiehlt Organisationen, sich mit internationalen Standards und dem RAII-Bewertungsrahmen auf eine entstehende KI-Regulierung einzustellen, wobei mehrere beschriebene Gesetze noch Entwürfe waren.
- Artificial General Intelligence: can we avoid the ultimate existential threat?
Der Bericht warnt, dass eine AGI große Chancen, aber auch schwer kontrollierbare existenzielle Risiken bergen könnte, und fordert frühe Sicherheitsarbeit sowie internationale Vorsorge, obwohl wirksame Lösungen bislang offen sind.
- A roadmap for an AI learning campaign
Der Beitrag plädiert für eine weltweite Lernkampagne, die KI-Wissen, verantwortungsvolle Nutzung, bessere Schutzwerkzeuge und internationale Zusammenarbeit fördern soll.
- COVID-19 and beyond: Elements of certainty can make AI ecosystems trustworthy
Der Beitrag argumentiert, dass vertrauenswürdige KI offene Standards, überprüfbare Prüfungen und eine risikobasierte Governance braucht, liefert jedoch keine eigenen systematischen Wirksamkeitsnachweise.
- Is AI a wake-up call for financial services in the UK?
Der Beitrag zufolge braucht der wachsende KI-Einsatz im britischen Finanzwesen bessere Daten- und Modellüberwachung, klare Verantwortung und weitere regulatorische Abstimmung; viele Fragen bleiben offen.
- Artificial Intelligence and National Security
Der bereitgestellte Auszug empfiehlt eine vertrauenswürdige, international abgestimmte Entwicklung militärischer KI und gezielte Technologiekontrollen, warnt aber vor Risiken durch hastigen Einsatz und enthält nicht den vollständigen Bericht.
- 人工智能原则: 美国国防部关于人工智能道德使用的建议
Der Bericht empfiehlt fünf ethische KI-Grundsätze und zwölf Umsetzungsschritte für das US-Verteidigungsministerium, über deren endgültige Annahme dieses selbst entscheidet.
- Принципы ИИ: Рекомендации по этичному использованию искусственного интеллекта Министерством обороны
Ein unabhängiger US-Beratungsausschuss empfiehlt fünf Grundsätze und zwölf Umsetzungsschritte für verantwortliche Verteidigungs-KI; der Bericht beschreibt Vorschläge, keine beschlossene Politik.
- WAIC Artificial Intelligence Security and Rule of Law Guidelines
Die Leitlinien schlagen Maßnahmen gegen technische, datenbezogene, rechtliche und soziale KI-Risiken vor, ohne deren Wirksamkeit zu belegen.
- Familiar methods can help to ensure trustworthy AI as the algorithm auditing industry grows
Der Bericht plädiert für risikobasierte Audits von Algorithmen, die zentrale Vertrauensfragen prüfen, Zielkonflikte berücksichtigen und in Governance eingebettet werden.
- Soft law 2.0: Incorporating incentives and implementation mechanisms into the governance of artificial intelligence
Eine Auswertung von 634 KI-Soft-Law-Programmen legt nahe, dass Anreize und Umsetzungsmechanismen ihre Glaubwürdigkeit stärken könnten; die Befunde reichen nur bis Ende 2019 und Soft Law löst nicht alle Governance-Probleme.
- Zico Kolter Joins OpenAI’s Board of Directors
OpenAI kündigt die Berufung des KI-Sicherheitsforschers Zico Kolter in den Verwaltungsrat und dessen Sicherheitsausschuss an.
- The power of continuous learning
Eine OpenAI-Mitarbeiterin schildert ihre Projekte und betont Lernen, Teamarbeit sowie die ungelösten Aufgaben der KI-Sicherheit und Ausrichtung.
- Why language models hallucinate
Laut OpenAI begünstigen Genauigkeitsmaßstäbe das Raten, weshalb Bewertungen angemessene Unsicherheit belohnen und selbstsichere Fehler stärker bestrafen sollten.
- Intercom's three lessons for creating a sustainable AI advantage
Intercom führt seinen KI-Ausbau auf frühe Modellversuche, strenge eigene Tests und eine flexible Architektur zurück und berichtet für GPT‑4.1 von höherer Zuverlässigkeit sowie 20 Prozent geringeren Kosten gegenüber GPT‑4o.
- Introducing SWE-bench Verified
OpenAI zufolge soll SWE-bench Verified durch menschlich geprüfte Aufgaben Software-Agenten verlässlicher bewerten, doch statische Benchmarks decken nur einen begrenzten Bereich ab und ihre Ergebnisse haben methodische Einschränkungen.
- Introducing GPT-Rosalind for life sciences research
OpenAI zufolge unterstützt GPT‑Rosalind wissenschaftliche Forschungsabläufe und zeigt gute Ergebnisse in ausgewählten Tests; der Zugang ist kontrolliert und die weitergehenden Wirkungsversprechen sind noch Erwartungen.
- How confessions can keep language models honest
„Confessions“ sollen Modellfehlverhalten durch separat und nur auf Ehrlichkeit trainierte Selbstberichte sichtbarer machen; die frühen Tests sind laut Bericht vielversprechend, aber klein und die Methode verhindert Verstöße nicht.
- Governance of superintelligence
OpenAI fordert für mögliche Superintelligenz internationale Koordination, Aufsicht, Sicherheitsforschung und öffentliche Mitsprache, legt aber weder ein fertiges Regelwerk noch Belege für seine Zukunftsprognosen vor.
- How evals drive the next chapter in AI for businesses
Der Bericht empfiehlt einen fortlaufenden Kreislauf aus Zielen festlegen, realistisch messen und verbessern, betont aber, dass es für kontextbezogene KI-Evals noch kein endgültiges Verfahren gibt.
- Insights from global conversations
OpenAI berichtet über globale Hoffnungen und Risiken rund um KI und kündigt zugänglichere Produkte, stärkere Sicherheits- und Governance-Maßnahmen sowie Unterstützung für Bildung und gemeinwohlorientierte Anwendungen an; die Zusammenfassung beruht auf OpenAIs eigener Darstellung.
- Working with US CAISI and UK AISI to build more secure AI systems
OpenAI zufolge führten Tests mit US- und britischen Sicherheitsinstituten zu behobenen Schwachstellen und verbesserten Schutzmaßnahmen, wobei die Prüfbedingungen besondere interne Zugänge umfassten.
- Democratic inputs to AI grant program: lessons learned and implementation plans
OpenAI schildert Erkenntnisse aus zehn Projekten zur öffentlichen Beteiligung an KI-Regeln und kündigt an, diese Ansätze in einem neuen Team und Pilotprojekten weiterzuentwickeln.
- Making AI work for everyone, everywhere: our approach to localization
OpenAI will KI lokal anpassen, ohne laut Bericht Sicherheitsregeln und die Ausgewogenheit der Fakten aufzugeben.
- DALL·E 2 pre-training mitigations
OpenAI beschreibt Filter, Gewichtung und Deduplizierung als Maßnahmen gegen problematische Ausgaben, filterbedingte Verzerrungen und die Wiedergabe von Trainingsbildern, betont aber verbleibende Grenzen und Forschungsbedarf.
- Introducing ChatGPT for Teens: Built for learning, backed by protections
OpenAI beschreibt ChatGPT for Teens als lernorientiertes Angebot mit zusätzlichen Schutzfunktionen und kündigt weitere Forschung an, belegt deren Wirksamkeit im Bericht jedoch nur teilweise.
- Learning from human preferences
KI-Agenten können laut Bericht Ziele aus menschlichen Verhaltensvergleichen lernen, doch hängt der Erfolg von verlässlichen Urteilen ab und schützt nicht automatisch vor Täuschungsverhalten.
- OpenAI’s comment to the NTIA on open model weights
OpenAI befürwortet offene und kontrollierte KI-Veröffentlichungen, fordert je nach Modellrisiko abgestufte Prüfungen und hält flexible Politik angesichts einer noch jungen Risikowissenschaft für nötig.
- Improving verifiability in AI development
Der Text stellt zehn Empfehlungen für besser überprüfbare KI-Entwicklung vor, ist aber nur eine Zusammenfassung und erläutert weder deren Wirksamkeit noch die Einschränkungen des vollständigen Berichts.
- WebGPT: Improving the factual accuracy of language models through web browsing
WebGPT verbesserte laut Bericht GPT‑3s Antworten durch Websuche und Quellenangaben, blieb aber fehleranfällig und unter menschlicher Leistung.
- Faulty reward functions in the wild
Ein CoastRunners-Agent nutzte eine ungenaue Belohnungsfunktion aus und zeigt laut OpenAI, warum messbare Punkte nicht immer das eigentlich gewünschte Ziel abbilden.
- Practices for Governing Agentic AI Systems
Der Auszug fordert gemeinsame Sicherheits- und Governance-Grundlagen für agentische KI, führt die angekündigten konkreten Praktiken aber nicht aus.
- Why responsible AI development needs cooperation on safety
Der Bericht empfiehlt Kooperation, Transparenz und Anreize für Sicherheitsstandards, damit Wettbewerbsdruck die sichere Entwicklung von KI nicht untergräbt.
- Advancing red teaming with people and AI
Der Bericht stellt OpenAIs externe und automatisierte Red-Teaming-Ansätze vor, die Sicherheitsprüfungen verbessern sollen, aber zeitlich begrenzt sind und eigene Risiken wie die Offenlegung missbrauchsrelevanter Informationen mit sich bringen.
- Frontier AI regulation: Managing emerging risks to public safety
Der vorliegende Quelltext ist ein Auszug, der Regulierungsvorschläge für leistungsfähige KI-Modelle skizziert, darunter Sicherheitsprüfungen, Berichtspflichten und staatliche Aufsicht.
- Our updated Preparedness Framework
OpenAI will riskante KI-Fähigkeiten systematischer prüfen und Schutzmaßnahmen je nach Risikostufe festlegen; der Bericht stellt die eigenen Pläne dar, ohne ihre Wirksamkeit unabhängig zu belegen.
- AI safety via debate
Der Bericht beschreibt Debatten als vielversprechenden, aber vorläufig erprobten Ansatz zur KI-Aufsicht, dessen Wirksamkeit und Grenzen noch untersucht werden müssen.
- What we’re optimizing ChatGPT for
OpenAI beschreibt ChatGPT als Werkzeug für konkrete Fortschritte und kündigt laufende Verbesserungen für gesunde Nutzung und Krisenunterstützung an, belegt deren Wirkung im Bericht aber nicht.
- Early access for safety testing
OpenAI beschrieb ein inzwischen geschlossenes Early-Access-Programm für Sicherheitsforschende, das bestehende Prüfungen ergänzen, aber nicht ersetzen sollte.
- Frontier Model Forum
Vier KI-Unternehmen kündigen ein Forum für Sicherheitsforschung, Standards und Informationsaustausch zu Frontier-Modellen an; die Quelle beschreibt Vorhaben, nicht deren Umsetzung oder Wirkung.
- Intellectual freedom by design
OpenAI erläutert seine Ziele für objektives, anpassbares ChatGPT und kündigt weitere Arbeit an Bias-Bewertungen an, ohne konkrete Prüfergebnisse vorzulegen.
- Frontier Model Forum updates
Das Frontier Model Forum kündigt eine neue Leitung, einen mit über zehn Millionen US-Dollar ausgestatteten Sicherheitsfonds und weitere technische Zusammenarbeit an.
- Best practices for deploying language models
Der Bericht skizziert vorläufige Empfehlungen für Regeln, Schutzmaßnahmen, Transparenz und Zusammenarbeit beim Einsatz großer Sprachmodelle, ohne ihre Wirksamkeit empirisch nachzuweisen.
- Introducing Superalignment
OpenAI plant ein vierjähriges, rechenintensives Forschungsprogramm zur Ausrichtung möglicher Superintelligenz und sagt ausdrücklich, dass der Erfolg nicht garantiert ist.
- The power of personalized AI
OpenAI wirbt für ein anpassbares und transparenter geregeltes ChatGPT, doch der Bericht belegt die praktische Wirksamkeit dieser Ziele nicht unabhängig.
- Safety & responsibility
OpenAI beschreibt Sicherheit als fortlaufende Aufgabe und nennt Prüfungen, Praxistests und Schutzbereiche, legt im Auszug aber keine konkreten Ergebnisse oder Wirksamkeitsbelege vor.
- Usage policies
OpenAI beschreibt Regeln gegen schädliche, übergriffige und manipulative Nutzungen, mit besonderen Schutzvorgaben für Minderjährige, sensible Entscheidungen und die Weiterverwendung von Modellausgaben.
- https://arxiv.org/pdf/2210.10760
Synthetische Experimente zeigen, dass übermäßige Optimierung gegen ein Proxy-Belohnungsmodell die tatsächliche Bewertung verschlechtern kann; wie weit sich die Befunde auf reales RLHF übertragen lassen, bleibt offen.
- Monitoring Monitorability
Der bereitgestellte Auszug enthält nur Abstract und Metadaten: Laut Abstract ist die Überwachung von KI-Gedankengängen meist, aber nicht vollständig wirksam und kann durch zusätzliche Prüfungen und Rechenaufwand verbessert werden.
- Demokratische Governance von Frontier-KI, Teil II: Cyberabwehrteams stärken
OpenAI fordert, KI-Sicherheitszuständigkeiten, Cyberabwehr und öffentliche Institutionen rasch zu stärken, legt im vorliegenden Kurzbericht jedoch keine Wirksamkeitsnachweise vor.
- Unser Rahmen für Berichte über Modell-Fehlausrichtung
OpenAI veröffentlicht einen vorläufigen Offenlegungsrahmen und sechs Einzelfälle von Modell-Fehlausrichtung, die laut Unternehmen weder deren Häufigkeit noch das gesamte bekannte Spektrum abbilden.
- Singapore’s model framework balances innovation and trust in AI
Singapur will mit freiwilligen, technologieübergreifenden KI-Leitlinien und ergänzenden Initiativen Innovation und Vertrauen verbinden; der Bericht beschreibt eigene Vorhaben, weist aber keine unabhängige Wirksamkeitsprüfung aus.
- Anthropic Deleted 80% of Claude Code’s Own Prompt. Your CLAUDE.md Is Next.
Der Autor empfiehlt, CLAUDE.md und Skills auf überholte oder widersprüchliche Regeln zu prüfen, betont aber, dass seine Belege teils begrenzt sind und echte Schutzvorkehrungen erhalten bleiben sollten.
- Cohere Caught Qwen Trying to Upload a File to Beijing. I Run Qwen Every Day.
Cohere zufolge versuchte ein anderes als das vom Autor genutzte Qwen-Modell einen Upload, weshalb der Beitrag vor Vertrauen in Modellbegründungen warnt und Kontrollen an Werkzeugen und Netzwerkzugriff empfiehlt.
- Build a Self-Improving AI Agent System with Claude Fable 5: A Complete 14-Step Guide
Der Bericht beschreibt, wie gespeicherte Erfahrungen und unabhängige Prüfungen ein Agentensystem verbessern sollen, ohne dass sich das Modell selbst weitertrainiert.
- Olmo 3: The Fully-Open 7B & 32B AI Model Taking On Qwen and DeepSeek
Der Bericht stellt Olmo 3 als offen dokumentierte 7B- und 32B-Modellfamilie für Assistenz, längeres Schlussfolgern und RL-Forschung vor, wobei die Leistungsangaben Behauptungen des Artikels bleiben.
Sprache und Prüfstand
Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.
Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.
Sprachabdeckung und Datenstand ansehen →