Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr9. Oktober 2024 · Q002771

New Support Through The Audacious Project

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR zufolge hat The Audacious Project rund 38 Millionen US-Dollar für Canary bereitgestellt, davon etwa 17 Millionen für METR und dessen Forschung zu Tests autonomer Fähigkeiten fortgeschrittener KI-Systeme. METR will die Prüfungen gemeinsam mit Partnern entwickeln und einsetzen; RANDs Arbeit konzentriere sich vor allem auf mögliches Missbrauchspotenzial. Der Beitrag nennt Pläne und Förderbeträge, aber noch keine Ergebnisse der neuen Forschung.

Mittel

METR berichtet, dass The Audacious Project rund 38 Millionen US-Dollar für Canary mobilisiert habe, eine Zusammenarbeit von METR und RAND zur Entwicklung und Anwendung von Prüfungen auf gefährliche KI-Fähigkeiten. Etwa 17 Millionen US-Dollar davon seien für METR vorgesehen.

METR begründet die Arbeit mit dem großen, zugleich schwer vorhersehbaren Einfluss von KI: Sie könne Fortschritte ermöglichen, aber auch durch Missbrauch oder unbeabsichtigte Schäden Risiken schaffen. Die gemeinnützige Organisation entwickelt empirische Testmethoden für Fähigkeiten, die eine katastrophale Gefahr für öffentliche Sicherheit und Schutz darstellen könnten. Als bisherige Arbeit nennt sie Messungen autonomer Fähigkeiten führender Systeme, die Bewertung von OpenAI o1-preview und Analysen zum Einsatz solcher Methoden im Risikomanagement von KI-Unternehmen.

Mit der neuen Förderung will METR Tests zur Fähigkeit fortgeschrittener Systeme entwickeln und einsetzen, als autonome Agenten zu handeln, und Partnern aus Unternehmen, Regierungen und Forschung deren Durchführung ermöglichen. RANDs parallele Arbeit richte sich vor allem auf das Missbrauchspotenzial. Der Beitrag beschreibt Ziele und Finanzierung, aber noch keine Ergebnisse der neu geförderten Forschung oder konkrete Testmethoden.

Ausführlich lesen

Der Beitrag kündigt neue Förderung für Canary an, eine Zusammenarbeit von METR und RAND zur Entwicklung und Anwendung von Prüfverfahren für gefährliche Fähigkeiten von KI-Systemen. Nach Angaben von METR hat The Audacious Project dafür rund 38 Millionen US-Dollar mobilisiert; etwa 17 Millionen davon sollen METRs Arbeit unterstützen. METR bezeichnet die Förderung als Vertrauensbeweis und erklärt, die Mittel für die weitere Entwicklung und den Einsatz von Tests zu verwenden.

Als Begründung beschreibt METR das Potenzial von KI, gesellschaftliche Veränderungen rasch und tiefgreifend zu bewirken. Fortschritte könnten Wissenschaft, Technologie und Wirtschaft zugutekommen; zugleich bestünden Risiken durch Missbrauch und unbeabsichtigte Schäden. Wann und auf welche Weise solche Auswirkungen eintreten, sei schwer vorherzusagen.

METR stellt sich als gemeinnützige Forschungseinrichtung dar, die Methoden zur empirischen Prüfung von KI-Fähigkeiten entwickelt. Im Mittelpunkt stehen Fähigkeiten, die eine katastrophale Gefahr für öffentliche Sicherheit und Schutz darstellen könnten. Der Beitrag nennt als bisherige Arbeit Messungen autonomer Fähigkeiten führender KI-Systeme, eine Bewertung von OpenAI o1-preview und Analysen dazu, wie KI-Unternehmen empirische Prüfmethoden in ihr Risikomanagement einbeziehen können.

Die geplante Arbeit soll insbesondere untersuchen, wie gut fortgeschrittene KI-Systeme als autonome Agenten handeln können. METR will die Tests auch Unternehmen, Regierungen und weiteren Forschungspartnern zugänglich machen. Entscheidungsträger sollen dadurch die Risiken einzelner fortgeschrittener Systeme besser verstehen und mindern können. RANDs parallele Arbeit konzentriere sich laut Beitrag vor allem darauf, das Missbrauchspotenzial von KI-Systemen zu bewerten.

Der Text beschreibt Finanzierung und Arbeitsziele, berichtet aber noch keine Ergebnisse der neu finanzierten Forschung oder eine nachgewiesene Wirkung der Tests. Er quantifiziert auch nicht, wie genau die Mittel verteilt werden, und erläutert keine konkreten Prüfverfahren. Die Aussagen zu Zweck und erwarteter Bedeutung der Förderung stammen von METR. Ein Begleitabschnitt erklärt The Audacious Project als 2018 gestartete, bei TED angesiedelte Förderinitiative, die jährlich eine neue Gruppe von Projekten unterstützt; Canary wird als eines der geförderten Vorhaben 2024 aufgeführt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: ok

Beide Zusammenfassungen (kurz und mittel) wurden gemeinsam bewertet, da sie sich inhaltlich nicht widersprechen. Der Canary-Block am Ende des Berichts ist ein Tracking-Vermerk ohne Bezug zum Inhalt und wurde nicht als Anweisung behandelt. Lunas Prozentangaben zur Einordnung wurden nicht geprüft, nur die Stufen.

Im Bericht, aber nicht in der Zusammenfassung

  • Hintergrund zum Audacious Project: 2018 gestartet, bei TED angesiedelt, Förderergemeinschaft mit Gates Foundation u. a., jährliche Kohorte

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M1 Ab wann ist ein KI-Vorfall so ernst, dass Staaten ihn einander melden müssen?
    • clef 100 %kein Bezug
    • Luna 74 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 65 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 27 %Hintergrund, keine Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 77 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 36 %Hintergrund, keine Belege
    • Luna 43 %einzelne zitierbare Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 31 %Hintergrund, keine Belege
    • drex 30 %einzelne zitierbare Belege
    • d3-ultra 39 %Hintergrund, keine Belege
    • Haiku-Prüfung Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht
  3. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 37 %Hintergrund, keine Belege
    • Luna 41 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 78 %gleiches Oberthema, hilft nicht
  4. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 48 %Hintergrund, keine Belege
    • JEV 44 %Hintergrund, keine Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 68 %gleiches Oberthema, hilft nicht
  5. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 49 %gleiches Oberthema, hilft nicht
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 68 %gleiches Oberthema, hilft nicht
    • drex 77 %gleiches Oberthema, hilft nicht
    • d3-ultra 69 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 35 %Hintergrund, keine Belege
    • Luna 39 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 69 %gleiches Oberthema, hilft nicht
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 27 %Hintergrund, keine Belege
    • Luna 47 %Hintergrund, keine Belege
    • JEV 44 %gleiches Oberthema, hilft nicht
    • amos 30 %nur am Rande erwähnt
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 69 %gleiches Oberthema, hilft nicht
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 29 %Hintergrund, keine Belege
    • Luna 44 %einzelne zitierbare Belege
    • JEV 42 %Hintergrund, keine Belege
    • amos 34 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 34 %Hintergrund, keine Belege
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 33 %Hintergrund, keine Belege
    • Luna 75 %Hintergrund, keine Belege
    • JEV 39 %gleiches Oberthema, hilft nicht
    • amos 33 %Hintergrund, keine Belege
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 69 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 34 %Hintergrund, keine Belege
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 70 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 68 %gleiches Oberthema, hilft nicht
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 35 %Hintergrund, keine Belege
    • Luna 35 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 30 %nur am Rande erwähnt
    • SubQ 63 %gleiches Oberthema, hilft nicht
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 81 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 29 %Hintergrund, keine Belege
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 72 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 37 %Hintergrund, keine Belege
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 73 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %Hintergrund, keine Belege
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 29 %Hintergrund, keine Belege
    • Luna 46 %Hintergrund, keine Belege
    • JEV 51 %Hintergrund, keine Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 30 %Hintergrund, keine Belege
    • Luna 54 %Hintergrund, keine Belege
    • JEV 39 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 63 %gleiches Oberthema, hilft nicht
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 35 %gleiches Oberthema, hilft nicht
    • Luna 40 %Hintergrund, keine Belege
    • JEV 44 %gleiches Oberthema, hilft nicht
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 85 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 34 %gleiches Oberthema, hilft nicht
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 71 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
  2. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 67 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 77 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 31 %nur am Rande erwähnt
    • SubQ 73 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 78 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 29 %Hintergrund, keine Belege
    • Luna 40 %Hintergrund, keine Belege
    • JEV 49 %gleiches Oberthema, hilft nicht
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 63 %gleiches Oberthema, hilft nicht
    • drex 66 %gleiches Oberthema, hilft nicht
    • d3-ultra 65 %gleiches Oberthema, hilft nicht
  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 33 %gleiches Oberthema, hilft nicht
    • Luna 100 %kein Bezug
    • JEV 42 %Hintergrund, keine Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 63 %gleiches Oberthema, hilft nicht
    • drex 66 %gleiches Oberthema, hilft nicht
    • d3-ultra 77 %gleiches Oberthema, hilft nicht
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 28 %Hintergrund, keine Belege
    • Luna 52 %einzelne zitierbare Belege
    • JEV 50 %gleiches Oberthema, hilft nicht
    • amos 29 %nur am Rande erwähnt
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 71 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 47 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 70 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →