Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
anthropic19. September 2023 · Q000800

The Long-Term Benefit Trust

anthropic.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Anthropic beschreibt den Long-Term Benefit Trust als unabhängige, schrittweise gestärkte Aufsicht, die bei langfristigen KI-Risiken öffentliche Interessen neben den finanziellen Interessen der Anteilseigner einbringen soll. Das Unternehmen nennt das Modell ein Experiment; der Bericht erläutert seine Struktur, belegt aber nicht, wie wirksam sie in der Praxis ist.

Mittel

Anthropic stellt den Long-Term Benefit Trust (LTBT) als neue Aufsichtskomponente neben seiner Rechtsform als Public Benefit Corporation vor. Das Unternehmen begründet ihn mit seiner Einschätzung, transformative KI könne große Folgen für die Allgemeinheit haben, während die üblichen Mechanismen der Unternehmensführung vor allem die Interessen der Anteilseigner absicherten. Die PBC erlaubt dem Verwaltungsrat zwar, auch den öffentlichen Zweck zu berücksichtigen, schafft laut Anthropic aber keine direkte Rechenschaft gegenüber anderen Betroffenen.

Der Trust besteht aus fünf finanziell unabhängigen Fachleuten. Eine ausschließlich von ihm gehaltene Aktienklasse gibt ihm schrittweise das Recht, Verwaltungsratsmitglieder zu wählen und abzuberufen; innerhalb von vier Jahren soll er eine Ratsmehrheit bestimmen können. Investoren erhalten zugleich einen eigenen Sitz. Anthropic erwartet, dass der Trust vor allem langfristige und außergewöhnliche Risiken behandelt, nicht das Tagesgeschäft. Änderungen an der experimentellen Struktur sind mit Zustimmung sehr großer Anteilseigner-Mehrheiten auch ohne die Trustees möglich; die erforderlichen Mehrheiten steigen mit dem Ausbau ihrer Befugnisse.

Anthropic bezeichnet das Modell als Hypothese, nicht als bewährtes Vorbild. Der Bericht beschreibt Aufbau und Absichten, liefert aber keine Belege für die tatsächliche Wirksamkeit. Eine Ergänzung nennt die Besetzung im Oktober 2026 sowie frühere Trustees und ihre Austrittsdaten.

Ausführlich lesen

Anthropic beschreibt in dem Bericht den Long-Term Benefit Trust (LTBT) als Ergänzung zu seiner bestehenden Rechtsform als Public Benefit Corporation. Das Unternehmen begründet die neue Governance-Struktur mit seiner Einschätzung, dass transformative KI besonders große Auswirkungen auf Dritte haben könnte: sowohl Risiken wie Gefahren für die nationale Sicherheit, wirtschaftliche Umbrüche und existenzielle Bedrohungen als auch mögliche Vorteile für Sicherheit und Gesundheit. Nach Anthropics Darstellung können die üblichen Mechanismen der Unternehmensführung solche Folgen für die Allgemeinheit nur begrenzt berücksichtigen, weil diese nicht direkt mit dem Unternehmen Verträge schließt.

Als Public Benefit Corporation darf Anthropic nach eigener Beschreibung neben den finanziellen Interessen der Anteilseigner auch den festgelegten öffentlichen Zweck und die Interessen wesentlich Betroffener berücksichtigen. Das Unternehmen sagt jedoch, diese rechtliche Möglichkeit schaffe für sich genommen weder direkte Rechenschaft gegenüber anderen Betroffenen noch Anreize, deren Interessen einzubeziehen. Der LTBT soll hier zusätzliche Aufsicht und Sachkenntnis einbringen. Anthropic erwartet, dass er sich vor allem mit langfristigen und außergewöhnlichen Risiken befasst, etwa damit, ob künftige Modelle angemessen auf katastrophale Gefahren geprüft und ausreichend gegen Angriffe auf dem Niveau von Staaten geschützt werden. Das Unternehmen betont, der Trust solle sich nicht in gewöhnliche Geschäftsentscheidungen einmischen; kommerzieller Erfolg und öffentlicher Nutzen stünden im Tagesgeschäft häufig miteinander im Einklang.

Der Trust besteht laut Bericht aus fünf finanziell unabhängigen Mitgliedern mit Fachkenntnissen unter anderem zu KI-Sicherheit, nationaler Sicherheit, öffentlicher Politik und sozialen Unternehmen. Eine eigens geschaffene Aktienklasse, Class T, wird ausschließlich vom Trust gehalten. Sie verleiht ihm das Recht, entsprechend zeit- und finanzierungsabhängigen Meilensteinen Mitglieder des Verwaltungsrats zu wählen und abzuberufen. Innerhalb von vier Jahren soll der Trust in jedem Fall die Mehrheit des Verwaltungsrats bestimmen können. Zugleich erhalten Investoren der Series C und späterer Finanzierungsrunden einen eigenen Sitz. Für bestimmte wesentliche Veränderungen muss der Trust benachrichtigt werden. Als Delaware-Zweckstiftung soll er seine Befugnisse im Sinne desselben öffentlichen Zwecks wie Anthropic ausüben.

Anthropic stellt das Modell ausdrücklich als Experiment und durchdachte Hypothese dar, nicht als bereits bewährtes Vorbild. Die schrittweise Einführung soll nach Unternehmensangaben Anpassungen ermöglichen. Änderungen sollen meist einvernehmlich erfolgen; zusätzliche Sicherungsklauseln erlauben aber auch Änderungen ohne Zustimmung der Trustees, wenn ausreichend große Anteilseigner-Mehrheiten zustimmen. Die nötigen Mehrheiten steigen mit dem Ausbau der Macht des Trusts. Der Bericht liefert keine Ergebnisse, anhand derer sich die tatsächliche Wirksamkeit des Modells beurteilen ließe.

Der Text nennt die fünf ursprünglichen Trustees und erläutert, dass sie nach einjähriger Suche ausgewählt wurden, künftig aber die Trustees ihre Nachfolger wählen. Eine Ergänzung führt die Zusammensetzung bis Oktober 2026 fort: Neil Buddy Shah ist demnach Vorsitzender; außerdem gehören Richard Fontaine, Ben Bernanke und Christopher Stubbs zum Trust. Frühere Mitglieder und ihre Austrittsdaten werden ebenfalls aufgeführt. Damit dokumentiert der Bericht eine Unternehmensstruktur und deren beabsichtigte Funktion, belegt aber nicht, ob sie in der Praxis öffentliche Interessen wirksam gegen Anteilseignerinteressen durchsetzen wird.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung ist im Wesentlichen treu; die Fehlanteile betreffen vor allem Begründungsdetails und Amtsregeln. Bei der Einordnung liegt Luna bei allen drei Sammelfragen und bei den Teilfragen zu hoch: Der Bericht beantwortet keine der Fragen direkt, die Anteilsangaben wurden nicht übernommen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Begründung über Externalitäten: Dritte wie die Allgemeinheit können ihre Kosten und Nutzen nicht vertraglich einpreisen, weshalb die Governance-Defaults versagen können
  • Die Aussage, dass öffentlicher Nutzen und kommerzieller Erfolg im Tagesgeschäft meist zusammenpassen und der Trust dort nicht eingreifen soll
  • Die Amtszeit der Trustees von einem Jahr und die Wahl künftiger Trustees durch die Trustees selbst
  • Der Trust ist als Purpose Trust nach Delaware-Recht mit dem Zweck von Anthropic organisiert; die Schutzbestimmungen der Klasse T verlangen Mitteilung bei wesentlichen Änderungen
  • Der Verwaltungsrat ist künftig mehrheitlich gegenüber dem Trust und den Anteilseignern rechenschaftspflichtig

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M1 Ab wann ist ein KI-Vorfall so ernst, dass Staaten ihn einander melden müssen?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-M4-T02 Wie sähen Selbstkontrolle und Informationsaustausch zwischen Laboren verschiedener Staaten praktisch aus (eine gemeinsame Vorlage für Vorfallberichte, gemeinsame Übungen oder ein gemeinsames Register), und wer dürfte die Berichte sehen? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-M4-T04 Wenn Labore rivalisierender Staaten einen gemeinsamen, vertraulichen Meldekanal für Beinahe-Vorfälle einrichteten: Welche Leitungs- und Kontrollstruktur gäbe allen Beteiligten die Gewissheit, dass geteilte Angaben später nicht in einem geopolitischen Streit als Waffe eingesetzt werden? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege
  3. SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F5-T02 Könnten Staaten gemeinsame rote Linien vereinbaren, die den Einsatz KI-verstärkter Cyberfähigkeiten gegen kritische zivile Infrastruktur strikt verbieten? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-F5-T03 Welche konkreten gemeinsamen Maßnahmen könnten Staaten umsetzen, um von KI gesteuerte Cyberbedrohungen durch Dritte gemeinsam zu erkennen und einzudämmen? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-P1-T01 Wie ließen sich unabhängige Zertifizierungsstellen für KI-Sicherheit schaffen, die alle Seiten anerkennen? Luna: Stufe 3 · 44 % · Hintergrund, keine Belege
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 54 %einzelne zitierbare Belege
    • JEV 21 %Hintergrund, keine Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 29 %gleiches Oberthema, hilft nicht
    • drex 25 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-P2-T01 Wer wählt die Prüfer aus, wer bezahlt sie, wer darf sie entlassen, und wird dieser Vertrag vor dem ersten Befund veröffentlicht? Welchen Mindestvertrag, der ihre Unabhängigkeit wahrt, könnten Labore jetzt unterschreiben, ohne auf ein Gesetz zu warten, einschließlich der Frage, wie Berichte veröffentlicht werden? Und wie bleiben die Prüfer unabhängig, wenn Geld oder Infrastruktur vom geprüften Labor kommen? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 43 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 35 %Hintergrund, keine Belege
    • SubQ 27 %einzelne zitierbare Belege
    • drex 31 %Hintergrund, keine Belege
    • d3-ultra offen

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 4 · 37 % · einzelne zitierbare Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 60 %einzelne zitierbare Belege
    • JEV 44 %Hintergrund, keine Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt? Luna: Stufe 4 · 31 % · einzelne zitierbare Belege
    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
    • SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T2-T03 Wenn eine Vereinbarung Fähigkeitsschwellen, rote Linien oder Prüfungen vor der Freigabe festlegt: Binden diese Grenzen auch Modelle, die am Tag der Unterzeichnung schon im Einsatz oder schon frei im Umlauf sind, oder nur künftige Modelle und Freigaben? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
    • SF-T2-T04 Würde ein Labor eine Verlangsamung akzeptieren, deren Einhaltung es bei der Konkurrenz nicht prüfen kann? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
    • SF-T2-T05 Wenn ein Staat oder Labor einen entscheidenden Vorsprung bei KI-Fähigkeiten erlangt: Welcher Mechanismus hindert diesen Akteur daran, Sicherheitsabkommen als bremsende strategische Last zu behandeln statt als gegenseitigen Nutzen? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
    • SF-T2-T08 Wird ein Labor vor einer Tempozusage prüfen, ob es eine unabhängig begründete Pause einhalten könnte, ohne Finanzierungs- oder Abnahmepflichten für Rechenleistung zu verletzen, und welche Vertragsänderungen nötig wären, wo diese Pflichten es sonst zum Neustart drängen würden? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 32 %gleiches Oberthema, hilft nicht
    • Luna 34 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 73 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen? Luna: Stufe 3 · 44 % · Hintergrund, keine Belege
    • SF-T3-T07 Wenn mehrere Anbieter je verschiedene Stufen von Forschung, Training und Prüfung automatisieren und erst ihre ausgetauschten Ergebnisse zusammen einen Kreislauf der Selbstverbesserung schließen, ohne dass eine Firma den ganzen Ablauf betreibt: Welche Regel stellt diesen gemeinsamen Kreislauf unter Aufsicht? Luna: Stufe 3 · 25 % · Hintergrund, keine Belege
    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 47 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 74 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 51 % · Hintergrund, keine Belege
    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 45 % · Hintergrund, keine Belege
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 24 %gleiches Oberthema, hilft nicht
    • Luna 48 %Hintergrund, keine Belege
    • JEV 42 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 29 %Hintergrund, keine Belege
    • d3-ultra offen

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 4 · 41 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 3 · 46 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-A2-T02 Welcher gemeinsame Notmechanismus könnte verteilte Agentennetze und kritische automatisierte Dienste anhalten, drosseln oder abschalten, ohne einem einzelnen Akteur die alleinige Kontrolle zu geben? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 67 %Hintergrund, keine Belege
    • JEV 52 %gleiches Oberthema, hilft nicht
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-A3-T05 Wie sollen Aufsichtsbehörden und Labore die Gesamtrisiken und die miteinander verknüpften Risiken tausender einzeln genehmigter Einsätze bewerten, die Infrastruktur, Modelle, Datenquellen oder Fehlerarten teilen? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht? Luna: Stufe 3 · 48 % · Hintergrund, keine Belege
    • SF-H2-T04 Wie sollen Staaten mit Open-Source-Modellen aus einem Land umgehen, die in einem anderen schädlich genutzt werden könnten, ohne legitime Forschungszusammenarbeit zu verhindern? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
  2. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 41 %Hintergrund, keine Belege
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-H4-T01 Wer trägt die Verantwortung für Modellgewichte (die gelernten Parameter), Sicherheitsberichte und die Befunde der unabhängigen Prüfer im Labor, wenn ein Labor verkauft, umgebaut oder aufgelöst wird oder einen Trainingslauf aufgibt, und wird diese Kette vorher veröffentlicht? Welche Sicherheits- und Prüfpflichten gehen mit, wenn jemand Modelle, Gewichte oder Trainingsabläufe eines Labors erwirbt oder eine Firma außerhalb der KI ein Labor kauft, und muss eine Regierung vor dem Abschluss benachrichtigt werden? Welche Zusagen gelten weiter, gegen wen lassen sie sich durchsetzen, und gibt es einen Mechanismus, der das Unternehmen überdauert? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
Frieden und Sicherheit
  1. SF-K1 Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
    • clef 100 %kein Bezug
    • Luna 45 %einzelne zitierbare Belege
    • JEV 34 %nur am Rande erwähnt
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-K1-T02 Welchen gemeinsamen Maßstab dafür, dass „der Mensch entschieden hat“, würden Regierungen annehmen, wenn ein Bediener bei einer Entscheidung über den Einsatz von Gewalt, vor allem über Atomwaffen, eine KI-Empfehlung in Sekunden bestätigt, zu schnell zum Abwägen? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
  2. SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Offenlegung und Rechenschaft
  1. SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 43 %Hintergrund, keine Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-O1-T02 Welchen konkreten Schutz (Weiterbeschäftigung, Rechtsbeistand, Aufenthaltsstatus, Erhalt ihrer dokumentierten wissenschaftlichen Leistungen) bieten Spitzenlabore Forschenden, Ingenieurinnen und Ingenieuren sowie im Labor eingebetteten Prüfern, die ein Projekt für zu gefährlich halten, um es fortzusetzen? Gilt er für Menschen ohne die Staatsbürgerschaft des Landes, in dem das Labor sitzt, genauso wie für dessen Staatsangehörige, damit niemand wegen gemeldeter Sicherheitsbedenken abgeschoben oder kaltgestellt werden kann? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-O1-T03 Wenn Forschende oder Ingenieurinnen und Ingenieure eines Spitzenlabors schwere Verstöße gegen Fähigkeitsschwellen oder heimliche Bewaffnung entdecken und die Laborleitung sowie nationale Sicherheitsbehörden das aktiv unterdrücken: Schafft die Staatengemeinschaft einen anerkannten, rechtlich geschützten Weg zur Offenlegung und einen Weg zu Asyl? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
  2. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-O2-T05 Welche öffentlichen Zusagen eines Spitzenlabors macht die juristische Person, die bei einem Bruch verklagt würde, und welche nur das Forschungsteam, und veröffentlichen die Labore das für jede Zusage? Luna: Stufe 4 · 44 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-O2-T06 Prüfer mit dauerhaftem Zugang im Labor sollen Nachprüfbarkeit, Transparenz und eine zweite Meinung bringen. Was sollten sie darüber hinaus veröffentlichen, das heute vertraulich bleibt, etwa Beinahe-Vorfälle oder Teilprüfungen noch unveröffentlichter Modelle? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 60 %einzelne zitierbare Belege
    • JEV 27 %Hintergrund, keine Belege
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-E1-T04 Wie bekommen Staaten, in denen kein Spitzenlabor sitzt, einen echten Platz beim Setzen internationaler technischer KI-Normen, damit KI in der Praxis ein gemeinsames Gut bleibt und nicht nur wenige Regierungen und Firmen die Regeln schreiben? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
    • SF-E1-T05 Welche Mechanismen könnten geschaffen werden, damit Standards und Praktiken der KI-Sicherheit in Ländern des Globalen Südens berücksichtigt und nicht allein von wenigen Staaten bestimmt werden? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 41 %Hintergrund, keine Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-E2-T07 Würden Regierungen ein gemeinsam finanziertes, offenes internationales Forschungsprogramm zu Problemen der Ausrichtung von KI an vorgesehenen Zielen und Werten (Täuschungserkennung, Wertelernen, skalierbare Aufsicht) unterstützen, mit gemeinsamen Vergleichstests und Veröffentlichung, nach dem Vorbild der Europäischen Organisation für Kernforschung (CERN) oder der Internationalen Atomenergie-Organisation (IAEO)? Luna: Stufe 3 · 49 % · Hintergrund, keine Belege
    • SF-E2-T08 Können zwei Staaten KI-Risiken für „politische Sicherheit“ und „gesellschaftliche Steuerung“ im selben technischen Kanal besprechen wie Cyber- und Militärrisiken, ohne dass eine Seite das politische System der anderen als das zu lösende Problem behandelt? Luna: Stufe 3 · 58 % · Hintergrund, keine Belege
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 36 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-E3-T02 Welche Stelle eines Staates wäre das Gegenüber für Prüfungen vor der Veröffentlichung, also Tests auf akute Risiken? Gefragt wurde das zu China (Cyberspace-Verwaltung, Ministerium für Staatssicherheit oder eine neue Stelle) und zu den Prüfungen, die Anthropic-Chef Dario Amodei im Essay „We Must Pace the Frontier“ vorschlägt. Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 74 %einzelne zitierbare Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-E4-T01 Was hieße die Formel von KI als „gemeinsamem Gut der ganzen Menschheit“ praktisch (Zugang, Teilen des Nutzens, gestaffelte Preise, Technologietransfer), so dass jeder Staat sie tatsächlich unterschreiben und prüfen könnte? Luna: Stufe 3 · 47 % · Hintergrund, keine Belege
    • SF-E4-T02 Welche konkreten Mechanismen (bezahlbarer Zugang zu Modellen, Rechenleistung im öffentlichen Interesse, Technologietransfer) sollen Sicherheitsregeln begleiten, damit sie Monopole nicht vertiefen und Länder mit wenig Mitteln nicht abhängig zurücklassen? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 24 %gleiches Oberthema, hilft nicht
    • Luna 42 %einzelne zitierbare Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 30 %nur am Rande erwähnt
    • SubQ 26 %Hintergrund, keine Belege
    • drex 37 %Hintergrund, keine Belege
    • d3-ultra offen

    • SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen? Luna: Stufe 4 · 60 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege
    • SF-E5-T03 Wie können Menschen, die von KI betroffen sind, die Sicherheitszusagen ihrer Regierungen verbindlich mitbestimmen, bevor diese sie auf einem Gipfel festlegen? Zum Beispiel über einen Bürgerrat, ein Einspruchsrecht nach öffentlicher Anhörung oder eine unabhängige Vertretung mit festen Rechten, und nicht nur über Gespräche mit Fachleuten. Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
Wirtschaft und Haftung
  1. SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-W3 Wie schützt man Finanzmärkte vor Folgen von KI, von vertraulichen Entscheidungen über Pausen bis zu Kursstürzen in Sekunden?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 33 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-W3-T01 Wenn ein Spitzenlabor zusagt, weiteres Skalieren einseitig zurückzuhalten: Welche verbindlichen Regeln legen fest, wann eine solche Sicherheitspause eine wesentliche, nicht öffentliche Information im Sinne des Wertpapierrechts ist, und wie verhindern Labore und Aufsicht, dass vertrauliche Entscheidungen über das Tempo für Insiderhandel mit Aktien von Partnern aus Cloud, Rechenzentren und Halbleitern genutzt werden? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →