Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai20. Februar 2018 · Q008644

Preparing for malicious uses of AI

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Beitrag beschreibt mögliche Missbrauchsrisiken von KI und empfiehlt Risikoprüfungen, Sicherheitspraktiken aus der Computersicherheit sowie eine breitere öffentliche und politische Debatte. Die genannten Beispiele – von automatisierten Cyberangriffen bis zu staatlicher Überwachung – sind Szenarien; der Text belegt weder tatsächliche Vorfälle noch die Wirksamkeit der vorgeschlagenen Maßnahmen.

Mittel

Der Beitrag stellt eine gemeinsam mit mehreren Forschungs- und zivilgesellschaftlichen Einrichtungen erarbeitete Studie über mögliche böswillige Nutzungen von KI vor. KI könne laut Beitrag bestehende Angriffe billiger machen, neue Bedrohungen schaffen und die Zuordnung von Angriffen erschweren.

Er empfiehlt, den doppelten Verwendungszweck von KI stärker in Forschungsentscheidungen und politischen Gesprächen zu berücksichtigen. Denkbare Maßnahmen seien Risikoprüfungen vor bestimmten Veröffentlichungen, begrenzte Weitergabe sicherheitsrelevanter Forschung und gemeinsame Normen. Außerdem sollten KI-Forschende Praktiken aus der Computersicherheit prüfen: Systeme gezielt angreifen, Bedrohungen frühzeitig voraussehen und vertrauliche Wege zur Meldung von Schwachstellen schaffen. Die Diskussion solle auch Zivilgesellschaft, Sicherheitsfachleute, Unternehmen, Ethiker und Öffentlichkeit einbeziehen.

Als Beispiele nennt der Text zielgerichtete KI-Werbung, automatisierte Cyberangriffe, einen gehackten Reinigungsroboter mit Sprengstoff und KI-gestützte staatliche Überwachung. Das sind mögliche Szenarien, keine belegten Vorfälle. Der Beitrag formuliert Empfehlungen, berichtet hier aber nicht über empirische Ergebnisse oder deren Wirksamkeit.

Ausführlich lesen

Der Beitrag stellt eine gemeinsam mit Forschenden mehrerer Institutionen erarbeitete Studie vor. Sie untersucht, wie böswillige Akteure KI missbrauchen könnten und wie sich solche Risiken verhindern oder mindern ließen. Laut Beitrag kann KI die Kosten bereits bekannter Angriffe senken, neue Bedrohungen und Schwachstellen schaffen und es erschweren, Angriffe bestimmten Urhebern zuzuordnen.

Als Reaktion empfiehlt der Beitrag drei übergreifende Schritte. Erstens sollten Forschung und Politik den doppelten Verwendungszweck von KI stärker berücksichtigen: Dieselben Werkzeuge könnten dem Gemeinwohl dienen oder für Überwachung, Unterdrückung und Einflussnahme eingesetzt werden. Als mögliche Maßnahmen nennt der Beitrag Risikoprüfungen vor der Veröffentlichung bestimmter Forschung, die begrenzte Weitergabe sicherheitsrelevanter Ergebnisse an vertrauenswürdige Organisationen sowie gemeinsame Normen für den Umgang mit solchen Risiken.

Zweitens sollten KI-Forschende erprobte Praktiken aus der Computersicherheit erwägen. Dazu zählt, Systeme gezielt auf Schwächen zu prüfen („Red Teaming“), mögliche Bedrohungen vorauszusehen und Verfahren zur vertraulichen Meldung entdeckter Sicherheitslücken einzurichten. Drittens solle die Debatte über KI-Risiken mehr Gruppen einbeziehen, darunter Zivilgesellschaft, Fachleute für nationale Sicherheit, Unternehmen, Ethiker, die Öffentlichkeit und weitere Forschende.

Zur Veranschaulichung führt der Beitrag mögliche Szenarien an: KI-generierte überzeugende Werbung könnte gezielt gegen Verantwortliche für Sicherheitssysteme eingesetzt werden; Cyberkriminelle könnten neuronale Netze und Fuzzing zur automatisierten Erzeugung von Angriffen nutzen; ein gehackter Reinigungsroboter könnte Sprengstoff transportieren; und ein Staat könnte KI-gestützte Überwachung einsetzen, um Menschen anhand vorhergesagter Risikoprofile vorsorglich festzunehmen. Dies sind im Text skizzierte Möglichkeiten, keine berichteten Vorfälle oder nachgewiesenen Ergebnisse.

Der Beitrag beschreibt eine fast einjährige Zusammenarbeit an der Studie und kündigt an, den Austausch mit Fachkollegen, politischen Entscheidungsträgern und der Öffentlichkeit auszuweiten. Er erläutert Empfehlungen und illustrative Bedrohungsszenarien, legt in diesem Text aber keine empirischen Ergebnisse oder eine Bewertung der Wirksamkeit der vorgeschlagenen Maßnahmen vor.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Stufen weichen bei SF-H2 (4 statt 3), SF-E1 (4 statt 6) und SF-M1 (3 statt 2) ab. Die Zusammenfassungen sind weitgehend treu, es fehlen nur Angaben zu OpenAIs eigener Richtlinienarbeit und zur Partnerschaft. Die Teilfragen-Einordnung ist leer, weil keine Teilfragen angegeben wurden.

Im Bericht, aber nicht in der Zusammenfassung

  • OpenAI kündigt an, nach rund zwei Jahren interner Richtlinienarbeit ein breiteres Publikum einzubeziehen
  • Der Bericht ist das Ergebnis von fast einjähriger Zusammenarbeit mit mehreren Partnereinrichtungen, darunter FHI, CSER, CNAS und EFF

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M1 Ab wann ist ein KI-Vorfall so ernst, dass Staaten ihn einander melden müssen?
    • clef 100 %kein Bezug
    • Luna 81 %Hintergrund, keine Belege
    • JEV 45 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 73 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 50 %Hintergrund, keine Belege
    • JEV 51 %nur am Rande erwähnt
    • amos 34 %nur am Rande erwähnt
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 34 %nur am Rande erwähnt
    • d3-ultra offen
  3. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 33 %nur am Rande erwähnt
    • d3-ultra offen
  4. SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 30 %nur am Rande erwähnt
    • SubQ 70 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 36 %gleiches Oberthema, hilft nicht
    • Luna 47 %Hintergrund, keine Belege
    • JEV 53 %Hintergrund, keine Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 48 %gleiches Oberthema, hilft nicht
    • amos 32 %nur am Rande erwähnt
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 49 %gleiches Oberthema, hilft nicht
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  4. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 41 %Hintergrund, keine Belege
    • amos 37 %nur am Rande erwähnt
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  5. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 52 %Hintergrund, keine Belege
    • JEV 58 %Hintergrund, keine Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 37 %Hintergrund, keine Belege
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 36 %Hintergrund, keine Belege
    • Luna 35 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 31 %nur am Rande erwähnt
    • SubQ 76 %gleiches Oberthema, hilft nicht
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 32 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 33 %nur am Rande erwähnt
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 38 %Hintergrund, keine Belege
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 35 %gleiches Oberthema, hilft nicht
    • Luna 66 %Hintergrund, keine Belege
    • JEV 52 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 69 %gleiches Oberthema, hilft nicht
    • drex 65 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 33 %gleiches Oberthema, hilft nicht
    • Luna 30 %Hintergrund, keine Belege
    • JEV 47 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 70 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 49 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 47 %gleiches Oberthema, hilft nicht
    • JEV 30 %Hintergrund, keine Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 75 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 47 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 35 %Hintergrund, keine Belege
    • d3-ultra offen
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 79 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 37 %gleiches Oberthema, hilft nicht
    • Luna 56 %Hintergrund, keine Belege
    • JEV 55 %gleiches Oberthema, hilft nicht
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 36 %gleiches Oberthema, hilft nicht
    • Luna 52 %Hintergrund, keine Belege
    • JEV 52 %gleiches Oberthema, hilft nicht
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 27 %Hintergrund, keine Belege
    • Luna 48 %einzelne zitierbare Belege
    • JEV 56 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 33 %gleiches Oberthema, hilft nicht
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege
  2. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 66 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Frieden und Sicherheit
  1. SF-K1 Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 42 %gleiches Oberthema, hilft nicht
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 71 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 53 %gleiches Oberthema, hilft nicht
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 75 %gleiches Oberthema, hilft nicht
    • drex 65 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Offenlegung und Rechenschaft
  1. SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 25 %gleiches Oberthema, hilft nicht
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 34 %nur am Rande erwähnt
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 32 %Hintergrund, keine Belege
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 34 %Hintergrund, keine Belege
    • Luna 42 %einzelne zitierbare Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 31 %nur am Rande erwähnt
    • drex 32 %Hintergrund, keine Belege
    • d3-ultra offen
    • Haiku-Prüfung beantwortet teilweise oder widerspricht
  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 30 %Hintergrund, keine Belege
    • Luna 63 %Hintergrund, keine Belege
    • JEV 55 %einzelne zitierbare Belege
    • amos 33 %Hintergrund, keine Belege
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 40 %Hintergrund, keine Belege
    • d3-ultra offen
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 34 %gleiches Oberthema, hilft nicht
    • Luna 42 %Hintergrund, keine Belege
    • JEV 38 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 39 %gleiches Oberthema, hilft nicht
    • Luna 64 %Hintergrund, keine Belege
    • JEV 24 %Hintergrund, keine Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 34 %Hintergrund, keine Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 35 %nur am Rande erwähnt
    • SubQ 31 %nur am Rande erwähnt
    • drex 35 %Hintergrund, keine Belege
    • d3-ultra offen
Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 37 %Hintergrund, keine Belege
    • amos 39 %nur am Rande erwähnt
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 40 %nur am Rande erwähnt
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →