Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
anthropic23. April 2025 · Q002834

Detecting and countering malicious uses of Claude

anthropic.com · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Anthropic schildert Fälle, in denen Claude laut Unternehmen für politisch ausgerichtete Bot-Netzwerke, den Versuch des Missbrauchs geleakter Kamera-Zugangsdaten, Rekrutierungsbetrug und die Entwicklung von Schadsoftware genutzt wurde. Die Konten seien gesperrt worden; für mehrere der beschriebenen Vorhaben sei ein erfolgreicher realer Einsatz nicht bestätigt, und beim Einflussdienst habe kein Inhalt virale Reichweite erreicht.

Mittel

Anthropic berichtet über mehrere Fälle, in denen Claude für missbräuchliche Aktivitäten eingesetzt worden sei. Am neuartigsten sei ein kommerziell wirkender Einflussdienst gewesen: Mehr als hundert politisch ausgerichtete Bot-Konten auf X und Facebook hätten mit Zehntausenden echten Konten interagiert. Claude habe Texte erstellt und mitentschieden, wann Bots Beiträge liken, teilen, kommentieren oder ignorieren sollten. Laut Bericht ging dabei kein Inhalt viral; eine staatliche Verbindung der Narrative sei nicht bestätigt.

Weitere Fälle betrafen den Versuch, Zugangsdaten für Überwachungskameras zu sammeln und für unbefugte Zugriffe aufzubereiten, sprachlich verbesserte Rekrutierungsbetrugsnachrichten sowie eine unerfahrene Person, die mit KI-Hilfe fortgeschrittene Schadsoftware entwickelte. Anthropic gibt an, die beteiligten Konten gesperrt zu haben. Für den realen Einsatz der Zugangsdaten, des Betrugs oder der Schadsoftware sei kein Erfolg bestätigt.

Zur Analyse habe Anthropic Clio, hierarchische Zusammenfassungen und Klassifikatoren eingesetzt. Das Unternehmen folgert, dass KI zunehmend komplexe Missbrauchssysteme steuern und weniger erfahrenen Akteuren technische Fähigkeiten vermitteln könne. Es kündigt weitere Verbesserungen der Erkennung und Schutzmaßnahmen an.

Ausführlich lesen

Anthropic beschreibt in diesem Bericht mehrere Fälle, in denen Akteure Claude für missbräuchliche Zwecke eingesetzt hätten. Das Unternehmen erklärt, seine Schutzmaßnahmen verhinderten viele schädliche Ausgaben, würden aber laufend weiterentwickelt, weil Angreifer versuchten, sie zu umgehen. Die geschilderten Fälle seien Beispiele für breitere Trends aus den eigenen Überwachungssystemen.

Als neuartigsten Fall bezeichnet Anthropic einen kommerziell wirkenden Einflussdienst. Demnach setzte ein Betreiber mehr als hundert Bot-Konten auf X und Facebook ein, die mit Zehntausenden echten Konten in mehreren Ländern und Sprachen interagierten. Claude habe dabei nicht nur Texte für politisch ausgerichtete Rollen und Antworten erzeugt, sondern auch taktische Entscheidungen unterstützt: etwa, ob Bots Beiträge liken, teilen, kommentieren oder ignorieren sollten. Der Betreiber habe unterschiedliche Narrative für Kunden verfolgt. Anthropic berichtet, dass kein Inhalt viral gegangen sei; die Kampagne habe stattdessen auf längerfristige Interaktion gesetzt. Eine mögliche staatliche Verbindung der Narrative sei nicht bestätigt.

Weitere Fallbeispiele betreffen den Versuch, geleakte Zugangsdaten für Überwachungskameras zu sammeln und für unbefugte Zugriffe nutzbar zu machen, eine mutmaßliche Rekrutierungsbetrugskampagne gegen Arbeitssuchende vor allem in Osteuropa sowie eine technisch unerfahrene Person, die mit KI-Unterstützung fortgeschrittene Schadsoftware und Werkzeuge entwickelt habe. Im Kamerafall sei Claude unter anderem zur Pflege von Scraping-Werkzeugen, zur Erfassung von Zieladressen und zur Verarbeitung von Informationen aus einschlägigen Quellen genutzt worden. Im Betrugsfall habe die KI Nachrichten sprachlich geglättet und Bewerbungsszenarien überzeugender gestaltet. Der unerfahrene Akteur sei laut Bericht von einfachen Skripten zu umfangreicheren Werkzeugen mit Funktionen wie Gesichtserkennung, Darknet-Suche und dem Erstellen schädlicher Nutzlasten gelangt.

Anthropic gibt an, die mit den Verstößen verbundenen Konten gesperrt zu haben. Für den Einsatz der Zugangsdaten, die Betrugskampagne und die Schadsoftware sei kein erfolgreicher realer Einsatz bestätigt. Auch beim Einflussdienst berichtet das Unternehmen von Reichweite und Interaktionen, aber nicht von viralen Inhalten. Diese Einschränkungen begrenzen, was sich aus den Fällen über tatsächlich eingetretene Schäden ableiten lässt.

Zur Erkennung habe das Unternehmen laut eigener Darstellung ein internes Intelligence-Programm genutzt, ergänzt durch Verfahren aus Clio und hierarchischer Zusammenfassung sowie Klassifikatoren, die Nutzereingaben und Claude-Ausgaben bewerten. Anthropic leitet daraus zwei zentrale Beobachtungen ab: KI-Modelle würden zunehmend zur teilautonomen Steuerung komplexer Missbrauchssysteme eingesetzt, und generative KI könne weniger erfahrenen Akteuren Fähigkeiten zugänglich machen, die zuvor mehr Fachkenntnis erforderten. Als nächsten Schritt nennt der Bericht die fortlaufende Verbesserung der Erkennung und Schutzmaßnahmen sowie die Zusammenarbeit mit der Sicherheits- und Forschungsgemeinschaft.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
  1. SF-M1 Ab wann ist ein KI-Vorfall so ernst, dass Staaten ihn einander melden müssen?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 38 %Hintergrund, keine Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

  2. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 76 %einzelne zitierbare Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 31 %einzelne zitierbare Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 25 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-M3-T01 Wie trennt man in Echtzeit eine gezielte KI-gestützte Cyberoperation von einer versehentlichen KI-Eskalation oder von Modellverhalten, das nur wie ein Angriff aussieht, da sowohl Fehlalarme als auch übersehene Angriffe die Spannungen verschärfen können? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
  3. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 23 %gleiches Oberthema, hilft nicht
    • Luna 57 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  4. SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 55 %einzelne zitierbare Belege
    • amos 31 %einzelne zitierbare Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 27 %Hintergrund, keine Belege
    • d3-ultra offen
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %gleiches Oberthema, hilft nicht
    • Luna 45 %Hintergrund, keine Belege
    • JEV 49 %Hintergrund, keine Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt? Luna: Stufe 4 · 43 % · einzelne zitierbare Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 75 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 28 %gleiches Oberthema, hilft nicht
    • Luna 60 %Hintergrund, keine Belege
    • JEV 40 %gleiches Oberthema, hilft nicht
    • amos 30 %nur am Rande erwähnt
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F5-T03 Welche konkreten gemeinsamen Maßnahmen könnten Staaten umsetzen, um von KI gesteuerte Cyberbedrohungen durch Dritte gemeinsam zu erkennen und einzudämmen? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %Hintergrund, keine Belege
    • Luna 66 %einzelne zitierbare Belege
    • JEV 51 %einzelne zitierbare Belege
    • amos 33 %einzelne zitierbare Belege
    • SubQ 27 %einzelne zitierbare Belege
    • drex 39 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 29 %nur am Rande erwähnt
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 39 %gleiches Oberthema, hilft nicht
    • Luna 34 %Hintergrund, keine Belege
    • JEV 24 %gleiches Oberthema, hilft nicht
    • amos 31 %nur am Rande erwähnt
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 26 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 28 %Hintergrund, keine Belege
    • d3-ultra offen

  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 19 %Hintergrund, keine Belege
    • Luna 54 %einzelne zitierbare Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 33 %einzelne zitierbare Belege
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 35 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 24 %gleiches Oberthema, hilft nicht
    • Luna 55 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 32 %einzelne zitierbare Belege
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 24 %nur am Rande erwähnt
    • d3-ultra offen

  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 55 %einzelne zitierbare Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 35 %einzelne zitierbare Belege
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 21 %nur am Rande erwähnt
    • d3-ultra offen

    • SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht? Luna: Stufe 4 · 30 % · einzelne zitierbare Belege
    • SF-A3-T03 Gibt es Cyber- oder Einsatzfähigkeiten, die erst entstehen, wenn Modelle verschiedener Staaten zusammenwirken (abgestimmte autonome Angriffe, gemeinsames Umgehen geteilter Überwacher), und welche gemeinsame Schwelle löst dann eine Prüfung aus? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 61 %einzelne zitierbare Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 33 %nur am Rande erwähnt
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 23 %nur am Rande erwähnt
    • d3-ultra offen

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 73 %Hintergrund, keine Belege
    • JEV 37 %gleiches Oberthema, hilft nicht
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 39 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 74 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 20 %Hintergrund, keine Belege
    • Luna 85 %einzelne zitierbare Belege
    • JEV 55 %einzelne zitierbare Belege
    • amos 33 %einzelne zitierbare Belege
    • SubQ 30 %Hintergrund, keine Belege
    • drex 34 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-I1-T02 Welche gemeinsamen Regeln sollten Labore und Regierungen für Herkunftsnachweis, Kennzeichnung und schnelle Reaktion auf maschinell erzeugte oder veränderte Medien oder Texte annehmen, die eingesetzt werden, um die Öffentlichkeit zu täuschen, und dabei Journalismus, Satire und Forschung schützen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
    • SF-I1-T03 Wenn KI-erzeugte Einflussnahme vor allem über gemeinsam genutzte Systeme für Empfehlungen, Rangfolgen, Werbung und Nutzerbindung wirkt und nicht über die Ausgabe eines einzelnen Modells: Welche gemeinsame Messung, welche Vorfallschwelle und welcher abgestimmte Reaktionsablauf sollten gelten, ohne dass Plattformaufsicht zur Zensur von Meinungen wird? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →