Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
oecd31. Januar 2024 · Q005293

The therapeutic caveat: Prohibitions on manipulation and persuasion in the EU AI Act

oecd.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht warnt, dass die therapeutische Ausnahme im EU AI Act ausgenutzt werden könnte, wenn „therapeutische Zwecke“ und zulässige Einflussnahme nicht klar definiert sind. Er empfiehlt belegte Zweckbestimmungen, stärkere Prüfung und öffentliche Transparenz, merkt aber an, dass eine Einstufung einschlägiger Systeme als Klasse-I-Medizinprodukte wegen Regel 11 unwahrscheinlich sei.

Mittel

Der Bericht behandelt die Ausnahme im EU AI Act, nach der Verbote manipulativer oder überzeugender KI nicht für Systeme zu genehmigten therapeutischen Zwecken bei konkreter informierter Einwilligung gelten sollen. Er erkennt an, dass Einflussnahme therapeutisch nützlich sein kann, warnt aber vor missbräuchlichen oder kommerziell motivierten Zweckbehauptungen. Besonders bei Apps für psychische Gesundheit und Gehirntraining sieht der Text Risiken: Viele Angebote seien nicht klinisch validiert, könnten sensible Daten gefährden und Nutzerbindung oder Kaufpräferenzen fördern. Die Wirksamkeit von Gehirntrainingsangeboten sei laut Bericht wissenschaftlich nicht eindeutig belegt.

Der Beitrag fordert eine klare, klinisch informierte Definition therapeutischer Zwecke. Anbieter sollten ihre Zweckbestimmung und die eingesetzten Überzeugungsmethoden belegen; ein öffentliches Register könnte Nachweise und zugelassene Systeme sichtbar machen. Die Regeln sollten Software, kombinierte Produkte, Menschen- und Gleichstellungsrechte sowie therapeutische Grenzprodukte abdecken. Zudem warnt der Bericht vor unzureichender externer Prüfung bei einer möglichen Einstufung als Klasse I, räumt aber ein, dass dies wegen Regel 11 unwahrscheinlich sei. Seine Aussagen sind vor allem Warnungen und Vorschläge; eine eigene empirische Prüfung der Risiken wird nicht dargestellt.

Ausführlich lesen

Der Bericht untersucht die Ausnahme für therapeutische KI im Entwurf des EU AI Act. Dem zitierten Wortlaut zufolge sollen die Verbote manipulativer oder überzeugender KI-Systeme nicht für Systeme gelten, die zu genehmigten therapeutischen Zwecken und mit konkreter informierter Einwilligung eingesetzt werden. Der Bericht sieht darin eine mögliche Anerkennung, dass Überzeugung oder Verhaltensänderung in einer Therapie nützlich sein können. Zugleich warnt er, dass eine weit oder unklar gefasste Ausnahme missbraucht werden könnte: Anbieter könnten therapeutische Zwecke behaupten, obwohl ihre Systeme vor allem kommerziellen, ideologischen oder politischen Zielen dienten.

Als besonders anfällig beschreibt der Text digitale Angebote im Bereich psychischer Gesundheit. Er behauptet, viele entsprechende Apps seien nicht klinisch validiert und verweist auf fehlende Standards für Qualität und den Schutz sensibler Daten. Bei Sprachmodellen in therapeutischen Rollen sieht er zudem die Möglichkeit, Nutzer zugunsten von Produktpräferenzen oder längerer Nutzung zu beeinflussen. Gehirntrainingsangebote dienen als Beispiel für Geschäftsmodelle, die laut Bericht wiederholte Nutzung fördern und damit nahe an suchtfördernde Muster geraten könnten. Die angeführten Marktzahlen sollen den wirtschaftlichen Anreiz zur Steigerung des Engagements verdeutlichen; der Bericht hält zugleich fest, dass die wissenschaftliche Evidenz für die Wirksamkeit solcher Angebote uneindeutig sei.

Der Bericht fordert deshalb eine klare, klinisch informierte Definition der „genehmigten therapeutischen Zwecke“ und der in diesem Rahmen zulässigen Einflussnahme. Unternehmen sollten ihre therapeutischen Behauptungen mit einer Zweckbestimmung belegen, die Einsatzweise, Überzeugungs- oder Manipulationsmethoden und deren therapeutische Begründung darlegt. Als Orientierung schlägt der Text die bestehende Zweckbestimmungslogik der EU-Medizinprodukteverordnung vor, die Herstellerangaben aus Kennzeichnung, Gebrauchsanweisung, Werbung und klinischer Bewertung berücksichtigt. Denkbar sei außerdem ein öffentliches Portal für eingereichte Nachweise und zugelassene Systeme.

Die vorgeschlagene Definition sollte laut Bericht sowohl reine Software als auch KI in Verbindung mit Arzneimitteln umfassen. Leitlinien sollten außerdem das Verhältnis zu Gleichstellungsrecht und Menschenrechten anhand von Beispielen erläutern und sogenannte Grenzprodukte berücksichtigen, die therapeutisch eingesetzt werden, aber nicht als Medizinprodukte gelten.

Bei der Aufsicht verweist der Text auf das dezentrale Zulassungssystem der EU. Produkte der niedrigsten Klasse könnten sich selbst zertifizieren; höher eingestufte Produkte müssten strengere Sicherheitsanforderungen erfüllen und würden von einer benannten Stelle geprüft. Der Bericht befürchtet, dass Anbieter eine therapeutische Ausnahme mit einer Einstufung als Klasse-I-Medizinprodukt verbinden könnten, wodurch unabhängige Kontrolle und Nutzenprüfung ausblieben. Er räumt allerdings ein, dass eine solche Einstufung wegen Regel 11 der EU-Medizinprodukteverordnung unwahrscheinlich sei. Als Grenzen des Beitrags sind seine überwiegend warnende und empfehlende Ausrichtung sowie das Fehlen einer eigenen empirischen Prüfung der genannten Risiken zu beachten. Abschließend plädiert er dafür, die Ausnahme zu präzisieren und externe Qualitätssicherung zu stärken, um Sicherheit und evidenzbasierte Innovation zu fördern.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung beruht auf dem Bericht zur therapeutischen Ausnahme im EU AI Act. Er berührt die Sammelfragen nur am Rande, die Teilfragen fast gar nicht; die Stufen spiegeln das wider und sind unabhängig von Lunas Werten vergeben.

Im Bericht, aber nicht in der Zusammenfassung

  • Die kurze Fassung nennt die Engagement-Logik kommerzieller Apps und Gehirntraining-Angebote nicht.
  • Die kurze Fassung erwähnt die Warnung vor kommerziellen Anreizen (Marktwachstum, Nutzerbindung, Zweckbehauptungen in Nutzungsbedingungen) nicht.
  • Die Pflicht zur Prüfung durch eine benannte Stelle (Notified Body) bei Klasse 2a und höher wird nur in der mittleren Fassung angedeutet und in der kurzen gar nicht genannt.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 20 %Hintergrund, keine Belege
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %Hintergrund, keine Belege
    • amos 24 %nur am Rande erwähnt
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 31 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 26 %Hintergrund, keine Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 75 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 23 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 75 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht

  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 40 %einzelne zitierbare Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-V4-T04 Wenn ein Eigenwert des Menschseins verankert werden soll: Lässt er sich schützen, ohne sich vorher zu einigen, worin er besteht? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 50 %einzelne zitierbare Belege
    • JEV 48 %beantwortet teilweise oder widerspricht
    • amos 29 %einzelne zitierbare Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra 36 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 36 %gleiches Oberthema, hilft nicht
    • JEV 27 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 30 %gleiches Oberthema, hilft nicht
    • Luna 37 %Hintergrund, keine Belege
    • JEV 65 %gleiches Oberthema, hilft nicht
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 22 %Hintergrund, keine Belege
    • Luna 51 %Hintergrund, keine Belege
    • JEV 53 %beantwortet teilweise oder widerspricht
    • amos 32 %einzelne zitierbare Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 39 %gleiches Oberthema, hilft nicht

  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 23 %Hintergrund, keine Belege
    • Luna 47 %einzelne zitierbare Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 28 %einzelne zitierbare Belege
    • SubQ 33 %gleiches Oberthema, hilft nicht
    • drex 24 %einzelne zitierbare Belege
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 69 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 20 %nur am Rande erwähnt
    • Luna 63 %einzelne zitierbare Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 24 %Hintergrund, keine Belege
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 22 %einzelne zitierbare Belege
    • d3-ultra 44 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 69 %Hintergrund, keine Belege
    • JEV 34 %gleiches Oberthema, hilft nicht
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →