Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
frank-andrade.medium.com1. Februar 2023 · Q010155

ChatGPT Creator Just Launched an AI Detector. Let’s Put It To The Test!

frank-andrade.medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Frank Andrade testet OpenAIs damaligen Textklassifikator an einem eigenen Text und zwei ChatGPT-Texten: Die KI-Texte erhalten unterschiedliche Einstufungen, einer wird sogar als sehr wahrscheinlich menschlich bewertet. Der Autor folgert, dass das Werkzeug unzuverlässig ist; seine wenigen Tests belegen jedoch keine allgemeine Genauigkeit.

Mittel

Frank Andrade prüft in seinem Bericht den damals neu gestarteten kostenlosen Textklassifikator von OpenAI, der menschliche und KI-generierte Texte unterscheiden sollte. Er nennt Einschränkungen: mindestens 1.000 Zeichen Eingabetext, mögliche Fehler und ein Training, das sich vor allem auf englische Texte von Erwachsenen stützte.

Einen Abschnitt aus einem eigenen Artikel ordnete das Werkzeug laut Andrade als menschlich verfasst ein. Einen allgemeinen, von ChatGPT erzeugten Produktivitätsartikel stufte es als „möglicherweise KI-generiert“ ein. Einen ebenfalls mit ChatGPT geschriebenen Text, dessen Prompt stilistische und inhaltliche Vorgaben enthielt, bewertete es dagegen als „sehr unwahrscheinlich KI-generiert“. Andrade vermutet, die individuellere Promptgestaltung könnte eine Rolle gespielt haben, belegt diese Erklärung aber nicht. Zudem überschneiden sich einige der im Beitrag genannten Wertebereiche der Kategorien.

Der Autor schließt aus den unterschiedlichen Ergebnissen, dass der Detektor keine verlässliche Urheberschaftsprüfung erlaubt. Er verweist auf OpenAIs eigene Angabe, bei einer Auswertung nur 26 Prozent der KI-Texte korrekt als wahrscheinlich KI-verfasst erkannt zu haben. Die Tests umfassen nur wenige Beispiele und belegen keine allgemeine Genauigkeit.

Ausführlich lesen

Der Bericht beschreibt einen Praxistest von Frank Andrade mit dem damals neu gestarteten, kostenlosen Textklassifikator von OpenAI. Das Werkzeug sollte einschätzen, ob ein Text von Menschen oder einer KI verfasst wurde. Andrade betont vorab drei Einschränkungen: Der eingegebene Text musste mindestens 1.000 Zeichen umfassen, die Ergebnisse waren nicht immer korrekt, und das Modell war vor allem mit englischen Texten von Erwachsenen trainiert worden.

Zunächst prüfte Andrade einen Abschnitt aus seinem eigenen Artikel „4 Jobs That ChatGPT Will Change“. Ein Leser hatte vermutet, der Text sei von ChatGPT geschrieben worden. Laut Andrade stufte der Klassifikator ihn als menschlich verfasst ein. Für die Auswertung gab es fünf Kategorien von „sehr unwahrscheinlich KI-generiert“ bis „wahrscheinlich KI-generiert“. Der Beitrag erläutert die Skala so, dass ein Wert nahe 1 für eine hohe Einschätzung zugunsten einer KI und ein Wert nahe 0 für eine hohe Einschätzung zugunsten eines Menschen stehe. Die im Text angegebenen Wertebereiche für einzelne Kategorien überschneiden sich allerdings teilweise.

Anschließend testete Andrade einen von ChatGPT erstellten, allgemeinen Produktivitätsartikel mit etwa 1.000 Wörtern. Der Klassifikator ordnete diesen als „möglicherweise KI-generiert“ ein. In einem weiteren Versuch untersuchte Andrade den Anfang eines anderen, laut Autorin vollständig mit ChatGPT verfassten Artikels. Dessen Prompt bat um einen geistreichen Blogbeitrag im Stil von Cassie Kozyrkov und enthielt mehrere konkrete inhaltliche Vorgaben. Der Klassifikator bewertete diesen Text dagegen als „sehr unwahrscheinlich KI-generiert“.

Andrade vermutet, die individuellere Formulierung des zweiten Prompts könnte dazu beigetragen haben, dass der KI-Text den Detektor nicht als KI-Text erkennen ließ. Er stellt dies als mögliche Erklärung dar, nicht als nachgewiesene Ursache, und erklärt, sein Ziel sei nicht, zum Umgehen von Detektoren anzuregen.

Sein Fazit: Die Tests zeigten, dass vollständig von ChatGPT erzeugte Texte sehr unterschiedliche Einstufungen erhalten konnten. Andrade verweist dazu auf OpenAI selbst, das nach seiner Darstellung die Erkennung als nicht vollständig zuverlässig bezeichnete und bei einer eigenen Auswertung nur 26 Prozent der KI-Texte korrekt als „wahrscheinlich KI-verfasst“ erkannte. Der Bericht folgert, dass der getestete Detektor keine verlässliche Feststellung zur Urheberschaft ermöglicht – erst recht nicht bei KI-Texten, die anschließend von Menschen bearbeitet wurden. Die Aussagen beruhen auf wenigen Beispielen; sie sind kein umfassender Vergleich oder unabhängiger Genauigkeitstest.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen (kurz und mittel). Geprüft wurde die mittlere Fassung; die kurze ist sachlich ebenfalls korrekt, aber knapper und lässt die Limitationen und die 26-Prozent-Angabe aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Dass der Autor den Cassie-Kozyrkov-Text als vollständig von ChatGPT verfasst benennt, was er aus der Quellenangabe des Originalartikels ableitet
  • Dass der Klassifikator den ChatGPT-Text laut Bericht sowohl als möglicherweise KI-generiert als auch als sehr unwahrscheinlich KI-generiert einstufte
  • Dass der Autor betont, von Menschen überarbeitete KI-Texte seien noch schwerer zu erkennen

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 20 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 22 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 30 %gleiches Oberthema, hilft nicht
    • Luna 36 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege

Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 28 %gleiches Oberthema, hilft nicht
    • JEV 42 %einzelne zitierbare Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 34 %einzelne zitierbare Belege
    • amos 55 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 19 %einzelne zitierbare Belege
    • Luna 64 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 31 %einzelne zitierbare Belege
    • SubQ 41 %beantwortet direkt und ausführlich
    • drex 28 %umfangreiche Belege
    • d3-ultra 49 %einzelne zitierbare Belege
    • Haiku-Prüfung einzelne zitierbare Belege

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →