ChatGPT Creator Just Launched an AI Detector. Let’s Put It To The Test!
Zusammenfassung
Kurz
Frank Andrade testet OpenAIs damaligen Textklassifikator an einem eigenen Text und zwei ChatGPT-Texten: Die KI-Texte erhalten unterschiedliche Einstufungen, einer wird sogar als sehr wahrscheinlich menschlich bewertet. Der Autor folgert, dass das Werkzeug unzuverlässig ist; seine wenigen Tests belegen jedoch keine allgemeine Genauigkeit.
Mittel
Frank Andrade prüft in seinem Bericht den damals neu gestarteten kostenlosen Textklassifikator von OpenAI, der menschliche und KI-generierte Texte unterscheiden sollte. Er nennt Einschränkungen: mindestens 1.000 Zeichen Eingabetext, mögliche Fehler und ein Training, das sich vor allem auf englische Texte von Erwachsenen stützte.
Einen Abschnitt aus einem eigenen Artikel ordnete das Werkzeug laut Andrade als menschlich verfasst ein. Einen allgemeinen, von ChatGPT erzeugten Produktivitätsartikel stufte es als „möglicherweise KI-generiert“ ein. Einen ebenfalls mit ChatGPT geschriebenen Text, dessen Prompt stilistische und inhaltliche Vorgaben enthielt, bewertete es dagegen als „sehr unwahrscheinlich KI-generiert“. Andrade vermutet, die individuellere Promptgestaltung könnte eine Rolle gespielt haben, belegt diese Erklärung aber nicht. Zudem überschneiden sich einige der im Beitrag genannten Wertebereiche der Kategorien.
Der Autor schließt aus den unterschiedlichen Ergebnissen, dass der Detektor keine verlässliche Urheberschaftsprüfung erlaubt. Er verweist auf OpenAIs eigene Angabe, bei einer Auswertung nur 26 Prozent der KI-Texte korrekt als wahrscheinlich KI-verfasst erkannt zu haben. Die Tests umfassen nur wenige Beispiele und belegen keine allgemeine Genauigkeit.
Ausführlich lesen
Der Bericht beschreibt einen Praxistest von Frank Andrade mit dem damals neu gestarteten, kostenlosen Textklassifikator von OpenAI. Das Werkzeug sollte einschätzen, ob ein Text von Menschen oder einer KI verfasst wurde. Andrade betont vorab drei Einschränkungen: Der eingegebene Text musste mindestens 1.000 Zeichen umfassen, die Ergebnisse waren nicht immer korrekt, und das Modell war vor allem mit englischen Texten von Erwachsenen trainiert worden.
Zunächst prüfte Andrade einen Abschnitt aus seinem eigenen Artikel „4 Jobs That ChatGPT Will Change“. Ein Leser hatte vermutet, der Text sei von ChatGPT geschrieben worden. Laut Andrade stufte der Klassifikator ihn als menschlich verfasst ein. Für die Auswertung gab es fünf Kategorien von „sehr unwahrscheinlich KI-generiert“ bis „wahrscheinlich KI-generiert“. Der Beitrag erläutert die Skala so, dass ein Wert nahe 1 für eine hohe Einschätzung zugunsten einer KI und ein Wert nahe 0 für eine hohe Einschätzung zugunsten eines Menschen stehe. Die im Text angegebenen Wertebereiche für einzelne Kategorien überschneiden sich allerdings teilweise.
Anschließend testete Andrade einen von ChatGPT erstellten, allgemeinen Produktivitätsartikel mit etwa 1.000 Wörtern. Der Klassifikator ordnete diesen als „möglicherweise KI-generiert“ ein. In einem weiteren Versuch untersuchte Andrade den Anfang eines anderen, laut Autorin vollständig mit ChatGPT verfassten Artikels. Dessen Prompt bat um einen geistreichen Blogbeitrag im Stil von Cassie Kozyrkov und enthielt mehrere konkrete inhaltliche Vorgaben. Der Klassifikator bewertete diesen Text dagegen als „sehr unwahrscheinlich KI-generiert“.
Andrade vermutet, die individuellere Formulierung des zweiten Prompts könnte dazu beigetragen haben, dass der KI-Text den Detektor nicht als KI-Text erkennen ließ. Er stellt dies als mögliche Erklärung dar, nicht als nachgewiesene Ursache, und erklärt, sein Ziel sei nicht, zum Umgehen von Detektoren anzuregen.
Sein Fazit: Die Tests zeigten, dass vollständig von ChatGPT erzeugte Texte sehr unterschiedliche Einstufungen erhalten konnten. Andrade verweist dazu auf OpenAI selbst, das nach seiner Darstellung die Erkennung als nicht vollständig zuverlässig bezeichnete und bei einer eigenen Auswertung nur 26 Prozent der KI-Texte korrekt als „wahrscheinlich KI-verfasst“ erkannte. Der Bericht folgert, dass der getestete Detektor keine verlässliche Feststellung zur Urheberschaft ermöglicht – erst recht nicht bei KI-Texten, die anschließend von Menschen bearbeitet wurden. Die Aussagen beruhen auf wenigen Beispielen; sie sind kein umfassender Vergleich oder unabhängiger Genauigkeitstest.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen (kurz und mittel). Geprüft wurde die mittlere Fassung; die kurze ist sachlich ebenfalls korrekt, aber knapper und lässt die Limitationen und die 26-Prozent-Angabe aus.
Im Bericht, aber nicht in der Zusammenfassung
- Dass der Autor den Cassie-Kozyrkov-Text als vollständig von ChatGPT verfasst benennt, was er aus der Quellenangabe des Originalartikels ableitet
- Dass der Klassifikator den ChatGPT-Text laut Bericht sowohl als möglicherweise KI-generiert als auch als sehr unwahrscheinlich KI-generiert einstufte
- Dass der Autor betont, von Menschen überarbeitete KI-Texte seien noch schwerer zu erkennen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 20 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 30 %gleiches Oberthema, hilft nicht
- Luna 36 %Hintergrund, keine Belege
- JEV 39 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 32 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 73 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 28 %gleiches Oberthema, hilft nicht
- JEV 42 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 30 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 43 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %einzelne zitierbare Belege
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 64 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 37 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 19 %einzelne zitierbare Belege
- Luna 64 %einzelne zitierbare Belege
- JEV 35 %einzelne zitierbare Belege
- amos 31 %einzelne zitierbare Belege
- SubQ 41 %beantwortet direkt und ausführlich
- drex 28 %umfangreiche Belege
- d3-ultra 49 %einzelne zitierbare Belege
- Haiku-Prüfung einzelne zitierbare Belege
- SF-I1-T01 Welche gemeinsamen Standards für Herkunftsnachweis und Erkennung (Wasserzeichen, signierte Metadaten, Fingerabdrücke von Modellen) würden Labore, Plattformen und Regierungen einführen, damit KI-erzeugte Texte, Tonaufnahmen und Videos über Ländergrenzen hinweg zuverlässig zuzuordnen sind?
- SF-I1-T02 Welche gemeinsamen Regeln sollten Labore und Regierungen für Herkunftsnachweis, Kennzeichnung und schnelle Reaktion auf maschinell erzeugte oder veränderte Medien oder Texte annehmen, die eingesetzt werden, um die Öffentlichkeit zu täuschen, und dabei Journalismus, Satire und Forschung schützen?
- SF-I1-T03 Wenn KI-erzeugte Einflussnahme vor allem über gemeinsam genutzte Systeme für Empfehlungen, Rangfolgen, Werbung und Nutzerbindung wirkt und nicht über die Ausgabe eines einzelnen Modells: Welche gemeinsame Messung, welche Vorfallschwelle und welcher abgestimmte Reaktionsablauf sollten gelten, ohne dass Plattformaufsicht zur Zensur von Meinungen wird?
Weitere Berichte zu diesen Fragen
- Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv