AI detectors rarely flag human writing, but sometimes miss AI text imitating real authors
Zusammenfassung
Kurz
Der bereitgestellte Berichtsauszug berichtet, dass drei KI-Textdetektoren einfache KI-Texte fast immer erkannten, aber bei stilnachahmenden KI-Texten 10 bis 18 Prozent übersahen; bei nachgeahmter wissenschaftlicher Schreibweise waren es laut Bericht etwa 26 Prozent. Menschliche Texte wurden meist korrekt eingeordnet, wobei Originality.ai 3,84 Prozent der Stichprobe fälschlich als KI markierte; die Befunde gelten nur für die getesteten Dienste und Texte.
Mittel
Der bereitgestellte Berichtsauszug vergleicht Pangram, GPTZero und Originality.ai anhand von 495 menschlichen Texten sowie je 297 KI-Texten aus einfachen Prompts und aus Stilnachahmung. Als Erkennung zählte nur ein eindeutiges KI-Urteil in der Standardeinstellung; „Mixed“ galt bei KI-Texten als Nichterkennung.
Bei KI-Texten aus einfachen Prompts lagen die Nichterkennungsraten laut Bericht zwischen 0 und 0,67 Prozent. Texte, die den Stil eines bestimmten Autors nachahmten, wurden deutlich öfter übersehen: je nach Dienst 10,1 bis 17,9 Prozent; im Mittel etwa 13 Prozent. Bei nachgeahmter wissenschaftlicher Schreibweise seien rund 26 Prozent unerkannt geblieben. Menschliche Texte stuften Pangram und GPTZero in der Stichprobe nie als KI ein. Originality.ai markierte 19 von 495 fälschlich als KI (3,84 Prozent).
Die Ergebnisse gelten für die drei getesteten Dienste, ihre Standardeinstellungen und die untersuchten Passagen. Der Auszug enthält keine näheren Angaben zur Textauswahl und erlaubt daher keine belastbare Verallgemeinerung auf andere Detektoren oder Textbestände.
Ausführlich lesen
Der bereitgestellte Berichtsauszug beschreibt einen Vergleich dreier KI-Texterkennungsdienste: Pangram, GPTZero und Originality.ai. Geprüft wurden menschlich verfasste Texte, KI-Texte aus einfachen direkten Prompts und KI-Texte, die den Stil eines bestimmten menschlichen Autors nachahmen sollten. Für jede der beiden KI-Kategorien wurden 297 Passagen ausgewertet, für menschliche Texte 495. Gezählt wurde jeweils das Dokumenturteil der Dienste in der Standardeinstellung. Nur ein eindeutiges Urteil „KI“ galt als Erkennung; ein „Mixed“-Urteil wurde bei KI-Texten als Nichterkennung gewertet.
Laut Bericht erkannten die Dienste KI-Texte aus einfachen Prompts fast immer: Die Nichterkennungsraten lagen zwischen 0 und 0,67 Prozent. Bei stilnachahmenden KI-Texten stiegen sie deutlich: Pangram übersah 30 von 297 Passagen (10,1 Prozent), GPTZero 32 (10,8 Prozent) und Originality.ai 53 (17,9 Prozent). Zusammenfassend wurden im Durchschnitt etwa 13 Prozent solcher Passagen nicht erkannt. Besonders schwach seien die Ergebnisse bei nachgeahmter wissenschaftlicher Schreibweise gewesen; dort seien rund 26 Prozent der KI-Passagen unentdeckt geblieben.
Bei den menschlichen Texten meldeten Pangram und GPTZero in dieser Stichprobe keine Passage fälschlich als KI. Originality.ai tat dies bei 19 von 495 Texten, entsprechend 3,84 Prozent. Die Grafik weist für die Fehlerraten 90-Prozent-Wilson-Intervalle aus; die Stichprobengrößen und Intervalle begrenzen, wie präzise sich die beobachteten Raten verallgemeinern lassen.
Der Auszug belegt damit einen Unterschied zwischen den getesteten Bedingungen: Einfache KI-Texte wurden fast immer erkannt, stilimitierende KI-Texte jedoch deutlich häufiger übersehen, während Fehlalarme bei menschlichen Texten insgesamt selten waren. Diese Ergebnisse beziehen sich auf die beschriebenen drei Dienste, ihre Standardeinstellungen und die untersuchten Passagen. Der bereitgestellte Textauszug enthält keine näheren Angaben zur Auswahl der Texte oder Autoren und erlaubt daher keine weitergehenden Aussagen über andere Detektoren oder Textbestände.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen von Luna geben die Zahlen korrekt wieder und erfinden nichts. Beiden fehlt der Versuchsaufbau mit fünf Textproben, und die Konfidenzintervalle werden nicht erwähnt. Die Einschätzung, dass der Auszug keine belastbare Verallgemeinerung erlaube, ist Lunas eigene Schlussfolgerung und kein Berichtsinhalt.
Im Bericht, aber nicht in der Zusammenfassung
- Der Versuchsaufbau der Stilnachahmung: Modelle erhielten fünf Textproben eines bestimmten Autors und sollten ihn nachahmen (in beiden Fassungen nicht genannt)
- Die 90-%-Wilson-Konfidenzintervalle als Angabe der Messunsicherheit (in beiden Fassungen nicht genannt)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 24 %einzelne zitierbare Belege
- JEV 33 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 32 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 25 %gleiches Oberthema, hilft nicht
- Luna 41 %Hintergrund, keine Belege
- JEV 37 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 37 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 60 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 39 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K1 Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %umfangreiche Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 19 %einzelne zitierbare Belege
- Luna 64 %einzelne zitierbare Belege
- JEV 55 %umfangreiche Belege
- amos 36 %umfangreiche Belege
- SubQ 37 %umfangreiche Belege
- drex 41 %umfangreiche Belege
- d3-ultra 52 %umfangreiche Belege
- Haiku-Prüfung beantwortet teilweise oder widerspricht
- SF-I1-T02 Welche gemeinsamen Regeln sollten Labore und Regierungen für Herkunftsnachweis, Kennzeichnung und schnelle Reaktion auf maschinell erzeugte oder veränderte Medien oder Texte annehmen, die eingesetzt werden, um die Öffentlichkeit zu täuschen, und dabei Journalismus, Satire und Forschung schützen?
Weitere Berichte zu diesen Fragen
- Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv