System Prompting ChatGPT
Zusammenfassung
Kurz
Der vollständige Bericht empfiehlt, System-Prompts konkret und eindeutig zu formulieren, wichtige Angaben hervorzuheben und nach den gezeigten Versuchen Englisch zu verwenden. Die Beispiele zu GPT-3.5 sind jedoch begrenzt und belegen keine allgemeinen Regeln; insbesondere bleiben Umfang und Bedingungen der Tests unklar.
Mittel
Der vollständige Bericht beschreibt Itsukis Versuche, ChatGPT eine im System-Prompt angegebene E-Mail-Adresse auch nach weiteren Gesprächsrunden wiedergeben zu lassen. Die Beispiele mit GPT-3.5 sollen vier Empfehlungen veranschaulichen: Angaben ausdrücklich als E-Mail des Nutzers kennzeichnen, eindeutige Formulierungen verwenden, wichtige Informationen durch Wiederholung und Anführungszeichen hervorheben sowie möglichst Englisch nutzen.
In den gezeigten Ausgaben liefert eine klare Formulierung die Adresse auch nach bis zu 20 Begrüßungswechseln; eine weniger eindeutige Variante scheitert laut Beispiel bereits nach drei. Der Bericht nennt für diese Variante außerdem eine beobachtete Fehlerrate von etwa fünf Prozent, legt aber nicht offen, wie oft getestet wurde. Bei einem Versuch mit zusätzlichen Funktionsparametern klappt die Antwort nur mit dem stärker hervorgehobenen Prompt, während beide Fassungen ohne diese Parameter im Einzelbeispiel funktionieren. Ein englischer Prompt gelingt, eine japanische Fassung nicht.
Das sind eigene, begrenzte Beispielversuche und keine systematische Studie. Die Behauptung, Englisch oder bestimmte Promptformulierungen funktionierten allgemein besser, ist durch die gezeigten Fälle allein nicht gesichert.
Ausführlich lesen
Der vollständige Bericht schildert Itsukis Versuche, ChatGPT eine im System-Prompt angegebene E-Mail-Adresse über mehrere Gesprächsrunden hinweg abrufen zu lassen. Anhand dieses einfachen Beispiels leitet die Autorin oder der Autor Empfehlungen für das Schreiben von Prompts ab. Getestet wird mit einer Python-Funktion, die einen System-Prompt, kurze Begrüßungswechsel und anschließend eine Frage an GPT-3.5 übermittelt; bei den ersten Vergleichen ist die Temperatur auf null gesetzt.
Erstens empfiehlt der Bericht, Informationen ausdrücklich zu benennen. In einem Beispiel gibt ChatGPT die Adresse „itsuki@example.com“ wieder, wenn der Prompt sie als E-Mail des Nutzers bezeichnet. Steht dieselbe Adresse ohne diese Einordnung im Prompt, antwortet das Modell laut angeführtem Beispiel, es habe keinen Zugriff auf persönliche Informationen. Die Schlussfolgerung lautet: Die Bedeutung einer Zeichenfolge sollte im Prompt klar benannt werden, statt vorauszusetzen, dass das Modell sie selbst erschließt.
Zweitens rät der Bericht zu präziser, eindeutiger Formulierung. Die Varianten „whose email“ und „with email“ liefern in einem direkten Vergleich zunächst beide die Adresse. Der Autor berichtet jedoch, bei der weniger eindeutigen Variante in etwa fünf Prozent der Fälle eine Nicht-Antwort und in den übrigen Fällen die richtige Adresse erhalten zu haben. Mit mehr Gesprächsrunden zwischen System-Prompt und Frage habe die Zahl der Fehlantworten zugenommen. In den gezeigten Beispielen bleibt die explizitere Formulierung selbst nach bis zu 20 Begrüßungswechseln erfolgreich; die andere scheitert bereits nach drei.
Drittens empfiehlt der Text, wichtige Angaben zu wiederholen und in Anführungszeichen zu setzen. Bei einem Versuch mit einer zusätzlich übergebenen, nur beispielhaft definierten E-Mail-Funktion gibt die Variante mit der Formulierung „have to“ und einer in Anführungszeichen gesetzten Adresse die E-Mail zurück. Die Vergleichsvariante ohne diese Hervorhebungen verweigert die Auskunft. Ohne Funktionsparameter funktionieren dagegen beide Varianten im gezeigten Einzelbeispiel. Der Bericht vermutet, dass Funktionsaufruf-Parameter zusätzliche Systemvorgaben einbringen könnten, belegt diese Erklärung aber nicht unabhängig.
Viertens empfiehlt der Bericht Englisch. In den angeführten Versuchen beantwortet das Modell eine englische Aufforderung mit der Adresse, während es bei einer japanischen Fassung und einer japanischen Frage ablehnt. Daraus schließt der Verfasser, dass Englisch bessere Ergebnisse bringen könne, insbesondere im Vergleich zu Sprachen mit weniger Trainingsdaten.
Die Grenzen der Aussagen sind wesentlich: Der Text zeigt einzelne Beispielausgaben und eigene Beobachtungen zu einem einfachen GPT-3.5-Setup. Für die genannte Fünf-Prozent-Quote werden weder Zahl noch Bedingungen der Wiederholungen genannt; auch die Sprachvergleiche sind nicht als kontrollierte Studie beschrieben. Die Beispiele stützen daher die praktischen Vorschläge des Autors, belegen aber keine allgemeingültigen Regeln für ChatGPT.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna legte zwei Zusammenfassungen vor. Die mittlere ist treu und deckt die Befunde ab, die kurze ist ebenfalls treu, aber zu allgemein. Die Einordnung stützt sich allein auf den Bericht; Lunas Stufen und Anteile wurden nicht übernommen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kurzfassung nennt die konkreten Befunde nicht: die Ergebnisse mit den Funktionsparametern, das Scheitern des japanischen Prompts und die etwa fünfprozentige Fehlerrate.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 27 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 43 %einzelne zitierbare Belege
- JEV 33 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug