Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com3. August 2023 · Q010840

System Prompting ChatGPT

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der vollständige Bericht empfiehlt, System-Prompts konkret und eindeutig zu formulieren, wichtige Angaben hervorzuheben und nach den gezeigten Versuchen Englisch zu verwenden. Die Beispiele zu GPT-3.5 sind jedoch begrenzt und belegen keine allgemeinen Regeln; insbesondere bleiben Umfang und Bedingungen der Tests unklar.

Mittel

Der vollständige Bericht beschreibt Itsukis Versuche, ChatGPT eine im System-Prompt angegebene E-Mail-Adresse auch nach weiteren Gesprächsrunden wiedergeben zu lassen. Die Beispiele mit GPT-3.5 sollen vier Empfehlungen veranschaulichen: Angaben ausdrücklich als E-Mail des Nutzers kennzeichnen, eindeutige Formulierungen verwenden, wichtige Informationen durch Wiederholung und Anführungszeichen hervorheben sowie möglichst Englisch nutzen.

In den gezeigten Ausgaben liefert eine klare Formulierung die Adresse auch nach bis zu 20 Begrüßungswechseln; eine weniger eindeutige Variante scheitert laut Beispiel bereits nach drei. Der Bericht nennt für diese Variante außerdem eine beobachtete Fehlerrate von etwa fünf Prozent, legt aber nicht offen, wie oft getestet wurde. Bei einem Versuch mit zusätzlichen Funktionsparametern klappt die Antwort nur mit dem stärker hervorgehobenen Prompt, während beide Fassungen ohne diese Parameter im Einzelbeispiel funktionieren. Ein englischer Prompt gelingt, eine japanische Fassung nicht.

Das sind eigene, begrenzte Beispielversuche und keine systematische Studie. Die Behauptung, Englisch oder bestimmte Promptformulierungen funktionierten allgemein besser, ist durch die gezeigten Fälle allein nicht gesichert.

Ausführlich lesen

Der vollständige Bericht schildert Itsukis Versuche, ChatGPT eine im System-Prompt angegebene E-Mail-Adresse über mehrere Gesprächsrunden hinweg abrufen zu lassen. Anhand dieses einfachen Beispiels leitet die Autorin oder der Autor Empfehlungen für das Schreiben von Prompts ab. Getestet wird mit einer Python-Funktion, die einen System-Prompt, kurze Begrüßungswechsel und anschließend eine Frage an GPT-3.5 übermittelt; bei den ersten Vergleichen ist die Temperatur auf null gesetzt.

Erstens empfiehlt der Bericht, Informationen ausdrücklich zu benennen. In einem Beispiel gibt ChatGPT die Adresse „itsuki@example.com“ wieder, wenn der Prompt sie als E-Mail des Nutzers bezeichnet. Steht dieselbe Adresse ohne diese Einordnung im Prompt, antwortet das Modell laut angeführtem Beispiel, es habe keinen Zugriff auf persönliche Informationen. Die Schlussfolgerung lautet: Die Bedeutung einer Zeichenfolge sollte im Prompt klar benannt werden, statt vorauszusetzen, dass das Modell sie selbst erschließt.

Zweitens rät der Bericht zu präziser, eindeutiger Formulierung. Die Varianten „whose email“ und „with email“ liefern in einem direkten Vergleich zunächst beide die Adresse. Der Autor berichtet jedoch, bei der weniger eindeutigen Variante in etwa fünf Prozent der Fälle eine Nicht-Antwort und in den übrigen Fällen die richtige Adresse erhalten zu haben. Mit mehr Gesprächsrunden zwischen System-Prompt und Frage habe die Zahl der Fehlantworten zugenommen. In den gezeigten Beispielen bleibt die explizitere Formulierung selbst nach bis zu 20 Begrüßungswechseln erfolgreich; die andere scheitert bereits nach drei.

Drittens empfiehlt der Text, wichtige Angaben zu wiederholen und in Anführungszeichen zu setzen. Bei einem Versuch mit einer zusätzlich übergebenen, nur beispielhaft definierten E-Mail-Funktion gibt die Variante mit der Formulierung „have to“ und einer in Anführungszeichen gesetzten Adresse die E-Mail zurück. Die Vergleichsvariante ohne diese Hervorhebungen verweigert die Auskunft. Ohne Funktionsparameter funktionieren dagegen beide Varianten im gezeigten Einzelbeispiel. Der Bericht vermutet, dass Funktionsaufruf-Parameter zusätzliche Systemvorgaben einbringen könnten, belegt diese Erklärung aber nicht unabhängig.

Viertens empfiehlt der Bericht Englisch. In den angeführten Versuchen beantwortet das Modell eine englische Aufforderung mit der Adresse, während es bei einer japanischen Fassung und einer japanischen Frage ablehnt. Daraus schließt der Verfasser, dass Englisch bessere Ergebnisse bringen könne, insbesondere im Vergleich zu Sprachen mit weniger Trainingsdaten.

Die Grenzen der Aussagen sind wesentlich: Der Text zeigt einzelne Beispielausgaben und eigene Beobachtungen zu einem einfachen GPT-3.5-Setup. Für die genannte Fünf-Prozent-Quote werden weder Zahl noch Bedingungen der Wiederholungen genannt; auch die Sprachvergleiche sind nicht als kontrollierte Studie beschrieben. Die Beispiele stützen daher die praktischen Vorschläge des Autors, belegen aber keine allgemeingültigen Regeln für ChatGPT.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna legte zwei Zusammenfassungen vor. Die mittlere ist treu und deckt die Befunde ab, die kurze ist ebenfalls treu, aber zu allgemein. Die Einordnung stützt sich allein auf den Bericht; Lunas Stufen und Anteile wurden nicht übernommen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kurzfassung nennt die konkreten Befunde nicht: die Ergebnisse mit den Funktionsparametern, das Scheitern des japanischen Prompts und die etwa fünfprozentige Fehlerrate.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 27 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 43 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →