Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai27. Juni 2024 · Q007243

Finding GPT-4’s mistakes with GPT-4

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI berichtet, dass CriticGPT Menschen dabei unterstützen soll, Fehler in ChatGPT-Code zu finden: In den beschriebenen Vergleichen wurden seine Kritiken bei natürlich auftretenden Fehlern in 63 Prozent der Fälle gegenüber ChatGPT-Kritiken bevorzugt. Das Modell kann jedoch weiterhin Fehler erfinden und wurde bislang vor allem mit kurzen Antworten trainiert; komplexe oder über mehrere Stellen verteilte Probleme bleiben schwierig.

Mittel

Der Bericht beschreibt CriticGPT, ein GPT‑4-basiertes Modell, das Fehler in ChatGPT-Code aufspüren und dazu Kritiken verfassen soll. Es soll menschliche Trainer beim RLHF unterstützen, da subtilere Fehler leistungsfähigerer Modelle schwerer zu erkennen sein können. Als Beispiel kritisiert CriticGPT eine Pfadprüfung mit startswith(), weil ähnliche Verzeichnisnamen oder symbolische Links den Schutz umgehen könnten.

Für das Training fügten Trainer gezielt Fehler in ChatGPT-Code ein, verfassten dazu Beispielkritiken und verglichen mehrere Bewertungen. Laut Bericht wurden Kritiken von CriticGPT bei natürlich vorkommenden Fehlern in 63 Prozent der Fälle gegenüber ChatGPT-Kritiken bevorzugt. Mensch und CriticGPT zusammen lieferten außerdem häufiger bevorzugte Kritiken als eine nicht unterstützte Person: in mehr als 60 Prozent der Vergleiche. Die Unterstützung soll umfassendere Kritiken ermöglichen und weniger erfundene Probleme hervorbringen als das Modell allein.

Die Ergebnisse sind begrenzt: Trainiert wurde mit kurzen Antworten, und das Modell halluziniert weiterhin. Verteilte Fehler und extrem komplexe Aufgaben bleiben schwierig; auch Fachleute können dann trotz Modellhilfe scheitern. OpenAI will den Ansatz weiterentwickeln und in den RLHF-Prozess integrieren.

Ausführlich lesen

Der Bericht stellt CriticGPT vor, ein auf GPT‑4 basierendes Modell, das Fehler in von ChatGPT erzeugtem Code erkennen und dazu Kritiken verfassen soll. OpenAI ordnet die Arbeit als Unterstützung für das Reinforcement Learning from Human Feedback (RLHF) ein: Dabei vergleichen menschliche Trainerinnen und Trainer verschiedene ChatGPT-Antworten. Je subtiler Fehler in leistungsfähigeren Modellen werden, desto schwieriger könne es für Menschen sein, sie zuverlässig zu erkennen. Das erschwere die Bewertung und könne die weitere Ausrichtung der Modelle begrenzen.

Als Beispiel zeigt der Bericht eine Python-Funktion, die den Zugriff auf Dateien außerhalb von „/safedir“ verhindern soll. Die Lösung prüft, ob der absolute Dateipfad mit dem absoluten Pfad des sicheren Verzeichnisses beginnt. CriticGPT weist darauf hin, dass dieser startswith()-Vergleich unsicher ist: Ähnliche Verzeichnisnamen oder symbolische Links könnten die Prüfung umgehen. Der Bericht empfiehlt eine robustere Prüfung des Pfadbezugs, etwa mit os.path.commonpath(), oder ein anderes geeignetes Verfahren.

Für das Training wurde CriticGPT ebenfalls mit RLHF trainiert. Die Trainer bauten absichtlich Fehler in von ChatGPT geschriebenen Code ein und formulierten Rückmeldungen, als hätten sie diese Fehler selbst entdeckt. Anschließend verglichen sie mehrere Kritiken. Untersucht wurden sowohl absichtlich eingefügte als auch natürlich vorkommende Fehler, die zuvor von Trainern erkannt worden waren. Laut Bericht wurden Kritiken von CriticGPT bei natürlich auftretenden Fehlern in 63 Prozent der Fälle gegenüber ChatGPT-Kritiken bevorzugt. Als Gründe nennt OpenAI weniger kleinliche, wenig hilfreiche Einwände und weniger erfundene Probleme.

Weitere Experimente sollen zeigen, dass CriticGPT Menschen bei umfassenderen Kritiken unterstützt und dabei weniger Fehler erfindet als das Modell allein. Eine zweite zufällig ausgewählte Trainerperson bevorzugte Kritiken des Teams aus Mensch und CriticGPT gegenüber Kritiken einer nicht unterstützten Person in mehr als 60 Prozent der Fälle. Bei der Codeprüfung mit CriticGPT übertrafen Menschen laut Einleitung jene ohne diese Hilfe ebenfalls in 60 Prozent der Fälle. Zusätzliche Suche zur Laufzeit anhand eines Bewertungsmodells könne längere, umfassendere Kritiken ermöglichen und den Kompromiss zwischen gefundenen Fehlern und Halluzinationen beeinflussen.

Der Bericht nennt klare Grenzen: Trainiert wurde CriticGPT mit eher kurzen ChatGPT-Antworten; lange und komplexe Aufgaben seien damit noch nicht abgedeckt. Das Modell kann weiterhin halluzinieren, und Trainer können sich von solchen Halluzinationen zu falschen Bewertungen verleiten lassen. Fehler, die über mehrere Stellen einer Antwort verteilt sind, stehen ebenfalls nicht im Fokus. Bei sehr komplexen Aufgaben könne auch eine Fachperson mit Modellhilfe eine Antwort möglicherweise nicht korrekt beurteilen. OpenAI beschreibt CriticGPT daher als vielversprechenden Ansatz und kündigt an, die Arbeit auszubauen und in den RLHF-Bewertungsprozess einzubringen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die drei Fassungen von Luna wurden gemeinsam bewertet. Luna gab bei fünf der sechs Fragen Stufe 4 an, obwohl der Bericht diese Fragen nicht direkt beantwortet. Die Stufen wurden daher niedriger angesetzt. Die Zusammenfassungen sind sachlich korrekt und benennen nur Nebenaspekte nicht.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Test-Zeit-Suche gegen das Kritik-Belohnungsmodell, mit der sich Gründlichkeit und Zahl der Halluzinationen gegeneinander abwägen lassen
  • Die Kernaussage, dass Menschen mit CriticGPT-Hilfe in 60 Prozent der Fälle besser abschneiden als ohne Hilfe
  • Das Grundproblem, dass RLHF schwieriger wird, wenn Modelle Menschen an Wissen übertreffen

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %Hintergrund, keine Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 19 %gleiches Oberthema, hilft nicht
    • Luna 45 %einzelne zitierbare Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra 41 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege
    • SF-P3-T04 Wer prüft die KI-Modelle, die andere Modelle prüfen, auf Anweisungen, Versionen und Fehlerfälle, und welche unabhängige Prüfung zeigt, dass das geprüfte Modell sie nicht manipulieren kann, besonders wenn sie aus derselben Modellfamilie stammen? Und wenn gemeinsame Tests, Schweregrade und die Ersteinstufung von Meldungen von Sprachmodellen entworfen, durchgeführt und zusammengefasst werden: Nimmt jeder Staat einen Prüfmechanismus an, dessen Kernbausteine aus ausländischen Laboren stammen? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 4 · 33 % · einzelne zitierbare Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 25 %Hintergrund, keine Belege
    • Luna 45 %einzelne zitierbare Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 22 %einzelne zitierbare Belege
    • d3-ultra 27 %Hintergrund, keine Belege
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 23 %Hintergrund, keine Belege
    • d3-ultra 59 %gleiches Oberthema, hilft nicht

    • SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 4 · 43 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-V1-T06 Was bedeutet Aufsicht, wenn man das Denken, auf das man sich am meisten verlässt, nicht mehr verlässlich überwachen kann? Und wenn ein Labor die Gedankenkette verbirgt, um sie vor dem Druck zu schützen, der entstünde, wenn sie im Training bewertet würde: Wer kann seine Sicherheitsdarstellung dann noch widerlegen? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege
    • SF-V1-T09 Wenn Labore bessere Überwacher bauen, Modelle lernen, ihnen auszuweichen, und sich dieses Wechselspiel in jedem Labor beschleunigt: Behandeln Regierungen diesen Wettlauf selbst als Sicherheitsfrage zwischen Staaten, und welche gemeinsamen Belege würden zeigen, dass er beherrscht ist? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig? Luna: Stufe 4 · 32 % · einzelne zitierbare Belege
    • SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 30 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht

    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 51 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-V4-T01 Falls ein Modell kein durchgehendes Selbst hat: Kann es überhaupt an den vorgesehenen Zielen und Werten ausgerichtet sein, oder nur seine Ausgaben? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 22 %Hintergrund, keine Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 33 %gleiches Oberthema, hilft nicht
    • JEV 47 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 46 %einzelne zitierbare Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 4 · 40 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →