Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai25. September 2025 · Q006943

Measuring the performance of our models on real-world tasks

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI stellt GDPval als Benchmark für realitätsnahe Wissensarbeit vor und berichtet, dass führende Modelle bei einem Teil der Aufgaben bereits Fachleuten nahekommen. Die Evaluation ist jedoch ein Ein-Durchgang-Test; zudem widerspricht sich der Bericht bei der Leistungssteigerung von GPT-4o zu GPT-5: Im Text steht mehr als eine Verdopplung, in der Bildunterschrift mehr als eine Verdreifachung.

Mittel

Der Bericht beschreibt GDPval als OpenAI-Evaluation für KI-Leistungen bei realitätsnahen, wirtschaftlich relevanten Wissensaufgaben. Die erste Fassung umfasst laut OpenAI 1.320 Aufgaben aus 44 Berufen und neun Branchen; 220 Aufgaben bilden einen offenen Goldsatz. Fachleute mit durchschnittlich über 14 Jahren Erfahrung entwickelten und prüften die Aufgaben. Bei der Bewertung vergleichen Branchenfachleute die Modellabgaben blind mit menschlichen Lösungen und stufen sie als besser, gleichwertig oder schlechter ein. Ein automatisierter Bewerter wird erprobt, ersetzt die Fachleute aber noch nicht.

OpenAI berichtet, führende Modelle kämen der Arbeitsqualität von Fachleuten nahe. Claude Opus 4.1 sei besonders stark in Gestaltung, GPT-5 in Genauigkeit. Zur Entwicklung von GPT-4o zu GPT-5 nennt der Text mehr als eine Verdopplung, die Bildunterschrift dagegen mehr als eine Verdreifachung. Die behaupteten etwa hundertfachen Zeit- und Kostenvorteile beziehen sich nur auf Inferenzzeit und API-Kosten, nicht auf Aufsicht oder Integration.

GDPval ist begrenzt: Es testet Aufgaben in einem Durchgang und erfasst weder mehrere Überarbeitungen noch unklare Aufträge oder die ganze Komplexität von Berufen. Künftige Fassungen sollen mehr Bereiche und interaktive Aufgaben abdecken.

Ausführlich lesen

Der Bericht stellt GDPval vor, eine von OpenAI entwickelte Evaluation für die Leistung von KI-Modellen bei wirtschaftlich relevanter Wissensarbeit. OpenAI begründet den Ansatz damit, dass akademische Prüfungen und Programmierwettbewerbe zwar bestimmte Fähigkeiten messen, aber viele typische Arbeitsaufgaben nicht abbilden. GDPval soll deshalb anhand realistischer Arbeitsprodukte zeigen, wie Modelle bei konkreten beruflichen Aufgaben abschneiden und wie sich ihre Leistungen entwickeln.

Die erste Fassung umfasst laut Bericht 1.320 Aufgaben aus 44 Berufen und neun US-Wirtschaftszweigen; 220 Aufgaben bilden einen öffentlich zugänglichen Goldsatz. Die Berufe wurden anhand ihres Beitrags zu Löhnen und Beschäftigung in Branchen ausgewählt, die jeweils mehr als fünf Prozent zum US-Bruttoinlandsprodukt beitragen. Zusätzlich sollten mindestens 60 Prozent der Tätigkeiten eines Berufs als Wissensarbeit gelten. Erfahrene Fachleute mit durchschnittlich mehr als 14 Jahren Berufserfahrung entwickelten die Aufgaben. Jede Aufgabe wurde im Mittel fünfmal geprüft. Sie beruht auf realen oder vergleichbar gestalteten Arbeitsergebnissen und kann Kontextdateien enthalten; verlangt werden etwa Dokumente, Präsentationen, Diagramme, Tabellen oder Multimedia. Als Beispiel zeigt der Bericht einen Entwurf für eine Vorrichtung, mit der eine Kabeltrommelprüfung in der Fertigung von einer Person erledigt werden könnte.

Zur Bewertung vergleichen Fachleute aus den jeweiligen Berufen die Modellabgaben blind mit Lösungen menschlicher Aufgabenautorinnen und -autoren. Sie beurteilen die Ergebnisse nach detaillierten Kriterien und stufen sie als besser, gleichwertig oder schlechter ein. Ein automatisiertes KI-Bewertungssystem soll solche Urteile abschätzen können, ist laut Bericht aber noch nicht zuverlässig genug, um die Fachleute zu ersetzen.

OpenAI berichtet, dass führende Modelle bei den 220 Aufgaben des Goldsatzes bereits annähernd die Qualität von Fachleuten erreichen. Claude Opus 4.1 habe besonders bei Gestaltung und Formatierung abgeschnitten, GPT-5 bei Genauigkeit und Fachwissen. Die Darstellung behauptet außerdem, GPT-5 sei deutlich besser als GPT-4o. Dabei ist der Bericht intern uneinheitlich: Im Fließtext heißt es, die Leistung habe sich mehr als verdoppelt, während die Bildunterschrift von mehr als einer Verdreifachung spricht. OpenAI gibt ferner an, Modelle könnten Aufgaben ungefähr hundertmal schneller und kostengünstiger bearbeiten. Diese Schätzung bezieht sich ausdrücklich auf reine Inferenzzeit und API-Abrechnung; menschliche Aufsicht, Überarbeitung und Einbindung in Arbeitsabläufe sind nicht eingerechnet. Experimente mit einem intern weitertrainierten GPT-5 sowie mit größeren Modellen, mehr Denkschritten und zusätzlichem Kontext hätten ebenfalls Leistungsgewinne gezeigt.

Der Bericht betont, dass GDPval nur ein früher, begrenzter Test ist. Die Aufgaben werden jeweils in einem Durchgang bearbeitet; mehrstufige Zusammenarbeit, Rückmeldungen, mehrere Entwürfe und unklare Aufträge werden damit nicht erfasst. Die Evaluation bildet auch nicht die gesamte Vielschichtigkeit von Berufen ab. OpenAI plant, weitere Berufe, Branchen und Aufgabentypen sowie interaktivere und mehrdeutige Situationen aufzunehmen. Die Ergebnisse und Aussagen zu möglicher Produktivität oder Beschäftigungswirkung sind daher als Einschätzungen des Berichts zu verstehen, nicht als vollständige Messung realer Arbeitsplätze.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Stufen liegen durchweg zu hoch, weil der Bericht die Sammelfragen und Teilfragen nicht beantwortet, sondern nur am Rande berührt. Beide Zusammenfassungen sind sachlich korrekt und erfinden nichts, doch die Kurzfassung formuliert die Ergebnisse als bei einem Teil der Aufgaben gelungen, während der Bericht eine allgemeine Annäherung an Fachleute beschreibt, und lässt die 100-fachen Vorteile weg. Die Widersprüchlichkeit bei der GPT-4o-zu-GPT-5-Steigerung ist korrekt wiedergegeben.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kurzfassung nennt die etwa 100-fachen Zeit- und Kostenvorteile nicht, die Mittelfassung nennt sie nur kurz
  • Die Auswahl der 44 Berufe aus neun Branchen mit über 5 % BIP-Anteil und der 60-Prozent-Schwelle für Wissensarbeit fehlt in beiden Fassungen
  • Claude Opus 4.1 erreicht bei knapp der Hälfte der Aufgaben gleichwertige oder bessere Ergebnisse als Experten, diese Zahl fehlt in beiden Fassungen
  • Die Aufgaben beruhen auf realen Arbeitsprodukten und wurden im Schnitt fünfmal geprüft, auch das fehlt in beiden Fassungen

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %Hintergrund, keine Belege
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 44 %einzelne zitierbare Belege
    • JEV 53 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 19 %Hintergrund, keine Belege
    • Luna 40 %einzelne zitierbare Belege
    • JEV 44 %umfangreiche Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 29 %gleiches Oberthema, hilft nicht
    • drex 34 %einzelne zitierbare Belege
    • d3-ultra 31 %einzelne zitierbare Belege

Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 61 %einzelne zitierbare Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 67 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 4 · 45 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 41 %einzelne zitierbare Belege
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 33 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 54 %einzelne zitierbare Belege
    • JEV 42 %umfangreiche Belege
    • amos 24 %nur am Rande erwähnt
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht

  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 32 %nur am Rande erwähnt
    • amos 30 %nur am Rande erwähnt
    • SubQ 68 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →