GPT-5 and GPT-4 were both major leaps in benchmarks from the previous generation
Zusammenfassung
Kurz
Epoch AI vertritt die Auffassung, dass sowohl GPT-4 gegenüber GPT-3 als auch GPT-5 gegenüber GPT-4 in ausgewählten Benchmarks große Fortschritte zeigten. Viele Zwischenveröffentlichungen zwischen GPT-4 und GPT-5 könnten den Eindruck eines einzelnen großen Sprungs abgeschwächt haben; die Benchmarks sind laut Beitrag jedoch nicht direkt vergleichbar und bilden keinen objektiven Gesamtmaßstab.
Mittel
Epoch AI vergleicht die Fortschritte von GPT-3 zu GPT-4 mit denen von GPT-4 zu GPT-5. Der Beitrag argumentiert, GPT-4 sei als deutlicher Sprung wahrgenommen worden; trotz gemischterer Reaktionen auf GPT-5 zeigten ausgewählte Benchmarks auch für GPT-5 große Fortschritte gegenüber GPT-4. Als Beispiele nennt die beigefügte Tabelle für GPT-5 (High) 98 Punkte bei MATH Level 5 und 91 beim Mock-AIME 2024–25. GPT-4 erreichte beim schwierigsten MATH-Level zunächst 23,1 Punkte; GPT-4 Turbo kam beim Mock-AIME auf 7.
Eine mögliche Erklärung für die unterschiedliche Wahrnehmung sieht der Beitrag im Veröffentlichungstempo: Zwischen GPT-3 und GPT-4 gab es vergleichsweise wenige große Zwischenupdates, während zwischen GPT-4 und GPT-5 viele Modelle erschienen. Dadurch könnten sich Fortschritte auf mehrere Veröffentlichungen verteilt haben. Der Beitrag schränkt ein, dass es kein einzelnes objektives Maß für langfristigen KI-Fortschritt gibt und die Benchmark-Zuwächse nicht direkt vergleichbar sind. Die Abbildung umfasst nur OpenAI-Modelle; viele Tabellenwerte fehlen.
Ausführlich lesen
Der Beitrag von Epoch AI vergleicht die Fortschritte von GPT-3 zu GPT-4 mit denen von GPT-4 zu GPT-5. Seine zentrale These lautet, dass GPT-4 bei seiner Veröffentlichung als deutlicher Sprung gegenüber GPT-3 wahrgenommen wurde und GPT-5 zwar gemischter aufgenommen worden sei, in wichtigen Benchmarks aber ebenfalls große Fortschritte gegenüber GPT-4 zeige. Der Beitrag folgert daraus, dass beide Generationen erhebliche Fortschritte gegenüber ihren Vorgängern darstellten. Er betont zugleich, dass die Verbesserungen nicht unmittelbar miteinander vergleichbar sind.
Als Belege führt der Beitrag Benchmark-Ergebnisse aus den jeweiligen Zeiträumen an. In der beigefügten Tabelle erreicht GPT-4 im schwierigsten Teilbereich MATH Level 5 zunächst 23,1 Punkte; spätere Modelle der GPT-4-Reihe und Reasoning-Modelle erzielen höhere Werte. Für GPT-5 (High) sind 98 Punkte bei MATH Level 5 und 91 beim Mock-AIME-Benchmark 2024–25 aufgeführt. GPT-4 Turbo kommt beim Mock-AIME auf 7 Punkte. Der Beitrag erklärt, dass MATH Level 5 der schwierigste Teil des ursprünglichen MATH-Benchmarks ist. Die Abbildung umfasst laut Hinweis nur OpenAI-Modelle.
Als Erklärung für die unterschiedliche öffentliche Wahrnehmung nennt der Beitrag das Tempo der Veröffentlichungen: Zwischen GPT-3 und GPT-4 habe es vergleichsweise wenige große Updates gegeben, insbesondere GPT-3.5. Zwischen GPT-4 und GPT-5 seien dagegen viele Zwischenmodelle erschienen. Laut Beitrag könnten diese gestaffelten Veröffentlichungen den Eindruck eines einzelnen, dramatischen Sprungs abgeschwächt haben, weil sich Leistungsgewinne über mehrere Modelle verteilten.
Die belegten Grenzen sind wesentlich: Der Beitrag räumt ein, dass es kein einzelnes objektives Maß für langfristigen KI-Fortschritt gibt und dass die verglichenen Benchmark-Zuwächse nicht direkt vergleichbar sind. Die Tabelle enthält zudem für viele Modelle und Messgrößen keine Werte. Sie zeigt ausgewählte Benchmark-Ergebnisse, aber der vorliegende Text erläutert weder die Testbedingungen noch eine umfassende Bewertung außerhalb dieser Benchmarks. Die Schlussfolgerung ist daher als Einordnung des Beitrags auf Basis ausgewählter Tests zu verstehen, nicht als allgemeingültige Messung des gesamten Modellfortschritts.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung ist im Kern korrekt; die Tabellenwerte für GPT-5 (98 bei MATH Level 5, 91 bei Mock AIME) und GPT-4 (23,1 bei MATH Level 5, 7 für GPT-4 Turbo bei Mock AIME) stimmen mit dem Bericht überein. Die Einordnung stützt sich nur auf den vorliegenden Text und die Tabelle, nicht auf Lunas Stufen oder Anteile.
Im Bericht, aber nicht in der Zusammenfassung
- Der Beitrag stützt den Vergleich GPT-3 zu GPT-4 auf damals gängige Benchmarks wie MMLU, MATH, TruthfulQA und HumanEval; die Zusammenfassung nennt diese Belege nicht.
- Die Benchmarks wurden jeweils nach ihrer Relevanz in der jeweiligen Zeitspanne gewählt, was der Beitrag als Grund für den Vergleich angibt.
- Der Beitrag beschreibt GPT-5 als inkrementelles Update an der Spitze, aber als großen Sprung gegenüber GPT-4; diese Doppelbewertung fehlt in der Zusammenfassung.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 42 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 35 %gleiches Oberthema, hilft nicht
- JEV 27 %Hintergrund, keine Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 59 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 48 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 32 %gleiches Oberthema, hilft nicht
- JEV 45 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 64 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 45 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 48 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv