US models currently outperform non-US models
Zusammenfassung
Kurz
Der Bericht behauptet, US-Spitzenmodelle lägen bei GPQA Diamond und MATH Level 5 vorn, während DeepSeek-R1 den Abstand laut Text deutlich verkleinert habe. Die Ergebnisse betreffen nur diese beiden Benchmarks und sind wegen unterschiedlicher Bewertungsparameter sowie teils geschätzter Daten nur eingeschränkt vergleichbar; außerdem widersprechen sich Metadatenzeitpunkt und der erwähnte R1-Veröffentlichungstermin.
Mittel
Der Bericht behauptet, dass die besten US-amerikanischen Modelle in den dargestellten Ergebnissen bei GPQA Diamond und MATH Level 5 bislang besser abschneiden als die besten nicht-US-amerikanischen Modelle. Als Spitzenreiter nennt er OpenAIs o1 bei GPQA und o3-mini bei MATH. Mit DeepSeek-R1, veröffentlicht laut Text im Januar 2025, sei der Abstand deutlich geschrumpft: R1 liege nur vier Prozentpunkte hinter o1 auf GPQA und zwei Punkte hinter o3-mini auf MATH.
Tabellen erfassen zahlreiche Modelle, ihre Genauigkeiten, Herkunft, Zugangsart und teilweise Bewertungsparameter. Manche Trainingsaufwände sind Schätzungen; der Bericht kennzeichnet einzelne davon als unsicher. Die Aussage bleibt auf zwei Benchmarks begrenzt. Zudem variieren unter anderem Temperatur, Top-p und Promptvorlage zwischen den Einträgen; bei MATH fehlen Angaben zur Genauigkeitsstreuung. Eine allgemeine Aussage über Modellqualität lässt sich daraus nicht ableiten. Die Metadaten nennen November 2024 als letzte Änderung, obwohl der Text ein Ereignis aus Januar 2025 aufführt; diese zeitliche Diskrepanz bleibt ungeklärt.
Ausführlich lesen
Der Bericht vergleicht die Leistung von US-amerikanischen und nicht-US-amerikanischen KI-Modellen anhand zweier anspruchsvoller Benchmarks: GPQA Diamond, einem Fragenbenchmark, und MATH Level 5, einem Mathematikbenchmark. Seine zentrale Aussage lautet, dass die jeweils besten US-Modelle in den dargestellten Daten durchgehend höhere Genauigkeiten erzielen als die besten Modelle aus anderen Ländern. Als Spitzenreiter nennt der Text OpenAIs o1 bei GPQA Diamond und o3-mini bei MATH Level 5.
Zugleich berichtet der Text, der Abstand habe sich mit der Veröffentlichung von DeepSeek-R1 im Januar 2025 deutlich verringert: R1 liege bei MATH Level 5 nur zwei Prozentpunkte hinter o3-mini und bei GPQA Diamond vier Prozentpunkte hinter o1. Die Tabellen dokumentieren zahlreiche Modelle und deren Genauigkeit. Für GPQA werden unter anderem Claude 3.5 Sonnet, Gemini, Llama, Qwen, Mistral und die o1-Modelle aufgeführt; bei MATH erscheinen unter anderem DeepSeek-V2.5, Gemini, Qwen2.5-72B sowie o1-mini und o1-preview. Die angegebenen Werte reichen je nach Modell und Benchmark deutlich auseinander. Beispielsweise sind für o1-mini 0,61 bei GPQA und 0,81 bei MATH verzeichnet; für o1-preview stehen dort 0,70 beziehungsweise 0,68. Die Aussage über die jeweils besten Modelle bezieht sich daher auf die im Bericht genannten Spitzenreiter und Benchmarkvergleiche, nicht auf eine allgemeine Rangfolge für alle Aufgaben.
Das Vorgehen wird im Auszug vor allem durch die Tabellen sichtbar: Sie nennen Benchmark, Modell, Anbieter beziehungsweise Herkunftsland, Zugriff, Bewertungsparameter und gemessene Genauigkeit. Bei GPQA sind außerdem teilweise Standardabweichungen angegeben. Trainingsaufwände werden für manche Modelle geschätzt und in den Tabellen mit Begründungen versehen; einzelne Notizen kennzeichnen solche Schätzungen ausdrücklich als unsicher oder spekulativ. Das Material liefert jedoch keine ausführliche Beschreibung der Datenauswahl, statistischen Auswertung oder einer einheitlichen Kontrolle aller Unterschiede zwischen Modellen.
Die Vergleichbarkeit ist zudem eingeschränkt: Für die Modelle sind teils unterschiedliche Temperaturen, Top-p-Werte und Promptvorlagen eingetragen; bei MATH fehlen in der Tabelle Genauigkeits-Standardabweichungen. Die Befunde betreffen nur GPQA Diamond und MATH Level 5 und erlauben keine Aussage über die gesamte Modellleistung. Schließlich nennt die Metadatenzeile eine letzte Änderung im November 2024, während der Fließtext DeepSeek-R1 als Veröffentlichung vom Januar 2025 behandelt. Der Bericht enthält damit eine zeitliche Unstimmigkeit, die sich aus dem vorliegenden Text nicht auflösen lässt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas kurze Fassung enthält eine eigene Einschätzung zur eingeschränkten Vergleichbarkeit, die nicht als Berichtsaussage gekennzeichnet ist. Die mittlere Fassung gibt die Kernaussagen zu Benchmarks, Modellen und Abstand korrekt wieder. Der Zeitwiderspruch zwischen Änderungsdatum November 2024 und dem Hinweis auf Januar 2025 wird in beiden Fassungen korrekt erfasst.
Im Bericht, aber nicht in der Zusammenfassung
- Der Bericht stammt von Epoch AI (Autor Jean-Stanislas Denain) und beruht auf deren Modelldatenbank.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die kurze Fassung behauptet, die Ergebnisse seien wegen unterschiedlicher Bewertungsparameter nur eingeschränkt vergleichbar. Der Bericht selbst zieht diesen Schluss nicht; er erwähnt nur variierende Parameter in den Tabellen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 36 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 45 %umfangreiche Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 21 %Hintergrund, keine Belege
- Luna 36 %Hintergrund, keine Belege
- JEV 25 %einzelne zitierbare Belege
- amos 32 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 24 %einzelne zitierbare Belege
- d3-ultra
- Haiku-Prüfung umfangreiche Belege
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 25 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 26 %einzelne zitierbare Belege
- JEV 35 %einzelne zitierbare Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 44 %gleiches Oberthema, hilft nicht
- JEV 45 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv