Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch27. November 2024 · Q006399

US models currently outperform non-US models

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht behauptet, US-Spitzenmodelle lägen bei GPQA Diamond und MATH Level 5 vorn, während DeepSeek-R1 den Abstand laut Text deutlich verkleinert habe. Die Ergebnisse betreffen nur diese beiden Benchmarks und sind wegen unterschiedlicher Bewertungsparameter sowie teils geschätzter Daten nur eingeschränkt vergleichbar; außerdem widersprechen sich Metadatenzeitpunkt und der erwähnte R1-Veröffentlichungstermin.

Mittel

Der Bericht behauptet, dass die besten US-amerikanischen Modelle in den dargestellten Ergebnissen bei GPQA Diamond und MATH Level 5 bislang besser abschneiden als die besten nicht-US-amerikanischen Modelle. Als Spitzenreiter nennt er OpenAIs o1 bei GPQA und o3-mini bei MATH. Mit DeepSeek-R1, veröffentlicht laut Text im Januar 2025, sei der Abstand deutlich geschrumpft: R1 liege nur vier Prozentpunkte hinter o1 auf GPQA und zwei Punkte hinter o3-mini auf MATH.

Tabellen erfassen zahlreiche Modelle, ihre Genauigkeiten, Herkunft, Zugangsart und teilweise Bewertungsparameter. Manche Trainingsaufwände sind Schätzungen; der Bericht kennzeichnet einzelne davon als unsicher. Die Aussage bleibt auf zwei Benchmarks begrenzt. Zudem variieren unter anderem Temperatur, Top-p und Promptvorlage zwischen den Einträgen; bei MATH fehlen Angaben zur Genauigkeitsstreuung. Eine allgemeine Aussage über Modellqualität lässt sich daraus nicht ableiten. Die Metadaten nennen November 2024 als letzte Änderung, obwohl der Text ein Ereignis aus Januar 2025 aufführt; diese zeitliche Diskrepanz bleibt ungeklärt.

Ausführlich lesen

Der Bericht vergleicht die Leistung von US-amerikanischen und nicht-US-amerikanischen KI-Modellen anhand zweier anspruchsvoller Benchmarks: GPQA Diamond, einem Fragenbenchmark, und MATH Level 5, einem Mathematikbenchmark. Seine zentrale Aussage lautet, dass die jeweils besten US-Modelle in den dargestellten Daten durchgehend höhere Genauigkeiten erzielen als die besten Modelle aus anderen Ländern. Als Spitzenreiter nennt der Text OpenAIs o1 bei GPQA Diamond und o3-mini bei MATH Level 5.

Zugleich berichtet der Text, der Abstand habe sich mit der Veröffentlichung von DeepSeek-R1 im Januar 2025 deutlich verringert: R1 liege bei MATH Level 5 nur zwei Prozentpunkte hinter o3-mini und bei GPQA Diamond vier Prozentpunkte hinter o1. Die Tabellen dokumentieren zahlreiche Modelle und deren Genauigkeit. Für GPQA werden unter anderem Claude 3.5 Sonnet, Gemini, Llama, Qwen, Mistral und die o1-Modelle aufgeführt; bei MATH erscheinen unter anderem DeepSeek-V2.5, Gemini, Qwen2.5-72B sowie o1-mini und o1-preview. Die angegebenen Werte reichen je nach Modell und Benchmark deutlich auseinander. Beispielsweise sind für o1-mini 0,61 bei GPQA und 0,81 bei MATH verzeichnet; für o1-preview stehen dort 0,70 beziehungsweise 0,68. Die Aussage über die jeweils besten Modelle bezieht sich daher auf die im Bericht genannten Spitzenreiter und Benchmarkvergleiche, nicht auf eine allgemeine Rangfolge für alle Aufgaben.

Das Vorgehen wird im Auszug vor allem durch die Tabellen sichtbar: Sie nennen Benchmark, Modell, Anbieter beziehungsweise Herkunftsland, Zugriff, Bewertungsparameter und gemessene Genauigkeit. Bei GPQA sind außerdem teilweise Standardabweichungen angegeben. Trainingsaufwände werden für manche Modelle geschätzt und in den Tabellen mit Begründungen versehen; einzelne Notizen kennzeichnen solche Schätzungen ausdrücklich als unsicher oder spekulativ. Das Material liefert jedoch keine ausführliche Beschreibung der Datenauswahl, statistischen Auswertung oder einer einheitlichen Kontrolle aller Unterschiede zwischen Modellen.

Die Vergleichbarkeit ist zudem eingeschränkt: Für die Modelle sind teils unterschiedliche Temperaturen, Top-p-Werte und Promptvorlagen eingetragen; bei MATH fehlen in der Tabelle Genauigkeits-Standardabweichungen. Die Befunde betreffen nur GPQA Diamond und MATH Level 5 und erlauben keine Aussage über die gesamte Modellleistung. Schließlich nennt die Metadatenzeile eine letzte Änderung im November 2024, während der Fließtext DeepSeek-R1 als Veröffentlichung vom Januar 2025 behandelt. Der Bericht enthält damit eine zeitliche Unstimmigkeit, die sich aus dem vorliegenden Text nicht auflösen lässt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas kurze Fassung enthält eine eigene Einschätzung zur eingeschränkten Vergleichbarkeit, die nicht als Berichtsaussage gekennzeichnet ist. Die mittlere Fassung gibt die Kernaussagen zu Benchmarks, Modellen und Abstand korrekt wieder. Der Zeitwiderspruch zwischen Änderungsdatum November 2024 und dem Hinweis auf Januar 2025 wird in beiden Fassungen korrekt erfasst.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Bericht stammt von Epoch AI (Autor Jean-Stanislas Denain) und beruht auf deren Modelldatenbank.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die kurze Fassung behauptet, die Ergebnisse seien wegen unterschiedlicher Bewertungsparameter nur eingeschränkt vergleichbar. Der Bericht selbst zieht diesen Schluss nicht; er erwähnt nur variierende Parameter in den Tabellen.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 36 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 45 %umfangreiche Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 32 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 21 %Hintergrund, keine Belege
    • Luna 36 %Hintergrund, keine Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 32 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 24 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung umfangreiche Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 26 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 44 %gleiches Oberthema, hilft nicht
    • JEV 45 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →