Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch27. November 2024 · Q005978

Accuracy increases with estimated training compute

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI berichtet, dass die Genauigkeit auf GPQA Diamond und MATH Level 5 tendenziell mit dem geschätzten Trainingscompute steigt; der Zusammenhang ist bei GPQA klarer und bei MATH deutlich verrauschter. Neuere Modelle schneiden bei ähnlichen Compute-Schätzungen oft besser ab, während fehlende oder unsichere Schätzwerte – darunter für o1 – die Vergleiche begrenzen.

Mittel

Epoch AI vergleicht geschätzten Trainingsaufwand in FLOP mit den Leistungen von Sprachmodellen auf GPQA Diamond und MATH Level 5. Laut Bericht steigt die Genauigkeit im Allgemeinen mit dem Compute. Bei GPQA liegen Modelle unter 10²⁴ FLOP häufig nahe am Zufallsniveau oder darunter; oberhalb davon nimmt die Leistung der Darstellung zufolge pro Verzehnfachung um ungefähr 12 Prozentpunkte zu. Für MATH werden etwa 17 Prozentpunkte genannt, doch der Zusammenhang ist dort deutlich unregelmäßiger.

Die Tabellen bündeln Modellwerte, Benchmark-Ergebnisse, Testbedingungen und verfügbare Compute-Angaben. Letztere sind zum Teil aus öffentlichen Informationen abgeleitet und unterschiedlich sicher; für viele Modelle fehlen sie. Neuere Systeme wie DeepSeek-R1, Phi-4 und Mistral Small 3 schneiden laut Bericht bei ähnlichen Compute-Schätzungen oft besser ab als ältere, was die Rolle algorithmischer Fortschritte unterstreicht. Die Analyse lässt viele Spitzenmodelle aus, darunter OpenAIs o1, weil dafür keine Compute-Schätzung vorliegt. Die Befunde zeigen damit beobachtete Trends, keinen isolierten Kausalnachweis; besonders die MATH-Beziehung ist verrauscht.

Ausführlich lesen

Der Bericht von Epoch AI untersucht, wie sich der geschätzte Trainingsaufwand großer Sprachmodelle in FLOP auf ihre Genauigkeit bei zwei anspruchsvollen Benchmarks bezieht: GPQA Diamond und MATH Level 5. Die zentrale Aussage der Autor:innen lautet, dass die Genauigkeit auf beiden Aufgaben im Allgemeinen mit höherem geschätztem Trainingsaufwand steigt.

Für GPQA Diamond beschreibt der Bericht bei Modellen unter 10²⁴ FLOP häufig Leistungen nahe dem Zufallsniveau oder darunter. Als mögliche Erklärung für Werte unter Zufall nennt er Schwierigkeiten, das Format der Fragen zu verstehen. Oberhalb dieser Schwelle steige die Genauigkeit der Darstellung zufolge mit jeder Verzehnfachung des Trainingsaufwands um ungefähr 12 Prozentpunkte. Bei MATH Level 5 liege der entsprechende Zuwachs bei etwa 17 Prozentpunkten pro Verzehnfachung; die Beziehung sei dort jedoch deutlich unregelmäßiger.

Die Abbildungen und ergänzenden Tabellen führen Modellwerte, Benchmark-Ergebnisse und – soweit verfügbar – Trainingsaufwandsschätzungen auf. Die Tabellen nennen außerdem Testbedingungen wie Promptvorlage, Temperatur und teilweise Top-p. Die Compute-Werte beruhen nicht durchgehend auf veröffentlichten Trainingsangaben: Bei einzelnen Modellen werden sie aus Parameter- und Tokenzahlen oder aus Hardware- und Laufzeitinformationen abgeleitet. Die Notizen kennzeichnen manche Schätzungen als unsicher; für zahlreiche Modelle, darunter mehrere bekannte Systeme, fehlt eine Compute-Angabe.

Der Bericht weist zudem darauf hin, dass neuere Modelle bei vergleichbaren Compute-Schätzungen oft besser abschneiden als ältere. Als Beispiele nennt er DeepSeek-R1, Phi-4 und Mistral Small 3. Das wird als Hinweis auf die Bedeutung algorithmischer Fortschritte angeführt. Es bedeutet, dass Trainingsaufwand allein die Leistung nicht erklärt. Zugleich fehlen in der Analyse viele leistungsstarke Modelle, darunter OpenAIs o1, weil Epoch AI nach eigener Aussage keine Compute-Schätzungen dafür vorliegen.

Die Ergebnisse sind daher als beobachtete Zusammenhänge in den verfügbaren Modell- und Benchmarkdaten zu verstehen. Der Bericht beschreibt weder einen experimentellen Nachweis, dass mehr Trainingscompute allein die Verbesserungen verursacht, noch eine vollständige Abdeckung der leistungsstärksten Modelle. Besonders für MATH ist der Zusammenhang laut Bericht verrauscht; auch die teilweise geschätzten und fehlenden Compute-Werte begrenzen direkte Vergleiche.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Beide Zusammenfassungen sind weitgehend treu; die Zahlen 10^24 FLOP, 12 und 17 Prozentpunkte stimmen mit dem Bericht überein. Die Einordnungen fallen niedrig aus, weil der Bericht ausschließlich Benchmark-Genauigkeit gegen geschätzten Trainingscompute behandelt und keine der Governance-Fragen beantwortet. Lunas Stufen weichen deshalb in mehreren Fällen nach oben ab.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Grund, warum GPQA-Modelle unter 10^24 FLOP oft nahe am Zufall liegen: Probleme beim Verstehen des Fragenformats.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, die Befunde zeigten keinen isolierten Kausalnachweis, steht so nicht im Bericht; er beschreibt nur beobachtete Trends.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 27 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 21 %Hintergrund, keine Belege
    • Luna 38 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 32 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 29 %einzelne zitierbare Belege
    • d3-ultra offen

    • SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 29 %einzelne zitierbare Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →