Accuracy increases with estimated training compute
Zusammenfassung
Kurz
Epoch AI berichtet, dass die Genauigkeit auf GPQA Diamond und MATH Level 5 tendenziell mit dem geschätzten Trainingscompute steigt; der Zusammenhang ist bei GPQA klarer und bei MATH deutlich verrauschter. Neuere Modelle schneiden bei ähnlichen Compute-Schätzungen oft besser ab, während fehlende oder unsichere Schätzwerte – darunter für o1 – die Vergleiche begrenzen.
Mittel
Epoch AI vergleicht geschätzten Trainingsaufwand in FLOP mit den Leistungen von Sprachmodellen auf GPQA Diamond und MATH Level 5. Laut Bericht steigt die Genauigkeit im Allgemeinen mit dem Compute. Bei GPQA liegen Modelle unter 10²⁴ FLOP häufig nahe am Zufallsniveau oder darunter; oberhalb davon nimmt die Leistung der Darstellung zufolge pro Verzehnfachung um ungefähr 12 Prozentpunkte zu. Für MATH werden etwa 17 Prozentpunkte genannt, doch der Zusammenhang ist dort deutlich unregelmäßiger.
Die Tabellen bündeln Modellwerte, Benchmark-Ergebnisse, Testbedingungen und verfügbare Compute-Angaben. Letztere sind zum Teil aus öffentlichen Informationen abgeleitet und unterschiedlich sicher; für viele Modelle fehlen sie. Neuere Systeme wie DeepSeek-R1, Phi-4 und Mistral Small 3 schneiden laut Bericht bei ähnlichen Compute-Schätzungen oft besser ab als ältere, was die Rolle algorithmischer Fortschritte unterstreicht. Die Analyse lässt viele Spitzenmodelle aus, darunter OpenAIs o1, weil dafür keine Compute-Schätzung vorliegt. Die Befunde zeigen damit beobachtete Trends, keinen isolierten Kausalnachweis; besonders die MATH-Beziehung ist verrauscht.
Ausführlich lesen
Der Bericht von Epoch AI untersucht, wie sich der geschätzte Trainingsaufwand großer Sprachmodelle in FLOP auf ihre Genauigkeit bei zwei anspruchsvollen Benchmarks bezieht: GPQA Diamond und MATH Level 5. Die zentrale Aussage der Autor:innen lautet, dass die Genauigkeit auf beiden Aufgaben im Allgemeinen mit höherem geschätztem Trainingsaufwand steigt.
Für GPQA Diamond beschreibt der Bericht bei Modellen unter 10²⁴ FLOP häufig Leistungen nahe dem Zufallsniveau oder darunter. Als mögliche Erklärung für Werte unter Zufall nennt er Schwierigkeiten, das Format der Fragen zu verstehen. Oberhalb dieser Schwelle steige die Genauigkeit der Darstellung zufolge mit jeder Verzehnfachung des Trainingsaufwands um ungefähr 12 Prozentpunkte. Bei MATH Level 5 liege der entsprechende Zuwachs bei etwa 17 Prozentpunkten pro Verzehnfachung; die Beziehung sei dort jedoch deutlich unregelmäßiger.
Die Abbildungen und ergänzenden Tabellen führen Modellwerte, Benchmark-Ergebnisse und – soweit verfügbar – Trainingsaufwandsschätzungen auf. Die Tabellen nennen außerdem Testbedingungen wie Promptvorlage, Temperatur und teilweise Top-p. Die Compute-Werte beruhen nicht durchgehend auf veröffentlichten Trainingsangaben: Bei einzelnen Modellen werden sie aus Parameter- und Tokenzahlen oder aus Hardware- und Laufzeitinformationen abgeleitet. Die Notizen kennzeichnen manche Schätzungen als unsicher; für zahlreiche Modelle, darunter mehrere bekannte Systeme, fehlt eine Compute-Angabe.
Der Bericht weist zudem darauf hin, dass neuere Modelle bei vergleichbaren Compute-Schätzungen oft besser abschneiden als ältere. Als Beispiele nennt er DeepSeek-R1, Phi-4 und Mistral Small 3. Das wird als Hinweis auf die Bedeutung algorithmischer Fortschritte angeführt. Es bedeutet, dass Trainingsaufwand allein die Leistung nicht erklärt. Zugleich fehlen in der Analyse viele leistungsstarke Modelle, darunter OpenAIs o1, weil Epoch AI nach eigener Aussage keine Compute-Schätzungen dafür vorliegen.
Die Ergebnisse sind daher als beobachtete Zusammenhänge in den verfügbaren Modell- und Benchmarkdaten zu verstehen. Der Bericht beschreibt weder einen experimentellen Nachweis, dass mehr Trainingscompute allein die Verbesserungen verursacht, noch eine vollständige Abdeckung der leistungsstärksten Modelle. Besonders für MATH ist der Zusammenhang laut Bericht verrauscht; auch die teilweise geschätzten und fehlenden Compute-Werte begrenzen direkte Vergleiche.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen sind weitgehend treu; die Zahlen 10^24 FLOP, 12 und 17 Prozentpunkte stimmen mit dem Bericht überein. Die Einordnungen fallen niedrig aus, weil der Bericht ausschließlich Benchmark-Genauigkeit gegen geschätzten Trainingscompute behandelt und keine der Governance-Fragen beantwortet. Lunas Stufen weichen deshalb in mehreren Fällen nach oben ab.
Im Bericht, aber nicht in der Zusammenfassung
- Der Grund, warum GPQA-Modelle unter 10^24 FLOP oft nahe am Zufall liegen: Probleme beim Verstehen des Fragenformats.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die Befunde zeigten keinen isolierten Kausalnachweis, steht so nicht im Bericht; er beschreibt nur beobachtete Trends.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 27 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 21 %Hintergrund, keine Belege
- Luna 38 %Hintergrund, keine Belege
- JEV 28 %einzelne zitierbare Belege
- amos 32 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 29 %einzelne zitierbare Belege
- d3-ultra
- SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 41 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %nur am Rande erwähnt
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 29 %einzelne zitierbare Belege
- JEV 36 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-H3-T05 Wenn ein Modell nacheinander von Laboren in verschiedenen Rechtsordnungen feinjustiert, mit anderen Modellen zusammengeführt oder destilliert wird (ein weiteres Modell wird mit seinen Ausgaben trainiert) und jede Stufe Fähigkeiten hinzufügen oder Schutzvorkehrungen entfernen kann: Welches gemeinsame Herkunftsregister, das sich nur ergänzen und nicht ändern lässt, verfolgt eine Gefahr bis zu der Änderung zurück, die sie brachte, ohne die vollständigen Trainingsdaten eines einzelnen Labors zu verlangen? Und wenn dabei ein Verhalten entsteht, das keines der Ursprungslabore vorhergesehen hat: Welche Register- oder Vorabmeldepflicht gilt vor dem Einsatz, und welcher Staat ist bei grenzüberschreitendem Schaden zuständig?
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv