Evidence on AI R&D Progress from NanoGPT
Zusammenfassung
Kurz
Der METR-Bericht beschreibt einen 31-fachen Zeitgewinn im kleinen NanoGPT-Speedrun und ordnet die menschlichen und vier agentischen Beiträge nach Tiefe und Herkunft ein. Die Agentenbeiträge waren laut Bericht real, aber eher oberflächlich bis moderat; mit nur vier Fällen und unbekanntem Rechenaufwand erlaubt die Auswertung keine belastbare Aussage über einen generellen Vergleich zwischen Menschen und Agenten.
Mittel
Der METR-Bericht wertet den kleinen NanoGPT-Speedrun als möglichen Hinweis darauf aus, wie Menschen und KI-Agenten zur KI-Forschung und -Entwicklung beitragen. Von Mai 2024 bis März 2026 verkürzten 77 dokumentierte Bestzeiten von 36 Mitwirkenden die Trainingszeit laut Bericht von 45 auf 1,43 Minuten. Die Beiträge wurden mit Unterstützung von Claude Code nach ihrer Tiefe und Herkunft klassifiziert. Relativ einfache und moderate Optimierungen hätten zusammen einen großen Teil der Beschleunigung erbracht; zugleich seien auch spät neue, tiefere Ideen entstanden. Frühe Beiträge übernahmen oder passten meist bestehende Forschung an, während spätere häufiger als neu erfunden eingestuft wurden.
Vier Rekorde wurden KI-Agenten zusammen mit Menschen zugeschrieben. Ihre Beiträge waren nach der Einordnung des Berichts echte, aber eher oberflächliche bis moderate Verbesserungen. Ein Agent fand dabei einen bislang übersehenen Konfigurationsfehler. Die wenigen Fälle belegen jedoch keinen allgemeinen Unterschied zwischen menschlichen und agentischen Leistungen: Rechenaufwand, menschliche Steuerung und gescheiterte Versuche sind unbekannt. Weitere Grenzen sind mögliche Datenkontamination, die Ausrichtung der Bestenliste auf erfolgreiche Ideen und die fragliche Übertragbarkeit von Ergebnissen mit kleinen Modellen auf Frontier-Training. Auch wie Pretraining-Fortschritte mit anderen Teilen der KI-F&E zusammenwirken, bleibt offen.
Ausführlich lesen
Der METR-Bericht untersucht, was der NanoGPT-Speedrun über den möglichen Beitrag von KI-Agenten zur KI-Forschung und -Entwicklung (KI-F&E) aussagt. Beim Speedrun wird ein Sprachmodell auf acht H100-GPUs so schnell wie möglich bis zu einem festgelegten Validierungsverlust trainiert. Der Bericht betrachtet die kleine Spur: Zwischen Mai 2024 und März 2026 reichten 36 Mitwirkende insgesamt 77 jeweils neue Bestzeiten ein. Die Trainingszeit sank dabei laut Bericht von 45 auf 1,43 Minuten, also um den Faktor 31. Jede Bestzeit ist mit einem Codebeitrag dokumentiert.
Die Autorin oder der Autor klassifizierte mit Unterstützung von Claude Code die zusammengeführten Beiträge nach der Tiefe der Optimierungsidee und ihrer Herkunft. Die Tiefe reicht von oberflächlichen Anpassungen über moderate und tiefe Ideen bis zu Durchbrüchen. Bei der Herkunft wird zwischen erfundenen, angepassten und aus vorhandener Arbeit übernommenen Ideen unterschieden. Der Bericht betont, dass auch relativ einfache oder moderate Beiträge viel bewirkten: Zusammen hätten sie ungefähr das 21-Fache der insgesamt 31-fachen Beschleunigung erbracht. Als Beispiel nennt er die Übernahme von FlexAttention, die dem Bericht zufolge eine Beschleunigung von 30 Prozent brachte. Zugleich seien tiefgreifende Ideen auch spät aufgetreten. Dazu zählt der Bericht unter anderem Muon, einen Optimierer, der später auch in größeren Modellen verwendet worden sei, sowie die neuartigen Beiträge Paired Head Attention und Bigram Hash Embedding.
Nach der Auswertung stammten frühe Beiträge meist aus bestehender Forschung oder passten sie an, um den Speedrun an den damaligen Forschungsstand heranzuführen. In späteren Phasen seien häufiger neue Ideen entstanden: 33 Prozent der Beiträge aus diesem Zeitraum wurden als erfunden klassifiziert, gegenüber einem solchen Beitrag in den ersten 20 Rekorden. Bei der aufsummierten Beschleunigung entfielen laut Bericht 6,7-fach auf übernommene, 3,0-fach auf angepasste und 1,6-fach auf erfundene Ideen. Auch die bearbeiteten Ebenen verschoben sich: Anfangs dominierten Architekturänderungen, später Aufmerksamkeit und Parallelisierung, zuletzt Optimierer und Kernel.
Vier Rekorde aus Ende 2025 und Anfang 2026 wurden jeweils einem KI-Agenten zusammen mit einem menschlichen Mitwirkenden zugeschrieben. Es handelte sich um eigens für ML-Forschung und Optimierung entwickelte Systeme, nicht um allgemeine Programmierassistenten. Der Bericht stuft ihre dokumentierten Beiträge als real, aber eher oberflächlich bis moderat ein. Ein Agent entdeckte zudem einen Fehler, durch den ein Konfigurationsparameter unbemerkt ignoriert wurde. Daraus lasse sich jedoch nicht ableiten, dass Agenten weniger tiefgreifende Ideen hervorbrächten als Menschen: Es gebe nur vier Beispiele, der Rechenaufwand sei unbekannt, und die menschliche Steuerung sowie erfolglose Versuche seien nicht dokumentiert. Die Beiträge ähnelten laut Bericht außerdem jüngeren menschlichen Beiträgen.
Der Bericht sieht solche öffentlich dokumentierten Herausforderungen als mögliche Quelle für qualitative Vergleiche, menschliche Ausgangswerte und Tests mit hohen Rechenbudgets. Die Beweiskraft bleibt begrenzt: Vorwissen aus Trainingsdaten kann die Resultate beeinflussen, gescheiterte Ideen fehlen in der Bestenliste, und Ergebnisse beim Training eines 124-Millionen-Parameter-Modells müssen nicht auf Modelle im Frontier-Maßstab übertragbar sein. Wie Fortschritte beim Pretraining mit anderen Bereichen der KI-F&E zusammenwirken, sei ebenfalls offen. Öffentlich belegte Agentenläufe mit sehr hohen Rechenbudgets lägen dem Bericht zufolge noch nicht vor.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Bewertung bezieht sich auf die Zusammenfassungen kurz und mittel gemeinsam; Lunas genannte Stufen und Anteile wurden bewusst nicht übernommen. Die Einordnung stützt sich nur auf den Berichtstext.
Im Bericht, aber nicht in der Zusammenfassung
- Abschnitt III: Challenges dienen als menschliche Basislinie für Schwierigkeitskalibrierung und als Aufgabenquelle für Agentenläufe mit sehr hohem Rechenaufwand
- Der Bericht nennt die Abhängigkeit der Ergebnisse vom Rechenaufwand und von menschlicher Steuerung der vier Agentenläufe nur knapp; die Zusammenfassung erwähnt sie nicht als eigenen Punkt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 21 %Hintergrund, keine Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 33 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 22 %gleiches Oberthema, hilft nicht
- Luna 56 %Hintergrund, keine Belege
- JEV 24 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 29 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 34 %gleiches Oberthema, hilft nicht
- Luna 64 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 32 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 22 %Hintergrund, keine Belege
- Luna 51 %einzelne zitierbare Belege
- JEV 46 %umfangreiche Belege
- amos 37 %einzelne zitierbare Belege
- SubQ 27 %einzelne zitierbare Belege
- drex 41 %einzelne zitierbare Belege
- d3-ultra 56 %einzelne zitierbare Belege
- Haiku-Prüfung einzelne zitierbare Belege
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 77 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 27 %Hintergrund, keine Belege
- Luna 56 %Hintergrund, keine Belege
- JEV 29 %Hintergrund, keine Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %nur am Rande erwähnt
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv