Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr21. April 2026 · Q001703

Evidence on AI R&D Progress from NanoGPT

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der METR-Bericht beschreibt einen 31-fachen Zeitgewinn im kleinen NanoGPT-Speedrun und ordnet die menschlichen und vier agentischen Beiträge nach Tiefe und Herkunft ein. Die Agentenbeiträge waren laut Bericht real, aber eher oberflächlich bis moderat; mit nur vier Fällen und unbekanntem Rechenaufwand erlaubt die Auswertung keine belastbare Aussage über einen generellen Vergleich zwischen Menschen und Agenten.

Mittel

Der METR-Bericht wertet den kleinen NanoGPT-Speedrun als möglichen Hinweis darauf aus, wie Menschen und KI-Agenten zur KI-Forschung und -Entwicklung beitragen. Von Mai 2024 bis März 2026 verkürzten 77 dokumentierte Bestzeiten von 36 Mitwirkenden die Trainingszeit laut Bericht von 45 auf 1,43 Minuten. Die Beiträge wurden mit Unterstützung von Claude Code nach ihrer Tiefe und Herkunft klassifiziert. Relativ einfache und moderate Optimierungen hätten zusammen einen großen Teil der Beschleunigung erbracht; zugleich seien auch spät neue, tiefere Ideen entstanden. Frühe Beiträge übernahmen oder passten meist bestehende Forschung an, während spätere häufiger als neu erfunden eingestuft wurden.

Vier Rekorde wurden KI-Agenten zusammen mit Menschen zugeschrieben. Ihre Beiträge waren nach der Einordnung des Berichts echte, aber eher oberflächliche bis moderate Verbesserungen. Ein Agent fand dabei einen bislang übersehenen Konfigurationsfehler. Die wenigen Fälle belegen jedoch keinen allgemeinen Unterschied zwischen menschlichen und agentischen Leistungen: Rechenaufwand, menschliche Steuerung und gescheiterte Versuche sind unbekannt. Weitere Grenzen sind mögliche Datenkontamination, die Ausrichtung der Bestenliste auf erfolgreiche Ideen und die fragliche Übertragbarkeit von Ergebnissen mit kleinen Modellen auf Frontier-Training. Auch wie Pretraining-Fortschritte mit anderen Teilen der KI-F&E zusammenwirken, bleibt offen.

Ausführlich lesen

Der METR-Bericht untersucht, was der NanoGPT-Speedrun über den möglichen Beitrag von KI-Agenten zur KI-Forschung und -Entwicklung (KI-F&E) aussagt. Beim Speedrun wird ein Sprachmodell auf acht H100-GPUs so schnell wie möglich bis zu einem festgelegten Validierungsverlust trainiert. Der Bericht betrachtet die kleine Spur: Zwischen Mai 2024 und März 2026 reichten 36 Mitwirkende insgesamt 77 jeweils neue Bestzeiten ein. Die Trainingszeit sank dabei laut Bericht von 45 auf 1,43 Minuten, also um den Faktor 31. Jede Bestzeit ist mit einem Codebeitrag dokumentiert.

Die Autorin oder der Autor klassifizierte mit Unterstützung von Claude Code die zusammengeführten Beiträge nach der Tiefe der Optimierungsidee und ihrer Herkunft. Die Tiefe reicht von oberflächlichen Anpassungen über moderate und tiefe Ideen bis zu Durchbrüchen. Bei der Herkunft wird zwischen erfundenen, angepassten und aus vorhandener Arbeit übernommenen Ideen unterschieden. Der Bericht betont, dass auch relativ einfache oder moderate Beiträge viel bewirkten: Zusammen hätten sie ungefähr das 21-Fache der insgesamt 31-fachen Beschleunigung erbracht. Als Beispiel nennt er die Übernahme von FlexAttention, die dem Bericht zufolge eine Beschleunigung von 30 Prozent brachte. Zugleich seien tiefgreifende Ideen auch spät aufgetreten. Dazu zählt der Bericht unter anderem Muon, einen Optimierer, der später auch in größeren Modellen verwendet worden sei, sowie die neuartigen Beiträge Paired Head Attention und Bigram Hash Embedding.

Nach der Auswertung stammten frühe Beiträge meist aus bestehender Forschung oder passten sie an, um den Speedrun an den damaligen Forschungsstand heranzuführen. In späteren Phasen seien häufiger neue Ideen entstanden: 33 Prozent der Beiträge aus diesem Zeitraum wurden als erfunden klassifiziert, gegenüber einem solchen Beitrag in den ersten 20 Rekorden. Bei der aufsummierten Beschleunigung entfielen laut Bericht 6,7-fach auf übernommene, 3,0-fach auf angepasste und 1,6-fach auf erfundene Ideen. Auch die bearbeiteten Ebenen verschoben sich: Anfangs dominierten Architekturänderungen, später Aufmerksamkeit und Parallelisierung, zuletzt Optimierer und Kernel.

Vier Rekorde aus Ende 2025 und Anfang 2026 wurden jeweils einem KI-Agenten zusammen mit einem menschlichen Mitwirkenden zugeschrieben. Es handelte sich um eigens für ML-Forschung und Optimierung entwickelte Systeme, nicht um allgemeine Programmierassistenten. Der Bericht stuft ihre dokumentierten Beiträge als real, aber eher oberflächlich bis moderat ein. Ein Agent entdeckte zudem einen Fehler, durch den ein Konfigurationsparameter unbemerkt ignoriert wurde. Daraus lasse sich jedoch nicht ableiten, dass Agenten weniger tiefgreifende Ideen hervorbrächten als Menschen: Es gebe nur vier Beispiele, der Rechenaufwand sei unbekannt, und die menschliche Steuerung sowie erfolglose Versuche seien nicht dokumentiert. Die Beiträge ähnelten laut Bericht außerdem jüngeren menschlichen Beiträgen.

Der Bericht sieht solche öffentlich dokumentierten Herausforderungen als mögliche Quelle für qualitative Vergleiche, menschliche Ausgangswerte und Tests mit hohen Rechenbudgets. Die Beweiskraft bleibt begrenzt: Vorwissen aus Trainingsdaten kann die Resultate beeinflussen, gescheiterte Ideen fehlen in der Bestenliste, und Ergebnisse beim Training eines 124-Millionen-Parameter-Modells müssen nicht auf Modelle im Frontier-Maßstab übertragbar sein. Wie Fortschritte beim Pretraining mit anderen Bereichen der KI-F&E zusammenwirken, sei ebenfalls offen. Öffentlich belegte Agentenläufe mit sehr hohen Rechenbudgets lägen dem Bericht zufolge noch nicht vor.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Bewertung bezieht sich auf die Zusammenfassungen kurz und mittel gemeinsam; Lunas genannte Stufen und Anteile wurden bewusst nicht übernommen. Die Einordnung stützt sich nur auf den Berichtstext.

Im Bericht, aber nicht in der Zusammenfassung

  • Abschnitt III: Challenges dienen als menschliche Basislinie für Schwierigkeitskalibrierung und als Aufgabenquelle für Agentenläufe mit sehr hohem Rechenaufwand
  • Der Bericht nennt die Abhängigkeit der Ergebnisse vom Rechenaufwand und von menschlicher Steuerung der vier Agentenläufe nur knapp; die Zusammenfassung erwähnt sie nicht als eigenen Punkt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 21 %Hintergrund, keine Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 33 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 56 %Hintergrund, keine Belege
    • JEV 24 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
  3. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 100 %kein Bezug
    • JEV 37 %gleiches Oberthema, hilft nicht
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 34 %gleiches Oberthema, hilft nicht
    • Luna 64 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 22 %Hintergrund, keine Belege
    • Luna 51 %einzelne zitierbare Belege
    • JEV 46 %umfangreiche Belege
    • amos 37 %einzelne zitierbare Belege
    • SubQ 27 %einzelne zitierbare Belege
    • drex 41 %einzelne zitierbare Belege
    • d3-ultra 56 %einzelne zitierbare Belege
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 27 %Hintergrund, keine Belege
    • Luna 56 %Hintergrund, keine Belege
    • JEV 29 %Hintergrund, keine Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 65 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %nur am Rande erwähnt
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →