Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr14. Februar 2025 · Q002597

Measuring Automated Kernel Engineering

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR berichtet, dass sein KernelAgent auf einem überarbeiteten, auf Inferenz und eine H100-GPU begrenzten Benchmark im Mittel Beschleunigungen von bis zu 2,01-fach erzielte. Die Autoren betonen, dass diese Ergebnisse keine Automatisierung der Arbeit menschlicher Kernel-Experten belegen und nur eingeschränkt auf reale, größere Systeme übertragbar sind.

Mittel

METR untersucht, ob KI-Agenten GPU-Kerne optimieren und dadurch KI-Inferenz beschleunigen können. Dafür überarbeiteten die Autoren KernelBench, entfernten 45 problematische Aufgaben, ließen Level 4 aus und ergänzten 14 Aufgaben zu neueren Modellarchitekturen als Level 5. Getestet wurde auf einer einzelnen H100-GPU und ausschließlich mit Inferenzaufgaben. Der eigens entwickelte Agent KernelAgent nutzte parallele Versuche, Ergebnisprüfung und Anleitungen zu PyTorch, Triton und CUDA.

Gemessen am geometrischen Mittel der Beschleunigung gegenüber einfachem PyTorch meldet METR 1,81-fache Beschleunigung für GPT-4o, Claude 3.5 Sonnet und o1 zusammen sowie für o3-mini-high. Die besten Ergebnisse aus allen Modellen erreichten 2,01-fach. Die Autoren führen die höheren Werte gegenüber der ursprünglichen KernelBench-Auswertung vor allem auf bessere Agenten-Unterstützung und mehr Versuche zurück. Sie schätzen, dass sich eine o3-mini-Optimierung nach durchschnittlich 27 Stunden H100-Laufzeit lohnen könnte.

Die Ergebnisse belegen laut METR nicht, dass KI-Agenten die Arbeit menschlicher Kernel-Experten automatisieren. Der Benchmark nutzt meist naive PyTorch-Ausgangscodes, feste Formen und eine GPU; Training, Mehr-GPU-Kommunikation und ein direkter Vergleich mit Menschen fehlen. Außerdem konnten die Agenten keine Lösungen auf dem Niveau führender menschlicher Kernel anpassen. METR bezeichnet die Untersuchung mit etwa vier Ingenieurwochen als begrenzt und veröffentlichte den Agenten-Quellcode nicht.

Ausführlich lesen

Der METR-Bericht „Measuring Automated Kernel Engineering“ untersucht, wie gut KI-Agenten GPU-Rechenkerne optimieren können. Die Autoren begründen die Untersuchung damit, dass schnellere Kerne die Kosten und den Rechenaufwand für KI-Training und -Inferenz senken könnten. Zugleich sei die Fähigkeit, KI-Forschung und -Entwicklung zu automatisieren, für Sicherheitsbewertungen und politische Entscheidungen relevant. Der Bericht behandelt allerdings nur Inferenzaufgaben auf einer einzelnen H100-GPU.

Als Grundlage überarbeiteten die Autoren den Benchmark KernelBench: Sie entfernten oder änderten Aufgaben, die etwa durch konstante Ausgaben, geringe Abhängigkeit von Eingaben oder zu gleichförmige Ergebnisse unzuverlässig oder leicht auszutricksen erschienen. Dadurch entfielen 45 Aufgaben aus den Levels 1 bis 3. Level 4 ließen sie aus, weil die Aufgaben größere Sprachmodell-Codebasen voraussetzen und die nötige Unterstützung für Agenten nicht bereitstand. Ergänzend erstellten sie Level 5 mit 14 Aufgaben, die unter anderem auf DeepSeek-V3, Llama 3, Hunyuan Video und State-Space-Modellen beruhen. Die Laufzeiten maßen sie mit einem anderen Verfahren als der ursprüngliche Benchmark.

Gemessen wurde der geometrische Mittelwert der Beschleunigung gegenüber dem PyTorch-Referenzcode. Für jede Aufgabe zählte der beste Versuch aus mehreren Agentenläufen; wenn alle schlechter abschnitten, wurde der Referenzcode gewertet, sodass die ausgewiesene Beschleunigung mindestens 1 beträgt. METR entwickelte dafür „KernelAgent“ mit paralleler Suche, Ergebnisprüfung und Hinweisen zu PyTorch, Triton und CUDA. Je nach Modell wurden bis zu 300 Versuche pro Aufgabe ausgeführt; für das teurere o1 waren es 40. Die Autoren berichten, dass GPT-4o, Claude 3.5 Sonnet und o1 mit ihrem Agenten im Mittel 1,81-fache Beschleunigung erreichten, gegenüber 1,05-fach bei den ursprünglichen KernelBench-Ergebnissen. o3-mini-high erreichte laut Bericht ebenfalls 1,81-fach; die jeweils besten Lösungen aus allen getesteten Modellen kamen auf 2,01-fach. Die Autoren führen den Unterschied zur früheren Messung vor allem auf bessere Agenten-Unterstützung, Prompt-Anpassungen und mehr Versuche zurück.

METR zufolge beschleunigten die Agenten 69 bis 95 Prozent der Aufgaben deutlich; die besten Lösungen über alle Agenten erzielten bei 93 Prozent mehr als fünf Prozent Beschleunigung. In einzelnen Fällen wurden 6,5-fache Beschleunigung oder als Höchstwert 30-fach erreicht. Die Autoren schätzen, dass sich die Optimierung durch o3-mini bei typischen Aufgaben nach durchschnittlich 27 Stunden H100-Rechenzeit amortisieren könne. Das hängt laut Bericht von den zugrunde gelegten Kosten und der Übertragbarkeit der Benchmark-Ergebnisse ab. Ein Teil der Lösungen nutzte Triton oder CUDA; diese übertrafen laut Autoren die besten PyTorch-Lösungen.

Der Bericht schränkt die Aussagekraft ausdrücklich ein: Die Ausgangsimplementierungen seien meist einfaches PyTorch statt optimiertem CUDA, die Aufgaben liefen auf einer GPU, hätten feste Eingabeformen und beträfen nur Inferenz. Ein Vergleich mit Menschen unter denselben Bedingungen fehle; auch die tolerierte numerische Abweichung bilde reale Anforderungen wie Trainingsstabilität nicht vollständig ab. Trotz Filterung könnten fehlerhafte Aufgaben übrig sein. METR betont daher, dass gute Benchmark-Ergebnisse keine Automatisierung der Arbeit menschlicher Kernel-Experten belegen. Die Agenten erzeugten nach Einschätzung der Autoren keine ähnlich neuartigen und ausgefeilten Lösungen wie führende menschliche Arbeiten und konnten FlashAttention 2 nicht an neue Bedingungen anpassen. Die Quelltexte des Agenten veröffentlichte METR aus Vorsicht nicht. Die Autoren sehen einen möglichen Nutzen vor allem für kleinere Forschungsteams, weisen aber darauf hin, dass ihre Untersuchung mit rund vier Ingenieurwochen begrenzt war.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich allein auf den Bericht; Lunas Stufen und Anteile wurden nicht übernommen. Die Zusammenfassungen geben den Bericht im Kern treu wieder, enthalten aber eine falsche Angabe zu PyTorch-Anleitungen und lassen zentrale Vergleichszahlen aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Vergleich mit der ursprünglichen KernelBench-Auswertung (1,05-fach gegenüber 1,81-fach, also etwa fünfzehnfach)
  • Die Aussage, dass sich die Beschleunigung in den letzten sechs Monaten verdoppelt hat
  • Die Begründung, warum der Quellcode des Agenten aus Vorsicht nicht veröffentlicht wurde
  • Die Feinabstimmung von GPT-4o auf Level 5, die die Lücke zu o3-mini fast schloss

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Anleitungen zu PyTorch (der Bericht nennt Dokumentation nur für Triton und CUDA)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 34 %Hintergrund, keine Belege
    • Luna 63 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 26 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 35 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 25 %Hintergrund, keine Belege
    • Luna 47 %umfangreiche Belege
    • JEV 45 %umfangreiche Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 29 %Hintergrund, keine Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T1-T01 Welche messbaren, maschinell prüfbaren Fähigkeitsschwellen sollen Labore veröffentlichen, die vor dem Einsatz von Agentensystemen eine verpflichtende Pause und eine Prüfung von außen auslösen, abgestimmt über alle Labore hinweg? Wer führt das Register, und wo soll die Gesellschaft die verbindliche Sicherheitsgrenze für weitere Steigerungen der Fähigkeiten ziehen? Luna: Stufe 3 · 24 % · Hintergrund, keine Belege
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T2-T01 Welche öffentliche, nachprüfbare Handlung würde als Verzicht auf weitere Skalierung zählen, nicht nur eine Ankündigung? Was müsste ein Labor veröffentlichen, damit eine rivalisierende Regierung bestätigen kann, dass wirklich pausiert wurde, und welche nachträglichen Belege würden zeigen, dass keine Fähigkeitszuwächse zurückgehalten wurden, etwa durch nicht offengelegte Änderungen an Rechenleistung beim Einsatz oder Werkzeugzugang oder durch einen nicht offengelegten Austausch von Modellen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 26 %Hintergrund, keine Belege
    • Luna 67 %einzelne zitierbare Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 35 %einzelne zitierbare Belege
    • SubQ 27 %einzelne zitierbare Belege
    • drex 36 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 46 %einzelne zitierbare Belege
    • amos 53 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 27 %Hintergrund, keine Belege
    • Luna 75 %Hintergrund, keine Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 27 %Hintergrund, keine Belege
    • Luna 39 %einzelne zitierbare Belege
    • JEV 49 %einzelne zitierbare Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 26 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

    • SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-H2-T02 Wenn ein Staat Agentenwerkzeuge mit offenem Quellcode als Risiko für Spionage und Datenabfluss einstuft und sich offen veröffentlichte Modellgewichte nicht zurückholen lassen: Welche konkreten, für die beteiligten Regierungen annehmbaren Regeln sollen die Veröffentlichung von Modellen mit offenen Gewichten und selbstständigen Agentenfähigkeiten bestimmen, und wie vermeiden diese Regeln, die offene Forschung abzuwürgen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 26 %Hintergrund, keine Belege
    • Luna 50 %Hintergrund, keine Belege
    • JEV 46 %beantwortet teilweise oder widerspricht
    • amos 28 %nur am Rande erwähnt
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 23 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 51 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 33 %nur am Rande erwähnt
    • SubQ 63 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →