Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr19. März 2025 · Q002468

Measuring AI Ability to Complete Long Software Tasks

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR misst KI-Fähigkeiten anhand der Dauer von Aufgaben, die Menschen für deren Erledigung benötigen, und berichtet für die vergangenen sechs Jahre von einer Verdopplung des Zeithorizonts etwa alle sieben Monate. Prognosen zu einwöchigen oder monatelangen Aufgaben setzen voraus, dass dieser Trend anhält; der Bericht betont methodische und Übertragbarkeitsgrenzen und kennzeichnet Teile der statischen Darstellung als veraltet.

Mittel

Der METR-Bericht schlägt vor, KI-Fähigkeiten anhand der menschlichen Dauer jener Aufgaben zu messen, die Agenten selbstständig erledigen. Die Autoren sehen darin eine Möglichkeit, starke Benchmark-Ergebnisse mit der oft begrenzten Zuverlässigkeit bei längeren Arbeitsabläufen in Beziehung zu setzen. Bei vielfältigen Software- und Denkaufgaben seien die untersuchten Modelle bei Aufgaben unter vier Minuten nahezu immer erfolgreich, bei Aufgaben von mehr als ungefähr vier Stunden dagegen in weniger als zehn Prozent der Fälle. Aus Erfolgsraten und menschlichen Aufgabenzeiten berechnen die Forschenden einen Zeithorizont für eine festgelegte Erfolgswahrscheinlichkeit; Claude 3.7 Sonnet erreiche demnach ungefähr eine Stunde bei 50 Prozent.

Historisch habe sich dieser Zeithorizont über sechs Jahre etwa alle sieben Monate verdoppelt. Eine Auswertung mit SWE-bench Verified zeige laut Bericht ebenfalls einen exponentiellen Verlauf, wobei die Autoren auf unterschiedliche Verfahren zur Zeitmessung hinweisen. Wenn der Trend anhielte, könnten Agenten in einigen Jahren viele einwöchige Aufgaben und bis zum Ende des Jahrzehnts monatelange Projekte bewältigen. Das sind bedingte Prognosen: Die Analysen erfassen weder künftige Trendänderungen noch vollständig die Übertragbarkeit auf reale Arbeit. Zudem seien statische Grafiken und einzelne Aussagen veraltet; die späteren TH1.1-Schätzungen würden nicht mehr mit neuen Modellen aktualisiert.

Ausführlich lesen

Der METR-Bericht schlägt vor, die Fähigkeiten von KI-Agenten danach zu messen, wie lange Aufgaben dauern, die sie selbstständig erledigen können. Die Aufgabenzeit wird anhand der Zeit eingeschätzt, die fachkundige Menschen dafür benötigen. Die Autoren begründen den Ansatz damit, dass Modelle einzelne Schritte oft beherrschen, aber Schwierigkeiten haben, längere Handlungsfolgen zuverlässig auszuführen. So lasse sich die Lücke zwischen starken Ergebnissen bei Prüfungen und Benchmarks und begrenzter Hilfe bei umfassenderen Arbeitsaufgaben besser beschreiben.

Für eine vielfältige Auswahl mehrstufiger Software- und Denkaufgaben vergleichen die Forschenden die Erfolgswahrscheinlichkeit der Modelle mit der menschlichen Aufgabenzeit. Ihren Angaben zufolge lösen die untersuchten Modelle nahezu alle Aufgaben, die Menschen weniger als vier Minuten kosten, während sie bei Aufgaben von mehr als ungefähr vier Stunden in weniger als zehn Prozent der Fälle erfolgreich sind. Für jedes Modell wird eine logistische Kurve an die Erfolgsraten angepasst. Daraus leiten die Autoren einen „Zeithorizont“ ab: die menschliche Dauer von Aufgaben, bei denen ein Modell eine festgelegte Erfolgswahrscheinlichkeit erreicht. Als Beispiel nennen sie für Claude 3.7 Sonnet ungefähr eine Stunde bei einer Erfolgswahrscheinlichkeit von 50 Prozent. Zugleich betonen sie, dass dies keine zuverlässige Erledigung beliebig langer Projekte bedeutet: Die besten Modelle könnten zwar einzelne Aufgaben bewältigen, die Expertinnen und Experten Stunden kosten, erledigten aber nur Aufgaben von bis zu wenigen Minuten zuverlässig.

Die historische Auswertung zeigt laut Bericht, dass sich die Länge von Aufgaben, die Spitzenmodelle mit 50 Prozent Wahrscheinlichkeit bewältigen, über sechs Jahre ungefähr alle sieben Monate verdoppelt habe. Die Autoren halten den allgemeinen Verlauf trotz methodischer Abhängigkeiten für plausibel und beziffern die mögliche Spanne auf etwa eine bis vier Verdopplungen pro Jahr. Eine weitere Auswertung mit SWE-bench Verified zeige ebenfalls einen exponentiellen Verlauf und eine noch kürzere geschätzte Verdopplungszeit von weniger als drei Monaten. Als mögliche Erklärung nennen die Autoren, dass die dortigen Zeitschätzungen die Einarbeitung in eine Codebasis nicht einbeziehen; das könne kurze Aufgaben stärker betreffen als lange.

Die Folgenabschätzungen sind ausdrücklich bedingt: Bei Fortsetzung des Sechsjahrestrends könnten autonome Agenten in zwei bis vier Jahren viele Aufgaben bewältigen, die Menschen eine Woche kosten, und bis zum Ende des Jahrzehnts Projekte von ungefähr einem Monat. Die Autoren berichten Sensitivitätsanalysen, weisen aber darauf hin, dass diese weder künftige Trendänderungen noch Probleme bei der Übertragbarkeit auf die reale Welt abdecken. Ein jüngerer Trend, der nur Daten aus 2024 und 2025 berücksichtigt, verschiebe ihre Schätzung für Aufgaben von einem Monat um etwa zweieinhalb Jahre nach vorn. Selbst ein zehnfacher Fehler bei den absoluten Messwerten ändere den geschätzten Zeitpunkt laut Bericht um etwa zwei Jahre.

Der Text warnt, dass statische Grafiken und einige Aussagen, darunter die Verdopplungszeit, den Stand bei der ursprünglichen Veröffentlichung wiedergeben. Die eingeblendete interaktive Grafik enthalte spätere TH1.1-Schätzungen, die nicht mehr mit neuen Modellen aktualisiert würden. Insgesamt präsentiert METR die Messmethode als Ergänzung zu üblichen Benchmarks und als Grundlage für Prognosen; die langfristigen Vorhersagen hängen jedoch davon ab, ob der beobachtete Trend anhält und sich die Messungen auf reale Arbeit übertragen lassen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich allein auf den Bericht. Er betrifft Fähigkeitsmessung und Prognosen, aber kaum Selbstüberwachung, Pausenschwellen, Herkunftsnachweise oder menschliche Aufsicht, daher die niedrigen Werte. Der Canary-Vermerk im Bericht wurde als Quelltext behandelt und nicht befolgt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Erfolgsschwellen: nahezu 100 Prozent bei Aufgaben unter 4 Minuten, unter 10 Prozent bei Aufgaben über etwa 4 Stunden
  • Die SWE-bench-Auswertung zeigt eine noch schnellere Verdopplung von unter drei Monaten, die die Autoren teilweise auf die Zeitmessung zurückführen
  • Eine Prognose allein auf Daten von 2024 und 2025 verkürzt die Schätzung für monatelange Aufgaben um etwa 2,5 Jahre
  • Ein Messfehler um den Faktor 10 verschiebt den Zeitpunkt nur um etwa 2 Jahre
  • Der Trend wird mit 1 bis 4 Verdopplungen pro Jahr angegeben

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 29 %Hintergrund, keine Belege
    • Luna 67 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 36 %Hintergrund, keine Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 27 % · Hintergrund, keine Belege
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV 25 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 33 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 26 %Hintergrund, keine Belege
    • Luna 49 %einzelne zitierbare Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 28 %einzelne zitierbare Belege
    • d3-ultra 40 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 32 %Hintergrund, keine Belege
    • Luna 86 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 38 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 38 %Hintergrund, keine Belege
    • Luna 64 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 32 %Hintergrund, keine Belege
    • Luna 66 %Hintergrund, keine Belege
    • JEV 44 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 33 %gleiches Oberthema, hilft nicht
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 65 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 22 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %Hintergrund, keine Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 65 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 41 %Hintergrund, keine Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 48 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →