Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr20. März 2026 · Q001832

Impact of modeling assumptions on time horizon results

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR berichtet, dass unterschiedliche Modellierungsannahmen die Zeithorizont-Schätzungen teils merklich verschieben, besonders bei den jüngsten Modellen und bei Opus 4.6. Die Analysen deuten oft auf niedrigere 50-Prozent-Werte hin, doch die Effekte der verrauschten Aufgabenlängen bleiben sehr unsicher; insgesamt liegen die meisten Varianten laut METR innerhalb breiter Konfidenzintervalle. Als größte Unsicherheit nennt der Beitrag die Zusammensetzung der Aufgaben und die begrenzte Aussagekraft menschlicher Bearbeitungszeiten als Maß für Modellschwierigkeit.

Mittel

METR prüft, wie empfindlich die Zeithorizont-Schätzungen von KI-Modellen auf statistische Annahmen reagieren. Die Auswertung beruht auf rund 230 Aufgaben mit gemessenen oder geschätzten menschlichen Bearbeitungszeiten. Eine Korrektur des früheren Regularisierungsfehlers senkte laut Beitrag die 50-Prozent-Zeithorizonte neuerer Modelle teils um bis zu 20 Prozent. Weitere Kurvenmodelle beeinflussten Opus 4.6 deutlich: Die Schätzungen variierten ungefähr um den Faktor 1,5 beim 50-Prozent- und um den Faktor 2 beim 80-Prozent-Wert. Besonders kurze Aufgaben können die Kurvenanpassung verzerren, wenn Modelle dort gelegentlich scheitern.

Bei den meisten Modellen veränderte der Ausschluss öffentlicher Aufgaben die 50-Prozent-Werte nur geringfügig; Opus 4.6 fiel auf privaten Aufgaben jedoch etwa 40 Prozent niedriger aus, vor allem wegen hoher Ergebnisse auf RE-Bench. Als besonders unsicher bewertet METR die Aufgabenlängen: Eine Begrenzung auf acht Stunden reduzierte jüngere 50-Prozent-Schätzungen um 10 bis 15 Prozent. Eine verrauschungsbereinigende SIMEX-Analyse deutete bei Opus 4.6 auf Rückgänge von 25 bis 40 Prozent, ist laut Beitrag aber sehr unsicher. Die meisten untersuchten Modellierungsvarianten blieben innerhalb der breiten Konfidenzintervalle. METR sieht die Aufgabenverteilung als größere Unsicherheitsquelle und weist darauf hin, dass menschliche Bearbeitungszeit Modellschwierigkeit nur unvollkommen abbildet.

Ausführlich lesen

METR untersucht, wie stark Modellierungsentscheidungen die geschätzten Zeithorizonte von KI-Modellen beeinflussen. Ein Zeithorizont bezeichnet hier die Aufgabenlänge, bei der ein Modell laut statistischem Modell mit einer bestimmten Wahrscheinlichkeit erfolgreich ist. Grundlage sind rund 230 Aufgaben aus etwa 80 Aufgabenfamilien, deren menschliche Bearbeitungsdauer gemessen oder geschätzt wird. Modelle bearbeiten die Aufgaben mehrfach; aus den Erfolgsraten wird jeweils eine Kurve angepasst. METR betont, dass die Ergebnisse empfindlicher auf Analyseentscheidungen reagieren, weil die Testsuite zunehmend an ihre Grenzen kommt.

Der Beitrag erläutert zunächst eine korrigierte Regularisierung: Das frühere Verfahren bevorzugte zu flache Erfolgsratenkurven. Die Korrektur senkte die 50-Prozent-Zeithorizonte neuerer Modelle laut METR teils um bis zu 20 Prozent; frühere Modelle waren weniger betroffen. Für die 80-Prozent-Werte fiel der Effekt bei älteren Modellen stärker aus. Eine weitere Sorge betrifft sehr kurze Aufgaben: Das logistische Modell reagiert empfindlich auf einzelne Fehlschläge bei Aufgaben, die als sehr leicht gelten. Solche Ergebnisse können die angepasste Kurve abflachen und dadurch den 50-Prozent-Zeithorizont erhöhen sowie den 80-Prozent-Wert senken. Alternative Kurven und Schätzverfahren ergaben für Opus 4.6 Unterschiede von ungefähr dem Faktor 1,5 beim 50-Prozent- und dem Faktor 2 beim 80-Prozent-Zeithorizont. In einer familienweisen Kreuzvalidierung schnitt ein Modell mit gemeinsamer Steigung am besten ab; mehrere andere Verfahren waren ähnlich leistungsfähig.

Auch die Auswahl öffentlicher oder privater Aufgaben wurde geprüft. Für die meisten Modelle änderten sich die 50-Prozent-Werte bei Verwendung privater Aufgaben meist nur um fünf bis zehn Prozent. Opus 4.6 lag bei privaten Aufgaben jedoch rund 40 Prozent niedriger; METR führt dies vor allem auf hohe Ergebnisse bei öffentlichen RE-Bench-Aufgaben zurück und berichtet, Anthropic habe ein Training mit diesen Aufgaben verneint. Die 80-Prozent-Werte reagierten häufig stärker auf den Ausschluss öffentlicher Aufgaben.

METR hält die Unsicherheit der menschlichen Aufgabenlängen für besonders schwer einzuschätzen. Nach den eigenen Analysen liegen einzelne Baseline-Zeiten oft weit vom angenommenen „wahren“ Wert entfernt; auch Schätzungen seien verrauscht. Eine Begrenzung der Aufgabenlänge auf acht Stunden senkte die 50-Prozent-Werte neuerer Modelle um etwa 10 bis 15 Prozent. Eine SIMEX-Analyse deutet für Opus 4.6 mit dem Standardmodell auf mögliche Rückgänge von etwa 25 bis 40 Prozent hin, doch die Autorinnen und Autoren warnen vor sehr hoher Unsicherheit: Die Resultate hängen stark von angenommenem Rauschen und Extrapolation ab. Für 80-Prozent-Werte könnte Rauschen die Schätzungen eher nach unten verzerren.

Insgesamt führten die untersuchten Alternativen meist zu niedrigeren 50-Prozent- und teils höheren 80-Prozent-Werten, blieben laut METR aber im Allgemeinen innerhalb der breiten Konfidenzintervalle. Als größte Unsicherheit bewertet METR weiterhin die Zusammensetzung der Aufgabentests; außerdem sei menschliche Bearbeitungszeit nur ein unvollkommener Ersatz für Schwierigkeit aus Sicht von Modellen. Einige komplexere Ansätze wurden im Beitrag nicht umfassend untersucht.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung ist im Kern treu, aber die Aussagen zu 80-Prozent-Zeithorizonten und zur Kreuzvalidierung fehlen. Die Einordnung stützt sich nur auf den Bericht zu Zeithorizont-Modellen; zu den Cyber- und Regierungsfragen liefert er kaum Belege, deshalb liegen die Werte niedrig.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Aussagen zu den 80-Prozent-Zeithorizonten fehlen in beiden Zusammenfassungen: Die Modellwahl kann sie um bis zu 100 Prozent erhöhen, und Aufgabenlängen-Rauschen drückt sie tendenziell nach unten.
  • Das Ergebnis der Kreuzvalidierung fehlt, wonach das logistische Modell mit festem Anstieg am besten abschneidet.
  • Das Beispiel, dass Opus 4.6 ohne kurze Aufgaben von 12 auf 9 Stunden fällt, fehlt.
  • Die Rückgänge der Schätzungen nach einer Begrenzung auf acht Stunden und die Warnung, dass Rauschen-Korrekturen nach oben und unten sehr breit streuen, fehlen teilweise.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 20 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 19 %Hintergrund, keine Belege
    • Luna 72 %einzelne zitierbare Belege
    • JEV 41 %umfangreiche Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 23 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 32 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 24 %Hintergrund, keine Belege
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 26 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung kein Bezug
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 24 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →