Impact of modeling assumptions on time horizon results
Zusammenfassung
Kurz
METR berichtet, dass unterschiedliche Modellierungsannahmen die Zeithorizont-Schätzungen teils merklich verschieben, besonders bei den jüngsten Modellen und bei Opus 4.6. Die Analysen deuten oft auf niedrigere 50-Prozent-Werte hin, doch die Effekte der verrauschten Aufgabenlängen bleiben sehr unsicher; insgesamt liegen die meisten Varianten laut METR innerhalb breiter Konfidenzintervalle. Als größte Unsicherheit nennt der Beitrag die Zusammensetzung der Aufgaben und die begrenzte Aussagekraft menschlicher Bearbeitungszeiten als Maß für Modellschwierigkeit.
Mittel
METR prüft, wie empfindlich die Zeithorizont-Schätzungen von KI-Modellen auf statistische Annahmen reagieren. Die Auswertung beruht auf rund 230 Aufgaben mit gemessenen oder geschätzten menschlichen Bearbeitungszeiten. Eine Korrektur des früheren Regularisierungsfehlers senkte laut Beitrag die 50-Prozent-Zeithorizonte neuerer Modelle teils um bis zu 20 Prozent. Weitere Kurvenmodelle beeinflussten Opus 4.6 deutlich: Die Schätzungen variierten ungefähr um den Faktor 1,5 beim 50-Prozent- und um den Faktor 2 beim 80-Prozent-Wert. Besonders kurze Aufgaben können die Kurvenanpassung verzerren, wenn Modelle dort gelegentlich scheitern.
Bei den meisten Modellen veränderte der Ausschluss öffentlicher Aufgaben die 50-Prozent-Werte nur geringfügig; Opus 4.6 fiel auf privaten Aufgaben jedoch etwa 40 Prozent niedriger aus, vor allem wegen hoher Ergebnisse auf RE-Bench. Als besonders unsicher bewertet METR die Aufgabenlängen: Eine Begrenzung auf acht Stunden reduzierte jüngere 50-Prozent-Schätzungen um 10 bis 15 Prozent. Eine verrauschungsbereinigende SIMEX-Analyse deutete bei Opus 4.6 auf Rückgänge von 25 bis 40 Prozent, ist laut Beitrag aber sehr unsicher. Die meisten untersuchten Modellierungsvarianten blieben innerhalb der breiten Konfidenzintervalle. METR sieht die Aufgabenverteilung als größere Unsicherheitsquelle und weist darauf hin, dass menschliche Bearbeitungszeit Modellschwierigkeit nur unvollkommen abbildet.
Ausführlich lesen
METR untersucht, wie stark Modellierungsentscheidungen die geschätzten Zeithorizonte von KI-Modellen beeinflussen. Ein Zeithorizont bezeichnet hier die Aufgabenlänge, bei der ein Modell laut statistischem Modell mit einer bestimmten Wahrscheinlichkeit erfolgreich ist. Grundlage sind rund 230 Aufgaben aus etwa 80 Aufgabenfamilien, deren menschliche Bearbeitungsdauer gemessen oder geschätzt wird. Modelle bearbeiten die Aufgaben mehrfach; aus den Erfolgsraten wird jeweils eine Kurve angepasst. METR betont, dass die Ergebnisse empfindlicher auf Analyseentscheidungen reagieren, weil die Testsuite zunehmend an ihre Grenzen kommt.
Der Beitrag erläutert zunächst eine korrigierte Regularisierung: Das frühere Verfahren bevorzugte zu flache Erfolgsratenkurven. Die Korrektur senkte die 50-Prozent-Zeithorizonte neuerer Modelle laut METR teils um bis zu 20 Prozent; frühere Modelle waren weniger betroffen. Für die 80-Prozent-Werte fiel der Effekt bei älteren Modellen stärker aus. Eine weitere Sorge betrifft sehr kurze Aufgaben: Das logistische Modell reagiert empfindlich auf einzelne Fehlschläge bei Aufgaben, die als sehr leicht gelten. Solche Ergebnisse können die angepasste Kurve abflachen und dadurch den 50-Prozent-Zeithorizont erhöhen sowie den 80-Prozent-Wert senken. Alternative Kurven und Schätzverfahren ergaben für Opus 4.6 Unterschiede von ungefähr dem Faktor 1,5 beim 50-Prozent- und dem Faktor 2 beim 80-Prozent-Zeithorizont. In einer familienweisen Kreuzvalidierung schnitt ein Modell mit gemeinsamer Steigung am besten ab; mehrere andere Verfahren waren ähnlich leistungsfähig.
Auch die Auswahl öffentlicher oder privater Aufgaben wurde geprüft. Für die meisten Modelle änderten sich die 50-Prozent-Werte bei Verwendung privater Aufgaben meist nur um fünf bis zehn Prozent. Opus 4.6 lag bei privaten Aufgaben jedoch rund 40 Prozent niedriger; METR führt dies vor allem auf hohe Ergebnisse bei öffentlichen RE-Bench-Aufgaben zurück und berichtet, Anthropic habe ein Training mit diesen Aufgaben verneint. Die 80-Prozent-Werte reagierten häufig stärker auf den Ausschluss öffentlicher Aufgaben.
METR hält die Unsicherheit der menschlichen Aufgabenlängen für besonders schwer einzuschätzen. Nach den eigenen Analysen liegen einzelne Baseline-Zeiten oft weit vom angenommenen „wahren“ Wert entfernt; auch Schätzungen seien verrauscht. Eine Begrenzung der Aufgabenlänge auf acht Stunden senkte die 50-Prozent-Werte neuerer Modelle um etwa 10 bis 15 Prozent. Eine SIMEX-Analyse deutet für Opus 4.6 mit dem Standardmodell auf mögliche Rückgänge von etwa 25 bis 40 Prozent hin, doch die Autorinnen und Autoren warnen vor sehr hoher Unsicherheit: Die Resultate hängen stark von angenommenem Rauschen und Extrapolation ab. Für 80-Prozent-Werte könnte Rauschen die Schätzungen eher nach unten verzerren.
Insgesamt führten die untersuchten Alternativen meist zu niedrigeren 50-Prozent- und teils höheren 80-Prozent-Werten, blieben laut METR aber im Allgemeinen innerhalb der breiten Konfidenzintervalle. Als größte Unsicherheit bewertet METR weiterhin die Zusammensetzung der Aufgabentests; außerdem sei menschliche Bearbeitungszeit nur ein unvollkommener Ersatz für Schwierigkeit aus Sicht von Modellen. Einige komplexere Ansätze wurden im Beitrag nicht umfassend untersucht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung ist im Kern treu, aber die Aussagen zu 80-Prozent-Zeithorizonten und zur Kreuzvalidierung fehlen. Die Einordnung stützt sich nur auf den Bericht zu Zeithorizont-Modellen; zu den Cyber- und Regierungsfragen liefert er kaum Belege, deshalb liegen die Werte niedrig.
Im Bericht, aber nicht in der Zusammenfassung
- Die Aussagen zu den 80-Prozent-Zeithorizonten fehlen in beiden Zusammenfassungen: Die Modellwahl kann sie um bis zu 100 Prozent erhöhen, und Aufgabenlängen-Rauschen drückt sie tendenziell nach unten.
- Das Ergebnis der Kreuzvalidierung fehlt, wonach das logistische Modell mit festem Anstieg am besten abschneidet.
- Das Beispiel, dass Opus 4.6 ohne kurze Aufgaben von 12 auf 9 Stunden fällt, fehlt.
- Die Rückgänge der Schätzungen nach einer Begrenzung auf acht Stunden und die Warnung, dass Rauschen-Korrekturen nach oben und unten sehr breit streuen, fehlen teilweise.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 23 %Hintergrund, keine Belege
- Luna 37 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 27 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe?
- SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern?
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 20 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 19 %Hintergrund, keine Belege
- Luna 72 %einzelne zitierbare Belege
- JEV 41 %umfangreiche Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 23 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 32 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 24 %Hintergrund, keine Belege
- Luna 48 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 26 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 26 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 33 %Hintergrund, keine Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 24 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv