Metrics of Agent Ability
Zusammenfassung
Kurz
Der METR-Beitrag ordnet Kennzahlen zur Agentenfähigkeit danach, ob sie Leistung bei festem Aufwand, Effizienz bis zu einem Zielwert, Skalierung mit zusätzlichem Aufwand oder den Vergleich mit menschlicher Arbeit messen. Welche Kennzahl passt, hängt von den Leistungskurven und der Bewertung von Kosten und Nutzen ab; der Beitrag gibt keine Auswahlregeln vor und weist auf Grenzen durch Messmethoden, Modellüberlegenheit und unterschiedliche Aufwandsdefinitionen hin.
Mittel
Der METR-Beitrag bietet eine Systematik für Kennzahlen, mit denen sich Agentenleistung bei verschiedenem Aufwand messen und mit menschlicher Leistung vergleichen lässt. Aufwand kann Geld, Zeit oder Tokens bedeuten. Der Autor empfiehlt keine Kennzahl für bestimmte Einsatzfälle und vertieft weder die Schwierigkeiten beim Erheben der Leistungskurven noch alle Eigenschaften, die eine gute Kennzahl haben könnte.
Zu den agentenbezogenen Maßen zählen die Punktzahl bei festem Aufwand, die Punktzahl am praktischen Leistungsplateau, der Aufwand bis zu einem festen Zielwert, die zusätzlichen Erträge durch mehr Aufwand sowie eine um Kosten bereinigte Bewertung. Welche davon aussagekräftig ist, hängt unter anderem davon ab, ob die Leistung früh stagniert oder mit weiterem Aufwand zunimmt. Menschliche Vergleichsmaße umfassen binäre und kontinuierliche Zeithorizonte, den größten Aufwand, bei dem Agenten Menschen erreichen, sowie menschliche Aufwandseinsparung und Kostenverhältnisse bei gleicher Zielpunktzahl.
Der Beitrag betont Einschränkungen: Manche Maße sind undefiniert, wenn Agenten Menschen übertreffen, oder instabil bei ähnlich verlaufenden Leistungskurven. Messwerte hängen auch von Budget, Bewertungsregeln, Abfragemethode und erfassten Kosten ab. Bei Erfolgswahrscheinlichkeiten können Zuverlässigkeit und Abdeckung wichtig sein; bei Mensch-Agent-Zusammenarbeit sind Maße, die menschliche Überlegenheit voraussetzen, teils nicht mehr nützlich.
Ausführlich lesen
Der METR-Beitrag „Metrics of Agent Ability“ ordnet Kennzahlen ein, mit denen sich die Fähigkeiten von KI-Agenten anhand ihrer Leistung bei unterschiedlichem Aufwand beschreiben und mit menschlicher Leistung vergleichen lassen. Ausgangspunkt sind zwei Kurven: die erreichte Punktzahl eines Agenten beziehungsweise eines Menschen in Abhängigkeit vom eingesetzten Aufwand. Dieser kann etwa Geld, Zeit oder Tokens bedeuten. Bei Vergleichen mit Menschen müssen die Aufwände in derselben Einheit gemessen oder in eine gemeinsame Einheit umgerechnet werden.
Der Beitrag stellt ausdrücklich keine allgemeine Empfehlung auf, welche Kennzahl in welcher Situation am besten ist. Auch die praktischen Schwierigkeiten beim Erheben vollständiger Leistungs- und Aufwandskurven sowie weitere wünschenswerte Eigenschaften von Kennzahlen, etwa Verständlichkeit und Übertragbarkeit, werden nicht vertieft. Die Diskussion bezieht sich überwiegend auf einzelne Aufgaben; die Übertragung auf Benchmarks mit mehreren Aufgaben sei komplizierter. Als allgemeine Einschätzung hält der Autor fest: Wenn zusätzliche Ausgaben kaum noch Leistung bringen, kann eine Punktzahl bei einem vernünftigen Aufwand genügen. Bei starken Erträgen durch mehr Rechenaufwand müsse die Kennzahl dagegen die Skalierung während der Ausführung berücksichtigen. Menschliche Vergleichswerte könnten die Übertragung auf neue Aufgaben erleichtern, würden aber bei sehr leistungsfähigen Modellen teilweise an Aussagekraft verlieren.
Die agentenbezogenen Kennzahlen umfassen zunächst die Punktzahl bei festem Aufwand. Sie ist verbreitet und genügt laut Beitrag oft, wenn die Leistungskurve früh ein Plateau erreicht. Bei weiter steigender Leistung kann sie irreführen; ein hoher Aufwand kann außerdem dazu führen, dass Modelle ähnliche Spitzenwerte erreichen und schlechter unterscheidbar sind. Als Alternative kann man die Punktzahl am praktischen Plateau erfassen. Das setzt voraus, dass sich ein Plateau beziehungsweise ein ausreichend geringer weiterer Leistungszuwachs bestimmen lässt. Eine weitere Möglichkeit ist der Aufwand, der für eine vorgegebene Punktzahl nötig ist. Diese Effizienzkennzahl ist nur berechenbar, wenn das Modell den Zielwert erreicht. Sie beschreibt laut Beitrag nicht immer die Fähigkeit vollständig, weil neuere Modelle unter Umständen Leistungen bei hohen Aufwänden ermöglichen, die älteren Modellen kaum erreichbar waren. Bei anhaltender Skalierung lassen sich auch die Erträge zusätzlichen Aufwands untersuchen, etwa als log-lineare Beziehung oder als Elastizität bei einer Potenzgesetz-Skalierung. Wer Leistung und Kosten gegeneinander abwägen möchte, kann dafür eine Nutzenfunktion verwenden; das Ergebnis hängt dann von der gewählten Bewertung dieser Zielkonflikte ab.
Die menschenbezogenen Kennzahlen vergleichen Agent und Mensch über deren Aufwand oder Leistung. Beim binären Zeithorizont wird geprüft, ob ein Agent eine menschliche Referenzleistung innerhalb eines festgelegten Aufwands erreicht. Der kontinuierliche Zeithorizont ordnet der Agentenleistung den Aufwand zu, den Menschen für dieselbe Leistung benötigen; er nutzt mehr Information, verlangt aber eine bessere Erfassung der menschlichen Leistungskurve. Der „Expenditure Horizon“ betrachtet den größten gemeinsamen Aufwand, bei dem der Agent Menschen erreicht oder übertrifft. Er hat keinen endlichen Schnittpunkt, wenn der Agent auf allen Aufwandstufen überlegen ist, und kann bei ähnlichen Kurvensteigungen instabil sein. Weitere Kennzahlen erfassen die eingesparte menschliche Arbeitsleistung oder vergleichen die Kosten, mit denen Mensch und Agent einen festen Zielwert erreichen.
Der Beitrag nennt wesentliche Grenzen der Messung: Ergebnisse können davon abhängen, welches Budget und welche Bewertungsregeln Beteiligte kennen, wie Agenten abgefragt werden und ob Budgets für einzelne Aufgaben fest oder an Schwierigkeit angepasst sind. Außerdem sollten alle relevanten Kosten berücksichtigt werden. Bei Erfolgswahrscheinlichkeiten könne eine geeignete Zuverlässigkeitsskala den Nutzen hoher Genauigkeit besser abbilden; bei Enthaltung reiche die Erfolgsquote unter beantworteten Aufgaben allein nicht aus, sodass Korrektheit und Abdeckung gemeinsam betrachtet werden müssten. Mensch-Agent-Zusammenarbeit lasse sich grundsätzlich mit ähnlichen Kennzahlen bewerten, doch manche menschlichen Vergleichsmaße verlieren ihren Nutzen, wenn die Zusammenarbeit Menschen übertrifft. Als Alternativen werden Kosten-pro-Erfolg-Ansätze und Maße genannt, die Modellgenerierung, menschliche Prüfung und Nacharbeit gemeinsam berücksichtigen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen geben den Bericht im Kern treu wieder; es fehlen nur Nebenaspekte wie die Zuverlässigkeitskennzahl und die Warnung zu Aufwandsbewertungen. Die drei Sammelfragen liegen thematisch außerhalb des Berichts, der Kennzahlen zur Agentenfähigkeit behandelt und keine Governance-Fragen. Die Stufen 3 aus Luna sind daher zu hoch. Der Abschnitt für Teilfragen ist leer, daher gibt es dort nichts zu bewerten.
Im Bericht, aber nicht in der Zusammenfassung
- Die Umformung der Erfolgswahrscheinlichkeit in eine Zuverlässigkeitskennzahl (Zahl der Neunen) wird nicht erwähnt.
- Die Beobachtung, dass neuere Modelle vor allem bei hohem Aufwand Ergebnisse ermöglichen, die früher praktisch unerreichbar waren, fehlt.
- Die Warnung vor einer Bewertung nach festem Aufwand, wenn die Leistung mit mehr Aufwand weiter steigt, ist nur angedeutet.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 27 %Hintergrund, keine Belege
- Luna 48 %Hintergrund, keine Belege
- JEV 45 %Hintergrund, keine Belege
- amos 29 %Hintergrund, keine Belege
- SubQ 29 %gleiches Oberthema, hilft nicht
- drex 26 %Hintergrund, keine Belege
- d3-ultra 42 %Hintergrund, keine Belege
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 28 %Hintergrund, keine Belege
- SubQ 37 %gleiches Oberthema, hilft nicht
- drex 30 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 65 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 21 %Hintergrund, keine Belege
- Luna 47 %Hintergrund, keine Belege
- JEV 39 %Hintergrund, keine Belege
- amos 32 %Hintergrund, keine Belege
- SubQ 33 %gleiches Oberthema, hilft nicht
- drex 29 %Hintergrund, keine Belege
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 76 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 31 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 38 %Hintergrund, keine Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 26 %gleiches Oberthema, hilft nicht
- Luna 76 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 32 %Hintergrund, keine Belege
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 71 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 36 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 38 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 59 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 73 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 62 %gleiches Oberthema, hilft nicht
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 75 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv