Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr30. Oktober 2024 · Q002753

Details about METR's preliminary evaluation of Claude 3.5 Sonnet

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR zufolge erreichte die ursprüngliche Claude-3.5-Sonnet-Version bei allgemeinen Autonomieaufgaben ungefähr das Niveau menschlicher Vergleichspersonen nach 35 Minuten und machte bei drei von sieben AI-R&D-Aufgaben nennenswerte Fortschritte. Die Ergebnisse sind vorläufig: Menschliche Vergleichsdaten waren begrenzt, das Agenten-Setup wurde nur wenig optimiert, und die Aufgaben bilden reale Arbeit möglicherweise nicht gut ab.

Mittel

METR bewertete die ursprüngliche Claude-3.5-Sonnet-Version vom Juni 2024 mit einem einfachen Agenten-Scaffold. Auf 77 Aufgaben zur allgemeinen Autonomie erreichte der Agent nach METRs gewichteter Auswertung ungefähr das Leistungsniveau menschlicher Vergleichspersonen nach rund 35 Minuten. Bei sieben anspruchsvollen AI-R&D-Aufgaben machte er in drei Fällen nennenswerte Fortschritte; nach zwei Stunden lag seine Durchschnittsleistung etwa auf dem Niveau von ML-Fachleuten mit gleicher Bearbeitungszeit, aber klar unter deren Leistung nach acht Stunden. Die Agenten konnten etwa Hypothesen mit Code prüfen und ihre Strategie wechseln, scheiterten jedoch auch an ungeprüften Antworten, Fehlinterpretationen, Codefehlern und Wiederholungen. In zwölf manuell unterstützten, als leicht behebbar eingestuften Fehlversuchen gelangen sieben Abschlüsse. METR schätzt daraus mögliche Verbesserungen, betont aber die Vorläufigkeit. Grenzen sind unter anderem wenige oder geschätzte menschliche Vergleichszeiten, geringe Anpassung des Scaffolds, fehlendes Fine-Tuning und möglicherweise wenig realitätsnahe Aufgaben. Die AI-R&D-Fehler wurden zudem nicht systematisch klassifiziert.

Ausführlich lesen

METR berichtet über eine vorläufige Bewertung der ursprünglichen Claude-3.5-Sonnet-Version vom 20. Juni 2024 (API-Name `claude-3-5-sonnet-20240620`), nicht über die im Oktober veröffentlichte Version. Untersucht wurde, wie ein mit einfachen Werkzeugen ausgestatteter Agent bei Aufgaben zur allgemeinen Autonomie und zu KI-Forschung und -Entwicklung (AI R&D) abschneidet.

Für die allgemeine Autonomie prüfte METR den Agenten an 77 Aufgaben aus 30 Aufgabenfamilien. Die Aufgaben wurden meist als bestanden oder nicht bestanden gewertet. Der Agent lief zehnmal pro Aufgabe; für den Vergleich gewichtete METR die Aufgaben nach Aufgabenfamilie und menschlichem Zeitaufwand. Nach dieser Auswertung entsprach seine Leistung ungefähr dem, was menschliche Vergleichspersonen in rund 35 Minuten erreichten. Bei erfolgreichen Aufgaben konnte der Agent laut Bericht teils deutlich weniger Zeit beziehungsweise Kosten benötigen als Menschen. Als Beispiel nennt METR die Fehlerbehebung in einer ORM-Bibliothek: Der Agent verbrauchte dafür etwa 382.000 Tokens, laut Bericht für weniger als zwei Dollar, während die menschliche Vergleichszeit zwei Stunden überschritt.

Für AI R&D wurden sieben anspruchsvolle ML-Aufgaben betrachtet, darunter Kernel-Optimierung, Modelltraining und das Erstellen von Programmieraufgaben-Scaffolding. Der Agent erhielt je Versuch höchstens zwei Stunden und wurde fünfmal pro Aufgabe ausgeführt. Auf drei Aufgaben erzielte er nennenswerte Fortschritte; bei den übrigen vier übertraf keiner der Versuche die bereitgestellte Ausgangslösung. Im Mittel lag die Leistung nach zwei Stunden laut METR etwa auf dem Niveau professioneller ML-Fachleute mit demselben Zeitbudget. Einzelne Agentenlösungen übertrafen schwächere menschliche Lösungen. Gegenüber den Fachleuten nach acht Stunden blieb die Agentenleistung jedoch deutlich zurück. METR beobachtete außerdem, dass die Agenten oft rasch Fortschritte machten, ihre Leistung aber deutlich vor Ablauf der zwei Stunden stagnierte.

Qualitativ sah METR Fähigkeiten wie das Prüfen von Hypothesen per Code und den Wechsel zu einer anderen Vorgehensweise, wenn ein Ansatz scheiterte. Zugleich reichten Agenten Antworten mitunter ungeprüft ein, deuteten Beobachtungen falsch, übersahen subtile Codefehler oder wiederholten erfolglose Schritte. In einer Stichprobe von 95 fehlgeschlagenen Autonomie-Läufen ordnete METR 60 zentrale Fehler tatsächlichen Fähigkeitsgrenzen zu, 30 hielt es mit geringer zusätzlicher Anleitung für relativ leicht behebbar und fünf für durch aufgabenspezifische Anpassungen des Scaffolds behebbar. Bei einem manuellen Eingriff in zwölf zuvor als leicht behebbar eingestufte Läufe gelang der Abschluss in sieben Fällen. Daraus schätzt METR, dass systematische Korrekturen die ungewichtete Fehlerrate um etwa 18 Prozentpunkte senken könnten; das ist eine Hochrechnung aus einer begrenzten Stichprobe.

Die Aussagekraft ist laut Bericht eingeschränkt: Die Zahl menschlicher Vergleichsversuche war teils klein, 22 der 77 Autonomie-Aufgaben hatten statt menschlicher Messungen nur Zeitschätzungen, und die menschliche Bearbeitungszeit variierte stark. Außerdem nutzte METR nur ein einfaches, kaum angepasstes Agenten-Scaffold und kein Fine-Tuning. Die Aufgaben waren auf automatische Bewertung ausgelegt und daher möglicherweise nicht repräsentativ für reale Arbeit; besonders langwierige Autonomie-Aufgaben waren selten. Für AI R&D nahm METR keine systematische Fehlerklassifizierung vor. Der Bericht versteht die Resultate daher als vorläufig und nennt bessere menschliche Zeitdaten, stärkere Erprobung der Anleitungen und realitätsnähere Aufgaben als Ansatzpunkte für weitere Arbeit.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen. Die mittlere wurde geprüft; die kurze ist ebenfalls treu, aber deutlich unvollständiger. Die Einordnungsstufen wurden unabhängig vom Vorschlag Lunas vergeben. Bei SF-P3 und SF-O2 liegen Lunas Stufen über dem Befund des Berichts.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Agent schloss rund 40 % der 77 allgemeinen Aufgaben ab.
  • Von 95 Fehlschlägen waren laut Bericht etwa 63 % echte Fähigkeitsgrenzen und 32 % mit wenig Elicitation behebbar.
  • Bei AI R&D erreichte der Agent schnell nennenswerte Verbesserungen, stagnierte aber früh; laut Bericht wären die Ergebnisse bei acht Stunden voraussichtlich ähnlich.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 48 %einzelne zitierbare Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 33 %einzelne zitierbare Belege
    • SubQ 26 %gleiches Oberthema, hilft nicht
    • drex 28 %einzelne zitierbare Belege
    • d3-ultra 42 %Hintergrund, keine Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 5 · umfangreiche Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 34 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 28 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 25 %Hintergrund, keine Belege
    • Luna 40 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 58 %umfangreiche Belege
    • JEV 58 %umfangreiche Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 26 %gleiches Oberthema, hilft nicht
    • drex 33 %einzelne zitierbare Belege
    • d3-ultra 41 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %Hintergrund, keine Belege
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 40 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 19 %Hintergrund, keine Belege
    • Luna 54 %einzelne zitierbare Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 37 %einzelne zitierbare Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 34 %einzelne zitierbare Belege
    • d3-ultra 45 %einzelne zitierbare Belege
    • Haiku-Prüfung umfangreiche Belege

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %einzelne zitierbare Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 23 %Hintergrund, keine Belege
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 22 %Hintergrund, keine Belege
    • Luna 60 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 33 %Hintergrund, keine Belege
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht

  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 54 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 22 %Hintergrund, keine Belege
    • Luna 50 %Hintergrund, keine Belege
    • JEV 46 %umfangreiche Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 39 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 24 %Hintergrund, keine Belege
    • Luna 53 %Hintergrund, keine Belege
    • JEV 37 %beantwortet teilweise oder widerspricht
    • amos 34 %einzelne zitierbare Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 27 %einzelne zitierbare Belege
    • d3-ultra 34 %Hintergrund, keine Belege
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 58 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung umfangreiche Belege
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →