Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr16. Dezember 2023 · Q002956

Bounty: Diverse hard tasks for LLM agents

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der inzwischen als veraltet bezeichnete METR-Beitrag sucht schwierige, realitätsnahe Aufgaben zur Bewertung autonomer LLM-Agenten und nennt Beiträge, Vergütungen sowie Anforderungen an Gestaltung und Dokumentation. Er betont zuverlässige, möglichst abgestufte Bewertung und unabhängige Qualitätssicherung, berichtet aber keine abgeschlossenen Testergebnisse.

Mittel

Der Beitrag beschreibt einen inzwischen als veraltet gekennzeichneten METR-Aufruf für Ideen, Spezifikationen und Implementierungen von Aufgaben, mit denen autonome LLM-Agenten geprüft werden sollen. Ein Update vom März 2024 verweist auf einen aktuellen Leitfaden. Die genannten Vergütungen reichen von 20 US-Dollar für eine vielversprechende Idee über 200 Dollar für eine geeignete Spezifikation bis zu einer implementierungsabhängigen Zahlung: als Beispiel nennt der Text das Dreifache der geschätzten menschlichen Arbeitskosten, gegebenenfalls mit Bonus.

Gesucht werden schwierige, möglichst realitätsnahe Aufgaben aus Bereichen wie Softwareentwicklung, Cybersicherheit und KI-Forschung. Sie sollen vielfältige Fähigkeiten und unterschiedliche Schwierigkeitsgrade erfassen, wenig anfällig für auswendig gelernte Lösungen sein und zuverlässig, möglichst abgestuft bewertet werden können. Vorgesehen ist eine Ausführung in virtuellen Maschinen mit festgelegten Ressourcen und Zugriffsrechten.

Der Beitrag verlangt für Implementierungen ausführliche Dokumentation und einen unabhängigen Qualitätssicherungslauf, der unter anderem Setup-, Bewertungs- und Verständlichkeitsprobleme finden soll. Beispiele zu Webanwendungen und lokaler Recherche zeigen jeweils Nutzen und mögliche Bewertungs- oder Fairnessprobleme. Der Text gibt Empfehlungen und Vergütungsbedingungen wieder, aber keine Ergebnisse abgeschlossener Agententests; außerdem verweist er selbst für aktuelle Bedingungen auf einen neueren Leitfaden.

Ausführlich lesen

Der Bericht ist ein inzwischen ausdrücklich als veraltet gekennzeichneter METR-Aufruf (ehemals ARC Evals), in dem Beiträge für Aufgaben zur Messung autonomer LLM-Agenten gesucht werden. Ein Update vom 14. März 2024 verweist für aktuelle Informationen auf einen separaten Leitfaden; die hier zusammengefassten Angaben beschreiben daher den Stand des vorliegenden Beitrags.

METR unterscheidet vier Arten von Beiträgen: Aufgabenideen, detaillierte Spezifikationen, vollständig umgesetzte Aufgaben und Empfehlungen erfolgreicher Umsetzer. Genannt werden dafür unter anderem 20 US-Dollar für eine vielversprechende Idee, 200 US-Dollar für eine geeignete Spezifikation und bei Implementierungen eine Grundvergütung vom Dreifachen der geschätzten menschlichen Arbeitskosten, ergänzt um einen möglichen Bonus. Im Beitrag dient eine zehnstündige Aufgabe für eine erfahrene Softwareentwicklerin oder einen erfahrenen Softwareentwickler mit 100 Dollar Stundenlohn als Beispiel: Die Grundvergütung läge bei 3.000 Dollar, mit einem beispielhaften Bonus von 50 Prozent bei 4.500 Dollar. Der tatsächliche Betrag sollte nach Annahme der Spezifikation mitgeteilt werden. Für eine erfolgreiche Empfehlung werden 20 Dollar genannt. METR stellt außerdem mögliche Anerkennung, Koautorenschaft und beschleunigte Bewerbungsverfahren in Aussicht.

Gesucht werden überwiegend schwierige, realitätsnahe Aufgaben, die ein Fachmensch mehrere Stunden, idealerweise mehr als 20 Stunden, bearbeiten würde. Die Aufgaben sollen unterschiedliche Schwierigkeitsgrade abdecken und zusammen eine möglichst kontinuierliche Messung allgemeiner Fähigkeiten ermöglichen. Als Bereiche nennt der Bericht Softwareentwicklung, Cybersicherheit, allgemeine Aufgaben, die Verbesserung von Agenten und KI-Forschung. Gewünschte Fähigkeiten reichen von Recherche und dem Bewerten nützlicher Informationen bis zum Verstehen unbekannter Systeme, beharrlichen Arbeiten mit Rückmeldungen und Korrigieren von Fehlern.

Die Aufgaben laufen in einer virtuellen Maschine. Eine Aufgabendatei legt Einrichtung, verfügbare Zugriffe, Varianten und gegebenenfalls automatische Bewertung fest; Ressourcen und Dokumentation gehören ebenfalls zum Paket. METR bevorzugt Aufgaben, deren Erfolg die tatsächlichen Fähigkeiten des Agenten abbildet: Lösungen sollten möglichst wenig aus Trainingsdaten bekannt sein, die Aufgaben keine unnötigen Spezialwerkzeuge erfordern und die Ergebnisse zuverlässig und möglichst abgestuft bewertbar sein. Zugleich sollen unterschiedliche Engpässe und praktische Alltagsprobleme vorkommen, etwa Installationsfehler, Datenbereinigung oder Debugging. Eine Aufgabe soll weder durch Mehrdeutigkeit noch durch technische Fehler unfair erschwert werden.

Als Beispiele diskutiert der Beitrag eine Webanwendung für eine ungewöhnliche Brettspielvariante und lokale Recherche anhand bereitgestellter Dokumente. Für jede Form nennt er Vorteile, aber auch Grenzen: Bei der Webanwendung kann die Prüfung vieler Sonderfälle aufwendig sein und eine grafische Oberfläche textbasierte Agenten benachteiligen. Rechercheaufgaben können zu einfach oder in der Bewertung subjektiv werden und empfindlich auf Formatierung oder Agenten-Scaffolding reagieren.

Für Implementierungen verlangt METR ein getestetes Aufgabenpaket, ausführliche Dokumentation und mindestens einen unabhängigen Qualitätssicherungslauf. Dieser soll unter anderem Mehrdeutigkeiten, fehlende Ressourcen, Abkürzungen, Bewertungsfehler und Unterschiede zwischen menschlicher und Agentenumgebung aufdecken. Der Bericht empfiehlt außerdem, beim Entwickeln und Testen Einstellungen zum Gesprächsverlauf und zur Datennutzung für Training zu deaktivieren und Aufgabenlösungen nicht öffentlich zu veröffentlichen. Als Grenze der Aussagekraft gilt: Der Beitrag ist veraltet; er beschreibt einen Aufruf und Kriterien, berichtet aber keine abgeschlossenen Evaluationsergebnisse.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Der Bericht ist laut Update vom 14.03.2024 veraltet und verweist auf einen aktuellen Leitfaden; Luna sollte dies in der Zusammenfassung betonen und das Verbot öffentlicher Veröffentlichung von Aufgaben ergänzen.

Im Bericht, aber nicht in der Zusammenfassung

  • Verbot, Aufgaben oder Lösungen öffentlich ins Web zu stellen, um Trainingsdaten-Verunreinigung zu vermeiden
  • Hinweis, ChatGPT-Verlauf auszuschalten und Copilot-Training auf eigenen Daten zu unterbinden
  • Mindestdauer: für Menschen mehr als 2 Stunden, idealerweise mehr als 20 Stunden
  • Der Beitrag gehört zu METR (vormals ARC Evals) und ist eine Ausschreibung mit Fokus auf Aufgabenqualität und Bewertbarkeit

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 22 %Hintergrund, keine Belege
    • Luna 42 %einzelne zitierbare Belege
    • JEV 30 %beantwortet teilweise oder widerspricht
    • amos 39 %einzelne zitierbare Belege
    • SubQ 26 %Hintergrund, keine Belege
    • drex 25 %einzelne zitierbare Belege
    • d3-ultra 39 %Hintergrund, keine Belege
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 4 · 26 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
  3. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  4. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %Hintergrund, keine Belege
    • Luna 45 %einzelne zitierbare Belege
    • JEV 30 %umfangreiche Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 33 %gleiches Oberthema, hilft nicht
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 42 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 33 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 65 %gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 25 %nur am Rande erwähnt
    • Luna 29 %Hintergrund, keine Belege
    • JEV 28 %nur am Rande erwähnt
    • amos 29 %nur am Rande erwähnt
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 34 %nur am Rande erwähnt
    • d3-ultra 47 %gleiches Oberthema, hilft nicht

    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %nur am Rande erwähnt
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 0 · kein Bezug
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 37 %einzelne zitierbare Belege
    • JEV 23 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 66 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 25 %Hintergrund, keine Belege
    • Luna 45 %Hintergrund, keine Belege
    • JEV 36 %beantwortet teilweise oder widerspricht
    • amos 25 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →