Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch13. Februar 2026 · Q005574

What do “economic value” benchmarks tell us?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht vergleicht drei Benchmarks für digitale Wirtschaftsaufgaben: RLI, APEX-Agents und GDPval. Die Autoren halten Fortschritte für einen möglichen Hinweis auf KI-Nutzen, aber nicht für einen Beleg, dass ganze Berufe automatisiert werden können. Aufgabenwahl, Bewertungsverfahren und Agenten-Umgebungen begrenzen die Aussagekraft; selbst hohe Werte könnten vor allem einzelne Arbeitsschritte beschleunigen und den Anteil menschlicher Planung und Kontrolle erhöhen.

Mittel

Der Bericht vergleicht RLI, APEX-Agents und GDPval als Tests für digitale Aufgaben mit wirtschaftlichem Nutzen. Die Autoren erwarten, dass bessere Benchmark-Ergebnisse mit praktischem Nutzen zusammenhängen können, betonen aber, dass die Aufgaben isoliert und klar umrissen sind. Sie belegen daher keine Automatisierung ganzer Berufe.

RLI nutzt reale, vor allem multimediale Freiberuflerprojekte und dauert für Menschen im Schnitt 29 Stunden. APEX-Agents prüft von Fachleuten entworfene Aufgaben aus drei hoch bezahlten Berufsfeldern, im Mittel zwei Stunden lang, in unübersichtlichen Datei- und Anwendungsumgebungen. GDPval deckt 44 Berufe ab; die Aufgaben dauern durchschnittlich sieben Stunden und sind laut Bericht am nächsten an einer Sättigung. Die Spitzenwerte im Februar 2026 lagen bei 4, 30 und 74 Prozent.

Die Auswertungen, Webzugriffe und Agenten-Umgebungen unterscheiden sich. Veraltete oder nicht mehr erreichbare Webquellen sowie Einschränkungen der eingesetzten Werkzeuge können Ergebnisse beeinflussen. Die Autoren sehen die Tests als nützliche, aber schmale Ausschnitte. Selbst hohe Werte dürften eher einzelne Arbeitsschritte beschleunigen und menschliche Planung, Delegation und Kontrolle verändern, statt ganze Berufe zu ersetzen.

Ausführlich lesen

Der Bericht vergleicht drei Benchmarks, die prüfen sollen, ob KI-Systeme digitale Aufgaben mit wirtschaftlichem Nutzen erledigen können: den Remote Labor Index (RLI), APEX-Agents und GDPval. Die Autoren halten Fortschritte bei diesen Tests für einen möglichen Hinweis auf praktischen Nutzen. Sie betonen jedoch, dass die Aufgaben klar umrissen und weitgehend eigenständig sind. Gute Ergebnisse würden daher nicht belegen, dass ganze Berufe automatisiert werden können. Eher könnten sie die Arbeit verändern: Menschen würden Aufgaben häufiger an KI delegieren und deren Ergebnisse prüfen.

Die Benchmarks unterscheiden sich bei Aufgaben, Aufwand und Realitätsnähe. RLI basiert auf früheren freiberuflichen Projekten, vor allem mit visuellen oder multimedialen Ergebnissen. Die Aufgaben dauern Menschen laut Bericht im Durchschnitt 29 Stunden; die öffentliche Auswahl umfasst allerdings nur zehn von insgesamt 240 Aufgaben. APEX-Agents umfasst 480 von Fachleuten entworfene Aufgaben aus Investmentbanking, Beratung und Unternehmensrecht. Sie dauern durchschnittlich etwa zwei Stunden und finden in Arbeitsumgebungen mit vielen teils irrelevanten Dateien und Anwendungen statt. GDPval deckt 44 Berufe ab, überwiegend mit Recherche- und Schreibaufgaben. Die 1.320 Aufgaben dauern Fachleuten im Schnitt etwa sieben Stunden; 220 sind öffentlich zugänglich. Die Aufgaben wurden von Expertenteams entwickelt.

Die Autoren sehen bei RLI wegen realer Projektvorlagen einen Vorteil bei der Aufgabennähe. Bei APEX-Agents könne die unübersichtliche Arbeitsumgebung die Realität besser abbilden, während die Aufgaben selbst konstruiert und gezielt erschwert wurden. Für GDPval sprechen die große berufliche Breite und typische Office-Ergebnisse; die Selbstständigkeit der Aufgaben und das Fehlen einer unordentlichen Arbeitsumgebung begrenzen laut Bericht jedoch die Realitätsnähe. Auch die Vergütung der Ersteller von APEX-Agents und GDPval sei unbekannt; dadurch könne unklar bleiben, welche Nuancen bei der Aufgabenerstellung fehlen.

Die Auswertung ist ebenfalls verschieden. RLI und GDPval lassen Fachleute KI-Ergebnisse mit menschlichen Referenzarbeiten vergleichen; bei GDPval gibt es neben Siegen auch Gleichstände. APEX-Agents prüft Ergebnisse anhand von Rubriken, die ein Sprachmodell bewertet. Die Autoren halten diese Methode bei den relativ objektiven Kriterien für plausibel, merken aber an, dass die Vergleichsverfahren nur begrenzt beschrieben sind. Bei GDPval kann Webzugriff zudem problematisch sein: Manche Quellen könnten verschwinden, und etwa fünf Prozent der Aufgaben verlangten eine rückblickend überholte Perspektive. Der Bericht nennt zwei derzeit betroffene öffentliche Beispiele.

Als Spitzenwerte im Februar 2026 nennt der Text 4 Prozent für RLI, 30 Prozent für APEX-Agents und 74 Prozent für GDPval. GDPval sei demnach am ehesten nahe an einer Sättigung; RLI dürfte wegen längerer, multimodaler Aufgaben länger davon entfernt sein. Die Autoren warnen zugleich, dass die verwendeten Agenten-Umgebungen Fähigkeiten möglicherweise nicht vollständig zeigen. Einschränkungen bei Software, Zeitlimits, Werkzeugen und Bedienweisen könnten Ergebnisse drücken. Sie halten die Benchmarks für nützliche, aber enge Ausschnitte wirtschaftlicher Arbeit. Selbst wenn sie ausgeschöpft würden, erwarteten sie eher eine Beschleunigung einzelner Arbeitsschritte und mehr Planung, Delegation und Kontrolle durch Menschen als den Ersatz ganzer Berufe. Für weitergehende Aussagen seien Tests vollständiger Arbeitsabläufe in realistischen, unübersichtlichen Umgebungen nötig.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassungen sind sachlich korrekt und erfinden nichts. Die Lücken betreffen vor allem die Hinweise auf mögliche Unterschätzung der Modelle durch die Scaffolds und auf veraltete Webquellen. Die Einordnung der Sammelfragen weicht bei SF-P3 (4 statt 2), SF-E5 (3 statt 2) und SF-T1 (3 statt 1) deutlich ab, weil der Bericht die Fragen nur am Rande oder gar nicht beantwortet. Die Teilfragen sind leer, daher gibt es dort nichts zu bewerten.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Chemie der Scaffolds: Die Autoren vermuten, dass die Agenten-Gerüste die Modelle unterschätzen (Under-Elicitation), etwa bei RLI mit Opus 4.5 nach Verbesserungen oder bei APEX-Agents mit 79 Werkzeugen.
  • Die Aufgaben von GDPval, die auf eine vergangene Perspektive setzen (rund 5 %), und die Einschränkung, dass Webquellen veralten.
  • Die Aussage, dass die Namen der Benchmarks mehr versprechen, als sie messen ("remote labor", "GDP"), und der Vergleich mit SWE-bench Verified.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 21 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 23 %gleiches Oberthema, hilft nicht
    • Luna 35 %einzelne zitierbare Belege
    • JEV 32 %umfangreiche Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 63 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 68 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 26 %Hintergrund, keine Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 52 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 69 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 60 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 67 %Hintergrund, keine Belege
    • JEV 29 %Hintergrund, keine Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →