Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
caisohne Datum · Q001278

A Significant Increase in Digital Labor Automation

safe.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht meldet, dass die höchste im Remote Labor Index gemessene Automatisierungsrate laut Autoren von 2,5 auf 15,8 Prozent gestiegen ist; die meisten Aufgaben erreichen KI-Agenten jedoch weiterhin nicht auf professionellem Niveau. Ein KI-Prüfer überschätzte die jüngsten Modelle deutlich, und menschliche Beurteilung bleibt laut Bericht nötig; zudem ließ sich aus der menschlichen Bearbeitungszeit kein verlässlicher allgemeiner KI-Zeithorizont ableiten.

Mittel

Der Bericht beschreibt neue Ergebnisse des Remote Labor Index (RLI), der misst, bei welchem Anteil realer Freiberufleraufträge KI-Agenten mindestens die Qualität professioneller Referenzarbeiten erreichen. Laut den Autoren stieg der Spitzenwert seit Veröffentlichung des Benchmarks von 2,5 auf 15,8 Prozent: Fable 5 kommt auf 15,8 Prozent, Opus 4.8 auf 8,3 und GPT‑5.5 auf 6,3 Prozent. Die Modelle bleiben demnach bei den meisten Aufgaben unter professionellem Niveau. Beispiele zeigen Fortschritte, aber auch Mängel; eine gute GPT‑5.5-Badvisualisierung stammte etwa aus Bildgenerierung, während das eigentliche 3D-Modell fehlerhaft war.

Ein automatischer KI-Prüfer überschätzte die neuen Modelle deutlich: GPT‑5.5 bewertete er mit 17,9 statt menschlich gemessenen 6,25 Prozent, Opus 4.8 mit 18,8 statt 8,33 Prozent. Zwar ordnete er die Modelle relativ gut ein, laut Bericht ersetzt er menschliche Bewertungen des absoluten Leistungsstands aber nicht. Die Tests verwendeten Computersteuerung, Fachprogramme, bis zu 24 Stunden pro Aufgabe und begrenzte Geldbudgets; die Autoren planen weitere Untersuchungen zur Rolle der Kosten. Auch ein aus menschlicher Arbeitszeit abgeleiteter KI-Zeithorizont passe auf die vielfältigen RLI-Aufgaben schlecht. Die Ergebnisse gelten für diesen Benchmark und belegen keine allgemeine Automatisierungsprognose für alle Berufe.

Ausführlich lesen

Der Bericht stellt neue Ergebnisse des Remote Labor Index (RLI) vor, einem Benchmark für die Frage, wie oft KI-Agenten reale, bezahlte Freiberufleraufträge in Bereichen wie 3D und CAD, Architektur, Design, Video, Audio und Datenanalyse in einer von Kunden akzeptablen Qualität erledigen. Menschliche Prüfer vergleichen die Ergebnisse der Agenten mit professionell erstellten Referenzarbeiten. Als Automatisierungsrate gilt der Anteil der Aufgaben, bei denen die KI mindestens gleich gut bewertet wird.

Laut Bericht steigt der bisherige Höchstwert von 2,5 Prozent bei Veröffentlichung des Benchmarks auf 15,8 Prozent mit Fable 5. Opus 4.8 erreicht 8,3 Prozent und GPT‑5.5 6,3 Prozent. Damit liegen alle drei Modelle über den zuvor getesteten Systemen; der vorherige Spitzenwert lag bei 4,17 Prozent. Die Autoren werten dies als raschen Fortschritt, betonen aber, dass die Modelle bei den meisten Aufträgen noch keine professionelle Qualität erreichen. Die gezeigten Beispiele illustrieren sowohl Verbesserungen als auch Schwächen: Fable 5 liefert laut Bericht bessere Ring- und Grundrissarbeiten als frühere KI-Systeme, doch ein Ringmodell sei weiterhin unprofessionell. Bei GPT‑5.5 sei eine überzeugend wirkende Badvisualisierung durch ein Bildgenerierungsmodell erstellt worden; das tatsächlich abgegebene 3D-Modell sei daneben zu sehen und mangelhaft.

Ein Schwerpunkt ist die Bewertung durch automatische KI-Prüfer. Die Autoren kalibrierten einen agentischen Prüfer anhand älterer Modelle und wandten dieselbe Schwelle anschließend auf GPT‑5.5 und Opus 4.8 an. Der Prüfer schätzte deren Erfolgsraten deutlich zu hoch ein: für GPT‑5.5 17,9 statt menschlich bewerteter 6,25 Prozent, für Opus 4.8 18,8 statt 8,33 Prozent. Zugleich ordnete er die Modelle im Großen und Ganzen richtig ein (Spearman-Korrelation 0,90). Der Bericht folgert daher, dass automatisierte Bewertungen relative Fortschritte anzeigen können, menschliche Urteile über das absolute Leistungsniveau aber nicht ersetzen. Als Erklärung nennen die Autoren, dass eine faire Prüfung das Öffnen und kompetente Bedienen professioneller Programme erfordert – Fähigkeiten, mit denen KI-Agenten selbst noch Schwierigkeiten haben.

Für die Messungen nutzten die Autoren laut eigener Darstellung etablierte Agentenumgebungen (Claude Code beziehungsweise Codex CLI), ergänzt um Computersteuerung und eine Linux-Desktop-VM mit mehr als 30 Fachprogrammen. Pro Aufgabe standen bis zu 24 Stunden, bei Bedarf eine NVIDIA-A100-GPU und üblicherweise ein Budget von 50 US-Dollar zur Verfügung; für Fable 5 waren es 150 Dollar. Ein unabhängiger Kritik-Agent sollte die Ergebnisse prüfen und Überarbeitungen anstoßen. Die Autoren wollen die Wirkung höherer Kostenbudgets noch genauer untersuchen.

Der Bericht prüft außerdem, ob sich aus der Bearbeitungszeit menschlicher Fachkräfte ein verlässlicher KI-Zeithorizont ableiten lässt. Für die breite Aufgabenmischung des RLI finden die Autoren keinen passenden Zusammenhang: Die Erfolgsrate sinke nicht systematisch bei Aufgaben, die Menschen länger beschäftigen. Deshalb soll vorerst die Automatisierungsrate die Hauptkennzahl bleiben. Die Aussagen beruhen auf diesem Benchmark und dessen Aufgaben, Bewertungsverfahren und Ressourcenlimits; eine allgemeine Vorhersage zur Automatisierung aller Berufe wird damit nicht belegt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Bewertung bezieht sich auf Lunas beide Zusammenfassungen zusammen; die Einordnung stützt sich nur auf den Bericht und nicht auf Lunas Begründungen.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Spitzenwert hat sich in unter acht Monaten mehr als vervierfacht (vorher 4,17 Prozent, Opus 4.6 mit Claude Cowork).
  • Der Prüfer wurde auf früheren Modellen kalibriert; seine Überschätzung trat gerade bei den neuesten, unbekannten Modellen auf.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, die Ergebnisse belegten keine allgemeine Automatisierungsprognose für alle Berufe, steht so nicht im Bericht. Die Autoren sehen den Trend vielmehr als direkten Beleg dafür, wie schnell die Automatisierung remoter Arbeit voranschreitet.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %umfangreiche Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 22 %einzelne zitierbare Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 29 %nur am Rande erwähnt
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-P2-T01 Wer wählt die Prüfer aus, wer bezahlt sie, wer darf sie entlassen, und wird dieser Vertrag vor dem ersten Befund veröffentlicht? Welchen Mindestvertrag, der ihre Unabhängigkeit wahrt, könnten Labore jetzt unterschreiben, ohne auf ein Gesetz zu warten, einschließlich der Frage, wie Berichte veröffentlicht werden? Und wie bleiben die Prüfer unabhängig, wenn Geld oder Infrastruktur vom geprüften Labor kommen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 73 %umfangreiche Belege
    • JEV 47 %beantwortet teilweise oder widerspricht
    • amos 26 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 24 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 54 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 31 %gleiches Oberthema, hilft nicht
    • Luna 46 %Hintergrund, keine Belege
    • JEV 38 %gleiches Oberthema, hilft nicht
    • amos 28 %nur am Rande erwähnt
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 32 %einzelne zitierbare Belege
    • JEV 43 %umfangreiche Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 25 %gleiches Oberthema, hilft nicht
    • Luna 45 %einzelne zitierbare Belege
    • JEV 40 %umfangreiche Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 28 %gleiches Oberthema, hilft nicht
    • Luna 40 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 53 %einzelne zitierbare Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 63 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

Beteiligung und Gemeinwohl
  1. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %Hintergrund, keine Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 70 %Hintergrund, keine Belege
    • JEV 28 %gleiches Oberthema, hilft nicht
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 34 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →