AI and the future of work: Measuring AI-driven productivity gains for workplace tasks
Zusammenfassung
Kurz
Eine randomisierte Pilotstudie mit 500 Teilnehmenden berichtet im Durchschnitt bessere Aufgabenwerte und kürzere Bearbeitungszeiten mit KI, wobei die Effekte je nach Aufgabe stark schwanken und bei einer offenen Planungsaufgabe keine statistisch signifikanten Verbesserungen auftraten. Wegen der begrenzten Stichprobe stuft der Bericht alle Ergebnisse als vorläufig und mit erheblicher Unsicherheit behaftet ein.
Mittel
Der Bericht stellt eine Pilotstudie des britischen AI Security Institute vor, die Produktivitätseffekte von KI bei vier berufsübergreifenden Aufgaben untersucht. Die Aufgaben wurden aus der O*NET-Systematik ausgewählt und sollten typische Arbeitssituationen abbilden, ohne Fachwissen vorauszusetzen. In einem randomisierten Versuch bearbeiteten 500 Teilnehmende die Aufgaben entweder mit Zugang zu einem großen Sprachmodell oder ohne KI. Erfasst wurden Aufgabenqualität, Bearbeitungszeit und Punkte pro Minute.
Im Mittel meldet der Bericht für die KI-Gruppe 19 Prozent mehr Punkte, 25 Prozent weniger Zeit und 61 Prozent mehr Punkte pro Minute. Die Effekte variierten: Bei zwei strukturierten Aufgaben verbesserten sich einzelne oder mehrere Kennzahlen; bei einer offenen Planungsaufgabe gab es keine statistisch signifikanten Effekte. Bei der Interpretation von Informationen sank die Bearbeitungszeit, während Qualität unverändert blieb.
Die Forschenden betonen, dass die kleine Stichprobe erhebliche Unsicherheit bei allen Schätzungen lässt. Sie bezeichnen die Ergebnisse als vorläufig und planen weitere Tests mit zusätzlichen Tätigkeiten sowie agentischen KI-Systemen.
Ausführlich lesen
Der Bericht beschreibt eine Pilotstudie des britischen AI Security Institute (AISI), die untersuchen soll, ob und wie stark KI die Produktivität bei arbeitsbezogenen Aufgaben steigert. Die Autorinnen und Autoren verorten die Untersuchung in einer Situation großer Unsicherheit über die Folgen von KI für den britischen Arbeitsmarkt. Ihr Ansatz soll bestehende Forschung ergänzen: Statt ganze Berufe direkt zu bewerten, werden einzelne, berufsübergreifende Tätigkeiten aus der O*NET-Systematik in kontrollierten Experimenten geprüft.
Aus vier O*NET-Kategorien – Informationseingabe, Arbeitsergebnisse, Interaktion mit anderen und mentale Prozesse – wählte das Forschungsteam jeweils die Tätigkeit aus, die in den meisten Berufen vorkommt. Dazu entwickelte und validierte es mit Forschungspartnern Aufgaben, die berufliche Situationen nachbilden sollten, aber kein spezielles Fachwissen voraussetzten. Die zentrale Frage lautete, ob der Zugang zu einem Anfang 2025 veröffentlichten großen Sprachmodell die Leistung bei diesen Aufgaben verbessert.
An der randomisierten kontrollierten Studie nahmen 500 über Prolific angeworbene Personen teil. Sie wurden zufällig einer Gruppe mit KI-Zugang oder einer Kontrollgruppe ohne KI-Zugang zugeteilt und bearbeiteten die vier Aufgaben. Gemessen wurden die erzielte Qualität, die Bearbeitungszeit und „Punkte pro Minute“, also die Aufgabenpunktzahl geteilt durch die benötigte Zeit. Diese kombinierte Kennzahl setzt voraus, dass zusätzliche Arbeitszeit gleichmäßig zur Qualität beiträgt. Antworten wurden mit speziell kalibrierten KI-Bewertungssystemen beurteilt; bei einer Teilmenge erfolgte zusätzlich eine menschliche Bewertung. Laut Bericht stimmten Mensch und KI bei den Aufgaben 1, 2 und 4 stark, bei Aufgabe 3 etwas weniger stark überein.
Im Durchschnitt über alle Aufgaben meldet der Bericht für die KI-Gruppe 19 Prozent mehr Punkte, 25 Prozent weniger Bearbeitungszeit und 61 Prozent mehr Punkte pro Minute als für die Kontrollgruppe. Die Ergebnisse unterscheiden sich jedoch je nach Aufgabe: Bei der Überwachung von Abläufen stieg die Qualität laut Bericht signifikant um 22 Prozent, während Zeit und Punkte pro Minute nicht beeinflusst wurden. Beim Entwerfen und Spezifizieren technischer Geräte und Teile verbesserten sich Qualität um 23 Prozent und Punkte pro Minute um 86 Prozent; die Bearbeitungszeit sank um 34 Prozent. Für Planen und Priorisieren fand die Studie bei keiner der drei Kennzahlen einen statistisch signifikanten Effekt. Beim Interpretieren von Informationen für andere blieb die Qualität unverändert, während die Bearbeitungszeit um 42 Prozent sank und Punkte pro Minute um 101 Prozent stiegen.
Die Autorinnen und Autoren deuten diese Unterschiede als Hinweis auf ungleichmäßige KI-Fähigkeiten: Die Aufgaben mit strukturierter Analyse, Synthese und geschlossenen Fragestellungen profitierten eher; bei der offeneren, strategischen Planung zeigte sich kein statistisch gesicherter Zugewinn. Zugleich betonen sie die Grenzen der Untersuchung. Die Stichprobe ist begrenzt, und daher besteht laut Bericht bei sämtlichen Schätzungen erhebliche Unsicherheit. Die Ergebnisse seien vorläufige Hinweise, keine belastbaren Schätzungen der Wirkung auf den gesamten Arbeitsmarkt. Weitere Forschung müsse die Größenordnung der Effekte besser absichern. Geplant sind zusätzliche Tätigkeiten und Tests agentischer KI-Systeme mit möglichst wenig menschlicher Unterstützung. Die Forschenden wollen damit künftig auch die Automatisierbarkeit von Tätigkeiten und Berufen im Vereinigten Königreich untersuchen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurden beide Zusammenfassungen von Luna gemeinsam, die mittlere ist die ausführlichere. Die kurze Fassung ist inhaltlich korrekt; in der mittleren stimmt die Anzahl der Aufgaben mit Effekten nicht.
Im Bericht, aber nicht in der Zusammenfassung
- Die Schlussfolgerung, dass KI für viele Beschäftigte im UK Produktivitätsgewinne bringen könnte (Relevanz in den 412 SOC2020-Berufsgruppen)
- Die Erklärung der unterschiedlichen Ergebnisse: strukturierte, geschlossene Aufgaben gegenüber der offenen, strategischen Aufgabe 3
- Der Einordnungsrahmen: Teil des neuen Programms der Regierung für Zukunft der Arbeit und der Unit des DSIT
- Die Bewertung der Antworten durch KI-Autograder, die mit menschlichen Gradern abgeglichen wurden
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Angabe 'Bei zwei strukturierten Aufgaben' verbesserten sich Kennzahlen; der Bericht nennt drei Aufgaben (1, 2 und 4) mit signifikanten Effekten
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 33 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 25 %nur am Rande erwähnt
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 43 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 44 %umfangreiche Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T03 Welche Rolle spielten Modelle der geprüften Modellfamilie, wenn überhaupt, beim Entwerfen, Durchführen oder Bewerten von Prüfungen oder Sicherheitsberichten, die Regierungen vorgelegt werden, und wird diese Rolle offengelegt?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 33 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 68 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 40 %gleiches Oberthema, hilft nicht
- JEV 46 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 76 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 75 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 47 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V4-T03 Ist Intelligenz, die „eher gewachsen als entworfen“ ist, ein Grund für mehr Vorsicht oder dafür, Modelle wie ein Ökosystem zu pflegen?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 29 %Hintergrund, keine Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 34 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 44 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 64 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O2-T05 Welche öffentlichen Zusagen eines Spitzenlabors macht die juristische Person, die bei einem Bruch verklagt würde, und welche nur das Forschungsteam, und veröffentlichen die Labore das für jede Zusage?
- SF-O2-T06 Prüfer mit dauerhaftem Zugang im Labor sollen Nachprüfbarkeit, Transparenz und eine zweite Meinung bringen. Was sollten sie darüber hinaus veröffentlichen, das heute vertraulich bleibt, etwa Beinahe-Vorfälle oder Teilprüfungen noch unveröffentlichter Modelle?
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 33 %nur am Rande erwähnt
- amos 29 %nur am Rande erwähnt
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 36 %gleiches Oberthema, hilft nicht
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 22 %Hintergrund, keine Belege
- Luna 46 %einzelne zitierbare Belege
- JEV 46 %einzelne zitierbare Belege
- amos 40 %einzelne zitierbare Belege
- SubQ 31 %gleiches Oberthema, hilft nicht
- drex 45 %einzelne zitierbare Belege
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 60 %Hintergrund, keine Belege
- JEV 42 %gleiches Oberthema, hilft nicht
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E4-T01 Was hieße die Formel von KI als „gemeinsamem Gut der ganzen Menschheit“ praktisch (Zugang, Teilen des Nutzens, gestaffelte Preise, Technologietransfer), so dass jeder Staat sie tatsächlich unterschreiben und prüfen könnte?
- SF-E4-T02 Welche konkreten Mechanismen (bezahlbarer Zugang zu Modellen, Rechenleistung im öffentlichen Interesse, Technologietransfer) sollen Sicherheitsregeln begleiten, damit sie Monopole nicht vertiefen und Länder mit wenig Mitteln nicht abhängig zurücklassen?
- SF-E4-T03 Wie können gemeinsame Sicherheitsregeln verhindern, dass hohe Kosten der Einhaltung den Markt auf wenige reiche Labore verengen, und trotzdem kleine Entwickler und Open-Source-Entwickler auf dieselbe Mindestschwelle für Sicherheit verpflichten?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 49 %gleiches Oberthema, hilft nicht
- amos 30 %nur am Rande erwähnt
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen?
- SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat?
- SF-E5-T03 Wie können Menschen, die von KI betroffen sind, die Sicherheitszusagen ihrer Regierungen verbindlich mitbestimmen, bevor diese sie auf einem Gipfel festlegen? Zum Beispiel über einen Bürgerrat, ein Einspruchsrecht nach öffentlicher Anhörung oder eine unabhängige Vertretung mit festen Rechten, und nicht nur über Gespräche mit Fachleuten.
- SF-E5-T04 Wie wird jede Regierung der eigenen Bevölkerung ihre Zusagen zur KI-Sicherheit erklären, ohne dass die Erklärung als Zugeständnis an die anderen oder als Zeichen eigener Schwäche bei KI-Fähigkeiten gelesen wird?
Weitere Berichte zu diesen Fragen
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv