Challenges in predicting AI automation
Zusammenfassung
Kurz
Der Bericht vergleicht drei Wege, KI-Automatisierung von Arbeit vorherzusagen, und kommt zu dem Ergebnis, dass ihre Bewertungen oft wenig übereinstimmen. Erste Studien und Fallbeispiele liefern Hinweise auf tatsächliche Veränderungen, doch begrenzte Daten, mögliche Einflüsse anderer Technologien und veraltete oder unklare Messungen verhindern bislang ein verlässliches Urteil darüber, welche Prognosen am genauesten sind.
Mittel
Der Bericht von David Owen und Tamay Besiroglu prüft, wie Studien die Automatisierbarkeit beruflicher Tätigkeiten durch KI einschätzen und wie gut sich diese Einschätzungen empirisch stützen lassen. Er unterscheidet drei Ansätze: die Bewertung von Aufgabenmerkmalen, den Abgleich von Aufgabenbeschreibungen mit Patenten und Befragungen zu Automatisierungsanteilen oder Zeitpunkten. Nur Befragungen liefern ausdrücklich Zeitprognosen; die übrigen Methoden messen meist relative Exposition.
Die Ergebnisse verschiedener Verfahren stimmen laut Bericht nur wenig überein. Viele KI-Maße bewerten auch höher entlohnte Management- und Fachberufe als exponiert. Eine klare Aussage, welches Maß genauer ist, erlauben die Vergleiche mangels ausreichender Validierungsdaten nicht. Studien zu Stellenanzeigen und konkrete Fallstudien liefern erste Hinweise auf KI-bedingte Veränderungen, etwa Produktivitätsgewinne im Kundendienst und bei Programmieraufgaben. Die Befunde sind jedoch begrenzt: Arbeitsmarktdaten können durch andere Technologien beeinflusst sein, und Einzelfälle lassen sich nicht ohne Weiteres verallgemeinern.
Als offene Probleme nennt der Bericht den Fokus auf technische Möglichkeit statt realem Einsatz, unklare Automatisierungsdefinitionen, fehlende Zeitangaben und teils veraltete KI-Einschätzungen. Kein Verfahren erfüllt alle gewünschten Kriterien; die bisherige Evidenz reicht nicht für ein abschließendes Genauigkeitsurteil.
Ausführlich lesen
Der Bericht von David Owen und Tamay Besiroglu untersucht, wie Forschende vorherzusagen versuchen, welche beruflichen Tätigkeiten durch KI automatisiert werden könnten und wie belastbar diese Vorhersagen sind. Die Autoren betonen den wirtschaftlichen und politischen Nutzen solcher Prognosen: Sie könnten Hinweise auf Investitionen und KI-Entwicklung geben und dabei helfen, Folgen für Beschäftigte und mögliche Übergänge einzuschätzen. Der Bericht ist eine Literaturübersicht, keine eigene umfassende Messung der Automatisierung.
Als Bezugsrahmen dient die Analyse einzelner Tätigkeiten statt ganzer Berufe. Aufgaben innerhalb eines Berufs können sich verändern, automatisiert oder neu geschaffen werden; ein Beruf muss deshalb nicht vollständig verschwinden, wenn einzelne Aufgaben automatisiert werden. Der Bericht unterscheidet vollständige Automatisierung, teilweise Produktivitätssteigerung und eine Verringerung der erforderlichen Fähigkeiten. Viele Messverfahren trennen diese Fälle jedoch nicht klar. Auch Kosten, Anreize, Regulierung und die Umgestaltung von Arbeitsabläufen beeinflussen, ob technische Möglichkeiten tatsächlich eingesetzt werden.
Die Literatur wird in drei Methodengruppen geordnet. Bei der Aufgabenmerkmalsanalyse werden Tätigkeiten anhand von Merkmalen wie Fähigkeiten oder Anforderungen bewertet, teils auf Grundlage von Einschätzungen zu KI-Fähigkeiten. Beim Aufgaben-Patent-Abgleich werden Beschreibungen von Tätigkeiten mit Patenten verglichen. Expertenbefragungen fragen direkt nach dem Anteil oder dem erwarteten Zeitpunkt automatisierbarer Tätigkeiten. Nur die Befragungen liefern ausdrücklich zeitbezogene Prognosen; die anderen Verfahren messen meist relative Automatisierbarkeit. Als Beispiele nennt der Bericht unter anderem Frey und Osborne, Duckworth et al., Felten et al., Brynjolfsson et al., Webb, Eloundou et al. sowie Stein-Perlman et al.
Die Methoden kommen zu deutlich unterschiedlichen Ergebnissen. Viele KI-bezogene Messungen stufen auch höher entlohnte Berufe wie Management und professionelle Tätigkeiten als relativ exponiert ein. Die paarweisen Vergleiche zeigen laut Bericht nur geringe Übereinstimmung zwischen den KI-Maßen; selbst die stärkste genannte Korrelation, zwischen Felten und Brynjolfsson, erklärt lediglich acht Prozent der Varianz des jeweils anderen Maßes. Ohne ausreichende Validierungsdaten lässt sich daraus nicht ableiten, welches Verfahren genauer ist; möglicherweise erfassen sie unterschiedliche Aspekte der KI-Exposition.
Zur empirischen Einordnung fasst der Bericht Studien zu Einstellungen und Arbeitsmarktdaten sowie Fallstudien zusammen. Eine Untersuchung von Stellenanzeigen fand bei stärker exponierten Unternehmen mehr Ausschreibungen für KI-Berufe und weniger für exponierte Tätigkeiten; das Ergebnis zeigte sich bei drei Automatisierungsmaßen, allerdings weniger robust bei einem davon. Die Autoren weisen darauf hin, dass solche Befunde durch andere Technologien beeinflusst sein können. Fallstudien berichten etwa Produktivitätszuwächse im Kundendienst, bei Programmierhilfen und bei bestimmten Beratungsaufgaben. Andere Ergebnisse zeigen mögliche Nachfrageverluste bei Übersetzungsleistungen; bei anspruchsvollen Beratungsaufgaben konnte GPT-4 die korrekten Antworten zugleich verschlechtern. Diese Einzelstudien sind auf konkrete Anwendungen begrenzt und lassen sich nicht ohne Weiteres auf ganze Berufe übertragen.
Als zentrale Schwächen bestehender Prognosen nennt der Bericht den häufigen Fokus auf technische Möglichkeit statt tatsächlichem Einsatz, unklare Definitionen des Automatisierungsgrads, fehlende Zeitangaben sowie teils veraltete Einschätzungen angesichts rascher KI-Fortschritte. Die Autoren sehen Fortschritte bei feineren Aufgabenbeschreibungen und der Berücksichtigung teilweiser Automatisierung und praktischer Einsatzbedingungen. Ein Verfahren, das alle gewünschten Kriterien erfüllt, gibt es ihrer Einschätzung nach jedoch noch nicht; die frühe empirische Evidenz reicht nicht aus, um die Genauigkeit der unterschiedlichen Vorhersagen abschließend zu beurteilen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen sind im Kern treu. Die Zuschreibung der Autorschaft an Besiroglu ist nicht belegt, und einige zentrale Befunde wie die Dell'Acqua-Grenzen fehlen. Die Einordnung der Sammelfragen sollte nur niedrige Stufen erhalten, da der Bericht diese Fragen kaum berührt. Luna hatte Stufe 3 mit Anteilen angegeben, was nicht zum Berichtsinhalt passt.
Im Bericht, aber nicht in der Zusammenfassung
- Die Fallstudie von Dell'Acqua et al. zeigt auch Grenzen: Bei Geschäftsproblemen sank die Quote richtiger Antworten um 19 %.
- Die drei Automatisierungsarten (volle Automatisierung, teilweise Automatisierung, Dequalifizierung) werden als zentraler Rahmen nicht erwähnt.
- Stein-Perlman et al.: Median-Prognosen von etwa 10 Jahren für Lkw-Fahrer und Verkäufer sowie etwa 80 Jahre für die zuletzt automatisierbaren Berufe fehlen.
- Eloundou et al. passt besonders gut zu den Fallstudien, Felten (2021) und Webb (2019) stimmen ebenfalls mit ihnen überein; dies fehlt.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Der Bericht von David Owen und Tamay Besiroglu: Als Autor nennt der Bericht nur David Owen, Besiroglu erscheint nur im Autorenabschnitt und als Mitwirkender.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 88 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 25 %Hintergrund, keine Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 19 %beantwortet teilweise oder widerspricht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %nur am Rande erwähnt
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 82 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 68 %Hintergrund, keine Belege
- JEV 32 %nur am Rande erwähnt
- amos 29 %nur am Rande erwähnt
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv