Implementing Responsible Data Enrichment Practices at DeepMind
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorliegende Quelltext ist nur ein Auszug aus einer PAI-Fallstudie: Er beschreibt, wie PAI und DeepMind Leitlinien, Prüfverfahren und praktische Hilfsmittel für eine verantwortungsvollere Beschaffung menschlicher Datenanreicherungs-Arbeit entwickelten und nach Erprobung organisationsweit einführten. Laut Auszug empfanden DeepMinds Teams die Abläufe als effizient und hilfreicher für die Berücksichtigung der Arbeitenden; die Materialien müssen an individuelle Anwendungsfälle angepasst werden, und quantitative Wirkungsdaten werden nicht genannt.
Mittel
Der vorliegende Text ist nur ein Auszug aus der Executive Summary einer PAI-Fallstudie zur Umsetzung verantwortungsvoller Beschaffung von Datenanreicherungs-Arbeit bei DeepMind. Datenanreicherung umfasst menschliche Aufgaben wie Vorbereitung, Bereinigung und Kennzeichnung von Daten sowie die Prüfung algorithmischer Ergebnisse. PAI betont, dass die Arbeitenden dabei oft übersehen würden und unter schlechten Bedingungen arbeiten könnten; ihre Beschäftigungsformen seien unterschiedlich.
PAI und DeepMinds Team für verantwortungsvolle Entwicklung und Innovation prüften bestehende Abläufe und entwickelten gemeinsam Hilfsmittel. Nach mehreren Feedbackrunden und Tests mit kleineren Teams wurden sie organisationsweit eingeführt: eine grundlegende Leitlinie, ein überarbeitetes Ethikprüfungsverfahren, eine Checkliste für gute Arbeitsanweisungen, ein Anbietervergleich und eine Übersicht zu existenzsichernden Löhnen in häufig betroffenen Regionen. Fassungen seien über PAIs Ressourcenbibliothek verfügbar.
Laut Auszug fanden DeepMinds Teams die Abläufe effizient und hilfreich, um die Auswirkungen ihrer Arbeit auf Beschäftigte stärker zu berücksichtigen. Der Text empfiehlt, die Hilfsmittel an eigene Anwendungsfälle anzupassen, und räumt ein, dass weitere Verbesserungen nötig sein könnten. Quantitative Wirkungsdaten enthält der Auszug nicht.
Ausführlich lesen
Der vorliegende Quelltext enthält nur den Executive-Summary-Auszug einer Fallstudie von Partnership on AI (PAI) dazu, wie DeepMind Empfehlungen für eine verantwortungsvollere Beschaffung menschlich aufbereiteter Trainings- und Prüfdaten umgesetzt hat. Er behandelt nicht den vollständigen Bericht; daher sind die beschriebenen Schritte und Ergebnisse nur in dem Umfang zusammenzufassen, den dieser Auszug belegt.
Ausgangspunkt ist die wachsende Bedeutung von Datenanreicherung für das Training und die Validierung von Machine-Learning-Modellen. Dazu gehören etwa Datenvorbereitung, Bereinigung, Annotation und die menschliche Prüfung algorithmischer Ergebnisse. Laut PAI leisten diese Arbeit Menschen, die in der Entwicklung oft wenig beachtet würden und teils weit entfernt von den KI-Unternehmen und deren Kunden unter schlechten Arbeitsbedingungen tätig seien. Der Bericht verwendet „Arbeitende“ als Sammelbegriff, obwohl die Beschäftigungsformen von selbstständig Tätigen auf Crowdsourcing-Plattformen über Beschäftigte von Dienstleistern bis zu Angestellten reichen.
PAI hatte zuvor Empfehlungen zur verantwortungsvollen Beschaffung solcher Dienstleistungen veröffentlicht. Die Fallstudie beschreibt die Zusammenarbeit mit DeepMind, einem PAI-Partner, um diese Empfehlungen in organisatorische Praxis zu überführen. Das gemeinsame Umsetzungsteam bestand aus PAI und Mitgliedern von DeepMinds Team für verantwortungsvolle Entwicklung und Innovation. Zunächst wurden bestehende Abläufe bewertet und der Bedarf an einheitlicheren Vorgehensweisen ermittelt. Anschließend entwickelte das Team Richtlinien und Hilfsmittel, sammelte in mehreren Feedbackrunden Rückmeldungen und erprobte die Änderungen zunächst mit kleineren Teams, bevor sie organisationsweit eingeführt wurden.
Die erstellten Materialien umfassen eine zweiseitige Leitlinie für verantwortungsvolle Beschaffung, einen überarbeiteten Ethikprüfungsprozess, eine Checkliste für verständliche und geeignete Arbeitsanweisungen, eine Vergleichstabelle für Anbieter und Plattformen sowie eine Übersicht zu existenzsichernden Löhnen in Regionen, in denen viele Datenanreicherungs-Arbeitende leben. PAI zufolge wurden Fassungen dieser Hilfsmittel in eine frei zugängliche Bibliothek aufgenommen.
Der Auszug berichtet, dass DeepMinds multidisziplinäre Teams die neuen Abläufe als effizient empfanden und sie dazu anregten, die Auswirkungen ihrer Arbeit auf die Beschäftigten stärker zu bedenken. Die Forschenden begrüßten außerdem zentrale, sorgfältig entwickelte Orientierungshilfen, weil sie dadurch nicht jedes Datenanreicherungsprojekt selbst von Grund auf organisieren mussten.
Als Einschränkung nennt der Text, dass Organisationen die Materialien an ihre jeweiligen Anwendungsfälle anpassen und ihre Teams einbeziehen sollten. Zudem räumt PAI ein, dass die eingeführten Änderungen möglicherweise nicht alle Verbesserungsmöglichkeiten abdecken; weitere Entwicklung durch Austausch und Zusammenkünfte sei geplant. Der Auszug liefert keine quantitativen Messwerte zu Arbeitsbedingungen oder Wirkung und beschreibt die Fallstudie als Erfahrungsbericht, der anderen Organisationen einen erprobten Ausgangspunkt bieten soll.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 24 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 43 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %Hintergrund, keine Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 45 %gleiches Oberthema, hilft nicht
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %Hintergrund, keine Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv