Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind3. Juli 2017 · Q004989

The Information Commissioner, the Royal Free, and what we’ve learned

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

DeepMind reagiert auf ICO-Kritik an der Erprobung von Streams beim Royal Free: Es habe an einer überzeugenden Rechtsgrundlage für die Nutzung von Patientendaten gefehlt, und Patienten seien womöglich nicht ausreichend informiert worden. Die Autoren räumen Versäumnisse bei Transparenz und Beteiligung ein und nennen Verbesserungen, darunter ausführlichere Verträge und unabhängige Prüfer; die berichteten klinischen Vorteile bleiben im Text Erfahrungsberichte, keine systematische Wirksamkeitsbilanz.

Mittel

Der Beitrag erläutert DeepMinds Reaktion auf eine ICO-Untersuchung zur Erprobung der Streams-App beim Royal Free London. Streams prüft laut den Autoren Laborwerte auf ernste Probleme wie akute Nierenschädigung und alarmiert zuständige Klinikmitarbeitende. DeepMind berichtet von Zeitersparnis für Pflegekräfte und schnellerer Behandlung einzelner Patienten; systematische Wirksamkeitsdaten nennt der Text nicht.

Die ICO war laut Beitrag nicht überzeugt, dass für die Patientendatenverarbeitung während der Tests 2015 und 2016 eine ausreichende Rechtsgrundlage bestand. Sie kritisierte außerdem, dass Patienten möglicherweise zu wenig über die Vorgänge wussten. DeepMind zufolge behielt der Royal Free die Datenkontrolle, während DeepMind als weisungsgebundener Datenverarbeiter tätig war; Sicherheitsbedenken seien nicht erhoben worden. Der Trust solle sich formell zur künftigen Einhaltung der Vorschriften verpflichten.

Die Autoren räumen ein, anfangs Öffentlichkeit und Patienten zu wenig einbezogen und die Komplexität des NHS unterschätzt zu haben. Sie verweisen auf ausführlichere Verträge, veröffentlichte Partnerschaften, Beteiligungsarbeit und unabhängige Prüfer. Der Text ist eine Unternehmensstellungnahme und belegt nicht, ob diese Schritte dauerhaft genügen oder welche Gesamtwirkung Streams hat.

Ausführlich lesen

Der Beitrag von DeepMind-Autoren Mustafa Suleyman und Dominic King behandelt die Untersuchung des britischen Information Commissioner’s Office (ICO) zur Zusammenarbeit mit dem Royal Free London NHS Foundation Trust bei der Erprobung der App Streams. Zugleich erläutern die Autoren, was DeepMind nach eigener Darstellung aus der Kritik gelernt hat.

Streams wurde laut Beitrag gemeinsam mit Klinikpersonal entwickelt. Die App prüfe Laborwerte automatisch auf ernste Probleme, zunächst auf Anzeichen einer akuten Nierenschädigung, und benachrichtige zuständige Fachkräfte sicher per Smartphone. DeepMind führt an, Pflegekräfte hätten kurz nach dem Start berichtet, täglich bis zu zwei Stunden einzusparen. Außerdem seien einzelne schwer erkrankte Patientinnen und Patienten dank der Meldungen schneller behandelt worden. Das sind im Beitrag wiedergegebene Erfahrungsberichte und Beispiele; eine systematische Wirksamkeitsbewertung enthält der Text nicht. Künftige KI-gestützte Warnmeldungen werden als mögliche Erweiterung beschrieben.

Die ICO-Untersuchung bezog sich auf Tests von Streams beim Royal Free Ende 2015 und 2016, die einen sicheren Einsatz vorbereiten sollten. Nach Darstellung des Beitrags war die Behörde nicht davon überzeugt, dass für die Nutzung von Patientendaten bei diesen Tests eine ausreichende rechtliche Grundlage bestand. Sie äußerte außerdem Bedenken darüber, wie gut Patientinnen und Patienten über die Vorgänge informiert waren. Der Beitrag sagt, der Royal Free habe viele der angesprochenen Probleme bereits behoben; die ICO habe den Trust zu einer formellen Verpflichtung aufgefordert, künftig die Datenschutzvorschriften einzuhalten. DeepMind betont, der Trust habe die Kontrolle über die Daten behalten und DeepMind habe ausschließlich als weisungsgebundener Datenverarbeiter gehandelt. Fragen zur Sicherheit oder zum Schutz der Daten seien laut Beitrag nicht aufgeworfen worden.

Die Autoren räumen eigene Fehler ein: Zu Beginn hätten sie sich zu stark auf eine schnelle Wirkung und auf die Bedürfnisse des Klinikpersonals konzentriert. Dabei hätten sie die Komplexität des NHS, die Regeln zur Nutzung von Patientendaten sowie die Erwartungen von Patienten und Öffentlichkeit unterschätzt. Sie hätten ihre Arbeit zunächst vor allem als Technik für Fachkräfte verstanden und zu wenig dafür getan, sie öffentlich zu erklären oder die Bevölkerung an ihrer Gestaltung zu beteiligen.

Als Reaktionen nennen sie einen 2016 erneuerten, ausführlicheren Vertrag mit dem Royal Free sowie vergleichbare Vereinbarungen mit anderen NHS-Trusts. DeepMind habe spätere Partnerschaften samt Verträgen veröffentlicht, mit Patientenexperten eine Beteiligungsstrategie erarbeitet und eine öffentliche Veranstaltung abgehalten. Außerdem habe das Unternehmen neun unabhängige Prüfer eingesetzt, deren erste Empfehlungen zum Zeitpunkt des Beitrags noch ausstanden. Ein angekündigtes überprüfbares Daten-Audit wird als weiterer Schritt erwähnt.

Der Beitrag ist eine Stellungnahme von DeepMind, keine unabhängige Untersuchung der App oder ihrer Wirkungen. Er beschreibt die ICO-Feststellungen und die vom Unternehmen angekündigten oder bereits begonnenen Verbesserungen, belegt aber nicht, ob diese Maßnahmen langfristig ausreichen oder welche klinischen Ergebnisse Streams insgesamt erzielt. Als übergeordnete Lehre formulieren die Autoren, NHS-Technik müsse sich an gesellschaftlichen Prioritäten orientieren und Patienten, Öffentlichkeit und Gesundheitsdienst stärker einbeziehen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassungen (kurz und mittel) wurden gemeinsam geprüft: Sie sind inhaltlich weitgehend treu, lassen aber die ICO-Feststellung zu bereits behobenen Problemen und den Ausblick auf KI-Warnungen aus. Die Einordnung weicht bei mehreren Fragen von Lunas Stufen ab, vor allem bei SF-O2 und SF-T1-T06 nach oben und bei SF-M4 und SF-E5-T02 nach unten.

Im Bericht, aber nicht in der Zusammenfassung

  • Die ICO erkannte an, dass der Royal Free viele der Probleme bereits behoben hat.
  • Die Aussage, dass Streams für künftige KI-gestützte Warnungen vorbereitet ist, fehlt in der Zusammenfassung.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 71 %einzelne zitierbare Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

  2. SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
    • clef 18 %Hintergrund, keine Belege
    • Luna 39 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 31 %einzelne zitierbare Belege
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 58 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 18 %Hintergrund, keine Belege
    • Luna 51 %Hintergrund, keine Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 25 %gleiches Oberthema, hilft nicht
    • drex 22 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-P2-T01 Wer wählt die Prüfer aus, wer bezahlt sie, wer darf sie entlassen, und wird dieser Vertrag vor dem ersten Befund veröffentlicht? Welchen Mindestvertrag, der ihre Unabhängigkeit wahrt, könnten Labore jetzt unterschreiben, ohne auf ein Gesetz zu warten, einschließlich der Frage, wie Berichte veröffentlicht werden? Und wie bleiben die Prüfer unabhängig, wenn Geld oder Infrastruktur vom geprüften Labor kommen? Luna: Stufe 3 · 45 % · Hintergrund, keine Belege
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 20 %Hintergrund, keine Belege
    • Luna 45 %einzelne zitierbare Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 26 %einzelne zitierbare Belege
    • drex 35 %einzelne zitierbare Belege
    • d3-ultra 100 %kein Bezug

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 43 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden? Luna: Stufe 4 · 35 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 26 %Hintergrund, keine Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 50 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 23 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 42 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
  1. SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 39 %gleiches Oberthema, hilft nicht
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 21 %Hintergrund, keine Belege
    • Luna 75 %einzelne zitierbare Belege
    • JEV 40 %beantwortet teilweise oder widerspricht
    • amos 25 %einzelne zitierbare Belege
    • SubQ 28 %einzelne zitierbare Belege
    • drex 35 %einzelne zitierbare Belege
    • d3-ultra 31 %einzelne zitierbare Belege
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

    • SF-O2-T05 Welche öffentlichen Zusagen eines Spitzenlabors macht die juristische Person, die bei einem Bruch verklagt würde, und welche nur das Forschungsteam, und veröffentlichen die Labore das für jede Zusage? Luna: Stufe 3 · 23 % · Hintergrund, keine Belege
  3. SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 25 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 59 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 49 %einzelne zitierbare Belege
    • amos 24 %nur am Rande erwähnt
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 19 %Hintergrund, keine Belege
    • Luna 67 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 29 %einzelne zitierbare Belege
    • SubQ 30 %einzelne zitierbare Belege
    • drex 34 %einzelne zitierbare Belege
    • d3-ultra 23 %nur am Rande erwähnt
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

    • SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen? Luna: Stufe 4 · 47 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 47 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-E5-T03 Wie können Menschen, die von KI betroffen sind, die Sicherheitszusagen ihrer Regierungen verbindlich mitbestimmen, bevor diese sie auf einem Gipfel festlegen? Zum Beispiel über einen Bürgerrat, ein Einspruchsrecht nach öffentlicher Anhörung oder eine unabhängige Vertretung mit festen Rechten, und nicht nur über Gespräche mit Fachleuten. Luna: Stufe 3 · 33 % · Hintergrund, keine Belege

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →