Why doesn't Streams use AI?
Zusammenfassung
Kurz
Der Beitrag erklärt, dass DeepMind am Royal Free zunächst Streams entwickelte, weil nach Einschätzung der Klinik ein besserer KI-Algorithmus allein die Probleme bei der Weitergabe von Warnungen und der Koordination nicht löste. Die App sollte medizinische Informationen mobil zugänglich machen; eine geplante KI-Forschung wurde wegen Aufwand und erforderlicher Datentrennung nicht begonnen. Der Text nennt mögliche Vorteile, liefert aber keine quantitativen Belege für verbesserte Behandlungsergebnisse.
Mittel
Dominic King begründet, warum DeepMind beim Royal Free Hospital zunächst Streams entwickelte statt dort KI-Forschung zu betreiben. KI könne zwar nach Ansicht des Autors Krankheiten besser verständlich und behandelbar machen. Bei akuten Nierenschädigungen sei aber nicht nur die Genauigkeit des bestehenden NHS-Algorithmus ein Problem: Der Beitrag nennt mögliche Fehlalarme und fehlende Berücksichtigung von Alter oder Krankenhausaufenthaltsdauer. Ein erster Ethikantrag von 2015 sah laut King ein Forschungsprojekt mit de-identifizierten Daten und einer Kombination klassischer Statistik und KI vor.
Die Gespräche mit Klinikpersonal hätten jedoch gezeigt, dass ein besserer Algorithmus allein nicht genüge. Pager, Rückrufe und geteilte Computer erschwerten laut Beitrag die schnelle, koordinierte Reaktion auf Warnungen. DeepMind konzentrierte sich deshalb auf Streams, eine Mobil-App für Testergebnisse, Vitalwerte, Warnmeldungen und Kommunikation zwischen Behandelnden. King zufolge sollte sie Informationen schneller verfügbar machen und dem Personal mehr Zeit für Patientinnen und Patienten geben.
Wegen des Entwicklungsaufwands und der notwendigen Trennung personenbezogener Streams-Daten von Forschungsdaten wurde die KI-Forschung am Royal Free nicht weiterverfolgt; zusätzliche Vereinbarungen wurden nicht geschlossen. King sagt, dort sei bis zur Veröffentlichung weder geforscht noch KI entwickelt worden. Der Beitrag beschreibt Ziele und Begründungen, belegt aber nicht quantitativ, ob Streams Versorgung oder Behandlungsergebnisse verbesserte.
Ausführlich lesen
Der Blogbeitrag von Dominic King erklärt, warum DeepMind für die Zusammenarbeit mit dem Royal Free Hospital zunächst eine mobile Gesundheitsanwendung namens Streams entwickelte, statt dort KI-Forschung voranzutreiben. King beschreibt großes mögliches Potenzial von KI für das Verständnis, die Diagnose und Behandlung von Krankheiten. Zugleich argumentiert er, dass der dringendste Bedarf der Klinik zunächst bei der praktischen Umsetzung und Weitergabe medizinischer Informationen lag.
Als Beispiel nennt der Beitrag die Erkennung einer akuten Nierenschädigung (AKI). Dafür werde im NHS ein Algorithmus auf Bluttestergebnisse angewandt. King zufolge ist dieser zwar nützlich, aber nicht vollkommen: Er könne etwa bei chronischer statt akuter Nierenerkrankung Fehlalarme auslösen und berücksichtige Unterschiede wie Aufenthaltsdauer im Krankenhaus oder Alter nicht ausreichend. DeepMind und die Klinik hätten daher zunächst sowohl KI- als auch andere technische Ansätze erwogen. 2015 stellte DeepMind laut Beitrag einen ersten Ethikantrag bei der NHS Health Research Authority für ein mögliches Forschungsvorhaben mit de-identifizierten Patientendaten. Ziel wäre gewesen, klassische statistische Verfahren und KI zu kombinieren, um AKI besser vorherzusagen und zu erkennen.
In Gesprächen mit Klinikpersonal sei jedoch deutlich geworden, dass ein verbesserter Algorithmus allein das zentrale Problem nicht lösen würde: Entscheidend sei auch, wie Warnungen in die Versorgung gelangen und koordinierte Reaktionen auslösen. King schildert als Hindernisse den alltäglichen Einsatz von Pagern, Rückrufen und gemeinsam genutzten Computern. Er verweist auf eine von ihm an der Imperial College London durchgeführte Untersuchung, nach der Pager Kommunikationsbarrieren verursachten und Behandlungen verzögern könnten.
Daraufhin habe DeepMind den Schwerpunkt auf Streams gelegt. Die App sollte Pflegekräfte und Ärztinnen und Ärzte auf Mobiltelefonen mit Testergebnissen und Vitalwerten versorgen, bei einer Verschlechterung warnen und die Kommunikation zwischen Behandelnden erleichtern. Der Beitrag behauptet, dadurch könnten relevante Informationen schneller bei den zuständigen Personen ankommen und diese mehr Zeit für Patientinnen und Patienten haben. Die beigefügte Grafik stellt den herkömmlichen, verzögerten Ablauf dem direkten Benachrichtigungsweg über die App gegenüber.
King erklärt, dass DeepMind wegen des großen Entwicklungsaufwands und der damals begrenzten Teamgröße keine parallele KI-Forschung am Royal Free verfolgte. Eine solche Forschung hätte außerdem eine strikte Trennung der Teams und Daten erfordert: Streams nutzte laut Beitrag personenbezogene, die Forschung hätte de-identifizierte Daten genutzt. Zusätzliche Vereinbarungen mit dem Krankenhaus wurden nicht geschlossen. Der Autor sagt ausdrücklich, dass DeepMind bis zum Zeitpunkt des Beitrags weder dort geforscht noch KI entwickelt habe.
Der Text stellt Streams als ersten Schritt zu einer möglichen KI-gestützten Zukunft dar und sagt, DeepMind habe KI-Forschung mit anderen Partnern betrieben. Eine spätere Forschung mit dem Royal Free werde nur mit geeigneten Genehmigungen verfolgt. Als Grenze der Darstellung bleibt: Der Beitrag erläutert die Begründung und die beabsichtigte Funktion von Streams, liefert aber keine quantitativen Ergebnisse dazu, ob die App Behandlungen tatsächlich beschleunigte oder Patientenergebnisse verbesserte.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen sind sachlich korrekt; die mittlere Fassung fasst den Kern gut zusammen, lässt aber den Ausblick auf KI als künftigen Schritt aus. Die Sammelfragen haben nur schwachen Bezug zum Bericht, da es um eine klinische Warn-App geht und nicht um KI-Governance.
Im Bericht, aber nicht in der Zusammenfassung
- Streams gilt als notwendiger erster Schritt zu einer KI-gestützten Versorgung, denn ohne funktionierende App wären KI-Warnungen wirkungslos
- Die Absicht, am Royal Free später KI-Forschung zu betreiben, aber nur mit den nötigen Genehmigungen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 62 %einzelne zitierbare Belege
- JEV 34 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 27 %Hintergrund, keine Belege
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 74 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 20 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 50 %einzelne zitierbare Belege
- JEV 50 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-O2-T05 Welche öffentlichen Zusagen eines Spitzenlabors macht die juristische Person, die bei einem Bruch verklagt würde, und welche nur das Forschungsteam, und veröffentlichen die Labore das für jede Zusage?
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 24 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 30 %einzelne zitierbare Belege
- JEV 45 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen?
- SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat?
Weitere Berichte zu diesen Fragen
- Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv