Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind17. Juli 2023 · Q002418

Developing reliable AI tools for healthcare

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

CoDoC soll für medizinische Bildauswertungen einschätzen, ob eine KI-Vorhersage zuverlässig genug ist oder eine klinische Fachperson entscheiden sollte. In hypothetischen Auswertungen mit historischen, de-identifizierten Daten sank die Rate falsch positiver Mammografie-Ergebnisse laut Bericht um 25 Prozent; die Forschung fand jedoch nicht in realen klinischen Situationen statt.

Mittel

Der Bericht beschreibt CoDoC, ein Zusatzsystem von DeepMind und Google Research, das für medizinische Bildauswertungen entscheiden soll, ob die Vorhersage eines KI-Modells übernommen oder an eine klinische Fachperson verwiesen wird. Es soll mit bestehenden, auch proprietären Modellen funktionieren, ohne diese umzubauen oder Zugriff auf die Bilder zu benötigen. Für das Training reichen laut Bericht Modellvertrauen, klinische Einschätzung und ein festgestellter Krankheitsstatus; typischerweise seien einige Hundert Beispiele ausreichend.

In Auswertungen mit historischen, de-identifizierten Datensätzen habe CoDoC bei einem britischen Mammografie-Datensatz in einer hypothetischen Anwendung falsch positive Ergebnisse um 25 Prozent verringert, ohne wahre positive Befunde zu übersehen. Simulationen zufolge sank außerdem die Zahl der ärztlich zu lesenden Fälle um zwei Drittel. Genannt wird auch die Triage von Röntgenbildern für Tuberkulosetests.

Die Forschung war theoretisch und fand nicht in realen klinischen Situationen statt. Die Forschenden hatten keinen Zugriff auf die medizinischen Bilder. Vor einem Einsatz seien daher Prüfungen mit konkreten Modellen und klinischen Bedingungen erforderlich.

Ausführlich lesen

Der Bericht stellt CoDoC („Complementarity-driven Deferral-to-Clinical Workflow“) vor, ein von DeepMind und Google Research entwickeltes System, das laut den Autorinnen und Autoren bei medizinischen Bildauswertungen entscheiden soll, wann die Einschätzung eines prädiktiven KI-Modells übernommen und wann an eine Ärztin oder einen Arzt verwiesen werden sollte. Ziel ist, menschliches Fachwissen und KI so zu kombinieren, dass die jeweilige Entscheidung möglichst genau ausfällt.

CoDoC ist als Zusatz zu bereits vorhandenen KI-Modellen gedacht. Das zugrunde liegende Modell muss dafür nicht verändert werden. Für das Training benötigt CoDoC laut Bericht pro Fall drei Angaben: den Vertrauenswert des KI-Modells, die Einschätzung einer klinischen Fachperson und eine festgestellte Wahrheit darüber, ob die Krankheit vorlag, etwa anhand einer Biopsie oder klinischen Nachbeobachtung. Zugriff auf die medizinischen Bilder selbst sei nicht erforderlich. Die Entwickler nennen außerdem als Ziele, dass das System ohne spezialisierte Machine-Learning-Kenntnisse auf einem einzelnen Computer betrieben werden kann, mit einigen Hundert Trainingsbeispielen auskommt und auch mit proprietären Modellen ohne Einblick in deren interne Funktionsweise kompatibel ist.

Anhand der Trainingsdaten soll CoDoC lernen, wie die Genauigkeit von KI und klinischer Einschätzung mit dem Vertrauenswert des Modells zusammenhängt. Im späteren hypothetischen Ablauf bewertet es diesen Wert und entscheidet, ob die KI-Ausgabe verwendet oder der Fall einer klinischen Fachperson vorgelegt werden soll. Das System soll also nicht pauschal einer Seite den Vorrang geben, sondern die relative Zuverlässigkeit abhängig vom jeweiligen Fall einschätzen.

Der Bericht beschreibt Auswertungen mit mehreren realen Datensätzen, die ausschließlich historische und de-identifizierte Daten enthielten. In einem Beispiel mit einem großen britischen Mammografie-Datensatz habe CoDoC in einer hypothetischen Anwendung die Zahl falsch positiver Ergebnisse gegenüber verbreiteten klinischen Arbeitsabläufen um 25 Prozent verringert, ohne wahre positive Befunde zu übersehen. In Simulationen, in denen die KI manche Fälle selbstständig bearbeiten durfte, sei zudem die Zahl der Fälle, die von einer klinischen Fachperson gelesen werden mussten, um zwei Drittel gesunken. Als weiteres Anwendungsbeispiel nennt der Bericht die Triage von Röntgenaufnahmen des Brustkorbs zur Entscheidung über weitere Tuberkulosetests. Die Autorinnen und Autoren berichten außerdem von Verbesserungen über verschiedene demografische Gruppen, klinische Umgebungen, Bildgebungsgeräte und Krankheitsarten hinweg.

Die Grenzen werden ausdrücklich hervorgehoben: Die Forschung war theoretisch und wurde nicht in realen klinischen Situationen durchgeführt. DeepMind und Google Research hatten nach eigener Darstellung keinen Zugriff auf die de-identifizierten medizinischen Bilder der Partner, sondern nur auf Modellvorhersagen und klinische Einschätzungen. Der Bericht bezeichnet CoDoC daher als vielversprechenden Ansatz, dessen Nutzen noch gemeinsam mit externen Partnern geprüft werden müsse. Für einen sicheren Einsatz im medizinischen Alltag seien außerdem Validierungen mit konkreten KI-Werkzeugen und Einsatzbedingungen erforderlich sowie ein besseres Verständnis dafür, wie sich die Interaktion von Ärztinnen und Ärzten mit KI auswirkt. Der Code wurde laut Bericht öffentlich zugänglich gemacht.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassungen sind weitgehend treu, es fehlen aber einige Angaben zur Generalisierbarkeit und zur Open-Source-Veröffentlichung. Der Bericht befasst sich mit KI-gestützter Bildauswertung in der Medizin; die meisten Fragen betreffen allgemeine KI-Governance und werden darin nur am Rande berührt. Die Anteilswerte in Lunas Einordnung wurden nicht geprüft.

Im Bericht, aber nicht in der Zusammenfassung

  • CoDoC verbessert die Bildauswertung laut Bericht über verschiedene demografische Gruppen, Klinikumgebungen, Bildgeräte und Krankheitsarten hinweg
  • Der Code wurde als Open Source auf GitHub veröffentlicht
  • Die Zusammenarbeit mit Partnern wie dem Stop TB Partnership unter UNOPS

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 31 %gleiches Oberthema, hilft nicht
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 60 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 70 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 33 %umfangreiche Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 24 %einzelne zitierbare Belege
    • amos 23 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 44 %gleiches Oberthema, hilft nicht
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 53 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 31 %nur am Rande erwähnt
    • d3-ultra 38 %gleiches Oberthema, hilft nicht
  3. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 61 %einzelne zitierbare Belege
    • JEV 36 %beantwortet teilweise oder widerspricht
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  4. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 55 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 60 %einzelne zitierbare Belege
    • JEV 42 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →