International evaluation of an AI system for breast cancer screening
Zusammenfassung
Kurz
Der Bericht zufolge sagte ein KI-System Brustkrebs in Mammogrammen in ausgewerteten britischen und US-amerikanischen Datensätzen besser voraus als einzelne menschliche Fachleute und reduzierte dabei falsch positive wie falsch negative Einstufungen. Eine Simulation für den Einsatz als zweiter Befunder erreichte die berichtete Vergleichsleistung mit 12 Prozent der bisherigen Arbeitslast dieses Befunders. Die klinische Einsatzform ist noch ungeklärt; prospektive Studien sind laut Bericht erforderlich.
Mittel
Der Bericht stellt ein KI-System vor, das Brustkrebs aus Screening-Mammogrammen vorhersagt. In rückblickenden Auswertungen anonymisierter Daten aus Großbritannien und den USA habe es laut Forschenden einzelne menschliche Fachleute übertroffen. Gegenüber den ursprünglichen menschlichen Befunden gingen die falsch positiven Einstufungen absolut um 1,2 Prozentpunkte in Großbritannien und 5,7 in den USA zurück; falsch negative Einstufungen sanken um 2,7 beziehungsweise 9,4 Prozentpunkte. Die Datensätze umfassten 25.856 Frauen aus zwei Londoner Standorten sowie 3.097 Frauen aus einem US-amerikanischen medizinischen Zentrum. Die Vorhersage bezog sich auf Krebsdiagnosen innerhalb von drei Jahren im britischen und zwei Jahren im US-amerikanischen Datensatz.
Ein nur mit britischen Daten trainiertes System habe auch bei der Auswertung US-amerikanischer Daten menschliche Fachleute übertroffen. Eine Simulation, in der die KI als zweiter Befunder im britischen Verfahren diente, erreichte laut Bericht eine vergleichbare Mindestleistung bei 12 Prozent der bisherigen Arbeit des zweiten Befunders. Die beste klinische Einsatzform ist jedoch noch offen. Da die Ergebnisse aus rückblickenden Datensätzen und einer Simulation stammen, fordert der Bericht weitere Forschung, insbesondere prospektive klinische Studien, bevor der tatsächliche Nutzen für Screeningprogramme beurteilt werden kann.
Ausführlich lesen
Der Bericht beschreibt die Entwicklung und internationale Auswertung eines KI-Systems, das Brustkrebs anhand von Screening-Mammogrammen vorhersagen soll. Als Motivation nennt er die Bedeutung einer frühen Diagnose und die Unterschiede in der Leistung menschlicher Fachleute bei der Befundung. Die Forschenden berichten, ihr System habe in den untersuchten Daten einzelne klinische Fachleute aus Großbritannien und den USA darin übertroffen, durch Biopsie bestätigten Brustkrebs vorherzusagen.
Für Entwicklung und Auswertung wurden anonymisierte Mammographie-Daten aus beiden Ländern genutzt. Die britische Auswertungsgruppe umfasste eine Zufallsstichprobe von 25.856 Frauen, die zwischen 2012 und 2015 an zwei Londoner Standorten untersucht worden waren. Bei 785 Frauen war eine Biopsie vorgenommen worden; bei 414 wurde innerhalb von drei Jahren nach der Bildgebung Krebs diagnostiziert. Der US-Datensatz enthielt 3.097 Frauen aus einem akademischen medizinischen Zentrum und umfasste Untersuchungen aus den Jahren 2001 bis 2018. Eingeschlossen waren alle 1.511 Frauen mit Biopsie sowie eine Zufallsauswahl von Frauen ohne Biopsie; bei 686 der biopsierten Frauen wurde innerhalb von zwei Jahren Krebs festgestellt.
Die Studie verglich die KI mit den Entscheidungen einzelner menschlicher Befunder bei der ursprünglichen Untersuchung. Laut Bericht sank die Rate falsch positiver Einstufungen gegenüber menschlichen Fachleuten in den US-Daten absolut um 5,7 Prozentpunkte und in den UK-Daten um 1,2 Prozentpunkte. Die Rate falsch negativer Einstufungen sank demnach um 9,4 beziehungsweise 2,7 Prozentpunkte. Die Vorhersagezeiträume unterschieden sich: drei Jahre für Großbritannien und zwei Jahre für die USA.
Zusätzlich prüften die Forschenden die Übertragbarkeit zwischen den untersuchten Populationen: Das System wurde ausschließlich mit britischen Daten trainiert und anschließend an US-Daten ausgewertet. Der Bericht sagt, dass es dabei weiterhin besser als menschliche Fachleute abschnitt. Dies wird als ermutigendes Ergebnis für die Robustheit beschrieben, belegt aber keine Wirksamkeit in beliebigen Ländern oder Versorgungssituationen.
Als mögliche Anwendung wurde eine Rolle als zweiter Befunder im britischen Doppelbefundungsverfahren simuliert. Bei abweichenden Einschätzungen sollte das bestehende Schlichtungsverfahren greifen. In dieser Simulation erreichte ein KI-unterstütztes Doppelbefundungssystem laut Bericht eine nicht unterlegene Leistung gegenüber dem britischen Verfahren, während nur 12 Prozent der bisherigen Arbeit des zweiten Befunders anfielen.
Der Bericht legt die klinische Einführung nicht als bereits geklärt dar. Er sagt, die beste Einsatzform müsse noch bestimmt werden und weitere Forschung, einschließlich prospektiver klinischer Studien, sei nötig, um den tatsächlichen Nutzen für Screeningprogramme zu beurteilen. Die dargestellten Ergebnisse beruhen auf rückblickend ausgewerteten, anonymisierten Datensätzen und einer simulierten Anwendung; die untersuchten Daten stammen aus begrenzten institutionellen und geografischen Kontexten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen sind inhaltlich korrekt; alle Zahlen (25.856 und 3.097 Frauen, 1,2/5,7 und 2,7/9,4 Prozentpunkte, drei bzw. zwei Jahre, 12 Prozent Arbeitslast) stimmen mit dem Bericht überein. Kleinere Ungenauigkeiten sind die Formulierung „Mindestleistung“ für die Nicht-Unterlegenheit und die Bezeichnung „rückblickend“, die der Bericht so nicht ausdrücklich nennt. Bei der Einordnung weicht Luna bei SF-H3 nach oben ab (4 statt 3), weil der Bericht zur Modellherkunft nur Datenquellen liefert und keine Modelldokumentation.
Im Bericht, aber nicht in der Zusammenfassung
- Kontext der Befundung: In den USA wird alle ein bis zwei Jahre gescreent und von einem Radiologen befundet, in Großbritannien alle drei Jahre mit Doppelbefundung und Schiedsverfahren
- Die Zahlen des US-Datensatzes: 1.511 biopsierte Frauen und 686 Krebsdiagnosen innerhalb von zwei Jahren
- Die Kurzfassung lässt das Generalisierungsergebnis aus, dass ein nur mit britischen Daten trainiertes System auch US-Daten besser auswertete als menschliche Fachleute
- Die Einbettung der Studie: Veröffentlichung in Nature und Zusammenarbeit mit Google Health, Cancer Research UK, Northwestern University und Royal Surrey County Hospital
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 37 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 59 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 47 %einzelne zitierbare Belege
- JEV 48 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %Hintergrund, keine Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv