Using AI to improve patient access to clinical trials
Zusammenfassung
Kurz
Paradigm zufolge bewertet GPT‑4 medizinische Akten genauer und schneller als die zuvor eingesetzten spezialisierten Modelle und verringert den Aufwand für die fachliche Validierung. Ein gerechterer Zugang zu Studien und die Prüfung von Hunderten Personen pro Minute sind im Bericht jedoch Ziele beziehungsweise Potenziale, keine nachgewiesenen Ergebnisse.
Mittel
Der Bericht stellt Paradigms Einsatz von GPT‑4 zur Auswertung medizinischer Akten und zur Vermittlung klinischer Studien vor. Laut Unternehmen ist die Aktenprüfung ein Engpass: Fachkräfte haben wenig Zeit, Studienkriterien mit Patientendaten abzugleichen, und Studien würden deshalb häufig Menschen in der Nähe des Studienorts erreichen. Frühere spezialisierte ML-Modelle seien langsam und aufwendig gewesen, da für verschiedene Angaben jeweils eigene Modelle trainiert und deren Ergebnisse manuell geprüft werden mussten.
Paradigm verglich ein medizinisches Spezialmodell mit GPT‑4 über die OpenAI-API. Auf klinisch kuratierten Referenzdatensätzen sei GPT‑4 mindestens zehn Prozent genauer gewesen als die bisherigen Modelle; als weitere Auswahlgründe nennt das Unternehmen Integration, multimodale Eingaben, lange Kontextfenster und Unterstützung bei HIPAA-Anforderungen. Paradigm berichtet außerdem von 90 Prozent weniger benötigten Daten zur Modellbewertung und davon, neue Datenelemente nun in Tagen statt Monaten erschließen zu können.
Eine bessere Erkennung unterversorgter Patientengruppen ist laut Bericht noch eine Vermutung. Auch die Aussicht, Hunderte Personen pro Minute zu prüfen, wird als Potenzial beschrieben. Der Text gibt Unternehmensangaben wieder und enthält keine unabhängige Validierung der Kennzahlen.
Ausführlich lesen
Der Bericht beschreibt, wie das Gesundheitsunternehmen Paradigm GPT‑4 zur Auswertung medizinischer Patientenakten und zur Suche nach passenden klinischen Studien einsetzt. Klinische Studien können neue Behandlungen erschließen, doch laut Paradigm erschwert die Prüfung der Akten den Zugang: Ärztinnen, Ärzte und Pflegekräfte hätten häufig kaum Zeit, Studien zu recherchieren, ihre Kriterien zu prüfen und geeignete Personen zu identifizieren. Dadurch würden Studien oft mit Menschen aus der näheren Umgebung des Studienorts besetzt. Der Bericht führt dies als mögliche Ursache für Verzerrungen bei der Auswahl und für erschwerten Zugang anderer Patientengruppen an.
Paradigm hatte zunächst spezialisierte Modelle des maschinellen Lernens und der Sprachverarbeitung eingesetzt. Diese sollten medizinische Angaben aus Akten herausziehen und interpretieren; Fachleute erstellten und bewerteten dafür Referenzdatensätze. Nach Darstellung des Unternehmens war das Verfahren langsam und aufwendig, weil für einzelne Informationsarten separate Modelle entwickelt, trainiert und geprüft werden mussten. Zudem überprüften Klinikerinnen und Kliniker die Modellausgaben manuell.
Das Unternehmen prüfte anschließend zwei Wege: ein eigens für medizinische Anwendungsfälle trainiertes Sprachmodell oder GPT‑4 über die OpenAI-API. Paradigm zufolge übertraf GPT‑4 in den eigenen Tests sogar ein Team geschulter Fachleute bei komplexen Auswertungen. Auf den von klinischen Expertinnen und Experten zusammengestellten Referenzdatensätzen sei GPT‑4 bei einer kombinierten Präzisions- und Trefferquotenmetrik mindestens zehn Prozent genauer gewesen als die zuvor verwendeten modernen ML-Modelle. Besonders bei komplexen Informationen, die an verschiedenen Stellen der Akte verteilt waren, habe das Modell gut abgeschnitten. Als weitere Gründe für die Wahl nennt das Unternehmen die einfache API-Integration, Dokumentation und Unterstützung, multimodale Eingaben, lange Kontextfenster sowie die Unterstützung regulatorischer Anforderungen einschließlich HIPAA.
Paradigm berichtet, GPT‑4 habe den Aufbau neuer Datenelemente von Monaten auf Tage verkürzt und den Anteil der Daten, der zur Bewertung der Modellausgaben benötigt werde, um 90 Prozent gesenkt. Das Unternehmen beziffert den Genauigkeitszuwachs auf zehn Prozent und sagt, dadurch sei weniger manuelle Prüfung nötig. Ärztinnen und Pflegekräfte könnten mehr Zeit für die Versorgung aufwenden statt Dokumente auszuwerten. Paradigm vermutet außerdem, dass die Technologie die Prüfung von Patientinnen und Patienten aus unterversorgten Gruppen verbessern könnte, weil deren Akten häufiger unstrukturierte Notizen enthalten. Der Bericht betont jedoch, dass dieser mögliche Gleichheitseffekt noch nachgewiesen werden müsse.
Für die Zukunft stellt Paradigm einen Dialog mit ChatGPT über Patientendaten in Aussicht, um Studienberechtigung, fehlende Angaben und nächste Schritte zu ermitteln. Die Plattform könne möglicherweise Hunderte Personen pro Minute bewerten; zum Vergleich nennt der Bericht rund 50 manuell geprüfte Personen pro Tag durch eine typische Pflegekraft in der Studienkoordination. Diese Zahlen und Wirkungen werden als Unternehmensangaben beziehungsweise Potenzial dargestellt. Der Text liefert keine unabhängige Prüfung der Ergebnisse, keine näheren Angaben zu Studiendesign oder Stichprobengröße und keine Belege dafür, dass der prognostizierte Durchsatz oder ein gerechterer Zugang bereits in der Praxis erreicht sind.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Kurzfassung ist treu. Die mittlere Fassung verknüpft die 90-Prozent-Angabe mit der Menge der benötigten Daten, der Bericht bezieht sie aber auf die Zeit klinischer Experten für die Modellvalidierung; zudem fehlt der Hinweis auf den Vergleich mit menschlichen Experten. Die Einordnung betrifft drei Sammelfragen; Teilfragen wurden nicht vorgelegt.
Im Bericht, aber nicht in der Zusammenfassung
- GPT-4 übertraf nach Angaben von Paradigm ein Team hochqualifizierter Experten bei komplexen Datenauswertungen
- Die Angabe von mindestens zehn Prozent höherer Genauigkeit bezieht sich auf eine kombinierte Precision/Recall-Metrik auf kuratierten Referenzdaten
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %Hintergrund, keine Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 44 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 75 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 52 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 33 %gleiches Oberthema, hilft nicht
- JEV 50 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 62 %gleiches Oberthema, hilft nicht
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %nur am Rande erwähnt
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 49 %gleiches Oberthema, hilft nicht
- JEV 36 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv