Die rasante Entwicklung von Technologien der künstlichen Intelligenz (KI) hat im Bereich der Medizin sowohl für Aufregung als auch für Besorgnis gesorgt. Einerseits bergen diese leistungsstarken Algorithmen ein immenses Potenzial, das Gesundheitswesen zu revolutionieren - von der Beschleunigung von Diagnosen bis zur Optimierung von Behandlungsplänen. Die Integration von KI in die reale medizinische Praxis birgt jedoch auch erhebliche Herausforderungen, die sorgfältig gemeistert werden müssen.

Da in den letzten Jahren Hunderte von KI-gesteuerten medizinischen Geräten zugelassen wurden, wird der Ruf nach einer strengeren klinischen Validierung lauter, um sicherzustellen, dass diese Hilfsmittel den Patienten wirklich zugutekommen. Ein unüberlegter Einsatz von KI könnte nicht nur die Ergebnisse nicht verbessern, sondern im schlimmsten Fall auch den Patienten schaden. Die verantwortungsvolle Entwicklung und Implementierung medizinischer KI erfordert einen vielschichtigen Ansatz, der sich mit komplexen Fragen rund um klinische Tests, algorithmische Verzerrungen, die Interaktion zwischen Mensch und KI und die Einwilligung des Patienten befasst.

Die Gefahren einer überstürzten Einführung

Die Geschichte von Devin Singh, einem Assistenzarzt in der Pädiatrie, der in der Notaufnahme einen tragischen Fall von Herzstillstand miterlebte, macht deutlich, wie dringend notwendig es ist, KI-Systeme vor dem klinischen Einsatz gründlich zu prüfen. Unter dem Eindruck des Todes des Kindes sah sich Singh gezwungen, seine doppelte Expertise in Pädiatrie und Informatik zu nutzen, um zu erforschen, wie KI helfen könnte, Wartezeiten zu verkürzen und die Behandlung zu beschleunigen. Durch seine Forschung entwickelten Singh und seine Kollegen eine Reihe von KI-Modellen, die schnelle Diagnosen stellen und geeignete Tests für pädiatrische Patienten empfehlen können.

Die retrospektive Datenanalyse zeigte zwar vielversprechende Ergebnisse mit dem Potenzial, die Behandlung von über 20 % der Besuche in der Notaufnahme zu beschleunigen, doch ist dies nur der erste Schritt zur Überprüfung der realen Auswirkungen einer solchen KI-Intervention. Die ordnungsgemäße Prüfung medizinischer KI ist ein komplexer, mehrstufiger Prozess, der weit über die anfängliche algorithmische Leistung hinausgeht.

Leider weist die derzeitige Landschaft erhebliche Lücken in der klinischen Validierung auf. Eine kürzlich durchgeführte Untersuchung ergab, dass zwischen 2020 und 2022 nur 65 randomisierte, kontrollierte Studien zu KI-Eingriffen veröffentlicht wurden - eine verschwindend geringe Zahl im Vergleich zu den Hunderten von KI-gesteuerten medizinischen Geräten, die von Aufsichtsbehörden wie der US-amerikanischen Food and Drug Administration (FDA) für den Einsatz zugelassen wurden.

Der Kardiologe David Ouyang vom Cedars-Sinai Medical Center in Los Angeles bringt es auf den Punkt: "Gesundheitsorganisationen sehen viele zugelassene Geräte, die nicht klinisch validiert sind." Dieser Mangel an rigorosen Tests bedeutet, dass Krankenhäuser und Kliniken oft Entscheidungen über die Einführung dieser Technologien treffen müssen, ohne dass ihre Auswirkungen in der Praxis ausreichend belegt sind.

Die Anreizstrukturen auf dem Markt für medizinische KI können dieses Problem noch verschärfen. In den USA erstatten Krankenkassen den Krankenhäusern bereits die Kosten für den Einsatz bestimmter KI-Geräte und schaffen so einen finanziellen Anreiz für die Einführung dieser Instrumente, auch wenn ihr Nutzen für die Patientenversorgung noch nicht bewiesen ist. Ouyang vermutet, dass dies Unternehmen davon abhalten könnte, in den kostspieligen und zeitaufwändigen Prozess der klinischen Studien zu investieren, da die Genehmigung der Kostenerstattung möglicherweise eine höhere Priorität hat als der Nachweis verbesserter Gesundheitsergebnisse.

Die Situation mag in Gesundheitssystemen mit zentraler staatlicher Finanzierung anders sein, wo die Messlatte für den Nachweis höher ist, bevor Technologien erworben werden können. Aber insgesamt scheint das derzeitige regulatorische Umfeld die Messlatte zu niedrig angesetzt zu haben, da für Geräte, die potenziell hohe Risiken für Patienten darstellen, oft nur begrenzte klinische Daten für die Zulassung erforderlich sind.

Berücksichtigung der menschlichen Faktoren

Selbst wenn ein KI-System in einer kontrollierten Studie vielversprechende Ergebnisse gezeigt hat, kann seine Leistung in der Praxis stark davon beeinflusst werden, wie das medizinische Fachpersonal mit der Technologie interagiert und auf sie reagiert. Dieser Faktor "Mensch in der Schleife" ist ein entscheidender Aspekt, der oft übersehen wird.

Die Erfahrungen des Amsterdam University Medical Center sind ein gutes Beispiel dafür. Forscher führten dort eine randomisierte Studie durch, um einen von Edwards Lifesciences entwickelten Algorithmus zu testen, der das Auftreten von niedrigem Blutdruck während einer Operation vorhersagen kann, ein gefährlicher Zustand, der als intraoperative Hypotonie bekannt ist. Die erste Studie zeigte, dass der Algorithmus in Verbindung mit einem klaren Behandlungsprotokoll die Dauer der Hypotonieepisoden wirksam reduzieren konnte.

In einer nachfolgenden Studie einer anderen Einrichtung konnten diese Vorteile jedoch nicht wiederholt werden. Der Hauptunterschied? In der ersten erfolgreichen Studie hatten die Forscher die Anästhesisten sorgfältig darauf vorbereitet, wie sie auf die Warnungen des Algorithmus reagieren sollten. In der zweiten Studie jedoch, so die Anästhesistin Denise Veelo, "waren die Ärzte am Krankenbett nicht bereit, etwas zu tun, wenn der Alarm losging".

Dieser menschliche Faktor ist entscheidend. Ein noch so guter KI-Algorithmus wird scheitern, wenn die Gesundheitsdienstleister, die ihn nutzen, seine Empfehlungen ignorieren oder falsch interpretieren. Faktoren wie die "Warnmüdigkeit", bei der Kliniker gegenüber einer großen Anzahl von KI-generierten Warnungen desensibilisiert werden, können das Potenzial der Technologie ebenfalls untergraben.

Es ist wichtig, die Kluft zwischen KI-Entwicklern und Endnutzern zu überbrücken. Wie die Forscherin Barbara Barry von der Mayo Clinic bei der Erprobung eines Algorithmus zur Erkennung von Herzkrankheiten feststellte, wünschten sich die Gesundheitsdienstleister mehr Anleitung, wie sie die Ergebnisse des Tools den Patienten effektiv vermitteln können. Die Einbeziehung solcher nutzerzentrierten Designerkenntnisse ist der Schlüssel für eine reibungslose Integration von KI in klinische Arbeitsabläufe.

Neben den Ärzten muss auch die Rolle des Patienten berücksichtigt werden. Viele aktuelle medizinische KI-Anwendungen arbeiten hinter den Kulissen und unterstützen die Ärzte bei der Untersuchung, Diagnose und Behandlungsplanung. Doch wie Singhs Projekt in der pädiatrischen Notaufnahme zeigt, gibt es eine wachsende Klasse von KI-Tools, die darauf abzielen, Patienten direkt zu unterstützen und bestimmte Entscheidungsprozesse zu automatisieren.

In diesem Fall würde das KI-System Triage-Daten nehmen, eine Vorhersage treffen und dann die direkte Zustimmung der Eltern oder des Betreuers einholen, um mit dem Test fortzufahren - und damit den Arzt aus dem Kreislauf entfernen. Dies wirft noch nie dagewesene ethische und rechtliche Fragen in Bezug auf die Zustimmung des Patienten, die Verantwortung und die Haftung auf. Wie können wir in solchen automatisierten Szenarien eine wirklich informierte und authentische Zustimmung der Familien sicherstellen? Welche rechtlichen Konsequenzen ergeben sich, wenn etwas schief geht?

Dies sind unbekannte Gewässer, und Singhs Team arbeitet mit Rechtsexperten und Aufsichtsbehörden zusammen, um sie zu durchqueren. Aber ganz allgemein muss sich die medizinische KI-Gemeinschaft mit der sich entwickelnden Rolle des Patienten als Datenquelle und Endnutzer dieser Technologien auseinandersetzen. Eine transparente Kommunikation, aussagekräftige Einwilligungsprozesse und robuste Data-Governance-Rahmenwerke werden unerlässlich sein.

Algorithmische Verzerrungen bekämpfen

Eine weitere kritische Herausforderung bei der Erprobung und dem Einsatz medizinischer KI besteht darin, sicherzustellen, dass diese Werkzeuge bei unterschiedlichen Patientengruppen gleich gut funktionieren. Algorithmische Verzerrungen, bei denen ein KI-System aufgrund von Faktoren wie Ethnie, Geschlecht oder sozioökonomischem Status verzerrte oder diskriminierende Ergebnisse liefert, sind ein gut dokumentiertes Problem im Gesundheitsbereich.

Die Populationen der klinischen Studien sind oft nicht repräsentativ für die breiteren Patientengruppen, denen diese Technologien dienen sollen. Xiaoxuan Liu, ein klinischer Forscher an der Universität Birmingham im Vereinigten Königreich, stellt fest: "Es ist einfach eine bekannte Tatsache, dass KI-Algorithmen sehr anfällig sind, wenn sie auf Daten angewendet werden, die sich von den Daten unterscheiden, auf denen sie trainiert wurden."

Das Beispiel des Algorithmus von Google Health zur Erkennung von diabetischer Retinopathie verdeutlicht dieses Risiko. Während das Tool in Tests, die am Hauptsitz des Unternehmens in Palo Alto, Kalifornien, durchgeführt wurden, eine hohe Genauigkeit aufwies, sank seine Leistung erheblich, als es in Kliniken in Thailand eingesetzt wurde. Eine Beobachtungsstudie ergab, dass die Unterschiede in den Lichtverhältnissen und der Bildqualität in den thailändischen Einrichtungen die Wirksamkeit des Algorithmus beeinträchtigten.

Solche Fälle machen deutlich, wie wichtig es ist, medizinische KI-Systeme nicht nur in idealisierten Forschungsumgebungen zu evaluieren, sondern im gesamten Spektrum der realen klinischen Umgebungen und Patientenpopulationen, in denen sie zum Einsatz kommen. Strenge Bias-Tests müssen ein zentraler Bestandteil des klinischen Validierungsprozesses sein, um sicherzustellen, dass diese Technologien die bestehenden Ungleichheiten in der Gesundheitsversorgung nicht verschärfen.

Aufbau von Kapazitäten für die lokale Validierung

Angesichts der vielfältigen Herausforderungen bei der Erprobung medizinischer KI stellt sich die Frage: Wer sollte für diese wichtige Arbeit verantwortlich sein? Einige argumentieren, dass jede einzelne Gesundheitseinrichtung ihre eigenen Bewertungen durchführen sollte, bevor sie KI-Tools einsetzt. Doch wie die KI-Spezialistin Shauna Overgaard betont, stellt dies eine erhebliche Belastung dar, insbesondere für kleinere Gesundheitseinrichtungen.

Um dem entgegenzuwirken, gibt es Bemühungen, zentralisierte und standardisierte Ansätze für die Validierung medizinischer KI zu entwickeln. Die Coalition for Health AI, der Vertreter von Industrie, Wissenschaft und Patientengruppen angehören, hat die Einrichtung eines Netzwerks von "Health AI Assurance Laboratories" vorgeschlagen, die Modelle anhand einer Reihe vereinbarter Grundsätze bewerten könnten.

Die von der Gordon and Betty Moore Foundation finanzierte Health AI Partnership hat sich zum Ziel gesetzt, technische Unterstützung und lokale Validierungskapazitäten in jeder Gesundheitseinrichtung aufzubauen, die KI-Modelle selbst testen möchte. Mark Sendak, ein klinischer Datenwissenschaftler an der Duke University, argumentiert: "Jede Einrichtung muss ihre eigenen internen Fähigkeiten und Infrastrukturen haben, um diese Tests durchzuführen.

Nina Kottler von Radiology Partners stimmt zu, dass die Validierung vor Ort von entscheidender Bedeutung ist, betont aber auch, wie wichtig es ist, die Endanwender zu schulen - die Kliniker, die diese KI-Tools in der Praxis einsetzen werden. "Es gibt fast keine KI im Gesundheitswesen, die autonom ist", stellt sie fest. "Wir müssen uns Gedanken darüber machen, wie wir sicherstellen können, dass wir die Genauigkeit nicht nur der KI, sondern der KI und des Endanwenders messen."

Auf dem Weg in eine Zukunft der verantwortungsvollen medizinischen KI

Die rasche Verbreitung von KI-gesteuerten medizinischen Geräten hat die Entwicklung robuster Rahmenwerke für ihre klinische Validierung und ethische Umsetzung überholt. Infolgedessen sind Gesundheitsorganisationen oft auf sich allein gestellt und erhalten nur begrenzte Anleitung und Unterstützung, um in diesen unbekannten Gewässern zu navigieren.

Die medizinische KI-Gemeinschaft ist sich jedoch zunehmend einig, dass ein strengerer, kooperativer und patientenorientierter Ansatz erforderlich ist. Zu den wichtigsten Prioritäten gehören:

1. Verschärfung der Anforderungen an die klinische Validierung: Die Regulierungsbehörden müssen die Messlatte für den Nachweis der realen Auswirkungen höher legen und über die bloße Leistung des Algorithmus hinausgehen, um die klinischen Ergebnisse, die Sicherheit und die Gerechtigkeit in verschiedenen Bevölkerungsgruppen zu bewerten.

2. Förderung der Zusammenarbeit verschiedener Interessengruppen: Industrie, Hochschulen, Gesundheitsdienstleister und Patientenvertreter müssen zusammenarbeiten, um standardisierte Grundsätze und Verfahren für die Prüfung und den Einsatz medizinischer KI festzulegen.

3. Stärkung der lokalen Validierungskapazitäten: Gesundheitsorganisationen jeder Größe benötigen die technischen Ressourcen und das Fachwissen, um KI-Tools in ihren eigenen klinischen Umgebungen und Arbeitsabläufen gründlich zu bewerten.

4. Das menschliche Element in den Mittelpunkt stellen: Die Interaktionen zwischen KI-Systemen und Fachkräften des Gesundheitswesens sowie Patienten und ihren Angehörigen müssen sorgfältig konzipiert und untersucht werden, um eine reibungslose Integration und Vertrauen zu gewährleisten.

5. Ethische Überlegungen anstellen: Fragen der Patienteneinwilligung, der Data Governance, der algorithmischen Voreingenommenheit und der Rechenschaftspflicht müssen proaktiv angegangen werden, um sicherzustellen, dass die medizinische KI auf ethische und gerechte Weise umgesetzt wird.

Mit diesem vielschichtigen Ansatz für eine verantwortungsvolle KI-Entwicklung und -Einführung kann die medizinische Gemeinschaft die transformative Kraft dieser Technologien nutzen und gleichzeitig die Risiken minimieren. Es steht viel auf dem Spiel, denn das Leben und Wohlergehen von Patienten steht auf dem Spiel. Aber mit Sorgfalt, Zusammenarbeit und einem unerschütterlichen Engagement für die klinische Validierung und ethische Umsetzung kann das Versprechen der KI in der Medizin in vollem Umfang realisiert werden.

​