Hunderte Bilder sehen Radiologinnen und Radiologen im Krankenhaus täglich: CT-Scans, Ultraschallbilder, MRT-Aufnahmen. Komplexe anatomische Strukturen, in denen sie die kleinsten Veränderungen feststellen müssen. Das braucht Zeit und erfordert über Stunden höchste Konzentration.
Der Workload in Kliniken steigt permanent. Deshalb werden wir in Zukunft bei medizinischen Diagnosen vermehrt KI-basierte Empfehlungssysteme im Einsatz sehen. Die sind extrem schnell und ermüden nicht.
Prof. Dr. Matthias Uhl Zum Profil
Im bidt-Projekt „Verantwortungslücken in Mensch-Maschine-Interaktionen“ beleuchtet Uhl zusammen mit seinem Kollegen Dr. Sebastian Krügel und einem interdisziplinären Team die Ambivalenz von Vertrauen in KI. Denn ja, Ärztinnen und Ärzte profitieren von Unterstützungssystemen – aber was passiert, wenn sie ihnen zu stark vertrauen?
Forschungsprojekt
Machine Learning für die Tumorklassifikation
KI unterstützt schon heute vereinzelt im Bereich der onkologischen Bildgebung; konkret bei der Klassifikation von Tumoren nach international festgelegten Kriterien. Wie ist die Schwere des Tumors einzuschätzen? Von der Antwort hängt die Therapie ab, die ein Patient erhält. Für die Tumorklassifikation analysiert der Algorithmus mehrere Tausend Bilder, erkennt Muster und wendet diese auf den neuen Fall an. Umso öfter er dies tut, je mehr Bilder er zur Verfügung hat, desto besser lernt er.
Ärztinnen und Ärzte können in Zukunft die Empfehlungen der KI in ihre Diagnosen einbeziehen. Jedoch hat die Maschine keine medizinische Erfahrung, keine Erinnerung an außergewöhnliche Fälle und selbstverständlich keine Beziehung zur Patientin oder zum Patienten. Arbeiten hier Mensch und Maschine optimal Hand in Hand?
Wie viel Vertrauen in KI ist angemessen?
Das Forschungsteam ist überzeugt: Vertrauen in Maschinen ist ambivalent. Das wird zum Problem, wenn in Kliniken KI-Technologien zum Einsatz kommen, ohne die Rahmenbedingungen dafür festzulegen. Ist es legitim, wenn eine Ärztin sagt: „Letztlich bin ich nur der Empfehlung des Systems gefolgt“? Trägt sie die Verantwortung allein, wenn es um das Leben eines Patienten geht? Und ist der Hersteller der eingesetzten Software mitverantwortlich? Fragen, auf die es derzeit keine klaren Antworten gibt.
Hinzu kommt: Menschen unterschätzen ihr Vertrauen in Maschinen. Es gibt einen Unterschied zwischen dem Maß an Vertrauen, das wir rational angemessen finden und wie wir uns in der Interaktion mit Maschinen tatsächlich verhalten. Deshalb untersucht das Projektteam, wie die praktische Zusammenarbeit mit KI-Systemen im Klinikalltag gestaltet sein sollte.
Diese Forschung könnte auch der öffentlichen Debatte über KI einen Twist geben. Denn hier sehen die Forschenden eine diskursive Schlagseite: „Man gewinnt den Eindruck, als müssten wir ausschließlich das Vertrauen in digitale Systeme stärken. Aber vielmehr müssen wir ein richtiges Maß an Vertrauen einüben“, meint Matthias Uhl. „Wir alle kennen die Geschichten von Leuten, die ihrem Navi so sehr vertrauen, dass sie sogar noch die Einbahnstraße hochfahren, wenn andere wild hupen.“
KI im medizinischen Kontext bietet große Potenziale. Vertrauen in KI zu erhöhen, kann aber nicht das einzige Ziel sein. Wir müssen auch kritisch mit der Technologie umgehen. Wir fragen: Wie kann man diesen kritischen Umgang im praktischen Klinikalltag institutionalisieren?
Dr. Sebastian Krügel Zum Profil
Design von KI-Systemen in der Medizin
Ein wesentlicher Teil des bidt-Projekts ist die Frage nach der Gestaltung KI-basierter Empfehlungssysteme in Kliniken. Um hier Erkenntnisse im Feld zu gewinnen, entwickelt das Team um Professor Dr. Marc Aubreville und Jonas Ammeling von der Professur für Bildverstehen und medizinische Anwendung der KI der TH Ingolstadt angepasste KI-Lösungen. In einem späteren Projektschritt geht es darum, deren Einsatz im Krankenhaus zu analysieren.
Besonders „nicht intendierte“ Effekte sollen dabei zum Vorschein kommen: Beeinflusst die Software medizinische Entscheidungen in eine bestimmte Richtung, ohne dass es den Akteuren bewusst ist? Wenn ja, ist Vorsicht geboten. „Wir kennen diese Effekte aus unseren Vorarbeiten in nichtmedizinischen Kontexten“, so Matthias Uhl. „Die Reihenfolge der KI-Empfehlung spielt z. B. eine entscheidende Rolle:
- Fällt ein Proband sein Urteil und ihm wird erst dann die Systemempfehlung gezeigt, lässt er sich weniger stark beeinflussen. Denn er hat vorab einen eigenen Anker gesetzt und ist kritischer gegenüber der KI.
- Sieht ein Proband die Empfehlung des Systems zuerst und fällt danach sein Urteil, ist die Wahrscheinlichkeit hoch, dass er denkt: So wäre auch meine Entscheidung gewesen.“
Das Projektteam möchte eine solche Beeinflussung bei medizinischen Diagnosen vermindern. „Wir wollen Designparadigmen für KI-basierte Empfehlungsdienste ableiten, die eine Kalibrierung des Vertrauens erlauben“, sagt Sebastian Krügel. „Wir wollen verstehen, welche Hebel wie wirken: zum Beispiel einzelne Features, die die Entscheidung der Ärztin stärker in den Vordergrund rücken; oder den Arzt innehalten lassen, weil das System Restzweifel anmeldet.“ Dies soll Akteure in Kliniken ermächtigen:
- KI-basierte Technologien im Einklang mit ihrem Selbstverständnis zu nutzen (z. B. als Ärztin/Arzt oder Klinikleitung) und
- den Umgang mit KI-Technologien im jeweiligen Krankenhaus auch Patientinnen und Patienten gegenüber konkret erläutern zu können.
Was denken Patientinnen und Patienten über KI?
Informatik, Ethik, Data Science – im vom bidt geförderten Konsortialprojekt sind verschiedene Fachrichtungen vertreten, um das Feld „KI und Medizin“ umfassend zu beforschen. Professor Dr. Alexis Fritz und Angelika Kießig vom Lehrstuhl für Moraltheologie der Katholischen Universität Eichstätt-Ingolstadt analysieren Mensch-Maschine-Interaktionen und berücksichtigen dabei philosophische Konzepte zu Verantwortung und Vertrauen.
Das interdisziplinäre Forschungsteam bezieht auch die Perspektive der Patientinnen und Patienten auf Künstliche Intelligenz mit ein, denn wenn Algorithmen an medizinischen Entscheidungen beteiligt sind, muss das für die Betroffenen transparent und nachvollziehbar sein. Dies legt die Weltgesundheitsorganisation (WHO) in ihren Richtlinien zu „Künstlicher Intelligenz und Gesundheit“ fest. Die Forschenden wollen deshalb anhand einer repräsentativen Befragung in Deutschland herausfinden: Wie weisen Patientinnen und Patienten den medizinischen Akteurinnen und Akteuren Verantwortung zu, z. B. wenn eine falsche Diagnose mit KI-Unterstützung gestellt wurde?
„Die Einstellung der Patienten gegenüber KI-Systemen wirkt sich auf das Verhalten von Ärztinnen und Ärzten aus“, erklärt Matthias Uhl. Zeigen Betroffene ein größeres Verständnis für Diagnosen, wenn diese den Empfehlungen digitaler Assistenten entsprechen? Dann liegt die Vermutung nahe, dass Medizinerinnen und Mediziner ihre Diagnosen tendenziell den Empfehlungen anpassen werden und ihren eigenen Einschätzungen weniger vertrauen. Umso wichtiger sei es, Ärztinnen und Ärzte zu befähigen, KI-Empfehlungen im Zweifel zu überstimmen.
Mensch-Maschine-Interaktion mitgestalten
Zwar steht das bidt-Projekt noch am Anfang, doch schon jetzt ist klar: Es braucht ethische Standards und deren Verankerung in pragmatische Richtlinien. Im speziellen Fall der KI-Diagnosesysteme können sie helfen, die Anforderungen von Ärztin/Arzt, Patientin/Patient und Krankenhaus unter einen Hut zu bringen. „Die aktuellen KI-Richtlinien sind auf einem zu abstrakten Level. In der Anwendung fällt es extrem schwer zu beurteilen: Was bedeutet das für mich als Entwicklerin von KI-Systemen oder als Arzt im Krankenhaus“, betont Sebastian Krügel.
Es ist wichtig, KI-Anwendungen in der Medizin schon heute aktiv mitzugestalten, um daraus für künftige Einsatzgebiete zu lernen.
Prof. Dr. Matthias Uhl Zum Profil
Der Einsatz von KI, genauer von Machine Learning, hat vor allem im Kontext der medizinischen Bildgebung noch viel Potenzial. Denn die Daten, aus denen die Maschine lernen kann, müssen digitalisiert vorliegen. Bei CT-Scans ist dies bereits in großem Umfang der Fall. Schon bald wird es möglich sein, digital verfügbare Gesundheitsdaten für KI-unterstützte Diagnosen zu kombinieren: MRT-Bilder, Blutanalysen oder Patientenakten. Umso wichtiger sind eine wissenschaftlich gestützte Diskussion um Datensicherheit sowie Erkenntnisse zur verantwortungsvollen, menschzentrierten Gestaltung von KI-Systemen.
