Verantwortungslücken in Mensch-Maschine-Interaktionen: Die Ambivalenz von Vertrauen in KI (ReGInA)

Projektbeschreibung

Das Projektteam untersuchte die potenziellen Gefahren eines zu starken Vertrauens in Maschinen bei medizinischen Entscheidungen.
Die Forscherinnen und Forscher konzentrierten sich hierfür auf die Interaktion zwischen Ärztinnen und Ärzten und KI-basierten Empfehlungsdiensten bei der Interpretation medizinischer Bilder für die Diagnose. Sie evaluierten das angemessene Maß an Vertrauen, das menschliche Entscheidungsträgerinnen und -träger benötigen, um von der Nutzung von KI-Systemen zu profitieren und gut informierte professionelle Entscheidungen treffen zu können. Ferner sollten die kausalen Auswirkungen von institutionellen, situativen, individuellen und technologischen Parametern auf dieses Vertrauensniveau untersucht werden.

Die Projektergebnisse sind für eine Vielzahl von KI-Anwendungen in anderen Bereichen von Bedeutung und fügen der öffentlichen Debatte über KI-Empfehlungsdienste eine neue Ebene hinzu. Im Einklang mit den Anforderungen human-zentrierter Gestaltungsprinzipien stellte das Projektteam die Ärztinnen und Ärzte selbst sowie die Arzt-Patienten-Beziehung in den Mittelpunkt der Forschung. Zudem wurden Designparadigmen für KI-basierte Empfehlungsdienste, die eine Kalibrierung des Vertrauens erlauben, betrachtet.

Während Strukturen und Prozesse im medizinischen Bereich zunehmend an Maschinen angepasst werden, konzentrierten sich die Forscherinnen und Forscher stattdessen auf die Frage, inwieweit sich Empfehlungsdienste in die bestehende Struktur der Verantwortlichkeit und Rechenschaft in der ärztlichen Praxis integrieren lassen. Ergänzt wurde der Ansatz um die Perspektive der Organisationsethik.

Im Fokus des Projekts stand die Frage, wie Verantwortung und Vertrauen in der Nutzung KI-gestützter Entscheidungsunterstützungssysteme in der medizinischen Diagnostik realisiert werden können, insbesondere unter Bedingungen algorithmischer Intransparenz. Auf Basis theoretischer Vorarbeiten und umfangreicher empirischer Studien mit medizinischem Fachpersonal, Laien und KI-Systemen untersuchte das Projektteam die technische Gestaltung, die menschlichen Kompetenzen sowie gesellschaftliche Erwartungen, die für eine verantwortungsvolle Mensch-Maschine-Kollaboration entscheidend sind.

Das Projekt wurde zum 31. Dezember 2024 abgeschlossen.

Ansprechpartner

Projektteam