Gesundheitsrat vom Chatbot? Ute Schmid kommentiert neueste Studienergebnisse

Eine aktuelle Studie eines Forscherteams der Universität Oxford, erschienen im Fachjournal „Nature Medicine“, weist auf Problematiken bei der Nutzung großer Sprachmodelle zur Beantwortung von Gesundheitsfragen hin. Viele Menschen nutzen Chatbots zur ersten Orientierung, liefern dabei aber häufig unvollständige oder unscharfe Angaben. Dadurch entstehen im Zusammenspiel von Nutzerinnen und Nutzern und dem Modell Missverständnisse, die die Qualität der Antworten verschlechtern. Die Ergebnisse der Studie sind medial breit aufgegriffen worden. Professorin Ute Schmid, Inhaberin des Lehrstuhls für Kognitive Systeme an der Otto-Friedrich-Universität Bamberg und bidt-Direktorin, ordnet auf Anfrage des Science Media Center (SMC) ein, wie die Ergebnisse der Studie zu bewerten sind.

Die „Pharmazeutische Zeitung“ (PZ) griff die Ergebnisse der Studie in einem Beitrag auf. Der Artikel beleuchtet vorrangig die Frage, warum die Kommunikation der Patientinnen und Patienten mit den LLMs schieflaufe. Schmid sieht das Hauptproblem, warum Fehler in der Interaktion mit der KI entstehen, in der mangelnden Erfahrung bei der Formulierung von Anfragen und in fehlenden medizinischen Grundkenntnissen. Sie hält jedoch den grundsätzlichen Gebrauch solcher Systeme für sinnvoll.

Die „Berliner Zeitung“ erörtert ebenfalls in einem Beitrag, wie sinnvoll der Gesundheitsrat von Sprachmodellen wie ChatGPT zu beurteilen sei. Auch hier wird als zentrales Problem der Interaktionsprozess mit der KI herausgestellt. Unvollständige Angaben, ungenaues Nachfragen oder selektives Aufgreifen der Antworten schwächen den Outcome der Systeme. Dazu, wie das Potenzial der LLMs in der Diagnostik positiv genutzt werden kann, sagt Schmid:

Auf medizinische Fragen spezialisierte Chatbots können durchaus sinnvoll sein, damit Menschen besser einschätzen können, ob der Besuch einer Praxis oder Notaufnahme ratsam ist. Allerdings müssen solche Angebote eine hohe Qualität der Antworten gewährleisten und sinnvoll soziotechnisch eingebettet sein. Qualitätsgeprüfte Chatbots könnten beispielsweise über die gesetzlichen Krankenkassen angeboten und von Hausarztpraxen als Erstzugang empfohlen werden.

Prof. Dr. Ute Schmid Zum Profil

Auch das Onlinefachportal „Medscape“ und das „Deutsche Ärzteblatt“ diskutieren die Studienergebnisse. Beide Medien mit medizinischem Schwerpunkt beschäftigen sich konkreter mit Vorgehensweise und Methodik der Studie. Im „Deutschen Ärzteblatt“ betont Schmid, dass spezialisierte, qualitätsgeprüfte Chatbots eine sinnvolle erste Orientierung bieten könnten – etwa um besser einzuschätzen, ob eher der Besuch einer Praxis oder einer Notaufnahme ratsam sei.

Ebenfalls bezieht sich die „Bild“-Zeitung auf die Einschätzung von Schmid. Menschliche Expertise sei entscheidend, wenn es um eine zielgerichtete Suche, aber im Wesentlichen auch die kritische Reflexion der Ergebnisse gehe. Es bedürfe spezifischen „Bedienwissens“, um die Missverständnisse zwischen Mensch und KI zu reduzieren.

---