Das Konzept der Algorithm Aversion (Abneigung gegen Algorithmen) wurde das erste Mal in 2015 von Dietvorst et al. [1] benannt. Die Autoren führten ein Laborexperiment durch, in welchem die Probanden die Erfolgsaussicht von Bewerberinnen und Bewerbern für ein MBA-Programm bewerten sollten. Bevor die Proband:innen ihre eigene Prognose finalisierten, erhielten manche Zugriff auf die Prognosen einer menschlichen Expertin/eines Experten, eines algorithmischen Agenten oder auf die Prognosen beider Instanzen. Das Experiment zeigt: Insbesondere, wenn Menschen den Algorithmus bei der Arbeit und daher auch bei dem ein oder anderen Fehler, beobachten können, setzten sie eher auf menschliche Expertise – und das, obwohl der algorithmische Agent eine insgesamt signifikant bessere Prognoseleistung als die menschliche Expertin/der Experte an den Tag legte. Diese Erkenntnisse legten den Grundstein für die erste Definition des Phänomens der Algorithm Aversion.
Während diese frühen Definitionen der Algorithm Aversion zumeist im Zusammenhang mit dem (fehlerhaften) Verhalten eines algorithmischen Agenten standen, zeigten weitere Studien, dass Menschen nicht unbedingt Zeuge der Leistung dieses Agenten werden müssen, um ihm gegenüber avers zu sein [2]. Dies hebt die inhärente Irrationalität dieses Phänomens weiter hervor. So ergab sich recht schnell eine breiter gefasste Definition der Algorithm Aversion, die heute in der Forschung in der Regel zugrunde gelegt wird. Algorithm Aversion beschreibt danach eine „voreingenommene Bewertung eines Algorithmus, die sich in negativen Verhaltensweisen und Einstellungen gegenüber dem Algorithmus im Vergleich zu einem menschlichen Agenten äußert“ [3, S. 4]. In dieser weiteren Definition bezieht sich die Algorithm Aversion nicht nur auf den Bereich von Prognosen, sondern kann sich auch in der Evaluation des Algorithmus oder seiner Ergebnisse sowie in der generellen Nutzung eines algorithmischen Agenten niederschlagen. Ein Beispiel: Wenn ein algorithmischer Agent einen Fehler in einer Personal- oder Kreditvergabeentscheidung macht, sind die hiermit verbundenen negativen Emotionen ausgeprägter als bei dem Fehler einer menschlichen Kollegin/eines Kollegen [4].
Die Forschung konnte das Phänomen der Algorithm Aversion bereits in vielen unterschiedlichen Anwendungsfeldern nachweisen. Eine irrationale Aversion gegenüber Algorithmen zeigt sich zum Beispiel in der Medizin, in welcher algorithmische Systeme als Entscheidungsunterstützung oder sogar Entscheidungsträger in der Diagnostik verwendet werden [2]. Aversion zeigt sich auch im Rahmen der Delegation von betriebswirtschaftlichen Entscheidungen an algorithmische Agenten, beispielsweise im Hinblick auf das Treffen von Personalentscheidungen, wie z. B. im Hinblick auf die Einladung zu Bewerbungsgesprächen [4]. Auch kann sich Algorithm Aversion im Bereich algorithmisch erstellter Produkte zeigen, so z. B. bei algorithmisch erstellter Musik oder Kunst, oder gegenüber algorithmischen Agenten im Kundenservicebereich, beispielsweise bei Chatbots [5]. Insbesondere die Erstellung digitaler Produkte durch algorithmische Systeme hebt sich als signifikantes Effizienzpotenzial hervor, da diese Systeme den gesamten Wertschöpfungs- und Vertriebsprozess übernehmen können.
Durch die zunehmende Diffusion von algorithmischen Systemen in die digitale Ökonomie und die damit einhergehenden Effizienzpotenziale für Unternehmen lässt sich die Algorithm Aversion gut dort verankern. Es ist jedoch auch wichtig zu betonen, dass die Algorithm Aversion auch außerhalb eines ökonomischen Rahmens, wie zum Beispiel im Rahmen von juristischen Entscheidungen, auftritt [3]. Dennoch ist der Einsatz von algorithmischen Systemen in der digitalen Ökonomie überaus bedeutsam und wird auch in Zukunft maßgeblich weiter zunehmen, womit die Algorithm Aversion in diesem Bereich besonders relevant ist. Interessant ist auch, dass nicht in allen Fällen eine Aversion gegen Algorithmen zu erkennen ist und der Effekt sogar in das Gegenteil umschlagen kann: So beschreiben manche Studien, dass Menschen algorithmische Agenten gegenüber anderen Menschen vorziehen [6]. Dies wird dann Algorithm Appreciation genannt. Algorithm Appreciation zeigt sich zumeist, wenn die zugrunde liegende Aufgabe urteilsfreier Natur ist. Dies fußt darauf, dass Menschen Maschinen als besonders fähig für objektive Aufgaben ansehen, weniger jedoch für subjektive Aufgaben [7]. Insgesamt deutet sich aktuell an, dass die zugrunde liegenden Umstände (wie z. B. Charakteristika des algorithmischen Systems oder der Nutzerin/des Nutzers) einen wesentlichen Einfluss auf das Entstehen der Algorithm Aversion haben [3]. Dennoch ist die Forschung noch daran, die Entstehung der Algorithm Aversion und Einflüsse auf diese besser zu verstehen. So suggeriert eine aktuelle Studie, dass Algorithm Aversion nicht automatisch entsteht, sondern vielmehr auf einer (rationalen!) Kosten-Nutzen-Abwägung basiert [8].
Vergleichbarkeit mit analogen Phänomenen
Schon lange beschäftigen sich die Wirtschaftsinformatik und angrenzende Disziplinen mit der Akzeptanz neuer digitaler Lösungen. Entstanden sind zahlreiche Studien im Bereich der Technologieakzeptanz. Diese Arbeiten gehen von einer singulären, d. h. alleinstehenden Betrachtung einer Lösung aus. Die Forschung zur Algorithm Aversion geht bewusst einen anderen Weg, indem sie sich auf komparative Szenarien (d. h. Mensch vs. Algorithmus) fokussiert [3]. Dieser komparative Ansatz kam vor dem Hintergrund der zunehmenden Diffusion von künstlicher Intelligenz (KI) auf, welche es Systemen deutlich mehr als bisher erlaubt, Aufgaben von Menschen zu übernehmen. Studien zur Algorithm Aversion fokussieren sich daher immer auf das Abwägen zwischen einem menschlichen und einem algorithmischen Agenten, da verglichen wird, wie sich die Interaktion einer Person mit einem Menschen von der Interaktion mit Algorithmen unterscheidet.
Da eine digitale Lösung zwingender Teil des Phänomens ist und sich kein vergleichbares analoges Phänomen beobachten lässt, ist die Digitalspezifität des Phänomens als sehr hoch einzuordnen. Zudem erlauben nur ihre digitalen, intelligenten Fähigkeiten den Systemen, überhaupt erst bisher vom Menschen durchgeführte Aufgaben zu übernehmen. Die Notwendigkeit der Intelligenz der algorithmischen Systeme grenzt dieses Phänomen somit grundlegend von analogen Phänomenen ab. Enabler des Phänomens der Algorithm Aversion ist demnach auch die Automatisierung und auch Autonomisierung von Prozessen, da die Algorithm Aversion erst auftritt, wenn Menschen Zeuge davon werden, wie algorithmische Systeme Aufgaben (sowohl beratender oder ausführender Natur) übernehmen.
Gesellschaftliche Relevanz
Die Gesellschaft war auch in den vergangenen Jahrzehnten häufig mit algorithmischen Systemen konfrontiert, wodurch das Phänomen der Algorithm Aversion grundsätzlich schon länger bekannt ist.
Der aktuelle technologische Fortschritt macht die Algorithm Aversion gerade besonders relevant für die Gesellschaft. In der Vergangenheit war die Gesellschaft zumeist mit algorithmischen Systemen konfrontiert, welche passive Empfehlungen abgeben. So war die Forschung zur Algorithm Aversion häufig auf die Bereiche der Medizin (z. B. Entscheidungsunterstützung bei der Diagnostik) oder der Finanzen (z. B. Entscheidungsunterstützung bei Kreditvergaben) fokussiert. Die Relevanz der Algorithm Aversion für die Gesamtgesellschaft wird allerdings mit dem zügig voranschreitenden technologischen Fortschritt weiter zunehmen: Perspektivisch, insbesondere vor dem Hintergrund der aktuellen technologischen Entwicklungen im Bereich nichtlinearer Modelle des maschinellen Lernens, werden mehr und auch zunehmend performativere Systeme in unseren Alltag einziehen. Diese fortgeschrittenen Systeme können dank ihres höheren Autonomiegrads Aufgaben selbstständig durchführen. Menschen benutzen diese Systeme also nicht nur, sondern delegieren Aufgaben an sie. Beispiele hierfür sind Sprachassistenten im Kundenservice oder algorithmische Agenten, die eine medizinische Triage ohne menschliches Eingreifen durchführen. In Zukunft werden wir also immer mehr mit algorithmischen Agenten konfrontiert, wobei sich mit dem technologischen Fortschritt viele weitere Anwendungsfelder auftun (z. B. das Erstellen von journalistischen Artikeln oder das Design von Mode).
Höhere Grade an Autonomie und somit Handlungsfähigkeit von Algorithmen können die Aversion gegenüber diesen algorithmischen Agenten vertiefen [2], [3]. Somit wird sich wahrscheinlich auch das Ausmaß und die Häufigkeit des Auftretens der Algorithm Aversion verstärken. Ob sich die Algorithm Aversion als gesellschaftliches Phänomen mit zunehmender Konfrontation mit diesen Systemen über die Zeit abbauen lässt, ist ein wichtiges Feld für zukünftige Forschung.
Weiterführende Links und Literatur
Quellen
- Dietvorst, B.J./Simmons, J.P./Massey, C. (2015). Algorithm Aversion: People Erroneously Avoid Algorithms after Seeing Them Err. In: Journal of Experimental Psychology: General 144(1),114–126.
- Longoni, C./Bonezzi, A./Morewedge, C.K. (2019). Resistance to Medical Artificial Intelligence. In: Journal of Consumer Research (46(4), pp. 629-650.
- Jussupow, E./Benbasat, I./Heinzl, A. (2020). Why Are We Averse Towards Algorithms? A Comprehensive Literature Review on Algorithm Aversion. Proceedings of the 28th European Conference on Information Systems, A Virtual AIS Conference.
- Renier, L.A./Mast, M.S./Bekbergenova, A. (2021). To Err Is Human, Not Algorithmic – Robust Reactions to Erring Algorithms. In: Computers in Human Behavior 124, 1–12.
- Jago, A.S. (2019). Algorithms and Authenticity. In: Academy of Management Discoveries 5(1), 38–56.
- Logg, J.M./Minson, J.A./Moore, D.A. (2019). Algorithm Appreciation: People Prefer Algorithmic to Human Judgment. In: Organizational Behavior and Human Decision Processes 151, 90–103.
- Castelo, N./Bos, M.W./Lehmann, D.R. (2019). Task-Dependent Algorithm Aversion.In: Journal of Marketing Research 56(5), 809–825.
- Schaap, G./Bosse, T./Vettehen, H.P. (2023). The ABC of Algorithmic Aversion: Not Agent, but Benefits and Control Determine the Acceptance of Automated Decision-Making. In: AI & Society (Open Forum), 1–14.
