Ethik und Software: Was geht, was nicht?

Der Philosoph Julian Nida-Rümelin und der Informatiker Alexander Pretschner forschen gemeinsam darüber, wie sich ethische Überlegungen bereits in die Entwicklung von Software integrieren lassen.

Symbolische Darstellung von Softwareentwicklung: Programmierer vor einem Computer

(Foto: tippapatt – stock.adobe.com)

Sie forschen am bidt zusammen im Projekt „Ethik in der agilen Softwareentwicklung“ – wie werden ethische Überlegungen momentan in diesem Bereich berücksichtigt?

Alexander Pretschner: Softwareentwicklung ist ja nichts, was der eine Ingenieur, die eine Ingenieurin alleine macht, sondern es ist ein sozialer Prozess mit vielen Beteiligten. Es gibt einen Kontext, in dem ein System entwickelt wird, das Unternehmen, für das Entwickler arbeiten, und die Gesellschaft, in der das Produkt angewendet wird.

Wenn jemand einen Taschenrechner programmiert, gibt es ethisch vielleicht nicht viel zu erwägen. Es gibt aber Bereiche, in denen ethische Überlegungen heute schon eine große Rolle spielen, und damit meine ich nicht nur Software etwa für Motorsteuerungen, die in betrügerischer Absicht entsteht. Auch ohne Betrug spielen ethische Überlegungen beispielsweise bei Unternehmen eine Rolle, die Software für die Datenintegration zur Verfügung stellen – die also Systeme verkaufen, die unter Umständen in Kontexten verwendet werden, die zumindest fragwürdig sind.

Da tauchen etwa Fragen auf, ob man Gesichtserkennung einbauen sollte in dem Wissen, dass man dabei bestimmte Fehlerkennungsraten in Kauf nimmt, die sich technisch nicht beliebig reduzieren lassen. Diese Firmen denken massiv darüber nach, wo man die Grenzen bei der Softwareentwicklung zieht, was man noch machen sollte und was nicht, und etablieren Prozesse dafür. Es gibt aber auch Unternehmen, die Ethik nur als Feigenblatt dafür verwenden, das, was sie tun, als ethisch richtig zu verkaufen.

Die Gesellschaft ist nicht für sich in der Lage, Entwicklungen zu steuern, die schon eine Eigendynamik aufgenommen haben in Wissenschaft und Technik.

Julian Nida-Rümelin

Julian Nida-Rümelin: Ich würde unser Projekt gern in einen größeren Kontext stellen. Die ethische Dimension ist bei allen großen technisch-wissenschaftlichen Entwicklungen immer mit dabei.

Wenn Sie sich an die heftige Auseinandersetzung um Kernenergie erinnern: Damals ging es darum, die Weichen für die Zukunft der Energiegewinnung für die Menschheit zu stellen. Fast der gesamte technische, politische und wissenschaftliche Komplex war zunächst der Meinung, dass sei die sicherste und zukunftsfähigste Form der Energiegewinnung für den Globus. Dann kam Widerstand in der Öffentlichkeit auf, zunächst mit schwachen Argumenten und scheinbar irrationalen Ängsten, nach und nach unterstützt von einzelnen Wissenschaftlern, sodass sich die Debatte verbreitete und man am Ende das Gefühl hatte, dass die Gesellschaft eine Grundlage hat, die Energieszenarien rationaler zu beurteilen, als es zuvor möglich war.

Dasselbe wiederholte sich bei der humanen Genetik. Auch da gab es – teilweise völlig überzogene – Ängste, dass demnächst Mensch-Tier-Hybridwesen gezüchtet werden und sich Menschen klonen, um ewig zu leben. Zur gleichen Zeit ist dadurch eine Art kritische Resonanz entstanden zu den Potenzialen der Humangenetik.

Die Frage ist immer, wie man mit der ethischen Dimension umgeht. Eine Möglichkeit ist, strikt zu separieren: Auf der einen Seite sind Grundlagenforschung und Technik, und auf der anderen Seite müssen dann Gesellschaft, Kirchen oder der Gesetzgeber beurteilen, was ethisch angemessen ist und was nicht. Ich glaube, dass es so nicht geht. Das ist mein Motiv, mich seit Jahrzehnten in diesen Bereichen, auch in der digitalen Transformation zu engagieren.

Die Gesellschaft ist nicht für sich in der Lage, Entwicklungen zu steuern, die schon eine Eigendynamik aufgenommen haben in Wissenschaft und Technik. Es müssen verschiedene Disziplinen – ökonomische, philosophische, juristische, die Informatik, Humangenetik usw. – zusammengeführt werden, um eine vernünftige Steuerung zu ermöglichen.

Was bedeutet das dann für den Einzelnen, etwa in der Softwareentwicklung?
Prof. Julian Nida-Rümelin. Foto: bidt/Diane von Schoen

Prof. Julian Nida-Rümelin. Foto: bidt/Diane von Schoen

Julian Nida-Rümelin: Das ist das andere Extrem, das immer auftaucht in solchen Debatten: Jeder einzelne Wissenschaftler und jede einzelne Technikerin müsste die Verantwortung bei ethisch sensiblen Fragestellungen wahrnehmen. Das ist aber eine völlige Überlastung dieser Menschen und eine Moralisierung dieser Tätigkeiten, die ebenfalls nicht geht.

Die Frage ist also, wie man das steuert, sodass die Einzelperson nicht an der Verantwortung zerbricht oder zynisch nur noch macht, was man ihr sagt, aber auf der anderen Seite auch nicht ethikfrei Entwicklungen in Gang kommen, auf die gesetzgeberisch nachträglich Einschränkungen erfolgen. In diesem Kontext sehe ich unser gemeinsames Projekt. Es geht darum, die ethische Dimension in die Softwareentwicklung selbst und auch in die Managementmethoden mit zu integrieren, ohne dass die einzelnen Akteure, zum Beispiel Softwareentwickler, überfordert werden.

Wie kann man sich das in der Praxis vorstellen?

Alexander Pretschner: Wir sehen uns die agile Softwareentwicklung an. Sie ist unter anderem dadurch gekennzeichnet, dass man in kurzen Zyklen Teilprodukte fertigstellt. Es ist eines der Kernelemente der Digitalisierung, dass sich Kontexte, Benutzer, Bedürfnisse ändern und auch Möglichkeiten, technische und organisatorische. Daher arbeitet man in der agilen Softwareentwicklung in sogenannten Sprints, um auf sich ändernde Anforderungen reagieren zu können.

Die Idee der ethischen Entwicklung ist, dass man dabei immer mit überlegt, wie es mit ethischen Aspekten ist – lässt sich dieses oder jenes missbrauchen? Dieses Vorgehen wird bereits relativ erfolgreich angewendet bei datenschutzbezogenen Belangen und Sicherheitsfragen.

Julian Nida-Rümelin: Es gibt eine einfache Integration technischer, wissenschaftlicher, empirischer Fragen einerseits und ethischer Fragen andererseits, die nennt sich in der Fachterminologie Konsequentialismus: Die Überlegung, was die Konsequenzen einer bestimmten Praxis sind. Ein Teil meiner wissenschaftlichen Arbeit war es aufzuzeigen, dass das alleine eben nicht funktioniert.

Es ist absolut wichtig, sich zu überlegen, welche Folgen das eigene Handeln hat, aber das ist nicht alles. Es kommen auch andere Dinge ins Spiel. Das ist zum Beispiel jetzt in der Coronakrise das Individualrecht, das die Frage aufwirft: Kann eine Gesellschaft einfach eine Praxis, die schadenminimierend ist, in Gang setzen, die massiv individuelle Rechte verletzt? Und da muss ich die Erwartung enttäuschen, dass die Ethik einfach ein Kriterium liefert. Das kann sie meines Erachtens nicht. Sie kann nur zu klarem Denken anhalten und fragen: Wie wollt ihr das gewichten? Wägen wir ab. Diese Abwägung ist nicht so simpel, sie ist ein bisschen komplexer, und da gibt es auch Dilemmata, unauflösliche vielleicht.

Die Philosophie muss dann bescheiden sein und sagen: Was wir beitragen ist eine begriffliche Klarheit. Aber am Ende ist dann doch die Gesamtgesellschaft gefragt, um diese ethischen Fragen abzuwägen.

Porträtfoto von Prof. Dr. Alexander Pretschner, Vorsitzender des bidt-Direktoriums. Foto: bidt/Diane von Schoen

Prof. Alexander Pretschner. Foto: bidt/Diane von Schoen

Alexander Pretschner: Wir haben bislang in dem Gespräch so geklungen, als wäre die Entscheidung immer ein Ja oder Nein. Das stimmt so nicht. Man kann ja Mechanismen einbauen, die zwar vielleicht nicht verhindern können, dass fürchterliche Dinge passieren, die das aber abschreckend gestalten. Beispielsweise indem man Logging-Mechanismen einbaut und so sehen kann, wer wann auf bestimmte Daten zugegriffen hat. Das ist ein abschreckendes Moment, auch wenn es nicht verhindert, dass Systeme missbraucht werden können. Ich halte das für einen vielversprechenden Ansatz.

Können Sie Beispiele nennen, wo bei der Entwicklung von Software die ethische Dimension nicht ausreichend berücksichtigt wurde?

Julian Nida-Rümelin: Es gibt Beispiele von Softwaresystemen, die bestimmte gesellschaftliche Vorurteile reproduzieren oder verstärken. Zum Beispiel rassistische Vorurteile bei der Gesichtserkennung oder die systematische Benachteiligung von Frauen bei der Einstellungspraxis in der Arbeitswelt.

Das liegt daran, dass ein Gutteil der datengetriebenen Softwareentwicklung auf Korrelationen setzt. Da muss man natürlich sehr aufpassen, dass in dieser Big-Data-Entwicklung nicht am Ende Dynamiken in Gang kommen, die eine völlig schiefe Steuerung der Gesellschaft zur Folge haben.

Alexander Pretschner: Eines meiner Lieblingsbeispiele ist aus Österreich, wo Künstliche Intelligenz verwendet worden ist, um maschinell entscheiden zu lassen, ob Arbeitslosen Fortbildungsmaßnahmen finanziert werden oder nicht, und das System das allen über 50 automatisch verweigert hat. Ein anderes Beispiel ist, wenn die Postleitzahl des Wohnorts bestimmt, ob man einen Kredit erhält. Sicher gibt es dafür Gründe, weil zum Beispiel die Ausfallraten in bestimmten Bezirken höher sind, aber die Frage ist dann, wie man mit diesem Wissen umgeht.

Julian Nida-Rümelin: Korrelationen sind nur interessant als Indizien für Kausalzusammenhänge. Wenn sich zeigen lässt, dass zwar eine Korrelation besteht, aber kein Kausalzusammenhang, wird diese irrelevant. So muss man im Grunde eine Art Filter einbauen bei der Softwareentwicklung, der theoriebeladen ist und entscheidet, was kausal relevant ist. Das ist eine schwierige Frage, die nicht leicht zu beantworten ist. Aber diese Mühe muss man sich machen, sonst kommt es immer wieder zu grotesken Ergebnissen.

Letztlich werden Entwicklerinnen und Entwickler nicht alleine die Entscheidung fällen können. Man darf ihnen nicht die ganze Verantwortung aufbürden.

Alexander Pretschner

Kann man immer vorhersehen, ob ein Produkt in der Zukunft mal negative Auswirkungen haben könnte?

Alexander Pretschner: Oft ist das natürlich unklar. Man kann heute argumentieren, dass die Wohnungsvermittlung airbnb fürchterlich ist, weil sie die Konsequenzen gezeitigt hat, die heute zu sehen sind, etwa dass Wohnungen in Innenstädten nur noch an Tagestouristen vermietet werden. Wenn man das ethische Argument zu weit führt, könnte man sagen: Das hätte man von vornherein wissen müssen und nicht tun dürfen. Aber ein solcher Ansatz würde Innovation verhindern. Wenn das Endprodukt, irgendwann – vielleicht in zehn Jahren – Auswirkungen hat, die gesellschaftlich nicht gewünscht sind: Ist das etwas, was der einzelne Ingenieur im Vornherein berücksichtigen muss? Natürlich nicht.

Ich bin nicht der Meinung, dass es immer sinnvoll wäre, sich von vornherein zu entscheiden, etwas nicht zu tun. Und trotzdem gibt es Dinge, auf die man vielleicht schon achten sollte. Dazu zählt zum Beispiel die Frage: Sollen Drohnen in der Lage sein, über religiöse Stätten zu fliegen und Menschen zu filmen? Darüber dürfen und müssen sich Entwicklerinnen und Entwickler Gedanken machen. Letztlich werden sie nicht alleine die Entscheidung fällen können. Man darf ihnen nicht die ganze Verantwortung aufbürden.

Aber sie können darüber sprechen und sie können, wenn man entsprechende Mechanismen in den Firmen hat, dafür sorgen, dass sie gehört werden, wenn sie sagen: Uns ist das unheimlich, was wir hier gerade tun – wollen wir das wirklich?

Julian Nida-Rümelin: Vielleicht darf ich noch einen Aspekt hinzufügen: Die Vorstellung, dass die Politik aus ihren eigenen Ressourcen heraus in der Lage ist, diese Fragen zu beantworten, ist unbegründet. Das hängt auch mit der Kompetenzverteilung zusammen. In den Ministerien sitzen Juristinnen und Juristen, hochqualifiziert, aber sie haben meistens keine Fachkompetenz, weder wenn es um Humangenetik oder Informatik geht.

In einem so hochkomplexen System, in dem wir heute in der Moderne leben, in dem Wissenschaft und Technik so zentral sind, müssen die Impulse aus diesen Bereichen aktiv an die Öffentlichkeit und die Politik erfolgen. In dem Sinne: Es gibt Entwicklungen, da sehen wir Risiken, wir können das nicht allgemein regulieren für die Gesellschaft, aber wir beraten, wie man damit umgehen kann.

Es gibt ein berühmtes Beispiel dafür: Die Asilomar-Konferenz der Humangenetiker, die tatsächlich von sich aus eine Art Moratorium gefordert haben, um Sicherheitsstandards zu etablieren, damit nicht die Kontrolle über den Prozess entgleitet. Unser Projekt am bidt sehe ich in dem Zusammenhang auch als eine Art Frühwarnsystem für die Softwareentwicklung.
(bidt)

Das Projekt “Ethik in der agilen Softwareentwicklung”:

Unter der Leitung von Professor Julian Nida-Rümelin und Professor Alexander Pretschner wird im Projekt „Ethik in der agilen Softwareentwicklung“ ein Konzept entwickelt, ethische Überlegungen bereits in den Prozess der Softwareentwicklung zu integrieren. Zum interdisziplinären Team zählen der Ökonom Dr. Jan Gogoll, der Informatiker Severin Kacianka und die Philosophin Niina Zuber.

Professor Julian Nida-Rümelin ist Inhaber des Lehrstuhls für Philosophie und politische Theorie an der LMU und Mitglied im bidt-Direktorium. Er wurde am 30. April 2020 in den Deutschen Ethikrat berufen.

Professor Alexander Pretschner ist Vorsitzender des bidt-Direktoriums, Inhaber des Lehrstuhls für Software- und Systems Engineering an der TUM und wissenschaftlicher Direktor von fortiss.

Mehr zur Forschung von Prof.  Alexander Pretschner:
Mehr zu den Forschungsprojekten am bidt: