Autonome Systeme

Definition und Abgrenzung

Autonome Systeme sind komplexe Verfahren, die selbstständig Handlungen ohne menschliche Steuerung ausführen. Allerdings ist dies nicht das einzige Merkmal. Systeme, die ohne menschliche Steuerung agieren, gibt es schon seit Langem, wie beispielsweise Feuermelder oder Airbags. Bei autonomen Systemen kommt eine neue Qualität hinzu: Sie sind in der Lage, Aufgaben oder Missionen von höherer Komplexität zu erledigen. Diese Komplexität geht jedoch damit einher, dass man dem System nicht mehr explizit einprogrammieren kann, wie es sich in bestimmten Situationen verhalten soll, die auf dem Weg zur Erfüllung seiner Aufgabe passieren könnten. Da ein situationsspezifisches Verhalten nicht explizit einprogrammiert werden kann, ist selbst für Entwickler:innen nicht immer vorhersehbar, wie sich das System in einer bestimmten (unvorhersehbaren) Situation verhalten wird. Dennoch soll das System verlässlich funktionieren und ohne menschliche Aufsicht zurechtkommen.

Diese Merkmale spiegeln sich in vielen Definitionen wider.

Border Gateway Protocol

Eine etwas ältere Definition verweist auf das Internet: „Autonome Systeme sind untereinander verbunden und bilden so das Internet“ ^[1]. Diese Definition ist im Hinblick auf aktuelle Debatten aber sicherlich zu eng.

Neue Maschinenverordnung

Die neue Maschinenverordnung definiert „Autonome mobile Maschinen“ wie folgt:

„Autonome mobile Maschinen“ bezeichnet mobile Maschinen mit einer autonomen Betriebsart, in dem alle wesentlichen Sicherheitsfunktionen der mobilen Maschine in deren Bewegungs- und Arbeitsbereich ohne ständige Interaktion mit Bedienern sichergestellt sind.“ ^[2]

Problematisch an dieser Definition ist, dass eine Maschine die Eigenschaft „autonom“ verlieren würde, sobald im autonomen Betrieb eine wesentliche Sicherheitsfunktion nicht mehr gewährleistet ist. Sie könnte auch nur die Eigenschaft „sicher“ verlieren.

ISO/IEC 22989: 2022 Artificial Intelligence Concepts and Terminology

Der internationale Standard ISO/IEC 22989 definiert „autonomy“ und „autonomous“ als „characteristic of a system that is capable of modifying its intended domain of use or goal without external intervention, control or oversight“. ^[3]

Nach dieser Definition entscheidet das System nicht nur, wie es sich in einer Situation verhält, um ein Ziel zu erreichen, sondern auch, welches Ziel es verfolgt. Dabei stellt sich die Frage, inwieweit ein System sich ein „eigenes“ Ziel aussuchen kann und wie dieses „eigene“ Ziel mit der menschlichen Motivation, ein technisches (autonomes) System zu entwickeln, in Verbindung steht. Die Definition steht im Widerspruch zu mehreren anderen Definitionen, die explizit darauf hinweisen, dass die Ziele vorgegeben sind.

acatech

Im Abschlussbericht des acatech-Fachforums „Autonome Systeme“ ^[4] wird „ein System erst dann als autonom bezeichnet, wenn es ohne menschliche Steuerung oder detaillierte Programmierung ein vorgegebenes Ziel selbstständig und an die Situation angepasst erreichen kann.“

ALFUS

Das National Institute of Standards and Technology (NIST) definiert Autonomie im Rahmenwerk „Autonomy Levels for Unmanned Systems“ (ALFUS) wie folgt:

„A Unmanned System’s (UMS) own ability of integrated sensing, perceiving, analyzing, communicating, planning, decision-making, and acting/executing, to achieve its goals as assigned by its human operator(s) through designed Human-Robot Interface (HRI) or by another system that the UMS communicates with.“ ^[5]

Abgrenzung zur Automatisierung

Die Begriffe „autonom“ und „automatisiert“ beschreiben beide eine Eigenständigkeit. „Autonom“ zielt eher auf die Eigenständigkeit im Sinne der Unabhängigkeit vom Menschen ^[6], „automatisiert“ hingegen fokussiert auf die Eigenständigkeit durch den Ersatz menschlicher Handlungen ^[7]. Tätigkeiten, die zuvor manuell erledigt wurden, werden automatisiert, indem sie durch technische Systeme erledigt werden. Das Adjektiv automatisiert bezieht sich also eher auf eine Tätigkeit und nicht auf ein technisches System. Der Begriff automatisiertes Fahren ist daher passender als der Begriff automatisiertes Fahrzeug, da nicht das Fahrzeug an sich automatisiert wird, sondern die Tätigkeit Fahren. Dennoch wird in den letzten Jahren zunehmend von automatisierten Fahrzeugen beziehungsweise automatisierten Systemen gesprochen, insbesondere dann, wenn der Begriff autonomes System unpassend scheint, da weitgehend eine explizite Programmierung verwendet wird. Diese Fälle könnte man aber auch mit dem Begriff Automatisierungssystem beschreiben.

Abgrenzung zu künstlicher Intelligenz

Künstliche Intelligenz (KI) ist ein weiteres Forschungsgebiet ^[8]. Die KI bietet Techniken und Methoden, um autonome Systeme zu entwickeln. Zu diesen Techniken und Methoden zählen insbesondere das maschinelle Lernen und generell alles, was eine Alternative zur expliziten Programmierung bildet.

Abgrenzung zu kognitiven Systemen

Autonome Systeme sind spezielle kognitive Systeme. Kognitive Systeme können mehr oder weniger unabhängig vom Menschen agieren und somit verschiedene Grade der Autonomie aufweisen.

Anwendung und Beispiele

Autonome Mobilität

Autonome Systeme bieten viel Potenzial für die Mobilität. Es gibt autonome Systeme, die Transportmittel eigenständig steuern, beispielsweise autonome Shuttlebusse oder autonome Schienenfahrzeuge. Des Weiteren gibt es autonome Systeme, die in der virtuellen Welt den Verkehrsfluss managen, zum Beispiel durch die autonome Zuweisung von aktuellen Mobilitätsbedarfen zu aktuellen Mobilitätsangeboten im Kontext von Mobility-as-a-Service. Aufgrund der wachsenden Elektromobilität muss dabei auch zunehmend berücksichtigt werden, wie intelligente Stromnetze Energiebedarfe und Energieangebote autonom zusammenbringen.

Smart City

In der Smart City gibt es neben Mobilität und Energie noch viele weitere relevante Bereiche, wie die Wasserversorgung, oder die Gesundheitsversorgung. Autonome Systeme in diesen einzelnen Bereichen bilden dann eine Gruppe aus (autonomen) Systemen. Dieses System aus Systemen kann wiederum als autonomes System bezeichnet werden, da es die wesentlichen Merkmale eines solchen aufweist. Es agiert situationsspezifisch und zeigt ein emergentes und somit nicht explizit einprogrammiertes Verhalten.

Autonome Waffensysteme

Ein Anwendungsgebiet, das an Bedeutung gewinnt, sind autonome Waffensysteme. Dazu gehören sowohl Verteidigungs- als auch Angriffssysteme. Der Unterschied zwischen Fernsteuerung und Autonomie ist nicht nur aus moralischer Sicht wesentlich, sondern auch deshalb, weil die Fernsteuerungssignale vom Gegner detektiert werden können.

Kritik und Probleme​​

Welche Herausforderungen es bei der Automatisierung durch autonome Systeme gibt, hängt von der Aufgabe ab, die automatisiert werden soll: Beim Fahren auf der Straße ist die Sicherheit für Leib und Leben eine wesentliche Herusforderung. Bei der Kreditvergabe durch eine Bank sind es eher Gerechtigkeit und Transparenz. Beim Einsatz autonomer Systeme zur Kriegsführung mit dem Ziel, Menschen zu töten, gibt es die Herausforderung, eine internationale Ächtung und ein Verbot zu erreichen.

Vor allem das letzte Anwendungsbeispiel zeigt, dass die Frage, ob man eine Aufgabe automatisieren möchte, zunächst unabhängig ist von der Frage, wie das Ziel der Automatisierung erreicht wird – mit expliziter Programmierung oder nicht. Wenn autonome Maschinen Menschen töten, dann ist es für die Angehörigen vermutlich nur von begrenzter Bedeutung, ob eine explizite oder implizite Programmierung genutzt wurde. Die Leidtragende interessiert aber häufig, wer verantwortlich ist und zur Rechenschaft gezogen werden kann.

Dies gilt auch für die Fälle, bei denen die Automatisierung nicht grundsätzlich abgelehnt werden sollte, wie beispielsweise dem automatisierten Fahren auf der Straße. Wer ist moralisch verantwortlich und wer haftet, wenn autonome Fahrzeuge in einen Unfall verwickelt sind? Dabei geht es nicht nur um häufig diskutierte Ausnahmesituationen, bei denen das Fahrzeug nur noch zwischen verschiedenen Unfällen „wählen“ kann. Automatisiertes Fahren sollte so konzipiert werden, dass ein Fahrzeug erst gar nicht in ein solches Dilemma geraten kann. Es geht grundsätzlich um das Fahrverhalten und das damit verbundene Risiko ^[9].

Moralische Verantwortung und Haftung hängen generell davon ab, ob eine Tat mutwillig, grob fahrlässig oder nur fahrlässig war. In diesem Kontext gibt es Debatten darüber, ob die Art der Programmierung einen Einfluss auf die Vorsätzlichkeit oder Fahrlässigkeit hat. Im Fall des maschinellen Lernens wissen selbst Entwickler:innen nicht immer genau, was das System gelernt hat. Sie können nach bestem Wissen und Gewissen den Stand der Wissenschaft und Technik im Bereich der KI berücksichtigt haben; trotzdem können sie nicht hinreichend garantieren, dass das System immer so reagiert, wie es erwartet wird. Die Fahrlässigkeit liegt also nicht in der Durchführung der Implementierung begründet, sondern in der Entscheidung, ein System auf den Markt zu bringen, ohne hinreichend begründen zu können, dass und warum die Implementierung hinreichend verlässlich ist.

Forschung

Die Forschung zu autonomen Systemen lässt sich in den Gebieten Ethik, Recht und Technik verorten. Der große Teil der Technikforschung erweitert und verknüpft verschiedene Bereiche wie KI, Automatisierungstechnik und die Forschung zu cyber-physischen Systemen ^[8].

Trotz immenser Investitionen in verschiedenen Bereichen, wie zum Beispiel dem automatisierten Fahren, lässt der „Durchbruch“ auf sich warten. Es gibt Feldversuche mit Prototypen, aber die Sicherheitsthematik bleibt bisher ein großer Hemmschuh. Ein neues Forschungsgebiet, um dieses Thema zu adressieren, ist das dynamische Risikomanagement ^[10], ^[11]. Dabei geht es darum, ein autonomes System in die Lage zu versetzen, die Risiken einer möglichen Handlung in einer bestimmten akuten Situation abzuschätzen und zu bewerten. Dies setzt voraus, dass das System die aktuelle Situtation richtig wahrnimmt und mögliche Entwicklungen über einen Zeitraum richtig einschätzt. Insbesondere bei der Wahrnehmung des Umfelds muss das System technische Limitierungen und Mängel berücksichtigen – analog zu einem menschlichen Fahrer/einer Fahrerin, der oder die sich bewusst ist, dass man beispielsweise im Dunkeln nicht so gut sieht und deshalb langsamer fährt. In diesem Kontext muss auch berücksichtigt werden, dass die Nutzung von datengetriebenen Modellen, wie tiefe neuronale Netze, mit Unsicherheiten behaftet ist.

Diese Unsicherheit kann zwar quantifiziert werden ^[12], aber es besteht noch Forschungsbedarf bezüglich des Managements dieser Unsicherheiten. Fehler während des Betriebs zu erkennen und zu behandeln, ist ein bewährtes Konzept, aber die Unsicherheiten beziehen sich auf die Fehlerwahrscheinlichkeit in der aktuellen Situation. Dies wirft viele technische Fragen auf.

Ethische Fragestellungen gehen oft Hand in Hand mit technischen Fragen. Die generelle Forderung, dass ein autonomes System sicher und fair handeln soll, lässt sich nicht aus rein technischer Perspektive umsetzen. Die ethische Perspektive ist notwendig, um zu klären, was Fairness überhaupt bedeutet und welche Sicherheitsrisiken als akzeptabel bewertet werden können. Der rechtliche Aspekt muss mit den Antworten aus der technischen und der ethischen Perspektive harmonisieren. Die rechtliche Perspektive muss dabei sowohl das aktuelle Recht als auch notwendige Zeitspannen für Gesetzesänderungen und deren Durchsetzung berücksichtigen. Bei der Durchsetzung ist beispielsweise relevant, dass die Aufklärung von Unfällen oder technischen Ausfällen und der entsprechenden Haftung von Betreibern, Herstellern und Zulieferern ein sehr aufwendiger Prozess ist, verglichen mit einem Fall, bei dem ein einzelner Fahrzeugführer/eine Fahrzeugführerin einen Fehler gemacht hat. Vor diesem Hintergrund gibt es Vorschläge, eine neue Rechtsidentität „Computerfahrer“ einzuführen und Haftungsfragen möglichst analog zum manuellen Fahren zu klären ^[13].

---