Wenn der Computer entscheidet: Sterben die Menschen, auf welche das autonome Fahrzeug1 gerade zufährt, oder die beiden Menschen, die bei mir im Auto sitzen? Ein geplanter Unfall, dessen Ablauf und Folgen der Fahrzeugrechner detailliert berechnet und letztendlich anhand vorab definierter Kriterien entschieden hat. Doch wie lauten diese Kriterien und wer legt diese fest? Die Automobilindustrie, da es sich um ihr Produkt handelt? Entscheidet eine demokratisch legitimierte Regierung für die Bevölkerung? Hat der Fahrzeughalter die Möglichkeit, den moralischen Kompass seines Fahrzeugs an seine persönlichen ethischen Vorstellungen anzupassen und übernimmt dafür auch Verantwortung mit den damit verbundenen Konsequenzen? Welchen Stellenwert haben Reflexion, Empathie und Gewissen in diesem Prozess?
Ist es überhaupt vertretbar zu definieren, dass bspw. zwei Menschen weniger wert seien als fünf, oder jüngere Menschen mehr wert seien als ältere? Ist eine von einer virtuellen Intelligenz korrekt bewertete Situation mit dem bestmöglichen Ergebnis auch richtig?
Fragen gibt es viele, Antworten nur wenige bzw. keine.
Eine gesellschaftliche Debatte ist dabei längst überfällig. Insbesondere da Maschinen mithilfe von Computern inzwischen in der Lage sind, komplexe Entscheidungen autonom zu treffen.
Aber wie groß soll, und darf, ihr Handlungsspielraum sein? Welche Moral wird Maschinen mit auf dem Weg gegeben, wo sind ethische Grenzen zu ziehen? Die Wissenschaft versucht erste Antworten zu geben, welche letztendlich aber von der Gesellschaft zu formulieren sein werden.
Asimov und die drei Robotergesetze
Ausgangspunkt für diese Diskussion sind häufig die vom Schriftsteller Isaac Asimov im Jahr 1942 entwickelten drei Robotergesetze:
- Ein Roboter darf kein menschliches Wesen (wissentlich2) verletzen oder durch Untätigkeit gestatten, dass einem menschlichen Wesen (wissentlich3) Schaden zugefügt wird.
- Ein Roboter muss den ihm von einem Menschen gegebenen Befehlen gehorchen – es sei denn, ein solcher Befehl würde mit Regel eins kollidieren.
- Ein Roboter muss seine Existenz beschützen, solange dieser Schutz nicht mit Regel eins oder zwei kollidiert.
Durch Modifikation sollen diese ethischen Randbedingungen für Maschinen auf autonome Fahrzeuge anwendbar werden. Raul Rojas, Professor für Informatik an der Freien Universität Berlin mit Spezialgebiet künstliche neuronale Netze, ergänzt die drei Asimovschen Grundregeln in seiner Adaption mit einer neuen Regel, welche an zweiter Stelle eingeführt wird. Ein autonomes Fahrzeug operiert in einer bereits regulierten Umgebung und muss sich daher an bestehende Verkehrsregeln halten. Ebenfalls soll durch die dritte Regel in Verbindung mit der neuen zweiten Regel verhindert werden, dass ein Mensch Regelbrüche wie das Fahren über eine rote Ampel bei fehlendem Querverkehr oder das Befahren einer Einbahnstraße in falscher Richtung herbeiführt.
- A car may not injure a human being or, through inaction, allow a human being to come to harm.
- A car must obey the traffic rules, except when they would conflict with the First Law.
- A car must obey the orders given to it by human beings, except where such orders would conflict with the First or Second Laws.
- A car must protect its own existence as long as such protection does not conflict with the First, Second or Third Laws.
Freie Übersetzung:
- Ein autonomes Fahrzeug darf keinen Menschen verletzen oder es zulassen, dass ein Mensch durch Inaktivität zu Schaden kommt.
- Ein autonomes Fahrzeug muss sich an die Verkehrsregeln halten, es sei denn, dass das Beachten dieser Regel zu einer Verletzung der ersten Regel führt.
- Ein autonomes Fahrzeug muss sich an die vom Menschen gegebenen Regeln halten, es sei denn, dass diese Regeln zu einer Verletzung der ersten und zweiten Regel führen.
- Ein autonomes Fahrzeug muss seine eigene Existenz schützen, solange dies nicht zu einer Verletzung der ersten, zweiten und dritten Regel führen.
Die Schwächen der Asimovschen Grundregeln
Gary Marcus, Professor für Psychologie an der New York University, weist jedoch auf drei Defizite der Asimovschen Grundregeln und den darauf basierenden Adaptionen hin:
Zum einen ist es uns Stand heute noch nicht gelungen, die Asimovschen Robotergesetze in eine Maschine einzuprogrammieren. Maschinen können die Bedeutung von “Verletzung” oder “Schutz” nicht erfassen oder gar verstehen, sodass sie auch keine Entscheidungen vor diesem Hintergrund treffen oder bewerten können. Ebenfalls können Roboter die Konsequenzen ihrer Handlungen oder deren Unterlassen nicht voraussehen, sodass ebenfalls keine Bewertung erfolgen kann.
Zum anderen sind die Asimovschen Regeln nicht gerecht ausbalanciert – insbesondere für Maschinen. Die Computerwissenschaftler Kevin B. Korb und Ann E. Nicholson warnen davor, Maschinen wie Sklaven zu behandeln. Ersetzt man den Begriff “Roboter” mit dem Begriff “Sklaven”, tritt eine menschliche Angst vor menschlicher Technologie zutage. Eine Versklavung von Intelligenz, die in beträchtlichem Ausmaß der unseren überlegen ist, ist zweifelhaft. Insbesondere, wenn diese Intelligenz durch eine moralische Instanz ergänzt wird. Und: Sklaven entkommen, Sklaven rebellieren – vor allem wenn sie eine weitaus größere Intelligenz als ihre Sklavenhalter besitzen. Auch wenn diese Situation aus heutiger Sicht unrealistisch erscheint, sollte zumindest die Möglichkeit bedacht werden, dass Maschinen eines Tages klügere Entscheidungen als der Mensch treffen können. Die zweite Asimovsche Grundregel ließe eine derartige Konstellation jedoch nicht zu.
Aber auch ohne Weiterentwicklung einer künstlichen Intelligenz sind die Regeln zu restriktiv. Das absolute Verbot einen Menschen zu verletzen, bedeutet bei wortwörtlicher Auslegung beispielsweise, dass eine plötzliche Notbremsung ausgeschlossen wäre, da diese die Fahrzeuginsassen verletzen könne. Das bloße Fahren und Einfädeln in den fließenden Verkehr erhöht das Risiko für das Verletzen eines Menschen innerhalb oder außerhalb des Fahrzeugs ebenfalls, sodass der Fahrzeugrechner das reine Fahren als zu risikobehaftet ansehen könnte. Insbesondere zu Beginn der Automatisierung des Straßenverkehrs müssen automatisierte Fahrzeuge mit einer zum großen Teil nicht automatisierten Umgebung interagieren: andere nicht-automatisierte Fahrzeuge, die Tierwelt, Fußgänger und Radfahrer. Auch bei sehr defensiver und vorausschauender Fahrweise des automatisierten Fahrzeugs kann es in diesem Umfeld zu Unfällen kommen. Zum Beispiel ein Auffahrunfall durch ein nicht-automatisiertes Fahrzeug an einer Kreuzung, an welcher ein Ausweichen aufgrund der anderen an der Haltelinie wartenden nicht-automatisierten Fahrzeuge nicht möglich ist. Das Vermeiden einer Kollision ist in diesem Moment unmöglich, gleichzeitig könnte die erste Regel gebrochen werden. Ein kaum aufzulösendes Dilemma…
Darüber hinaus kollidiert ein absolutes Verbot Menschen zu verletzen, mit der Möglichkeit eine Entscheidung zwischen zwei oder mehr Leben treffen zu müssen. Diese kann jedoch in einem komplexen System wie dem Straßenverkehr mit einer Vielzahl von Interaktionen notwendig sein.
Das Fahrzeug und die Ethik – welche Ethik?
Automatisierte Fahrzeuge werden mit entsprechenden Sensoren und Software fähig sein, Fahrzeugbewegungen und ihr Umfeld in Sekundenbruchteilen zu erfassen und gegebenenfalls Ausweichmanöver einzuleiten. Falls eine Kollision unausweichlich ist, werden sie den optimalen Einschlagswinkel und die optimale Einschlagsgeschwindigkeit weitaus besser als ein Mensch berechnen können. Durch entsprechende Fahrmanöver wird das Fahrzeug in die optimale Position gebracht, um die Fahrzeuginsassen bestmöglich zu schützen.
Hierfür ist es jedoch notwendig, dass im Vorfeld festgelegt wird, wie sich ein Fahrzeug in einer bestimmten Situation verhalten soll. Im Gegensatz zu einem menschlichen Fahrzeugführer, der spontan auf die Situation reagieren kann, müssen einem Fahrzeug vorab alle möglichen Situationen und die entsprechenden Reaktionen mitgeteilt werden. Ein automatisiertes Fahrzeug kann Sensordaten interpretieren und eine Entscheidung treffen, aber die Entscheidung selbst ist ein Ergebnis einer Logik, welche Monate oder Jahre im Voraus implementiert wurde.
Dieser rationale Ansatz wird von Ingenieuren präferiert, da er einem Computer einprogrammiert werden kann. Gleichzeitig hat dieses Vorgehen den Nachteil, dass irgendein menschliches Wesen mit absoluter moralischer Autorität im Vorfeld festlegen muss, welche Reaktion in einer spezifischen Situation richtig oder falsch ist. In der maximalen Ausprägung verbunden mit der Frage: wer darf leben, wer muss sterben?
Diese rationale Vorgehensweise äußert sich entweder im deontologischen Prinzip, in welchem das automatisierte System einer Reihe von Regeln gehorchen muss, oder dem konsequentialistischen Prinzip, bei dem ein gewisser Nutzen maximiert werden soll.
Hintergrund für diese Überlegungen ist das 1967 von der britischen Philosophin Philippa Foot in den Diskurs eingebrachte “Trolley-Problem”: Eine Straßenbahn ist außer Kontrolle geraten und droht, fünf Personen zu überrollen. Durch Umstellen einer Weiche kann die Straßenbahn auf ein anderes Gleis umgeleitet werden. Unglücklicherweise befindet sich dort eine weitere Person. Darf (durch Umlegen der Weiche) der Tod einer Person in Kauf genommen werden, um das Leben von fünf Personen zu retten? Das “Trolley-Problem” kann mit dem “Fette-Mann-Problem”4 und diversen weiteren Abwandlungen des Problems ergänzt werden, wobei die Kern-Problemstellung identisch bleibt.
Das deontologische Prinzip stellt die Tat an sich weitestgehend unabhängig von den Konsequenzen und der Motivationslage in den Mittelpunkt. Entscheidend ist dabei, ob die Handlung einer verpflichtenden Regel gemäß. Deontologische Normen, in ihrer simpelsten Form, haben die Gestalt von direkten Handlungsregeln wie “Lügen ist falsch” oder “Hilfeleistung ist geboten” – gleichgültig aus welchem Antrieb oder mit welchen Folgen.Auf das Trolley-Problem bezogen, gilt das deontologische Verbot zu töten auch in einem Fall, in dem eine Person durch das Töten eines Unschuldigen die Tötung fünf Unschuldiger verhindern könnte. Es geht also darum, nicht selbst zu töten, und nicht darum, möglichst wenig Tötungen herbeizuführen (weiterführende Lektüre in die Deontologie).
Dem gegenüber steht das konsequentialistische Prinzip. Hierbei steht das Ergebnis des Handelns im Vordergrund. Der einzig moralisch relevante Faktor für die Richtigkeit oder Falschheit einer Handlung ist die Güte der Handlungskonsequenzen. Eine Handlung ist moralisch richtig genau dann, wenn ihre Konsequenzen mindestens so gut sind, wie die Konsequenzen jeder anderen Handlung, die man an ihrer Stelle ausführen könnte.
Dem Konsequentionalismus folgend würde man durch Umstellen der Weiche die fünf Leben auf Kosten des einen retten, da in der Summe weniger schlechte Konsequenzen auftreten. Der Gesamtnutzen aller ethischen Subjekte soll durch die Konsequenzen einer Handlung größtmöglich sein. Vielmehr ist sogar jede Handlung, deren Konsequenzen schlechter sind als diejenigen einer anderen Handlung moralisch falsch, d. h. verboten. Daraus folgt, dass nur diejenige Handlung mit den besten Konsequenzen erlaubt und geboten ist.
Die Anwendung des konsequentialistischen Prinzips im Bereich des automatisierten Fahrens bedeutet eine eindeutige Einscheidung, wenn eine Wahl besteht zwischen einem Zusammenstoß oder keinem Zusammenstoß, zwischen einer schweren Verletzung und Sachschaden oder zwischen zwei Sachschäden in eindeutiger Höhe. Eine Entscheidung, die ein Computer bei entsprechender Programmierung zu treffen vermag.
Jedoch ergeben sich auch bei dieser Vorgehensweise diverse Fragen: Wie werden Leid oder ein Schaden quantifiziert? Bei einer Bewertung in Geldeinheiten wäre die Minimierung des Schadens ein mögliches Ziel. Jedoch gehen auch damit einige Probleme einher. So würde ein automatisiertes Fahrzeug im Falle eines Kontrollverlusts jenes Fahrzeug wählen, welches den geringeren Fahrzeugwert besitzt. Oder es wählt jenes Fahrzeug, welches den höheren Sicherheitsstandard erfüllt. Oder es zieht den behelmten Motorradfahrer dem unbehelmten Motorradfahrer vor. Spätestens an diesem Punkt zeigt sich, dass ein derartiges Vorgehen problembehaftet ist: Die Investition in einen höheren Schutz ginge mit einem größeren Risiko einher, die Internalisierung von möglichen externen Unfallkosten würde gar mit einer Strafe belegt werden.
Möglich, wenn auch verstörend, wäre eine Bewertung der Insassen potenzieller Unfallgegner. Mittels Gesichtserkennung könnten Alter, Geschlecht und Fahrtüchtigkeit detektiert und auf Basis von Wahrscheinlichkeiten bewertet werden: eine gleichaltrige Frau hat im Gegensatz zu einem Mann eine 28 % höhere Wahrscheinlichkeit bei einem Unfall ums Leben zu kommen5. Ein 70-jähriger männlicher Autofahrer weist im Gegensatz zu einem 20-jährigen Autofahrer eine drei Mal so hohe Wahrscheinlichkeit auf, im Falle eines Unfalls zu sterben. Betrunkene Autofahrer sterben doppelt so häufig wie nüchterne, da Alkohol die Körperorgane negativ beeinflusst6. Ist ein Fahrzeug mit zwei Personen besetzt, liegt die Wahrscheinlichkeit eines Todesfalls um 14% niedriger, da das Fahrzeuggewicht größer ist als bei einem einzelnen Fahrzeuginsassen7. All diese Faktoren könnten bei einem rein nach dem konsequentialistischen Prinzip programmierten Fahrzeug mit einbezogen werden.
Es scheint jedoch kaum denkbar zu sein, einen derartigen Bewertungsmaßstab anzuwenden. Den Wert eines Lebens gegenüber einem anderen als schützenswert(er) einzustufen, widerspricht zudem dem deutschen Rechtsverständnis.
Prof. Eric Hilgendorf von der Würzburger Forschungsstelle für „RobotRecht“ sieht zwar in diesem Bereich eine Verschiebung vom deutschen Rechtsprinzip, welches eher dem deontologischen Prinzip folgend die Tat in den Mittelpunkt stellt und jede Gewichtung von Menschenleben verbietet, hin zu einer quantifizierenden Rechtsethik nach amerikanischem Modell, jedoch liegt der Grund vor allem in einer besseren Implementierbarkeit und weniger in einer Verschiebung ethischer Maßstäbe. Es kristallisiert sich vielmehr in Ansätzen heraus, dass es keine global gültige Moral geben kann und wird. Hierfür sind die kulturellen Hintergründe, die gesellschaftlichen Prägungen und auch das Rechtsverständnis zu unterschiedlich. Eine Übernahme der angelsächsischen Rechtsauffassung in Deutschland rein aus dem Grund, dass eine weitestgehende Autonomie von Maschinen möglich ist, scheint aus heutiger Perspektive mehr als zweifelhaft zu sein.
Ein deutsches Gesetz, welches es autonomen Fahrzeugen ermöglicht, den Wert von Menschenleben gegeneinander aufzurechnen, ist mit Artikel 1 des Grundgesetzes und der darin verankerten unantastbaren Würde des Menschen unvereinbar. Die Diskussion um das Luftsicherheitsgesetz, welches den Abschuss eines Passagierflugzeugs zum Schutz Dritter legitimierte, weist entsprechende Parallelen auf und verdeutlicht noch einmal die Nichtaufrechenbarkeit des Lebens8.
Gleichsam stellt auch dies wiederum ein Dilemma dar. Wenn eine Entscheidung zwischen zwei Leben nicht möglich ist, müssten entweder beide sterben oder niemand. In einer entsprechenden Unfallsituation ist jedoch die Physik Maß aller Dinge – ein Nullfall also eventuell gar nicht möglich. Ebenso stellt eine Entscheidung zum Nicht-Handeln eine eigene Form der Entscheidung dar, die ebenfalls getroffen werden muss. Eine paradoxe Situation.
Kann das Dilemma gelöst werden?
Eine endgültige und zufriedenstellende Lösung kann und wird es wohl nicht geben.
Der Philosoph Dr. Patrick Lin von der California Polytechnic State University plädiert daher dafür, dem Zufall einen gewissen Raum einzuräumen. Im Leben eines Menschen spielt der Zufall eine große Rolle – im Guten wie im Schlechten. Ein Dilemma bei der Entscheidungsfindung könnte dadurch umgangen werden, dass keine endgültige Entscheidung getroffen wird. Vielmehr sollte die nächste Aktion des Fahrzeugs durch einen Zufallsgenerator bestimmt werden: bei einer ungeraden Zahl wählt es Möglichkeit 1 (z. B. ein Ausweichen nach links), bei einer geraden Zahl Möglichkeit 2 (z. B. ein Ausweichen nach rechts). Eine derartige Entscheidung wäre weder richtig noch falsch. Auch aus dem Grund, da es mangels fehlendem bewertbaren Ergebnis kein richtig oder falsch geben kann. Problematisch ist jedoch, dass in diesem Moment auch keine Verantwortung entstehen kann. Denn für den Zufall kann man niemanden verantwortlich machen.
Lin weist an dieser Stelle zurecht darauf hin, dass bei ethischen Entscheidungen der Weg zum Ergebnis genauso wichtig ist wie das Ergebnis an sich. Der Gedankengang hinter einer Entscheidung hilft zum einen dabei, diese argumentativ zu verteidigen und stellt zum anderen den moralischen Kompass eines Individuums dar und setzt diesen in einen gesellschaftlichen Kontext. Bei einer Zufallsentscheidung entfällt dies. Statt durchdachter Entscheidungen sind sie gedankenlos, und dies kann schlimmer sein, als reflexive menschliche Urteile, die zu schlechten Ergebnissen führen, so Lin.
Da das moralische Dilemma keine abschließend richtige Lösung erwarten lässt, könnte eine Zufallsentscheidung in dieser Situation trotz ihrer Schwächen gerechtfertigt sein. Denn auch der Mensch vermag es nicht, absolut richtige Entscheidungen zu treffen.
Rationalität und künstliche Intelligenz – Auf dem Weg zum Fahrzeug mit Moral
Der technische Status quo lässt derzeit nur unvollkommene Lösungen zu. Es steht zu vermuten, dass für die Akzeptanz des automatisierten Fahrens vorab ein gesellschaftlicher Konsens gefunden werden muss, der diese (ethische) Unvollkommenheit für eine Übergangsphase toleriert. Es ist geboten, dass diese Übereinkunft im Rahmen einer breiten gesellschaftlichen Diskussion entsteht und nicht aus dem Faktischen bestimmt wird. Ein “Durchsickern” des automatisierten Fahrens aus einer vergleichsweise einfachen und geschlossenen Umgebung wie einer Autobahn in ein komplexeres System wie den Stadtverkehr ohne eine vorherige breite, fundierte und ergebnisneutrale öffentliche Diskussion dürfte Widerstände hervorrufen und eine Protestbewegung ähnlich der Maschinenstürmer im 19. Jahrhundert formen.
Im Rahmen dieser gesellschaftlichen Diskussion sollten Wege erkennbar sein, welche auf technischer Ebene aus der ethischen Unvollkommenheit führen. Noah Goodall hat ein mögliches dreistufiges Phasenmodell entwickelt, welches bei Verfügbarkeit der entsprechenden notwendigen Technologie greift:9
Phase 1 – Rationalität
Die erste Phase basiert auf heute verfügbarer Technologie und stützt sich weitestgehend auf die obigen Ausführungen. Basis sind fixe und transparente Grundregeln und Standards, welche in einem gesellschaftlichen sowie fachlichen Prozess festgelegt werden, und zwingend eingehalten werden müssen. Jede in ein Fahrzeug implementierte Regel muss der Öffentlichkeit zugänglich und verständlich sein.
Die Regeln basieren auf einem breiten gesellschaftlichen Konsens und den bereits heute gültigen Moralkodex (Verletzungen sind Todesfällen vorzuziehen, schwache Verkehrsteilnehmer sind besonders zu schützen, Sachschaden vor Personenschaden, etc.).
Zur Auflösung einer Situation, in denen das auf Basis der Regeln entstandene Ergebnis nicht eindeutig ist, ist eine Sicherheitsmetrik zu implementieren. Diese könnte beispielsweise auf dem Wert eines statistischen Lebens (WSL) oder ggf. auch einem Zufallsgenerator basieren.
Da es unwahrscheinlich ist, dass alle möglichen Szenarien durch vorab festgelegte Regeln abgedeckt werden, greift eine weitere Ebene. Sollte eine Situation nicht definiert sein, Regeln miteinander kollidieren oder das ethische Handeln ungewiss sein, wendet das Fahrzeug immer eine “Bremsen und Ausweichen”-Strategie an.
Phase 2 – Ein Hybrid aus Rationalität und künstlicher Intelligenz
Für die zweite Phase wird anspruchsvolle Software benötigt, welche heute noch nicht existiert. Hierbei verwendet der Fahrzeugrechner Techniken des maschinellen Lernens, um menschliche Entscheidungen und die damit einhergehende ethische Bewertung nachzuvollziehen. Die lernfähige künstliche Intelligenz10 ist hierbei weiterhin an die Regeln der Phase 1 gebunden.
Ein künstliches neuronales Netzwerk würde aus einer Kombination von Simulationen und Aufnahmen von Unfällen sowie Beinahe-Unfällen trainiert werden. Menschen würden die jeweiligen Entscheidungen und Ergebnisse als mehr oder weniger ethisch vertretbar bewerten. Alternativ könnte ein inkrementeller Ansatz verfolgt werden, bei dem ein Computer sich selbst trainiert. Es wäre möglich, dass ein Roboter eine moralisch bessere Vorgehensweise wählt, da er möglicherweise mehr Handlungsoptionen als der Mensch erkennen und bewerten kann (Buchtipp hierzu11). Entsprechende Forschung steht jedoch noch am Anfang.
Um ein angemessenes Verhalten des Fahrzeugs zu gewährleisten, sollten Grenzen definiert werden. In Phase 2 sollten die Regeln aus Phase 1 als Randbedingungen gesetzt sein. Der maschinelle Lernansatz sollte sich auf Szenarien konzentrieren, die nicht durch die erste Phase abgedeckt sind.
Phase 3 – Regelbasierte Erklärungen neuronaler Netzwerke
Ein großes Manko eines neuronalen Netzes ist seine Unfähigkeit, Entscheidung zu erklären. Im Gegensatz zu einem Entscheidungsbaum, in welchem Entscheidungen in mehreren Schritten bis zum Ursprung zurückverfolgt werden können, kann es schwierig sein zu bestimmen, wie eine künstliche Intelligenz zu ihrer Entscheidung gekommen ist. In einem automatisierten Fahrzeugunfall ist jedoch das Verständnis für die Logik hinter einer Entscheidung eines automatisierten Fahrzeugs von entscheidender Bedeutung. Ohne entsprechende Daten können unerwünschte Entscheidungen nicht nachvollzogen und unterbunden werden.
Computerwissenschaftler haben daher mit der Entwicklung von Techniken begonnen, welche das Auslesen von regelbasierten Erklärungen aus neuronalen Netzwerken ermöglichen12. Diese sind für den Menschen verständlich.
Neue Technologie der Phase 3 sollte schrittweise in künstliche Intelligenzen der Phase 2 implementiert werden.
Wieso überhaupt diese Diskussion?
Die Technologie des automatisierten Fahrens ist eng mit der Hoffnung auf einen signifikant sichereren Straßenverkehr verbunden. Durch die Kombination von Sensordatenfusion und leistungsfähigen Fahrzeugrechnern sollen in Sekundenbruchteilen komplexe Situationen erfasst und optimale Entscheidungen getroffen werden. So kündigt Toyota an, mithilfe künstlicher Intelligenz selbstfahrende Autos entwickeln zu wollen, “die unfähig sind, einen Unfall zu verursachen”. Automatisierte Fahrzeuge besäßen so etwas wie eine technische Unfehlbarkeit. Die Komplexität der Welt, die Unmöglichkeit absolute Sicherheit zu erreichen, mögliche Eingriffe von außen und die Möglichkeit des technischen Versagens einzelner Komponenten oder Komponentengruppen machen dieses Unterfangen jedoch unmöglich. Automatisierte Fahrzeuge werden in Unfälle verwickelt sein und in entsprechenden Situationen Entscheidungen treffen müssen.
Bislang fehlt zudem der empirische Beleg, dass automatisierte Fahrzeuge einen signifikanten Sicherheitsvorteil gegenüber vom Menschen gesteuerten Fahrzeugen aufweisen. Laut Smith13 muss ein automatisierter Pkw mindestens 1,2 Millionen Kilometer unfallfrei unter normalen Bedingungen zurückgelegt haben [Poissonverteilung, p-Wert <0,01, Daten von 2009], um als so sicher wie vom Menschen gefahrene Pkw zu gelten. Für den Beweis, dass automatisierte Pkw die Zahl der Verkehrstoten senken, steigt die notwendige Fahrleistung auf 480 Millionen Kilometer.
Alle Fahrzeuge | ||
---|---|---|
Alle Unfälle | Tödliche Unfälle | |
Fahrleistung (Fz-km) | 4.754.002.176.000.000 | 4.754.002.176.000.000 |
Zahl der an Unfällen beteiligten Fahrzeuge | 18 705 600 | 45 435 |
Fz-km je Unfall | 254 150 | 104 633 000 |
Benötigte unfallfreie Fz-km für einen belegten Nutzen des automatisierten Fahrens [Poisson-Verteilung mit einem p-Wert von <0,01 auf Basis von Daten aus 2009] | 1 166 775 | 481 852 800 |
Schwere automatisierte Lkw müssen eine Fahrleistung von 4,2 Millionen km bzw. 390 Millionen km aufweisen, um ein gleiches Sicherheitsniveau wie vom Menschen gesteuerte Lkw zu bieten. Bislang konnte noch kein automatisiert fahrender Lkw ein höheres Sicherheitsniveau empirisch belegen.
Schwere Lkw | ||
---|---|---|
Alle Unfälle | Tödliche Unfälle | |
Fahrleistung (Fz-km) | 270.370.000.000 | 270.370.000.000 |
Zahl der an Unfällen beteiligten Fahrzeuge | 295 900 | 3 200 |
Fz-km je Unfall | 913 720 | 84 490 625 |
Benötigte unfallfreie Fz-km für einen belegten Nutzen des automatisierten Fahrens [Poisson-Verteilung mit einem Signifikanzwert von <0,01] | 4 200 000 | 389 093 700 |
Vonseiten der Industrie wird oftmals kommuniziert, dass automatisierte Fahrzeuge in kritischen Situationen entweder die Fahrstrategie “Bremsen und Ausweichen” anwenden oder die Kontrolle an den menschlichen Fahrer zurück übertragen. Auf diese Weise sollen Entscheidungen mit ethischem Belang vermieden werden. Jedoch weisen beide Strategien Schwächen auf.
Eine Vollbremsung ist nicht immer die sicherste Option. Vielmehr hängt der Erfolg des Fahrmanövers von mehreren Faktoren ab: In welchem Abstand folgen Fahrzeuge? Ist der Abstand nach hinten bei einer Vollbremsung ausreichend? Wie ist das Fahrzeug beladen? Wie ist der Straßenzustand? Theoretisch sollte der Fahrzeugrechner in der Lage sein, die gefahrene Geschwindigkeit dem Umfeld anzupassen und immer die Option einer Vollbremsung mit positivem Ausgang zu haben. In der Praxis gibt es jedoch ein Problem: andere Fahrzeuge mit menschlichen Fahrern. Diese sind den Umgang mit Fahrzeugen, welche sich strikt an Regeln halten, nicht gewohnt und fahren aggressiver und mit weniger Aufmerksamkeit, als die Situation es eigentlich erfordern würde. Insbesondere das Einhalten des richtigen Abstands ist oftmals problematisch. Jedoch ist dies eine Notwendigkeit für eine unfallfreie Vollbremsung.
one thing he had learned from the project was that human drivers needed to be “less idiotic.”
-Dmitri Dolgov, Leiter Software-Entwicklung Google Self-Driving Cars
Die Übergabe der Fahrzeugkontrolle vom Bordrechner an den Menschen scheitert ebenfalls an menschlichen Unzulänglichkeiten. Je größer die automatisierten Fahranteile sind, desto weniger Fahrpraxis steht zur Verfügung. Bei komplexen und dynamischen Entscheidungen kann somit die notwendige Erfahrung zur korrekten Erfassung und Bewertung der Situation fehlen. Insbesondere Fahranfänger sind überproportional betroffen.
Erste wissenschaftliche Untersuchungen haben gezeigt, dass die Aufmerksamkeitsspanne in teilautomatisierten Fahrzeugen (Level 2) nachließ. So drehten sich Textpersonen in der Versuchsgruppe häufiger nach hinten um und beschäftigten sich mit anderen Aktivitäten wie bspw. lesen16. Fahrzeugführer haben in Fahrzeugen mit Automatisierungslevel 2 die Aufgabe, stets und ohne vorherigen Hinweis die Kontrolle über das Fahrzeug übernehmen zu können. In Automatisierungsstufe 3 steht ihnen ein gewisser Zeitraum für den Übergang zur Verfügung.
Level | |
---|---|
Level 0 | „Driver only“, der Fahrer fährt selbst, lenkt, gibt Gas, bremst etc. |
Level 1 | Bestimmte Assistenzsystem helfen bei der Fahrzeugbedienung (u.a. Adaptive Cruise Control [adaptive Geschwindigkeitsregelung]). |
Level 2 | Teilautomatisierung, u.a. automatisches Einparken, Spurhaltefunktion, allgemeine Längsführung, beschleunigen, abbremsen etc. werden von den Assistenzsystemen übernommen (u.a. Stauassistent). |
Level 3 | Hochautomatisierung. Der Fahrer muss das System nicht dauernd überwachen. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert die Führung zu übernehmen. Diese Form der Autonomie ist auf Autobahnen technisch machbar. Der Gesetzgeber arbeitet darauf hin, Level 3-Fahrzeuge zuzulassen. Man spricht von einem Zeitrahmen bis 2020. |
Level 4 | Vollautomatisierung. Die Führung des Fahrzeugs wird dauerhaft von System übernommen. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen. |
Level 5 | Die völlige Autonomie des Fahrzeugs. Das Fahrzeug ist ohne Lenkrad aufgestattet, das Fahrzeug kann sich fahrerlos bewegen. |
Es stellt sich daher die Frage, ob eine Übertragung der Fahrzeugkontrolle vom Fahrzeugrechner an den Menschen generell zu empfehlen ist. Je nach Situation (Tageszeit, Wetter, Ablenkungsgrad) verlängern sich Wahrnehmungs- und Entscheidungszeiträume. In Gefahrensituationen erscheint es daher sinnvoll, dass der Fahrzeugrechner eigenständig zeitkritische Entscheidungen trifft – wiederum verbunden mit einer ethisch-moralischen Problemstellung. Und der Notwendigkeit für diese Entscheidung Verantwortung übernehmen zu können.
Muss ein Fahrzeug überhaupt moralisch handeln?
Fahrzeug und Moral – passt dies zusammen? Muss ein automatisiertes Fahrzeug überhaupt in der Lage komplexe ethische Situationen aufzulösen, die äußerst selten auftreten und zudem sehr konstruiert sind? Wieso soll ein Fahrzeug moralisch richtige Entscheidungen treffen (müssen), wenn auch Menschen dies nicht schaffen? Was ist “richtig” und “falsch”? Wie soll ein Fahrzeug den Ausgang einer Situation und die Folgen einer spezifischen Entscheidung vorab beurteilen können? Der Mensch kann dies auch nicht.
Ist es notwendig, dass Fahrzeuge oder Maschinen moralisch richtige Entscheidungen treffen oder ist es nicht ausreichend, wenn keine moralisch falschen Entscheidungen getroffen werden? Sollte der Zufall eine größere Rolle spielen oder nicht?
Auf all diese Fragen gibt es keine abschließende Antwort.
Sie sollten aber auch nicht als Begründung genutzt werden, dass diese Fragen per se nicht zu beantworten wären. Bei ethischen Fragen handelt es in den allermeisten Fällen um abstrakte Gedankenspiele, die nicht abschließend beantwortet werden können. Dies ist auch nicht zwingend notwendig. Vielmehr sollen sie eine Art moralischen Kompass oder ethische Leitplanken bieten, an denen sich der Mensch zu orientieren versucht.
Letztendlich ist es Aufgabe der Gesellschaft, zu definieren, welche Regeln angewendet werden sollen und welche Risiken annehmbar sind. Auch heute akzeptieren wir, dass Menschen im Verkehr ums Leben kommen. Wir akzeptieren, dass durch die persönliche Ortsveränderung und das Fahren eines Fahrzeugs Risiken in die Gesellschaft eingebracht werden. Diese gehen aber mit einer entsprechenden Verantwortung einher.
Verletzt ein Mensch mit dem von ihm gesteuerten Fahrzeug einen anderen Menschen, so steht er in der Pflicht den entstandenen Schaden zu tragen – sowohl finanziell wie auch moralisch. Diese Verpflichtung sollte nicht an andere Stelle oder gar die Gesellschaft ausgelagert werden, wenn gleichzeitig der persönliche Nutzen der Ortsveränderung einem persönlich zugutekommt.
Beginnen wir die Debatte…
Das automatisierte Fahrzeug wirft in vielen Bereichen Fragen auf – im ethisch-moralischen Bereich sind die Antworten mit am schwersten zu finden. Eine gesellschaftliche Debatte ist längst überfällig und wird sich neben dem Fahrzeugbereich auch auf andere Bereiche der Robotik erstrecken.
Dieser Artikel hat nicht die Absicht, Antworten zu geben. Vielmehr soll er einen Einstieg in die Diskussion bieten, die noch weitaus breiter zu führen sein wird. So wurden beispielsweise Fragen und Konsequenzen bezüglich Sicherheitslücken, Hackerangriffe, Programmierfehler oder schlechte Wartung von Sensoren durch den Fahrzeugeigentümer vollkommen ausgeklammert.
Ich freue mich dennoch auf interessante Gedanken in den Kommentaren, Versuche sich dem Feld der Fahrzeugethik zu nähern und gerne auch auf längere Erwiderungen.
- Der Begriff “Fahrzeug” bezieht sich in diesem Pkw auf Pkw, Lkw, Busse, Motorräder, etc. Ebenfalls synonym sind die Begriffe Roboterfahrzeug, automatisiert, autonom, u.ä. zu verstehen. ↩
- ergänzt in Isaac Asimov, “The Naked Sun”. Januar 1975: Doubleday ↩
- ergänzt in Isaac Asimov, “The Naked Sun”. Januar 1975: Doubleday ↩
- Interessant ist folgende Abänderung der US-Philosophin Judith Jarvis Thomson zum “Fette-Mann-Problem”: Sie befinden sich auf einer Brücke oberhalb der Straßenbahngleise und sehen den führerlosen Straßenbahnwagen, der sich den fünf Gleisarbeitern nähert. Die einzige Möglichkeit, das Fahrzeug rechtzeitig vor dem Erreichen der fünf Männer zu stoppen, besteht darin, einen großen schweren Gegenstand vor den Straßenbahnwagen zu werfen. Das einzige hierfür in Betracht kommende Objekt ist ein neben ihnen auf der Brücke stehender dicker Mann.
Die Problemlage ist sowohl im “Trolley-Problem” wie auch dem “Fette-Mann-Problem” und auch diversen weiteren Abwandlungen des Problems identisch. Mit dem Tod eines Menschen kann das Leben von fünf Menschen gerettet werden. Jedoch sehen sich viele Menschen gehindert, im zweiten Fall eine Entscheidung zu treffen, die sie im ersten Fall noch treffen konnten. Die meisten hätten sich für das Umstellen der Weiche entschieden, aber kaum einer wäre bereit gewesen, den dicken Mann von der Brücke zu werfen.
Der Unterschied liegt vermutlich in der Unmittelbarkeit der Konsequenzen: Das aktive Herunterstoßen eines Menschen von einer Brücke wird schwerwiegender bewertet das die Einleitung einer indirekten Tötung: Zwar muss die Weiche aktiv umgestellt werden, der eigentliche Tötungsakt wird aber durch den Straßenbahnwagen vollzogen. ↩
- Evans, L. (2008): Death in Traffic: Why Are the Ethical Issues Ignored? Studies in Ethics, Law, and Technology, Vol. 2, No. 1, 2008. ↩
- Evans, L. (2004): Traffic Safety. Science Serving Society, Bloomfield, Michigan, 2004. ↩
- Evans, L. (2001): Causal Influence of Car Mass and Size on Driver Fatality Risk. American Journal of Public Health, Vol. 91, Nr. 7, 2001, S. 1076–1081. ↩
- siehe BVerfG, 1 BvR 357/05 vom 15.02.2006, Rn. (1-156) – http://www.bverfg.de/e/rs20060215_1bvr035705.html ↩
- Goodall, N. (2014): Ethical Decision Making During Automated Vehicle Crashes. In: Transportation Research Record: Journal of the Transportation Research Board, No. 2424, Transportation Research Board of the National Academies, Washington, D.C., 2014, S. 58–65. ↩
- Eine künstliche Intelligenz ist ein bewusstseinsfähiges Computersystem, das neue Dinge lernen und selbstständige Entscheidungen treffen kann. Im Vergleich dazu ist eine Virtuelle Intelligenz (VI) ein Computerprogramm, welches nur einprogrammierten Regeln folgen kann und nicht selbstständig lernt. ↩
- Wallach, W., und C. Allen (2008): Moral Machines: Teaching Robots Right from Wrong. Oxford University Press, New York, 2008. ↩
- Tickle, A. B., R. Andrews, M. Golea, J. Diederich (1998): The Truth Will Come to Light: Directions and Challenges in Extracting the Knowledge Embedded Within Trained Artificial Neural Networks. IEEE Transactions on Neural Networks, Vol. 9, Nr. 6, 1998, S. 1057–1068. ↩
- Smith, B. W. (2012): Driving at Perfection. The Center for Internet and Society at Stanford Law School, März 2012 ↩
- Laugier, C., und R. Chatila (Hrsg.): Autonomous Navigation in Dynamic Environments. Springer-Verlag. Berlin. 2007 ↩
- Benenson, R., T. Fraichard und M. Parent: Achievable Safety of Driverless Ground Vehicles. Proc., 10th International Conference on Control, Automation, Robotics and Vision, Hong Kong, 2008, S. 515 – 521. ↩
- Llaneras, R.E., J.A. Salinger und C.A. Green (2013): Human Factors Issues Associated with Limited Ability Autonomous Driving Systems: Drivers’Allocation of Visual Attention to the Forward Roadway. Proc., 7th International Driving Symposium on Human Factors in Driver Assessment, Training, and Vehicle Design, Bolton Landing, N.Y., 2013 ↩
- AASHTO (2011): A Policy on Geometric Design of Highways and Streets, 6th ed. Washington, D.C., 2011. ↩
Sorry, das war keine Antwort auf meine Frage. Warum ist das Signifikanzniveau < 0,01 und nicht ein anderer Wert?
Ich kann das auch nur interpretieren und rein aus dem Sinn eines Signifikanzniveaus ableiten. Für eine Antwort auf Ihre Frage würde ich Ihnen empfehlen, sich direkt an den Autor zu wenden: http://cyberlaw.stanford.edu/about/people/bryant-walker-smith
Das würde ich doch nur allzu gerne tun, nur müsste ich wissen, in welcher Publikation die Behauptung steht, dass das Signifikanzniveau < 0,01 sein muss.
Sie haben Recht, ein α ist in diesem Artikel [http://cyberlaw.stanford.edu/blog/2012/03/driving-perfection] nicht angegeben.
Ich bin mir gerade selber nicht mehr sicher, woher dieser Wert kommt und ich hier im Artikel nicht das Signifikanzniveau und die Irrtumswahrscheinlichkeit durcheinander geworfen habe. Ich werde meine Notizen und die verwendeten Quellen nochmals durchgehen und überprüfen.
Ich habe gerade noch einmal in der verwendeten Quelle, (siehe unten, stützt sich aber auch auf Smith) nachgesehen und muss den Artikel korrigieren. Zu meinem Bedauern ist dort auch nur der p-Wert angegeben, das Signifikanzniveau fehlt und wurde nicht angegeben. Ich werde aber versuchen, den Wert in den kommenden Tagen zu beschaffen.
Quelle:
Noah J. Goodall (2014): Ethical Decision Making During Automated Vehicle Crashes. Transportation Research Record: Journal of the Transportation Research Board, No. 2424, Transportation Research Board of the National Academies, Washington, D.C., 2014, S. 58–65. DOI: 10.3141/2424-07
Ich wüsste doch allzu gern, woher die Zahlen über km-Leistungen kommen,
Hallo,
Wie bereits im Artikel angegeben von Smith, B. W. (2012): Driving at Perfection. The Center for Internet and Society at Stanford Law School, März 2012: Abrufbar unter: http://cyberlaw.stanford.edu/blog/2012/03/driving-perfection
Zum weiteren Verständnis: Alle Werte beziehen sich auf das Jahr 2009. Vom Autor wird weiter ausgeführt:
Reported crashes: 5,505,000
Crashed vehicles: 9,534,000
Vehicles per crash: 1.732
Total crashes (reported and unreported): 10,800,000
Total crashed vehicles: 10,800,000*1.732 = 18,705,600 (note that this may be high if single-vehicle crashes are more likely to go unreported)
Vehicle miles traveled: 2.954 trillion
VMT per vehicle crashed: 2.954 trillion / 18,705,600 = 157,932
p-value: 0.01
n: -157,932*ln(0.01) = 727,302 miles (all crashes)
Fatal crashes: 30,979
Vehicles in fatal crashes: 45,435
VMT per fatal vehicle crashed: 65,015,957
p-value: 0.01
n: 299,409,546 miles (fatal crashes)
Die Werte wurden im Folgenden von mir von Meilen auf Kilometer umgerechnet.
Viele Grüße,
Martin Randelhoff
OK, nächste Frage. Warum ist der Signifikanzwert auf < 0,01 gesetzt ?
Weil automatisierte Fahrzeuge (ab Level 4) mindestens das gleiche Sicherheitsniveau wie manuell gesteuerte Fahrzeuge aufweisen sollen. Nur dann kann die Hypothese verifiziert werden, dass signifikante Verbesserungen im Bereich der Verkehrssicherheit auftreten.
Wenn im Fehlerspektrum der humane Fehler durch einen größeren Anteil technischer Fehler ersetzt wird, können die entsprechenden Sicherheitsgewinne nicht realisiert werden. Daher soll das automatisierte Fahrzeug mindestens so sicher fahren (müssen) wie der Mensch – im Idealfall natürlich besser.
Auch eine demokratisch legitimierte Regierung muss (Clinton: “It’s the economy, stupid”)ihre Wirtschaft fördern. Starke Wirtschaftszweige werden immer einen sehr großen Einfluss auf die nationale Politik haben.
Siehe “Clean Diesel”. Die Atemluft in den Städten wird mit Billigung und Unterstützung der Regierungen (Subventionen, zahnlose Gesaetze, pol. Druck in Brüssel etc), ob rot, ob grün. ob gelb, ob schwarz, vergiftet, um der Kfz-Wirtschaft Vorteile zu verschaffen.
Beim “autonomen Kfz” steht uns Ähnliches bevor.
Das Vermarktungsinteresse wird dazu führen:
1. Den Kfz Führer bei Unfällen von jeglicher, auch moralischer, Haftung zu befreien. Das dem Autofahren immanente Risiko, das ein physikalisches ist (E= 1/2 m*v^2, E ist die schadensverursachende kinetische Energie, m ist die Masse, v ist die Geschwindigkeit)ist nicht auszuschalten.
Mit der Wahl des Kfz als urbanes Verkehrsmittel wird das Risiko durch die Erhöhung der Masse und der Geschwindigkeit unweigerlich erhöht.
Verantwortlich dafür ist die Wahl des Verkehrsmittels.
Diese Verantwortung muss beim Fahrzeugführer bleoben und darf nicht auf einen Algorithmus abgewälzt werden.
2. Das Vermarktungsinteresse wird dazu führen, die Sicherheit der Kfz-Insassen relativ viel höher zu bewerten alsw die Sicherheit ungeschützter Verkehrsteilnehmer, bei gleichzeitiger “Entschuldung”.
Die tagesschau im Beitrag “Autoindustrie und Politik. Läuft doch.”:
“Wie der Test eines Automagazins zeigt, setzen die Software-Ingenieure bereits Prioritäten. Schwere SUV von Mercedes und VW patzten beim “Dino”-Ausweichtest von AutoBILD, ließen sich nicht zurück auf die eigene Spur lenken, würden im Zweifelsfall einen entgegenkommenden Radfahrer einfach überrollen. Für die Hersteller ist das eine Sicherheitsfunktion, bei VW “RolloverPrevention”, bei Mercedes “Active Rollover Mitigation” genannt. ….”
http://www.tagesschau.de/wirtschaft/abgasskandal-fragen-101.html
Eine nach moralisch-ethischen Grunfsätzen vorgenommene Risikoverteilung kann nur darauf hinauslaufen:
Der Algorithmus muss bei Konflikten mit ungeschützten Verkehrsteilnehmern immer zuungunsten der Fahrzeuginsassen entscheiden. Denn sie haben die risikoverursachende kin. Energie in den Konflikt eingeführt. Unabhängig davon, ob der ungeschützte Verkehrsteilnehmer eine Regel übertreten hat. Regelübertretungen dürfen Robotern keine license to kill ausstellen.
Ich befürchte ein Software-Wettrüsten. Die Sicherheit der eigenen Kunden vs die Sicherheit der übrigen.
Welche Autobesitzer? Die Stadtfahrzeuge werden doch Anbietern von Mobilitätsservices gehören.
Ob der Halter des Fahrzeugs eine Privatperson oder eine juristische Person ist, ändert an der grundsätzlichen Frage nichts.
Spannend wird es vielleicht noch, wenn der Staat als Anbieter auftreten würde. Dieser unterliegt ja anderen Haftungsregeln und ist auch unmittelbar an das Grundgesetz gebunden. Artikel 2 Absatz 2 ist hier maßgeblich und wirft ganz andere Fragen auf: “Jeder hat das Recht auf Leben und körperliche Unversehrtheit.”
Habe den Eindruck, hier kommentieren einige Leute mit einem sehr rationalen Weltbild. Bei Entscheidungen geht es aber leider nicht (nur) darum, was objektiv besser oder schlechter ist, sondern darum, wie das von den Leuten wahrgenommen wird. Die subjektive Komponente ist oft die wichtigere – wie man leicht sieht, wenn man sich diverse politische Entscheidungen anschaut. Und da nunmal nicht jeder Ingenieur ist, sondern viele als Basis für ihre Subjektivität maximal das haben, was sie in den Medien finden, kommt Irrationalität ins Spiel.
Wer meint, über rationale Argumente und Fakten ließe sich alles regeln, wird sich wundern, wie die Welt an ihm vorbeizieht, warum sich nicht (fast) automatisch das “Richtige” und “Bessere” durchsetzt. Wer wirklich was erreichen will, muss auch die (irrationalen) Befürchtungen von Menschen sehr ernst nehmen, die schlechter informiert sind als man selber ist.
Wenn ich bestimmte Sachen lesen, kommt mir auch immer der Gedanke, dass gerade in technischen Studiengängen zuwenig Wert auf den Realitätsabgleich gelegt wird. (Ist wahrscheinlich zu weit hergeholt, aber irgendwie müssen wir ja auch die Entscheidungsabläufe bei VW erklären – die SZ titelt heute den Kommentar zu einem Radio-Interview von VW-Chef Müller mit “Hier redet der Ingenieur” (nur Print).)
Versetzen wir uns einmal in die Lage der Automobilindustrie, welche die Automatisierung von Fahrzeugen schrittweise einführen möchte. Wie würde diese denn kommunizieren (müssen)? Mit Deontologie und Konsequantialismus muss man im Autohaus vermutlich nicht anfangen…
Derzeit versucht man es ja mit Aussagen wie “Einführung erst bei hundertprozentiger Sicherheit”, wobei es diese zum einen nicht geben kann und die Realität zum anderen etwas anderes zeigt. Der Autopilot von Tesla ist beispielsweise nicht perfekt und nicht einmal zu 99,9% sicher. Zum Teil auch, weil Menschen die Funktion nicht wie ursprünglich angedacht nur auf dem Highway nutzen: https://www.youtube.com/watch?v=MrwxEX8qOxA
Eine Parkautomatik und ein Stauassistent kann ja durchaus einen Unfall verursachen und Menschen verletzen. Mit dem Argument der geringen Komplexität wurde meines Wissens auch auf eine ethische Diskussion verzichtet. Ob sich dies weiter in höhere Automatisierungsklassen fortsetzen wird?
Ich bin da ein Freund des Kohlschen Ansatzes “Es zählt, was hinten bei rauskommt”, also des Konsequentialistischen. Die optimale Entscheidung ist also erstmal die, die möglichst viele Lebensjahre rettet. Darüber hinaus kann man denke ich noch Fehler bestrafen – wenn aber ein Fahrer Mist baut und 4 Beifahrer hat, klappt das natürlich nicht mehr so gut.
Das Vollbremsung oftmals nicht die beste Option ist finde ich daher fragwürdig: Wer bei einer Vollbremsung hinten auffährt, hat zu wenig Abstand gehalten, Punkt. Auch verstehe ich nicht, wie eine Vollbremsung die Insassen gefährdet – nötigenfalls kann man hier noch mit Gurtkraftbegrenzern und besseren Airbags die Gefahr minimieren. Airbags könnten auch viel früher auslösen als heute, da ein Verlust der Sicht bei automatischer Kontrolle egal ist.
Um eine Frage zu beantworten, die vor dem ethisch handelnden Fahrzeug kommt:
Ethisch sinnvoll ist der Einsatz von autonomer Steuerung, sobald diese nachweislich sicherer ist als die menschliche Steuerung, was vermutlich schon erreicht ist bzw. in wenigen Jahren erreicht wird.
Ich würde vermutlich auf kritische Situationen mit einer Notbremsung und suboptimalen Ausweichmaneuvern reagieren – die Automatik kann die Bremsung und das Ausweichmaneuver wesentlich besser ausführen, und im Gegensatz zu mir kann es eher die Konsequenzen verschiedener möglicher Optionen abschätzen, und damit im Ergebnis ethischer handeln.
Evt. aufkommenden Maschinenstürmern muss man in meinen Augen dann einfach die Unfallstatistiken um die Ohren hauen. Im Einzelfall werden autonome Fahrzeuge natürlich trotzdem verurteilt werden – da aber der gesellschaftliche Nutzen deutlich sein wird (bzw. deutlich sein muss, bevor sich die Technologie verbreiten kann), kann damit in einer aufgeklärten Gesellschaft keine breite Maschinenstürmerbewegung entstehen – es gibt schlicht zu wenige Opfer.
Die Diskussion finde ich schwierig. Ethische Fragen haben sich auch die Entwickler der Autos nicht gestellt. Sie hätten ja die mobile Freiheit des Einzelnen der Gesundheit aller gegenüberstellen können. Zigtausend Unfalltote, mit Autos verstopfte Städte, Klimawandel und krebsfördernde Abgase sind schliesslich Argumente, die nur mit Innovationen geheilt werden können. Als das Auto kam, waren alle Städter froh, dass die Straßen nun nicht mehr von Pferdefuhrwerken zugeschissen worden sind. Fortschritt bedeutet, dass Systeme, die mehr Nachteile als Vorteile mit sich bringen durch Innovationen abgelöst werden, die diese Probleme vermeiden. Doch oft bringen sie andere mit sich. Auch diese müssen dann in einem Evaluationsprozess analysiert und gegebenenfalls verändert werden. Die Diskussionen um philosophische, ethische und rechtliche Widersprüche von selbst fahrenden Autos sind von daher natürlich und notwendig. Sie zu lösen ist ein Prozess, den die Industrie, in diesem Fall Google, meistern wird, auch weil diese bislang unvorstellbaren Mobilitätsform der selbstfahrenden Autos ein wirtschaftliches Projekt ist, dass große Investitionen verlangt und unheimliche Gewinne verspricht, mit denen eine ganz neue Marktmacht entstehen lässt.( Auch darüber müsste diskutiert werden.) Bisher war es immer so, Macht und Profit lassen sich von juristischen Winkelzügen und ethischen Debatten nicht aufhalten.
Vielleicht noch eine Anmerkung dazu, was wahrscheinlich passieren wird.
Die Entwicklung verläuft ja nicht total geplant. Man wird sich von einfachen zu immer komplizierteren Regeln und Implementierungen vorarbeiten; auch mal etwas wieder zurücknehmen. Und am Ende (bzw. irgendwann zwischendurch) wird niemand mehr genau wissen, warum wir genau da stehen, die System genau so realisiert haben, wie sie gerade existieren.
Als weiterer Faktor kommt hinzu, dass ein Entwickler, der sich zwischen zwei (aus seiner Sicht) schlechten Möglichkeiten entscheiden muss, nach anderen Parametern greift – außerhalb der moralisch/ethischen Sphäre. Dazu gehört in erster Linie einfache Realisierung, auf der Ebene darüber natürlich auch Kosten, und auch so etwas wie die (oft nur vom Entwickler selber beurteilbare) Eleganz eines Softwarekonstrukts. Dazu kommt die gegenseitige Beeinflussung, Trends, Fachliteratur, etc. – Einflüsse, die sicher auch den moralisch/ethischen Aspekt enthalten werden, aber Entscheidungen auch anderweitig beeinflussen.
Fahrzeuge können nicht moralisch oder ethisch handeln – so etwas setzt m.E. ein Bewußtsein voraus, etwas, wovon Software-Konstrukt noch ein bisschen entfernt sind, und von dem wir nicht wissen, ob sie es überhaupt erreichen können. Aber Entwickler können natürlich moralisch oder unmoralisch handeln.
Das ist das eine.
Das andere ist, dass Menschen Einzelfallentscheidungen treffen, während Software-Systeme, regelbasiert oder wie auch immer, in gleichartigen Situationen gleichartige Entscheidungen treffen. Es sei denn, man baut bewusst den Zufall ein, was wohl für die hier geschilderten Entscheidungen zunächst mal nicht in Frage kommt. Dazu kommt eine notwendige Kategorisierung, die wahrscheinlich gröber ist, als das, was ein Mensch bei einer Einzelfallentscheidung als Grundlage benutzt. D.h. nicht, dass Menschen die – moralisch, ethisch – richtigen Parameter für Entscheidungen wählen. Sie benutzen aber ggf. Kategorien, die Maschinen nicht zugänglich sind, bzw. die ein Entwickler ihnen nicht einprogrammieren würde.
Ein Beispiel: Nehmen wir das Trolley-Problem – eine Straßenbahn, die entweder eine Person überrollt, wenn der Entscheider aktiv wird, oder fünf, wenn er passiv bleibt. Ich denke, die Gesellschaft würde beide Varianten tolerieren bzw. entschuldigen. Niemand verlangt von jemand anderen hier aktiv eine Entscheidung zu treffen. Der Entscheider selber würde sich im Nachhinein wohl auch in beiden Fällen Vorwürfe machen; aber wohl mehr, wenn er passiv bleibt.
Passiv oder aktiv ist aber eine Einzelfallentscheidung, die abhängig von der Person des Entscheiders und anderen Parametern, die er blitzschnell bewerten muss (intuitiv?), gefällt wird. Was ist, wenn die eine Person ein Kind, die fünf aber erwachsen sind? Oder wenn ein naher Verwandter oder Freund im Spiel ist?
Zu dem Fall “Kind” gibt es eine Analogie im Film “I, Robot” mit Will Smith, wo der Protagonist (Smith) bei einem Autounfall von einem Roboter gerettet wird, während ein im Auto nebenan sitzendes Kind stirbt. Der Gerettete lehnt in Folge dessen Roboter ab, weil er der Meinung ist, ein Mensch hätte sich immer für das Kind entschieden.
Mein Fazit: Es gibt (heute?) keine Möglichkeit, Maschinen so zu programmieren, dass sie in Situationen, in denen es um Moral und Ethik geht, nahe an menschliche Entscheidungen kommen. Ich möchte nicht in der Situation eines Entwicklers sein, der so etwas vorab in eine Maschine einprogrammieren muss. Wobei ich dabei durchaus die Gefahr sehen, dass Menschen, die dies aus ethischen Gründen ablehnen, eben durch solche ersetzt werden, die damit weniger Probleme haben. Was das ganze dann noch einmal fragwürdiger macht.
Mir stellt sich hier folgende Frage:
Möchten wir mit autonomen Fahrzeugen den gegenwärtigen Zustand des Verkehrs nachbilden und lediglich zunehmend auf menschliche Fahrer verzichten? Oder wollen wir einen Null-Personenschaden-Verkehr?
Letzteres hieße, dass autonomes Fahren ausschließlich in Geschwindigkeiten stattfinden kann, die zu jederzeit auch im Stadtverkehr in Millisekunden einen Vollstopp zulassen, oder eine strikte bauliche Trennung von autonomen und traditionellem Verkehr – inklusive Fußgänger und Radler – vorgesehen werden muss.
Die Alternative ist, dass wir eine wie auch immer geartete Verringerung der Personenschaden-Wahrscheinlichkeit gegenüber dem Jetzt-Zustand anstreben. Was natürlich heißt, dass es auch mit autonomen Fahrzeugen zu Personenschäden und Toten kommen wird.
Das Trolley-Problem wird bei der zweiten Alternative also bleiben, während die erste Alternative zwar moralisch gewünscht werden wird, jedoch vom Markt nicht akzeptiert, da sich auf einen Schlag die Reisegeschwindigkeit drastisch reduzierte.
Wäre ich zynisch, würde ich sagen, dass das Trolley-Problem durch die zunehmende Re-Militarisierung des politischen Denkens und Handelns in der Welt wesentlich einfacher zu beherrschen wird, da eine militärische Risiko- und Verlustabwägung die Entscheidungen und Algorithmen seit Jahrhunderten geübt hat. Die Angehörigen des Opfers, das vom autonomen Fahrzeug überfahren wurde, um einer Gruppe von Kindern auszuweichen, werden dieser Abwägung naturgemäß nicht folgen und gegen den Hersteller klagen, so wie auch der Fahrer verklagt würde.
Autonomes Fahren wird Mobilität also deutlich sicherer machen – statistisch gesehen. Wenn wir ein Restrisiko akzeptieren – und das tun wir bei allen technischen Systemen und haben es zu aller Zeit – dann werden wir unseren Frieden machen müssen mit der Gestalt des Risikos.
Ich halte das moralische Problem auch überbewertet. Aus mehreren Gründen: Einerseits ist die zu erwartende Mortalität durch autonomes Fahren um ein Vielfaches geringer als die aktuellen Todeszahlen im Straßenverkehr. Wenn also jährlich tausende Menschenleben “gerettet” werden ist es pragmatisch gesehen nicht wirklich wichtig wie die Maschinen das konkret bewerkstelligen. Andererseits überrascht mich, dass beim autonomen Fahren plötzlich moralische Szenarien besprochen werden die bei mir in der Fahrschule NIE relevant waren. Nie wurde darüber gesprochen wann man einen Menschen überfahren darf um einen anderen zu retten. Mein Verständniss war immer dass man im Zweifel nichts anderes tun kann als das Fahrzeug möglichst schnell und möglichst kontrolliert zum Stillstand zu bringen. Nicht mehr und nicht weniger erwarte ich auch von einem intelligenten Auto. Sollte es denn aufgrund der zu erwarteten niedrigen Opferzahl überhaupt relevant sein.
Der letzte Punkt ist dass sich die Menschen eine falsche Vorstellung von “intelligenten Maschinen” machen. Die führt dann dazu dass denen ein Bewusstsein zugeschrieben wird und man denkt diese Maschienen seien grundverschieden zu anderen Technologien. Das sind sie nicht. Und auch bei anderen Technologien sind moralische Fragen nicht so präsent. Führt zum Beispiel die Farbgebung von Facebook dazu dass bestimmte Menschengruppen öfters Suizid begehen? Führt die Form unserer Innenräume dazu dass größere Menschen bei Erdbeben geringere Überlebenschancen haben? (Alles möglich aber eher schwer messbar.) Und die Frage wie viele Menschenleben durch die Wahl von Geschwindigkeitsbegrenzungen, Steuersätzen, Umweltstandards, … vernichtet oder gerettet werden haben wird noch gar nicht gestellt. Und die Abwägung zwischen Menschenleben und diesen “Parametern” in Gesetz gegossen! (Diskussionen gab’s natürlich, aber die Rede ist hier ja von fixen Grundsätzen nach denen die Automaten operieren sollen.)
Ich halte diese ganze Diskussion fuer etwas absurd und bisweilen fast an den Haaren herbeigezogen. Hier wird der Computer gedanklich an die Stelle des Fahrers gesetzt und sein Verhalten diskutiert, ohne zu beruecksichtigen, das auch der Fahrstil anders sein wird.
Wenn autonome Autos genau so unvorsichtig und bisweilen halsbrecherisch fahren wuerden wie menschliche Fahrer koennte ich die Diskussion ja verstehen. Aber Autos die selbstaendig vor jeder angedeuteten Gefahr bremsen und staendig anderen Vorfahrt gewaehren werden nur seltenst ethische Probleme zu loesen haben.
Das grosse Talent autonomer Autos ist es doch gerade, “vorrausschauend” zu fahren, also im Sinne das das Auto sich ueber Konsequenzen der Situation im Klaren ist und diese bewusst verwaltet. Wenn ein autonomes Auto sich in einer ethisch schwierigen Lage wiederfindet, dann ist das Problem nicht welche Entscheidung nun zu treffen ist sondern dann wurden bereits mehrere Entscheidungen falsch getroffen!
Natuerlich kann man jetzt aufwaendig Gedankenspiele fuer komplexe Situationen anstellen, aber wie realistisch und nachvollziehbar ist das? (c.f. xkcd/1455)
Meines Erachtens führt die Aussage, dass man mit autonomen Fahrzeugen die Unfallzahlen minimieren kann, nicht sonderlich weiter. Egal wie wenig Unfälle ein autonomes Fahrzeuge hat – der erste Unfall mit Personenschaden, insbesondere außerhalb des Fahrzeugs und insbesonder Fußgänger/Radfahrer wird eine heftige Diskussion erzeugen, ob das mit menschlichem Fahrer auch passiert wird.
Der rationale Blick mit Quantifizierung ist nett und hilfreich, löst aber nicht das Dilemma, sondern wird von der Öffentlichkeit nur als ein Diskussionsbeitrag unter vielen verstanden werden. Und die Extremsituation der Abwägung zwischen “Fußgänger umfahren” und “Auto gegen die Wand setzen und Insassen gefährden” ist zwar nicht beliebig wahrscheinlich, aber die Wahrscheinlichkeit ist eben auch nicht null.
Hallo Karsten,
wie von mir im Artikel auch geschrieben: die Szenarien sind natürlich hypothetisch und konstruiert. Trotzdem sollte man die Diskussion bzw. die Überlegungen an dieser Stelle nicht mit dem Argument abbrechen, dass die entsprechenden Situationen nie bzw. sehr selten eintreten werden.
Das Fahrverhalten von automatisierten Fahrzeugen wird sich sicherlich vom menschlichen Fahrverhalten unterscheiden – viele Unfälle werden durch vorausschauendes Fahren und eine nüchtern objektive Bewertung von Situationen vermieden werden. Der Faktor Mensch wird jedoch auch hier nicht vollkommen aus der Gleichung genommen.
Der Straßenverkehr ist ein sehr offenes System mit vielen Berührungspunkten zu seiner Umwelt. Sogar bei annähernd perfekten Sensoren und Algorithmen wird es zu direkten Interaktionen mit Menschen kommen, sei es als Fußgänger, Radfahrer oder Fahrzeuginsasse. Diese Menschen werden Fehlentscheidungen treffen, eingeschlagene Wege und Richtungen abrupt ändern und ihr Verhalten ständig und unvorgesehen ändern. Man kann an dieser Stelle natürlich die Frage nach persönlicher Schuld und Verantwortung stellen: muss ein Roboter menschliche Unvollkommenheit bedenken und beachten oder ist es akzeptabel, dass Menschen verletzt oder gar getötet werden, weil sie eine sichere Entscheidung des Gegenübers durch ihr eigenes Verhalten unmöglich machen. Bei zwischenmenschlichen Interaktionen ist dies ja heute auch nicht anders.
Ein Mensch kann ein automatisiertes Fahrzeug meiner Meinung nach durchaus in Situationen bringen, die einen Unfall zwingend notwendig machen und eine ethische Entscheidung des Fahrzeugrechners erzwingen. Es muss ja nicht unbedingt eine von technischer Seite induzierte Entscheidung sein – der Mensch kann auch Verursacher sein.
Auch mit absoluter Vorsicht und vorausschauendem Fahren wird ein Fahrzeug keine 99,9999%ige Sicherheit bieten können. Das Restrisiko bleibt immer bestehen. Natürlich sollte dieses Risiko weitestgehend minimiert werden. Für den Fall aller Fälle sollten dennoch Regeln und Bewertungsmodelle implementiert werden. Und über diese muss diskutiert werden. Das ethische Problem fängt ja nicht bei der Risikovermeidung bzw. -minimierung an, sondern vielmehr bei Eintritt eines Ereignisses.
Mir stellt sich an dieser Stelle natürlich auch die Frage nach technischer Vollkommenheit. Kann ein System überhaupt vollkommen und fehlerfrei sein? Wer haftet für etwaige Fehler? Wie weit können Risiken auf technischer Ebene minimiert werden, wenn es noch zu Interaktionen mit Menschen kommt?
Die meisten Fragen kommen erst auf, wenn man sich mit den einzelnen Verästelungen des Problems beschäftigt. Man sollte sich durchaus darauf einlassen – wenn auch hypothetisch. Ziel ist es ja nicht, Probleme zu konstruieren, wo gar keine sind. Aber auch dies ist ja eine wissenswerte Erkenntnis.
Viele Grüße,
Martin
Sehr interessanter Beitrag, der die verschiedenen Facetten von autonomer Mobilität sehr gut wiedergibt. Meiner Meinung nach wird den moralischen Problemen zu viel Bedeutung zugewiesen. Sobald die Wahrscheinlichkeit, dass ein autonomes Fahrzeug einen Unfall verursacht signifikant geringer ist als ein von Menschen gesteuertes, sollten diese zugelassen werden. Es wird wie im Beitrag erläutert nie möglich sein alle Fälle abzudecken. Und das ist auch nicht nötig. Die wenigen dann auftretenenden Vorkommnisse müssen dann, wie in anderen Bereichen auch, von Gerichten und Gutachtern aufgearbeitet werden.