Verena, 39: Zukünftig will sie unbedingt ein intelligentes Auto, um den hektischen Familienalltag entspannter zu meistern. Doch was, wenn das Auto mal eine falsche Entscheidung trifft? *

Endlich Sommerferien! Wir starten nach dem Frühstück Richtung Süden. Die Fahrt wird insgesamt zehn Stunden dauern. Ziemlich lange, denke ich, vor allem mit unseren zwei kleinen Kindern. Aber Dank der intelligenten Assistenzsysteme fährt das Auto ja zum Glück selbstständig. Ohne müde zu werden, erfassen seine Sensoren andere Verkehrsteilnehmer und Hindernisse. So kann es frühzeitig Gefahrensituationen verhindern. Bahnt sich irgendwo ein Stau an, nimmt es einfach eine alternative, schnellere Route. So kommen wir pünktlich, sicher und viel entspannter an unser Ziel, freue ich mich. Doch dann passiert etwas Seltsames:

Wir sind auf einer Landstraße. Ich schaue gedankenverloren aus dem Fenster. Ganz unbewusst nehme ich das Schild mit dem Tempolimit 60 Stundenkilometer wahr und schaue aus alter Gewohnheit auf den Tacho. Da sehe ich wie das Auto immerzu beschleunigt. Die Straße ist zwar leer, aber was soll das? Ich brauche ein paar Sekunden, doch dann stelle ich auf "selbst fahren" um und verringere das Tempo von mittlerweile 100 Stundenkilometer auf das angegebene Tempolimit. Ich fahre die restlichen drei Stunden dann lieber ohne die digitale Hilfe. Letztendlich kommen wir sicher an. Dieser Vorfall hat mich sehr beunruhigt. Ich frage mich, wie das passieren konnte und wie sicher das System wirklich ist?

Künstliche Intelligenz: Hypergenau, aber nicht fehlerfrei

KI-Systeme in autonomen Fahrzeugen verarbeiten diverse Daten parallel und in Echtzeit: Den Straßenverlauf, die Straßenschilder und Ampeln sowie die Bewegungen der anderen Verkehrsteilnehmer und vieles mehr.

Dafür muss das KI-System lernen, diese Daten zu interpretieren. Mit sehr umfänglichen Datensätzen trainieren die Entwickler die Künstliche Intelligenz und testen deren Entscheidungen. Das KI-System entwickelt mit fortschreitenden Tests z.B. die Fähigkeit im Straßenverkehr sicher zu navigieren. Es lernt, bei unvorhergesehenen Ereignissen, wie dem abrupten Abbremsen eines anderen Autos, schnell zu reagieren.

Im Video erklärt unser BSI-Experte, welche Chancen und Herausforderungen KI-Systeme mitbringen:

KI-Systeme erfassen kontinuierlich eine Vielzahl von Sensordaten. Doch aufgrund der unermesslichen Kombinationsmöglichkeiten kann nicht jede Eventualität trainiert und getestet werden. Dies können sich entweder Angreifer zu Nutze machen oder es können Situationen entstehen, in denen Sensordaten zwar unabsichtlich aber schlicht falsch interpretiert werden.

Ein Testlauf zum autonomen Fahren von US-Wissenschaftlern im Jahr 2018 zeigte, dass ein KI-System durch einen Zettel auf einem Stoppschild so verwirrt war, dass es statt des Stoppschilds ein Tempolimit interpretiert hat (siehe exemplarisch dargestellt in Grafik). Das KI-System hat also keine Warnung ausgegeben, dass es ein unbekanntes Objekt sieht. Es hat stattdessen eine der bekannten Optionen gewählt und die falsche Entscheidung berechnet. Intuitiv nachvollziehbar ist das für den Laien nicht. Aber genau hier liegt eines der Sicherheitsprobleme von KI-Systemen: Die Entscheidungen sind nicht genau nachvollziehbar. Deswegen müssen KI-Systeme überprüfbar gemacht werden.

Autonomes Fahren muss sicher und überprüfbar sein

Ohne KI ist autonomes Fahren nicht möglich. Die Vorteile liegen auf der Hand: KI-Systeme können umfassende Daten gleichzeitig lesen, berechnen und interpretieren. Beim Fahren lassen sich KI-Systeme zudem nicht vom Smartphone, Radio oder einem Snack ablenken. Sie ermüden nicht, solange die Stromversorgung und die Technik einwandfrei funktionieren. Und je länger und öfter sie im Einsatz sind und neue Daten verarbeiten, desto besser und präziser arbeiten sie.

Wie im Fallbeispiel beschrieben, sind solche Systeme in ihren Berechnungen jedoch nicht unfehlbar bzw. können Angreifer durch die Manipulation der Trainingsdaten gezielt falsche Entscheidungsprozesse als Hintertüren einschleusen. Das ist die informationstechnische Schattenseite von KI-Systemen: Aufgrund ihrer Komplexität ist es schwierig, diejenigen Schwachstellen und "blinden Flecken" zu finden, die zu schwerwiegenden Fehlentscheidungen führen können.

Für eine sichere Digitalisierung der Gesellschaft ist es daher erforderlich, nicht nur die Technologie selbst weiterzuentwickeln, sondern auch deren Überprüfbarkeit und technische Maßnahmen gegen gezielte Angriffe und Fehlfunktionen. Darüber hinaus wird das BSI sich für technische Richtlinien und Standards sowie für politische und gesetzgeberische Rahmenbedingungen einsetzen, die für den Einsatz sicherer KI zu sorgen. So kann die KI-Technik der Gesellschaft in der Pflege, Medizin, auf der Straße oder in vielen anderen Anwendungsbereichen langfristig wirklich nützlich sein.

Wie ein KI-System trainiert wird, erfahren Sie in unserem Artikel "Künstliche Intelligenz: Kann ein intelligentes Auto wirklich denken?"

Studie zur Fehlinterpretation des Stoppschildes: Eykholt, Kevin and Evtimov, Ivan et. al. (2018) Robust Physical-World Attacks on Deep Learning Visual Classification; this paper appears at CVPR 2018

*fiktiver Anwendungsfall