Der Straßenverkehr stellt KI-Systeme vor komplexe Herausforderungen. Dazu zählen Verkehrs- und Umweltbedingungen ebenso wie KI-spezifische Sicherheitsaspekte. Zu diesem Thema führt das BSI eigene Forschungsarbeiten durch, erprobt mögliche Angriffsmethoden. Damit lassen sich ein Überblick über die tatsächliche Gefährdungslage gewinnen sowie Gegenmaßnahmen und Prüfmethodiken entwickeln, die in interdisziplinären wie internationalen Expertenkreisen ausgetauscht werden.

Das Branchenlagebild Automotive des BSI liefert ergänzend hierzu einen branchenspezifischen Überblick zur Lage der Cyber-Sicherheit im Bereich "Automotive", sowohl hinsichtlich der Produktion als auch der Fahrzeuge selbst.

Einleitung

Die Automatisierung von Fahrfunktionen in modernen Kraftfahrzeugen nimmt stetig zu. In immer größerem Umfang kommen dabei KI-Systeme zum Einsatz. Deren Aufgaben können je nach Automatisierungsstufe stark variieren. Grundsätzliche Funktionalitäten können die Unterstützung eines fahrenden Menschen sein, aber auch die Übernahme einzelner Fahrfunktionen oder die vollständige Kontrolle über das Fahrzeug.

Bislang können die Systeme nur unter bestimmten Umweltbedingungen und in spezifischen Fahrsituationen arbeiten, zum Beispiel bei Stau und stockendem Verkehr auf der Autobahn. Eine vollständige Automatisierung ist Stand Anfang 2022 noch nicht erreicht.

Ihre Eingabedaten erhalten KI-Systeme aus optischen Sensoren wie Kameras oder dem Laser-Messsystem Lidar, über Funkverbindungen oder aus Speichermedien im Fahrzeug. Aktuell verbaute Systeme nutzen zum Teil noch klassische Algorithmen zur Vor- und Weiterverarbeitung der Daten. Diese werden jedoch zunehmend durch KI-Systeme ersetzt. Beide Systemarten verarbeiten die Eingabedaten aus verschiedenen Quellen entweder einzeln oder fusionieren sie vor der Verarbeitung. Die Ausgaben des KI-Systems können entweder direkt zur Steuerung von Aktuatoren zur Quer- und Längsführung des Fahrzeugs – also insbesondere Lenkung, Bremse und Gaspedal – genutzt oder zunächst durch klassische IT-Systeme weiterverarbeitet werden. Die Informationsverarbeitung im Fahrzeug ist schematisch in Abb. 1 dargestellt.

Automatisierungsstufen

Die gängige Klassifizierung der Automatisierungsstufen stammt aus der Norm SAE J3016. Diese unterscheidet fünf Stufen, ausgehend von der Stufe 0 mit keinerlei Automatisierung. Die Komplexität steigt beim Übergang einer Automatisierungsstufe zur nächsthöheren jeweils erheblich.

• Stufe 1 (Assistenzsysteme): In bestimmten Fahrsituationen übernimmt das Assistenzsystem Lenkung oder Beschleunigung des Fahrzeugs. Der Mensch muss die übrigen Fahraufgaben übernehmen.
• Stufe 2 (Teilautomatisierung): In bestimmten Fahrsituationen übernehmen Assistenzsysteme Lenkung und Beschleunigung. Der Mensch muss die übrigen Fahraufgaben übernehmen.
• Stufe 3 (Bedingte Automatisierung): In bestimmten Fahrsituationen übernimmt ein automatisiertes System das Fahren. Der Mensch muss auf Aufforderung eingreifen und die Kontrolle über das Fahrzeug übernehmen.
• Stufe 4 (Hochautomatisierung): In bestimmten Fahrsituationen übernimmt ein automatisiertes System das Fahren. Innerhalb dieser Fahrsituationen ist ein Eingreifen durch den Menschen nicht erforderlich.
• Stufe 5 (Vollautomatisierung): Ein automatisiertes System übernimmt das Fahren in beliebigen Fahrsituationen.

Stand Anfang 2022 sind in Deutschland bereits Systeme bis Stufe 3 im Regelbetrieb im Einsatz. Diese können beispielsweise auf der Autobahn bei niedrigen Geschwindigkeiten und bei guter Witterung das Fahren übernehmen, wobei der Mensch auf Anforderung eingreifen muss. Die rechtlichen Voraussetzungen für den Einsatz von Systemen der Stufe 4 wurden 2021 durch das Gesetz zum autonomen Fahren geschaffen. Dieses ermöglicht den Einsatz autonomer Fahrzeuge in festgelegten Betriebsbereichen, z. B. für die Realisierung von Shuttle-Verkehren.

Anwendungsfälle

KI-Systeme können im Bereich des automatisierten Fahrens in unterschiedlichen Anwendungsfällen eingesetzt werden. Aufgrund der Struktur der verfügbaren Eingabedaten fallen diese insbesondere in den Bereich der Bildverarbeitung. So können KI-Systeme auf Basis von Kameradaten zur Klassifikation von Verkehrsschildern genutzt werden und entsprechende Entscheidungen auslösen. Ebenso können die Eingabedaten zur Detektion der Fahrspur sowie von Fußgängern oder weiteren Verkehrsteilnehmenden und deren Bewegungen verwendet werden. Mit diesen Fähigkeiten können komplexe Fahrfunktionalitäten wie das Spurhalten oder die Hindernisumfahrung umgesetzt werden. Abseits der Fahraufgaben können KI-Systeme z.B. auch verwendet werden, um Anomalien in der Funktionalität der Sensoren und Aktuatoren zu erkennen, sodass diese rechtzeitig gewartet werden.

Neben unmittelbar sicherheitskritischen Funktionen finden KI-Systeme im Kontext des automatisierten Fahrens auch für andere Zwecke Anwendung. So können die Fahrzeuginsassen unter Nutzung von Stimmerkennungsverfahren direkt per Sprache mit dem Fahrzeug interagieren. Auch bei der Routenplanung von einem Start- zum Zielort können KI-Verfahren verwendet werden, um die Performanz klassischer Algorithmen zu verbessern.

Herausforderungen

KI-Systeme, die im Rahmen des automatisierten Fahrens eingesetzt werden, müssen mit verschiedenen Herausforderungen umgehen. Diese müssen zusätzlich zu den klassischen Themen der IT-Sicherheit berücksichtigt werden.

Einerseits sind die Systeme anfällig für neuartige Angriffe. Diese hat das BSI in der Publikation Sicherer, robuster und nachvollziehbarer Einsatz von KI beschrieben. Solche Angriffe können bereits beim Training eines KI-Systems durch Manipulationen der zugrundeliegenden Daten (Poisoning-Angriffe) beginnen. Insbesondere wenn Daten oder vortrainierte Modelle aus externen Quellen verwendet werden, bieten sich diese Angriffsmöglichkeiten. Zusätzlich können KI-Systeme auch im Wirkbetrieb durch gezielte Falscheingaben (adversariale Angriffe) angegriffen werden. Poisoning- und adversariale Angriffe für den Anwendungsfall Verkehrsschilderkennung sind in Abb. 2 und 3 schematisch dargestellt. Beide Arten von Angriffen können die KI-Systeme zu Fehlentscheidungen mit potentiell gravierenden Auswirkungen verleiten. Um die Sicherheit automatisierter Fahrfunktionen zu garantieren, müssen die KI-Systeme eine bestmögliche Robustheit gegen derartige Angriffe aufweisen.

Andererseits müssen die KI-Systeme, insbesondere auf höheren Automatisierungsstufen, auch im Normalbetrieb unter unterschiedlichsten Umweltbedingungen robust funktionieren. Für eine vollständige Automatisierung auf Stufe 5 muss die Funktionalität gar unter beliebigen Umweltbedingungen erbracht werden. Dies ist eine sehr herausfordernde Aufgabe. Die Umweltbedingungen können je nach Tages- und Nachtzeit, Jahreszeit, Klima, Witterung, Straßenbelag und Umgebung stark variieren. Robuste Systeme müssen ebenso mit stark unterschiedlichem Lichteinfall und Reflexionen umgehen wie mit teilweiser Verdeckung der Sicht – oder auch beschädigten sowie verschmutzten Verkehrsschildern und Sensoren. Inwiefern sich die Robustheit von KI-Systemen unter verschiedenen Umweltbedingungen testen lässt, hat das BSI 2020 in einer Fallstudie am Beispiel der Verkehrsschilderkennung erstmalig untersucht.

Im Rahmen des Projekts AIMobilityAuditPrep - Final Results hat das BSI 2022 darüber hinaus mit der Entwicklung generischer Anforderungen sowie zugehöriger Testmethoden und -werkzeuge für die Prüfung von KI-basierten Systemen zu den oben beschriebenen Herausforderungen begonnen. Die Ergebnisse des Projekts dienen als erster Schritt zu der Erstellung einer Technischen Richtlinie.

AIMobilityAuditPrep - Supplementary Results
AIMobilityAuditPrep - Overview Toolbox
AIMobilityAuditPrep - Toolbox software documentation

Neben den Herausforderungen, die die KI-Systeme direkt betreffen, können diese indirekt durch Angriffe auf die Sensorik des Fahrzeugs beeinflusst werden. Solche Angriffe können beispielsweise in der Projektion von Verkehrsschildern auf Hauswände oder deren Darstellung auf elektronischen Werbetafeln bestehen. Bei Nutzung optischer Sensoren ergeben solche projizierten Verkehrsschilder sehr ähnliche Ergebnisse wie tatsächliche Verkehrsschilder aus Metall. Die KI-Systeme müssen insbesondere anhand von Kontextinformationen mit diesem Problem umgehen können.

Austausch im Netzwerk und auf Veranstaltungen

Die Nutzung von KI im Bereich Automotive ist ein hochgradig praktisches und interdisziplinäres Thema, das sich nicht allein theoretisch behandeln lässt. Insbesondere die hohe Bedeutung physischer Komponenten und der Umgebungsbedingungen erfordert den Austausch mit Praxispartnern. Daher hat das BSI ein umfangreiches Netzwerk zum Informationsaustausch mit den zuständigen Behörden (KBA, BMDV) sowie Industrieunternehmen und Forschungseinrichtungen aufgebaut. So richtet das BSI seit 2020 unter anderem eine jährliche Workshopreihe zusammen mit dem Verband der Technischen Überwachungsvereine VdTÜV und dem Fraunhofer HHI aus.

Darüber hinaus beteiligt sich das BSI an verschiedenen nationalen und internationalen Arbeitsgruppen, die sich mit der IT-Sicherheit von KI-Verfahren im Allgemeinen oder speziell im Bereich Automotive befassen. National ist dies die gemeinsame Arbeitsgruppe zwischen dem BSI und dem VdTÜV. International ist das BSI Mitglied in Arbeitsgruppen bei ETSI und ENISA. Dank dieser Austauschformate können die genannten Herausforderungen bestmöglich angegangen werden.