Datum 23.05.2022

Das Bundesamt für Sicherheit in der Informationstechnik (BSI), der TÜV-Verband und das Fraunhofer Heinrich-Hertz-Institut (HHI) führen gemeinsam eine jährlich stattfindende Workshopreihe zur Prüfbarkeit von KI-Systemen mit international renommierten Expertinnen und Experten durch. In den Workshops wird der aktuelle Stand der Prüfbarkeit von KI-Systemen in sicherheitskritischen Bereichen als Grundlage für die Priorisierung von zukünftigen Arbeiten erfasst.

Das in diesem Kontext veröffentlichte Whitepaper „Towards Auditable AI Systems“ richtet sich an Entwickler, Prüfer und Entscheidungsträger in Industrie, Forschung und Behörden. Das BSI leistet hiermit u.a. einen Beitrag zur Operationalisierung des Regulierungsentwurfs „Aritificial Intelligence Act“ der EU-Kommission, indem es eine Methode zur Erfassung der Prüfbarkeit der IT-Sicherheit und weiterer Aspekte von KI-Systemen vorstellt und diese exemplarisch anwendet.

Im Oktober 2020 fand der erste Workshop mit einem Fokus auf grundlegende Fragen statt. Der zweite Workshop wurde im Oktober 2021 durchgeführt. Neben erweiterten Grundlagen wurden erste Ansätze zur praktischen Anwendung und Standardisierung von Prüfverfahren für KI-Systeme in den Bereichen Automotive, Medizintechnik und Biometrie vorgestellt. Die Ergebnisse dieses Workshops hat das BSI mit den Expertinnen und Experten von TÜV-Verband, Fraunhofer und allen Vortragenden im Whitepaper zusammengefasst. Die Autorinnen und Autoren schlagen die „Certification Readiness Matrix (CRM)“ als eine neue Methode vor und stellen die Ergebnisse des Workshops in diesen Kontext. Die CRM ist nicht als formales Zertifizierungsschema für spezifische Rechtsakte konzipiert. Stattdessen dient sie einerseits dazu, Prüfbarkeitsdefizite einzelner KI-Systeme besser zu erfassen und zu kommunizieren. Andererseits ermöglicht sie, die Prüfbarkeit verschiedener KI-Systeme besser untereinander und über die Zeit zu vergleichen. Eine exemplarische Anwendung der CRM auf die im Workshop vorgestellten Anwendungsfälle weist darauf hin, dass Prüfmethoden für bestimmte Aspekte, wie zum Beispiel das Risikomanagement, bereits gut entwickelt und verfügbar sind. In Bezug auf andere Aspekte wird jedoch noch ein wesentlicher Forschungs- und Entwicklungsaufwand benötigt, um eine hinreichende Prüfbarkeit von Regulierungsauflagen zu erreichen. Dies gilt insbesondere auch für die IT-Sicherheit.