Gegenstand einer Prüfung gemäß AIC4 sind Cloud-Dienste, die Methoden des maschinellen Lernens verwenden. Eine genaue Definition des Begriffs Cloud-Dienst erfolgt im C5.

Es ist zu beachten, dass das Feld des maschinellen Lernens (ML) äußerst groß ist und ML-Methoden in unterschiedlicher Intensität an unterschiedlichen Stellen in Cloud-Diensten verwendet werden können. Es stellt sich dementsprechend die Frage, in welchem Fällen die Kriterien des AIC4 anzuwenden sind. Hierzu ist zu beachten, dass es sich bei den AIC4-Kriterien nicht um eine Regulierung handelt. Die Anwendung des Kataloges erfolgt auf freiwilliger Basis. Indizien für eine zielführende Anwendung des AIC4 können die folgenden Fragen geben:

• Werden ML-Methoden in einer besonderen Intensität oder in Bereichen eingesetzt, die Auswirkungen auf die Informationssicherheit des Cloud-Dienstes haben können?
• Benötigten Kunden Informationen zur Verwendungsweise der ML-Methoden, um die Eignung des Cloud-Services für ihre eigenen Anwendungsfälle im Rahmen einer Risikoanalyse bewerten zu können?

Falls eine der Fragen mit "Ja" beantwortet werden kann, empfiehlt es sich, die Anwendung der Kriterien des AIC4 zu prüfen.

Die Kriterien wurden mit einem Fokus auf ML-Techniken wie Gradient Boosting Algorithms, Random Forests und Deep Neural Networks verfasst. Typische Anwendungsbeispiele dieser Techniken sind die Klassifikation oder Segmentierung von Bildern, sowie die Verarbeitung von natürlicher Sprache in Text- oder Sprachform. Methoden aus dem Bereich Federated Learning oder Reinforcement Learning sind derzeit explizit nicht im Fokus des AIC4. Teile der Kriterien sind zwar auch für diese Methoden anwendbar, allerdings sind Anpassungen und Erweiterungen erforderlich, z. B. hinsichtlich des Datenmanagements im Fall von Federated Learning. Diese Themen werden zukünftig im Rahmen der Überarbeitung des Kataloges adressiert.

Falls Sie konkrete Anwendungsfälle oder ML-Methoden kennen, bei denen der Katalog nicht zielführend anwendbar ist, oder falls Sie sonstiges Feedback zur Verbesserung oder Erweiterung der Kriterien haben, nehmen Sie gerne mit uns Kontakt auf. Wir möchten die Aussagen in dem Katalog in einem iterativen und breiten Beteiligungsprozess schrittweise weiter schärfen, erweitern und verbessern.

Details zu möglichen Prüfungen gemäß AIC4 können dem Kapitel 4 des Kataloges entnommen werden. Da der AIC4 eine Erweiterung zum C5 darstellt, sind Prüfungen analog zum C5 möglich (siehe hierzu insbesondere auch die FAQ im C5).

Die AIC4-Kriterien decken den gesamten Lebenszyklus des KI-Services ab, d. h. die Entwicklung, Erprobung, Validierung, Bereitstellung und Überwachung solcher Services. Eine sachgerechte Prüfung der Kriterien deckt hierzu alle relevanten Prozesse und Kontrollmaßnahmen des Cloud-Service-Providers ab und dokumentiert die Prüfergebnisse detailliert in einem Prüfbericht. Der jeweilige Prüfbericht dient den Nutzern als Beurteilungsgrundlage der Eignung des KI-Dienstes und der zugehörigen KI-Methoden hinsichtlich der Informationssicherheit für die jeweilige Anwendung.

Wenn ein Cloud-Anbieter eine aktuelle Berichterstattung gemäß AIC4 vorlegen kann, kann diese für Kunden, bei sachgerechter Verwertung, ein geeignetes Werkzeug darstellen, um die Sicherheit des KI-Dienstes vor dem Hintergrund des geplanten Anwendungsfalls zu bewerten. Die Eignung ist jedoch abhängig vom Anwendungsfall, von der Qualifikation und Unabhängigkeit der gewählten Auditoren und der Qualität sowie Vollständigkeit des Prüfberichtes.

Die Existenz eines Prüfberichts alleine impliziert nicht notwendigerweise, dass Aspekte wie Robustheit, Performance, Zuverlässigkeit, Datenqualität, Erklärbarkeit oder Bias passend für eine vorliegende Anwendung sind. Es liegt dementsprechend in der Hand der Nutzer, die durch den Prüfbericht geschaffene Transparenz zu nutzen und eine eigene Risikobewertung durchzuführen, ob das Niveau der Informationssicherheit des KI-Service unter Berücksichtigung der geplanten Anwendung ausreicht. Verbleibende Restrisiken müssen durch die Kunden getragen und im Eintrittsfall verantwortet werden. Das BSI empfiehlt, die AIC4- und C5-Prüfberichte initial und dann regelmäßig (z. B. jährlich) beim Cloud-Anbieter anzufordern und tiefergehend zu analysieren. Es ist wichtig zu betonen, dass das BSI derzeit weder an der Auswahl der Auditoren noch an den Prüfungen selbst beteiligt ist und die erstellten Berichte nicht überprüft. Eine Analyse des Prüfberichtes durch die Kunden selbst ist daher unerlässlich.

Das BSI formuliert die inhaltlichen Kriterien und zeigt einen möglichen Ansatz auf, wie die Kriterien geprüft werden können. Die Prüfung selbst wird durch das BSI jedoch nicht reguliert. Das BSI ist bei der Auswahl der Auditoren sowie der eigentlichen Prüfung somit nicht involviert. Die Prüfungen gemäß AIC4 werden dem BSI auch nicht gemeldet und die Prüfberichte nicht vorgelegt. Dementsprechend können die Prüfberichte auch nicht durch das BSI bewertet werden.

Das BSI spricht solche Empfehlungen grundsätzlich nicht aus. Empfehlungen für Anforderungen an die Prüfer werden in Kapitel 4 des AIC4 spezifiziert.

Der C5 formuliert allgemeine Mindestanforderungen an sicheres Cloud Computing, welche für jeden Cloud-Dienst relevant sind. Der AIC4 hingegen ergänzt spezielle Kriterien, die zusätzlich relevant sind, falls Methoden des maschinellen Lernens verwendet werden. Der AIC4 ist damit eine inhaltliche Erweiterung des C5. Die C5-Kriterien werden innerhalb des AIC4 nicht repliziert, sondern es werden lediglich die KI-spezifischen Kriterien dargestellt. Hierbei kommt es auch vor, dass Kriterien aus dem C5 inhaltlich erweitert werden.

Beispiel: In dem C5-Kriterium C5-OIS-06 werden Anforderungen an die Umsetzung eines systematischen Risikomanagements formuliert. Der AIC4 nimmt an, dass ein solches Risikomanagement bei dem Cloud-Dienste-Anbieter umgesetzt ist und fordert in dem Kriterium AIC4-SR-02, dass innerhalb dieses Risikomanagements eine Betrachtung von KI-spezifischen Angriffen erfolgen muss. In diesem Sinne stellt der C5 das übergeordnete Rahmenwerk und eine Voraussetzung für den AIC4 dar. Prinzipiell wären die Kriterien des AIC4 aber auch mit anderen vergleichbaren Kriterienwerken für Cloud-Dienste kombinierbar.

Zur Bewertung der Informationssicherheit eines Cloud-Services benötigt ein Kunde in der Regel sowohl einen C5-Prüfbericht, der die klassische IT-Sicherheit und das klassische IT-Management abdeckt, als auch einen AIC4-Prüfbericht, der die KI-spezifischen Risiken abdeckt. Nur in Kombination ist eine ganzheitliche und umfassende Bewertung der Informationssicherheit möglich.

Die AI HLEG beschreibt die ALTAI als flexibles Werkzeug, um Unternehmen dabei zu unterstützen, die Risiken von KI-Systemen zu bewerten und entsprechende Maßnahmen zu ergreifen (siehe https://ec.europa.eu/). Hierbei verfolgt die ALTAI einen ganzheitlichen Ansatz, der unter anderem (datenschutz)rechtliche, ökologische, ethische und auch technische Aspekte berücksichtigt. Die ALTAI ist eine Liste von Fragen, die jedoch a priori nicht formal prüfbar in Form eines Audits sind.

Der AIC4 beschränkt sich auf Kriterien, welche die Informationssicherheit von Cloud-Diensten betreffen, in denen KI verwendet wird. Cloud-Dienste weisen die Besonderheit auf, dass sowohl die Cloud-Anbieter als auch die Cloud-Kunden jeweils eigene Risikoanalysen durchführen und eigene Maßnahmen ergreifen müssen, um die Informationssicherheit sicherzustellen. Die Cloud-Kunden verfügen jedoch i.d.R. nicht über die notwendigen Informationen, um die Maßnahmen des Cloud-Anbieters zu bewerten. Genau an dieser Stelle setzt der AIC4 an und schafft Transparenz. Das Ergebnis einer sachgerechten Prüfung gemäß AIC4 ist ein Prüfbericht, der Nutzern des Cloud-Diensten eine Bewertung der Eignung des KI-Dienstes für den jeweiligen Anwendungsfall hinsichtlich der Informationssicherheit erlauben kann.

Die ALTAI und der AIC4 stehen somit nicht in Konkurrenz miteinander, sondern ergänzen sich. Ein AIC4 Prüfbericht bietet beispielsweise Unternehmen, die externe Cloud-Services in eigene Anwendungen einbinden, eine inhaltliche Basis, um diejenigen Fragen der ALTAI, die sich mit Aspekten der Informationssicherheit beschäftigen, für die eigene Anwendung zu beantworten. Ohne einen entsprechenden Prüfbericht wäre es schwierig, die Fragen in der Verantwortlichkeit des Cloud-Anbieters verlässlich zu beantworten. Andererseits berücksichtigt die ALTAI viele Aspekte, die über technische Fragestellungen und den AIC4 hinausgehen.

Der AIC4 ist ein informationstechnisches Dokument, das helfen soll, deutsche und europäische Aspekte der Prüfung vertrauenswürdiger KI-basierter Cloud-Anwendungen nicht nur mit nationalen, sondern auch mit internationalen Partnern zu diskutieren und in die internationale Standardisierung einzubringen. Aus diesem Grund haben wir uns entschieden, die aktuelle Version nicht unmittelbar fortzuschreiben und nicht zu übersetzen, da der internationale Prozess zur Entwicklung der Prüfkriterien und Prüfmethoden derzeit noch andauert und eine hohe Dynamik aufweist. Das BSI freut sich über jegliches Feedback hinsichtlich der Verwendbarkeit und Nützlichkeit des AIC4 sowie mögliche Verbesserungsvorschläge. Nehmen Sie hierzu gerne Kontakt mit uns auf.

Es gibt derzeit kein Zertifizierungsverfahren, welches die Erfüllung der Kriterien für einen Anbieter bescheinigt, siehe hierzu auch den FAQ-Bereich auf der C5-Seite. Es ist jedoch geplant die Inhalte des Kriterienkataloges mittelfristig bei der Entwicklung von europäischen Zertifizierungen zu berücksichtigen.

Eine Prüfung gemäß AIC4 trifft keine Aussage darüber, ob personenbezogene Daten, z. B. in Form von Trainings- oder Eingabedaten, im Rahmen des KI-Services rechtskonform verwendet oder geschützt werden.

Der Katalog enthält jedoch Kriterien, die Anforderungen an die Qualität und das Management der Trainings- und Eingabedaten stellen. Diese schließen Forderungen ein, die einen im Sinne der IT-Sicherheit missbräuchlichen Umgang der Daten innerhalb einer Organisation verhindern sollen. Konkret wird dieses Ziel u. a. durch die Einführung eines geeigneten Access Managements verfolgt (vgl. Kriterium DM-02). Im Rahmen einer Risikobetrachtung müssen außerdem Bedrohungen durch KI-spezifische Angriffe analysiert und, falls relevant, entsprechende Maßnahmen ergriffen werden. Dies schließt auch solche Angriffe ein, die Daten aus dem KI-Modell extrahieren.

Das Thema "Bias" in Anwendungen ist oft eng verknüpft mit moralischen oder ethischen Fragen, wie z. B. der fairen Behandlung von Individuen oder Gruppen. Das BSI hat jedoch kein Mandat, um Aussagen hinsichtlich ethischer oder moralischer Fragestellungen zu treffen. Innerhalb des AIC4 werden daher nur solche Aspekte des Themas Bias betrachtet, die sich auf die Informationssicherheit auswirken.

Die Erklärbarkeit von KI-Systemen ist ein intensives Forschungsfeld, in dem, insbesondere bei konnektionistischen Systemen, viele grundlegende Fragestellungen noch nicht hinreichend geklärt sind. Es stellt sich damit die Frage, inwiefern die Erklärbarkeit ein Prüfungsgegenstand sein kann.

Der AIC4 fordert von Anbietern im Rahmen der Kriterien EX-01 und EX-02, dass die Notwendigkeit der Erklärbarkeit für die eingesetzte ML-Lösung systematisch analysiert wird. Basierend auf dieser Analyse, d. h. entsprechend des so ermittelten Bedarfes an Erklärbarkeit, müssen dann geeignete Maßnahmen ergriffen werden. Da die inhaltliche Ausgestaltung dieser Kriterien maßgeblich durch die Entscheidungen des Cloud-Service-Anbieters geprägt werden, wird an dieser Stelle ein besonderes Maß an die Transparenz des Verfahrens gestellt: Die Notwendigkeit der Erklärbarkeit, die ergriffenen Maßnahmen und die Limitationen dieser Maßnahmen werden in dem Prüfbericht dokumentiert, damit die Cloud-Nutzer die Ausführungen für den eigenen Anwendungsfall bewerten können.

Die Robustheit von KI-Systemen ist ein intensives Forschungsfeld, in dem, insbesondere bei konnektionistischen Systemen, viele grundlegende Fragestellungen noch nicht hinreichend geklärt sind. Es stellt sich damit die Frage, inwiefern die Robustheit ein Prüfungsgegenstand sein kann.

Im Rahmen der Sektionen SR (Security & Robustness) und PF (Performance & Functionality) des AIC4 müssen die Anbieter die Auswirkungen einer fehlenden Robustheit systematisch analysieren und Maßnahmen ergreifen, um diese zu verbessern. Im Rahmen des Prüfberichts stellt der Cloud-Anbieter für die Kunden transparent dar, in welcher Form und in welchem Ausmaß die Robustheit des Dienstes sichergestellt wird und welche Limitationen hinsichtlich der Robustheit bestehen.