Technologien der künstlichen Intelligenz (KI) sind seit 2023 deutlich verstärkt in Arbeits- und Alltagsprozesse integriert. In Bezug auf ihre Nutzbarkeit und Sichtbarkeit hat KI einen signifikanten Sprung gemacht. Von dieser Entwicklung profitieren ebenso Angreifergruppen (TA) im Cyberraum.

Im Wesentlichen unterscheidet das BSI drei Kategorien von Angriffen mit KI-Unterstützung:

1. Angreifergruppen nutzen KI zur Aufklärung gegen Zielorganisationen, deren Aktivitäten und Mitarbeitende. Informationen können hierbei in hoher Geschwindigkeit ausgewertet werden. Dazu kommen Folgeaktivitäten wie die KI-gestützte Ausnutzung von Schwachstellen, Social Engineering und KI-unterstützte Desinformationskampagnen.
2. Angreifergruppen zielen auf KI-Systeme, die innerhalb von Zielorganisationen eingesetzt werden, wie etwa organisationsinterne Chatbots. Zur Gewinnung sensibler Informationen können etwa so genannte „Prompt Jailbreaks“ eingesetzt werden. Dabei werden spezielle Fragen generiert, die der KI internes Wissen entlocken. Daneben sind „Poisoning Angriffe“ auf Trainingsdaten möglich. Eine so „kontaminierte“ KI arbeitet mit geringerer Qualität.
3. Organisationen müssen zunehmend mit der unautorisierten Nutzung von KI-Systemen, etwa für redaktionelle Inhalte, durch ihre Mitarbeitenden rechnen. Das Stehlen relevanter Informationen oder Zugangsdaten mit Hilfe trojanisierter KI-Tools fällt in diese Kategorie.

Aus den vergangenen eineinhalb Jahren sind vergleichsweise wenig Fälle bekannt, in denen Angreifergruppen explizit auf die Unterstützung von KI zurückgegriffen haben. In einem prominenten Fall aus dem Februar 2024 wurde OpenAIs ChatGPT etwa zur Auswertung exfiltrierter Daten, sowie zur Spearphishing-Unterstützung von verschiedenen staatlichen Akteuren eingesetzt. Ähnliche Vorgehensweisen konnte in einzelnen Cybercrime-Fällen nachgewiesen werden. Dabei nutzte ein Angreifer ChatGPT als Assistenz bei der Entwicklung von Schadcode für die Ausbringung eines Information Stealers. In verschiedenen Fällen von Desinformation wurde KI zur Erstellung von Inhalten auf sozialen Medien sowie zur Generierung von Avataren genutzt. „Deepfakes“, also mit generativer KI manipulierte Videos, bieten zwar eine breite Medienwirkung, wurden aber beim Vorgehen von APTs bislang nicht, in Cybercrime-Fällen jedoch vereinzelt beobachtet.

Sämtliche genannten Beispiele fallen in die erste Kategorie von KI-Angriffen. Während die zweite Kategorie derzeit vor allem theoretischer Natur ist, fällt in die dritte Kategorie trojanisierte Software, die vordergründig auf Privatnutzer abzielt und von opportunistischen Angreifergruppen ausgeht.

Bewertung

Entgegen dem medialen Hype bleibt festzuhalten, dass KI derzeit keine neuen, eigenen Tactics, Techniques & Procedures (TTPs) hervorbringt. Vielmehr werden bisherige, klassische Techniken vereinfacht und beschleunigt. KI ist als Mittel für Angreifergruppen effektiv dort nutzbar, wo es um Ausnutzung von Vertrauen geht, etwa bei Social Engineering und Desinformation. Durch Nutzung von KI ist ein Annähern von ungezieltem Phishing und gezieltem Spearphishing eher wahrscheinlich. Fraglich ist, ob ein solches „authentischeres“ Phishing auf lange Sicht tatsächlich zu mehr Malware-Infektionen führen wird, da Folgehandlungen wie das manuelle Ausführen von Dateianhängen weiterhin nötig bleiben. Im Internet verbreitete Desinformation wird wahrscheinlich zunehmend auf Bildern und Texten generativer KI fußen. Ein abnehmendes Vertrauen in medial vermittelte Informationen ist die logische Folge.

Wenngleich die Einstiegshürden zur Malwareprogrammierung durch KI nahezu sicher sinken, ist für fortschrittliche Malware auch auf lange Sicht weiterhin ein hohes Maß an Verständnis über das angegriffene Betriebssystem und den eigenen Schadcode erforderlich. Ein KI-basiertes Ausnutzen von Softwareschwachstellen konnte bis Mitte 2024 nicht beobachtet werden. Auch bleiben neue, durch KI effektivere und schwerer erkennbare Malware-Varianten bislang Theorie.

Die Auswertung großer Datenmengen wird durch KI erleichtert. Dies wird wahrscheinlich zunehmend durch Angreifergruppen genutzt, führt jedoch ebenso zu einer besser informierten Verteidigung. Möglich erscheint hier etwa eine aktive Detektion von KI-Artefakten. Denkbar ist dies insbesondere gegen Phishing, wenngleich hohe False Positive-Raten durch allgemeine Nutzung von generativer KI wahrscheinlich sind. Klassische Detektionsmethoden von Indicators of Compromise (IOCs) können nicht ersetzt werden.

Ausblick

Eine Vorausschau auf KI-Technologien und ihre Nutzung durch Cyberakteure ist – insbesondere bei Entwicklungen über zwölf Monate hinaus – nur mit niedriger Gewissheit möglich.

Innerhalb der nächsten 18 Monate ist wahrscheinlich mit qualitativen Fortschritten bei multimodalen KIs auszugehen, die verschiedene Medien wie Texte, Bilder und Videos miteinander kombinieren. Mit zunehmend „menschlichen“ Ergebnissen von Large Language Modellen (LLMs) wird parallel die Authentizitätswirkung von KI-assistiertem Phishing und von propagandistischen Bildern steigen. Nicht zuletzt können Angreifende fehlende Fremdsprachenkenntnisse gegenüber Zielorganisationen besser kompensieren. Es ist wahrscheinlich, dass hierzu insbesondere öffentlich zugängliche Informationen automatisiert genutzt werden. Aktuell nutzbare Adaptionen von ChatGPT-4o können schon jetzt verfügbare Quellen in Echtzeit zur Antwortausgabe einbinden. Als Gegenmaßnahme wird dementsprechend zunehmend das Heraushalten von persönlichen sowie Betriebsinformationen aus dem Internet an Relevanz gewinnen. Neue, eigenständige KI-Angriffsvektoren sind in diesem Zeitraum nicht zu erwarten.

Innerhalb der kommenden drei Jahre werden Tools generativer KI sich sehr wahrscheinlich weiterverbreiten. Damit einhergehen werden quantitativ zunehmende Anwendungen durch Angreifergruppen. Ein omnipräsenter Einsatz von kleineren KI-Modellen in Software erscheint plausibel. Auch quasi-autonome Interaktionen von KI-Tools analog zum „High-Frequency Trading“ sind dabei denkbar. Angriffe auf spezialisierte KI-Systeme, die von Zielorganisationen eingesetzt werden, könnten in diesem Zusammenhang relevant werden. Eher unwahrscheinlich ist eine gravierende, qualitative Verbesserung der LLMs durch bloße Vergrößerung der Modelle, wie sie in den letzten zwei Jahren stattgefunden hat. Ungenügende Trainingsdaten, entstanden auch durch KI-generierte Inhalte, Regulierung durch Policies sowie begrenzte Rechenkapazität deuten langfristig eher auf eine stagnierende Entwicklung der LLMs.

Hochgradig spekulative Szenarien zu aufkommenden Gefahren durch Allgemeine Künstliche Intelligenz (AGI) wurden mehrfach durch KI-Beteiligte in den öffentlichen Diskurs eingebracht. Demnach solle mit der baldigen Entdeckung von AGI ein neues zwischenstaatliches Wettrüsten einhergehen. Ein disruptives Extremszenario, in welchem bestehende Cyberbedrohungen durch KI nicht bloß effizienter werden, sondern stattdessen eine gänzlich neue Lage eintritt, ist als sehr unwahrscheinlich zu bewerten.