Aktuelle Information: Zum aktuellen Zeitpunkt stehen für die Betreuung von Abschlussarbeiten im Themenfeld „Deepfakes“ nur eingeschränkte Ressourcen zur Verfügung.

Hintergrund:
Aufgrund stark gestiegener Rechenleistung, Datenmengen und der allgemeinen Verbesserungen im Bereich der tiefen neuronalen Netze, hat sich die Möglichkeit zur automatisierten Manipulation von medialen Identitäten („Deepfakes“) in den letzten Jahren enorm verbessert. So ist es inzwischen mit wenig Aufwand möglich Fälschungen der Stimmen, des Gesichts und des Schreibstils von Personen automatisiert zu erstellen. Beispielsweise lässt sich die Stimme einer Person mit öffentlich verfügbaren Verfahren bereits mit wenigen Sekunden Referenzmaterial klonen. Auch die Echtzeitfähigkeit der Verfahren hat sich signifikant gesteigert, sodass sowohl das Gesicht, aber auch die Stimme (mit einer gewissen Latenz) live konvertiert werden kann. Hieraus ergeben sich zahlreiche Bedrohungsszenarien, beispielsweise in Form von Desinformation, Betrug („CEO-Fraud“), Social Engineering, Phishing und im Kontext der Überwindung biometrischer Verfahren (z.B. VideoIdent, oder Sprechererkennungsverfahren).

Aus diesem Grund ist die (Weiter-)Entwicklung von Gegenmaßnahmen und ihre Evaluation essentiell. Eine essentielle Gegenmaßnahme stellt die automatisierte Detektion dar. Diese basiert in vielen Fällen auf KI-Methoden, wodurch auch dessen Schwachstellen vererbt werden. So sind solche Verfahren häufig angreifbar gegenüber adversarialen Angriffen und Posoning Angriffen. Zusätzlich generalisieren Detektoren häufig auf Szenarien, welche in den Trainingsdaten nicht enthalten waren, sehr schlecht. Auch die Erklärbarkeit der Ausgaben ist ein noch ein großes Problem.

Art der Arbeiten: Mediale Identitäten ("Deepfakes")

• (Nur als Bachelorarbeit geeignet) Deepfake-Erkennungsverfahren leiden oftmals daran, dass sie nur unzureichend auf Szenarien generalisieren, welche nicht in den Trainingsdaten des Systems enthalten waren. Dies können beispielsweise Kompressionsverfahren, eine Rauschreduktion oder Hintergrundgeräusche sein. Im Rahmen dieser Arbeit soll systematisch untersucht werden, gegenüber welchen Transformationen aktuelle Audio-Deepfake-Detektionsverfahren Schwächen aufweisen. Außerdem sollen diese beim Training der Verfahren berücksichtigt werden, um zu untersuchen, ob eine Härtung der Systeme möglich ist.
• Eine wichtige Schwachstelle der meisten Audio-Deepfake Verfahren besteht darin, dass diese zwar die Klangfarbe sehr gut gefälscht wird, aber die Ähnlichkeit von verhaltensbasierte Merkmalen häufig nur recht unzureichend gegeben ist. Eine Verbesserung von Erkennungsverfahren, welche diese Schwachstelle ausnutzen kann, besteht darin, dem System nicht nur das Audio bereitzustellen, für welche die Klassifikation (Genuine / Deepfake) getroffen werden soll, sondern zusätzlich echtes Material des zu hörenden Sprechers / der Sprecherin. Eine erste Abschlussarbeit hat gezeigt, dass dieser Ansatz sehr vielversprechend ist. Allerdings existieren noch weitere Verbesserungsmöglichkeiten, z.B. die Nutzung von aktuellen Ideen aus der Sprechererkennung, der Nutzung von Augmentationen und der Fusion mit traditionellen Audio-Deepfake-Erkennungsverfahren. Im Rahmen dieser Arbeit soll Verbesserungsmöglichkeiten konzipiert, entwickelt und evaluiert werden.
• Aktuelle Forschungsergebnisse haben gezeigt, dass adversariale Angriffe, welche durch dafür trainierte neuronale Netze (z.B. Diffusion Modelle) erstellt werden, ein großes Risiko darstellen, da sie hohe Erfolgsraten, auch in Gray-Box-Szenarien, erreichen. Im Rahmen dieser Arbeit soll für ein Anwendungsszenario ( a) Gesichtserkennung, oder b) Deepfake-Erkennung (Audio oder Video) oder c) Sprechererkennung) das Bedrohungspotential dieser Angriffe untersucht werden. So soll ein solcher Angriff konzeptioniert, entwickelt und evaluiert werden. Auch ist es denkbar Härtungsmaßnahmen gegen die entwickelten Angriffe zu untersuchen.
• Diffusionsmodelle erlauben durch Eingabe von Text oder Bildern die Generierung von hochqualitativen Bildern. In dieser Arbeit soll erörtert werden wie weit Diffusionsmodelle genutzt werden können, um Face Swapping / Reenactment Verfahren bei der Manipulation von Identitäten zu unterstützen. Dies kann z.B. dadurch erfolgen dass durch Fine Tuning das Netzwerk lernt, gezielte Identitäten zu erzeugen und fehlende Perspektiven und Mimiken im Trainingsmaterial ergänzt werden können, oder als anderes Beispiel die Nutzung von Diffusionsmodellen als Inpainting Verfahren zusammen mit Segmentationsmodellen um Face Swapping Verfahren robuster gegen Okklusionen zu machen. Die Arbeit soll die Möglichkeiten erörtern, die Kosten und Nachteile die deren Einsatz mitbringen bestimmen und mögliche Artefakte die entstehen und für Detektionsansätze nützlich sind erfassen.
• Gesichtserkennungssysteme sind effektiv darin Personen von einander zu unterscheiden, aber auch darin inhärente Identitätsverlust bei Face Swapping Verfahren zu detektieren. Im Rahmen dieser Arbeit soll ein Deepfake Detektionsverfahren, welches auf einem Gesichtserkennungssystem aufbaut, weiterentwickelt werden. Ziel ist es dabei die Konzepte weiterzuentwickeln, sowie die Genauigkeit und Generalisierbarkeit gegenüber rein Artefaktbasierten Methoden zu verbessern.
• Eine essentielle Verteidigungsmaßnahme bei Fernidentifikationsverfahren ist die Verdeckung von Gesicht und Ausweis mit Händen oder Gegenstände, wodurch Artefakte provoziert werden und digitale Fälschungen entlarven sollen. In dieser Arbeit sollen State of the Art Segementationsmodelle betrachtet und weiterentwickelt werden um zu evaluieren inwiefern diese Verteidigungsmaßnahme standhalten oder umgangen werden kann.

Art der Arbeit:
Praktikum, Bachelorarbeit, Masterarbeit

Nützliche Vorkenntnisse:
Kenntnisse im Bereich Machine Learning sowie abhängig vom konkreten Thema Programmiererfahrung mit Python und einer Deep-Learning-Bibliothek (PyTorch, TensorFlow) oder vertiefte Statistikkenntnisse

Studienrichtung:
Informatik, Mathematik, Physik, Informations- und Elektrotechnik

Ansprechpartner:
Dr. Dominique Dresen, Matthias Neu, Prof. Markus Ullmann, Referat D 11