Dual Use Hacker Dämon Diskussion Software

Studie zur Bewertung der Risiken und Chancen von KI-gestützten Beeinflussungsmaßnahmen in sozialen Medien

In der Forschungsarbeit „Assessing the risks and opportunities posed by AI-enhanced influence operations on social media“ von Rolf Fredheim und James Pamment wird ein tiefgreifendes Verständnis für die Risiken und Chancen von KI-gestützten Beeinflussungsoperationen in sozialen Medien dargelegt.

Herausforderungen

Die Arbeit beginnt mit einer Analyse der Herausforderungen, die sich aus der toxischen Kombination von automatisierten Bots, von Menschen gesteuerten Troll-Accounts und gezielteren Social-Engineering-Maßnahmen ergeben. Es wird deutlich, dass diese Kombination ein besonderes Risiko für die Manipulation öffentlicher Meinungen und Diskurse darstellt.

Die Autoren betonen, dass der Einsatz von KI-Technologien diese Bedrohungen noch verschärft, da sie es ermöglichen, überzeugende und maßgeschneiderte Inhalte in großem Umfang zu generieren. Dies erleichtert die Erstellung von gefälschten Inhalten wie Desinformation und Fake-Accounts erheblich. Zudem erschweren selbstgehostete Open-Source-Modelle die Erkennung durch bestehende Moderations- und Sicherheitsfilter kommerzieller Modelle.

BSI zum Einfluss von KI auf die Cyberbedrohungslandschaft

Gegenmaßnahmen

Im zweiten Teil der Arbeit wird das Potenzial der gleichen Tools zur Verbesserung der Erkennung von solchen Beeinflussungsoperationen bewertet. Die Forscher diskutieren, wie interne generative Modelle zur Erweiterung der Trainingsdaten für interne Klassifizierungssysteme eingesetzt werden können.

Dies beinhaltet auch das Erkennen statistischer Anomalien und die Identifizierung von Ausgaben, die aus gängigen Prompts stammen. Weiterhin wird die Entwicklung spezialisierter Klassifizierungssysteme vorgeschlagen, die für spezifische Überwachungsanforderungen optimiert sind.

Es werden vielversprechende Gegenmaßnahmen vorgestellt. Hierzu gehören legislative Maßnahmen und die Geschäftsbedingungen von Plattformen, die manipulative Verhaltensweisen wie die Automatisierung von Accounts verbieten. Die Studie macht deutlich, dass es noch keine effektiven Maßnahmen gegen sogenannte „Prompt Injections“ gibt, eine Technik, durch die Nutzer die Anweisungen von KI-Modellen umgehen und sie dazu bringen können, Inhalte gegen den Willen ihrer Schöpfer preiszugeben.

Large Language Models (LLM)

Fazit

Zusammenfassend zeigt die Studie, dass KI-gestützte Beeinflussungsoperationen in sozialen Medien sowohl erhebliche Risiken als auch Möglichkeiten bieten. Während sie einerseits neue Herausforderungen für die Manipulation und Desinformation schaffen, bieten sie andererseits auch neue Wege, um solche Aktivitäten effektiver zu erkennen und zu bekämpfen.

Rechtsanwalt Jens Ferner (Fachanwalt für IT-Recht & Strafrecht)
Letzte Artikel von Rechtsanwalt Jens Ferner (Fachanwalt für IT-Recht & Strafrecht) (Alle anzeigen)

Veröffentlicht von

Rechtsanwalt Jens Ferner (Fachanwalt für IT-Recht & Strafrecht)

Ich beschäftige mich intensiv im technologischen Bereich mit Fragen der Softwareentwicklung, KI und Robotik - nicht nur als Jurist, sondern eben auch selbst als Entwickler. In diesem Blog teile ich Inhalte vor allem rund um Robotik bzw. Roboterrecht und ergänzend zum Thema KI. Von mir werden Unternehmen im gesamten IT-Recht beraten und vertreten.