Bedrohung - Robotikrecht & Roboterrecht

Studie zur Bewertung der Risiken und Chancen von KI-gestützten Beeinflussungsmaßnahmen in sozialen Medien

In der Forschungsarbeit „Assessing the risks and opportunities posed by AI-enhanced influence operations on social media“ von Rolf Fredheim und James Pamment wird ein tiefgreifendes Verständnis für die Risiken und Chancen von KI-gestützten Beeinflussungsoperationen in sozialen Medien dargelegt.

Der Missbrauch von Generativer KI und großen Sprachmodellen (LLM)

Generative KI verlangt unserer Gesellschaft viel ab: Schon jetzt ist immer weniger das, wonach es aussieht. Man darf (und sollte) weder seinen Ohren noch seinen Augen trauen – und es wird immer einfacher, selbst ohne erhebliche eigene Ressourcen oder technische Fertigkeiten, Angriffsszenarien mithilfe von KI aufzubauen.

Die Analyse „GenAI against humanity: nefarious applications of generative artificial intelligence and large language models“ bietet eine tiefgreifende Analyse der missbräuchlichen Anwendungen von Generativer Künstlicher Intelligenz (GenAI) und Großen Sprachmodellen (LLMs). Diese Studie, verfasst von Emilio Ferrara, betrachtet die dunkle Seite dieser Technologien, indem sie verschiedene schädliche Szenarien und deren potenzielle Auswirkungen auf Gesellschaft und Individuen aufzeigt.

Einsatz von Generativer KI bei Penetrationstests

In dem Forschungsartikel „Generative AI for Pentesting: The Good, The Bad, The Ugly“ wird der Einsatz von Generativer Künstlicher Intelligenz (GenAI) und Großen Sprachmodellen (LLMs) im Kontext von Penetrationstests untersucht. Die Studie bietet eine umfassende Analyse der Vorteile, Herausforderungen und Risiken, die mit dem Einsatz von GenAI in der Cybersecurity verbunden sind.

Robotersicherheit

Die Welt der Robotik entwickelt sich rasant weiter und mit ihr die Art und Weise, wie Roboter gebaut und eingesetzt werden. Moderne Roboter unterscheiden sich deutlich von ihren Vorgängern. Statt monolithischer Entitäten, die für spezifische Aufgaben konstruiert wurden, entstehen heute modularere, flexiblere Systeme.

Diese Entwicklung bringt neue Herausforderungen mit sich, insbesondere in Bezug auf die Cybersicherheit und die Wahrung der Integrität der Roboterkörper. Eine neue Studie von Alberto Giaretta und Amy Loutfi an der Örebro Universität in Schweden beleuchtet genau diese Themen und bietet einen umfassenden Einblick in die Zukunft der Robotersicherheit.

LLM und OSINT

In der Studie „Evaluation of LLM Chatbots for OSINT-based Cyber Threat Awareness“ von Samaneh Shafee, Alysson Bessani und Pedro M. Ferreira wird detailliert auf die Funktionen von Large Language Models (LLMs) eingegangen, die für Open Source Intelligence (OSINT) im Kontext der Cyberbedrohungserkennung verwendet werden.

Die Autoren untersuchen die Leistungsfähigkeit verschiedener Chatbot-Modelle, darunter ChatGPT, GPT4all, Dolly, Stanford Alpaca, Alpaca-LoRA, Falcon und Vicuna, in Bezug auf binäre Klassifikation und Named Entity Recognition (NER) Aufgaben, die unter Verwendung von OSINT durchgeführt werden.

Großmodelle Natürlicher Sprachen (LLMs) im Cybersicherheitskontext

In der Welt der Cybersicherheit, die sich ständig weiterentwickelt und mit neuen Herausforderungen konfrontiert sieht, stellt der Einsatz von Großmodellen natürlicher Sprachen (LLMs) eine innovative Entwicklung dar. Eine Studie von Gabriel de Jesus Coelho da Silva und Carlos Becker Westphall an der Universida de Federal de Santa Catarina untersucht, wie LLMs im Bereich der Cybersicherheit eingesetzt werden können, welche Methoden dabei angewendet werden und wo diese Modelle ihre Stärken und Grenzen haben.

BSI zum Einfluss von KI auf die Cyberbedrohungslandschaft

Neue Forschungserkenntnisse zur Autonomen Website-Hackfähigkeit von LLMs

Eine bahnbrechende Forschungsarbeit mit dem Titel „LLM Agents can Autonomously Hack Websites“ offenbart, wie fortgeschrittene große Sprachmodelle (LLMs), insbesondere GPT-4, autonom Websites hacken können. Dieses Potenzial wird durch die Fähigkeit der Modelle unterstrichen, ohne menschliches Feedback komplexe Aufgaben wie Blinddatenbankschema-Extraktion und SQL-Injections durchzuführen.

Cyberkriminalität in Nordkorea und die Bedrohung der Kryptowährungsindustrie

Nordkorea ist einer der Hauptverantwortlichen für die zunehmende Bedrohung der Cybersicherheit. Spätestens seit dem Angriff auf Sony Pictures im Jahr 2014 wird das Land als wichtiger Cyber-Akteur auf der internationalen Bühne wahrgenommen. Seitdem hat Pjöngjang seine Hackerfähigkeiten genutzt, um internationale Sanktionen zu umgehen und Gelder zu stehlen.

Mit den erbeuteten Geldern konnte Pjöngjang die Entwicklung seines Atom- und Raketenprogramms finanzieren. Nordkorea nutzt Cyberoperationen auch zur (digitalen) Spionage. Die Ziele sind breit gefächert: Sie richten sich unter anderem gegen Universitäten, Menschenrechtsorganisationen und Medienunternehmen, erzeugen Unzufriedenheit oder Misstrauen durch Wahlbetrug und greifen kritische nationale Infrastrukturen an. Die zunehmende Bedeutung Nordkoreas im Bereich Cybercrime und Cybersecurity ist auch der Grund, warum wir hier einen eigenen Blog-Post zu dem Thema pflegen.

Als Beispiel sei hier eine Studie der Insikt Group von Recorded Future aufgegriffen, die ein alarmierendes Bild der nordkoreanischen Cyberkriminalität zeichnet. Diese Aktivitäten, die seit 2017 zugenommen haben, zielen auf die Kryptowährungsindustrie ab und haben es Nordkorea ermöglicht, geschätzte 3 Milliarden Dollar an Kryptowährungen zu stehlen.

Erste politische Überlegungen zur generativen Künstlichen Intelligenz (KI)

Generative Künstliche Intelligenz (KI) hat in den letzten Jahren erheblich an Bedeutung gewonnen und bietet transformative Potenziale in verschiedenen Sektoren wie Bildung, Unterhaltung, Gesundheitswesen und wissenschaftlicher Forschung.

Diese Technologien sind jedoch auch mit erheblichen gesellschaftlichen und politischen Herausforderungen verbunden, die von den politischen Entscheidungsträgern angegangen werden müssen. Der Bericht „Initial Policy Considerations for Generative Artificial Intelligence“, veröffentlicht von der OECD im September 2023, beleuchtet diese Herausforderungen und bietet wichtige Überlegungen für die Gestaltung zukünftiger politischer Rahmenbedingungen.

KI-Textgeneratoren als Dual-Use-Technologie?

In der Studie „Dual-use implications of AI text generation“ von Julian J. Koplin wird das Konzept von KI-Textgeneratoren als Technologien mit doppeltem Verwendungszweck (Dual Use) ausführlich beleuchtet.

Der Autor argumentiert, dass KI-Textgeneratoren sowohl legitime Vorteile als auch potenziell gravierende Missbrauchsmöglichkeiten bieten, wie die Automatisierung der Erzeugung überzeugender Fake News oder die Flutung von Social-Media-Plattformen mit maschinengenerierter Desinformation.

Der Artikel stellt die interessante These auf, dass KI-Textgeneratoren als eine Dual-Use-Technologie konzeptualisiert werden sollten, zieht Lehren aus früheren Debatten über Dual-Use-Forschung in den Lebenswissenschaften und ruft zu einer engeren Zusammenarbeit zwischen Ethikern und der Machine-Learning-Community auf, um die Dual-Use-Implikationen von KI-Sprachmodellen zu adressieren.