IT-Sicherheit - Robotikrecht & Roboterrecht

Angriffsszenarien auf LLM durch Formulierung in Vergangenheitsform

In einer kürzlich durchgeführten Studie haben Forscher der EPFL (Eidgenössische Technische Hochschule Lausanne) eine interessante Schwachstelle in den aktuellen Ablehnungsmechanismen von großen Sprachmodellen (Large Language Models, LLMs) aufgedeckt.

Diese Schwachstelle ermöglicht es, die Sicherheitsvorkehrungen vieler LLMs zu umgehen, indem man gefährliche Anfragen einfach in die Vergangenheitsform umformuliert. Dieser Blog-Beitrag beleuchtet die Ergebnisse der Studie und deren Implikationen für die Zukunft der LLM-Sicherheit.

LLM-Hacking: Ein Überblick über Angriffstechniken und -szenarien

Das sogenannte „LLM-Hacking“ bezieht sich auf Techniken und Strategien, um diese Modelle zu manipulieren oder ihre Funktionen auf unvorhergesehene Weise zu nutzen.

Große Sprachmodelle sind in gewisser Hinsicht besonders gefahrgeneigt, weil diese versuchen autonom zu agieren und dabei notwendigerweise auf Eingaben von Außen angewiesen sind: Mal durch die Aufgaben, die ihnen erteilt werden, mal durch Daten, mit denen sie gefüttert werden. Die zunehmende Verbreitung von LLM sollte dabei Anlass sein, sich mit grundsätzlichem Wissen zur Cybersicherheit bei LLM auseinanderzusetzen. Im Folgenden möchte ich darum als Einstieg verständlich darauf eingehen, was LLM-Hacking ist und typische Angriffsszenarien beschreiben.

Large Language Models (LLM)

KI-Vorfall: Definition von KI-Vorfällen und verwandten Begriffen

Was ist ein KI-Vorfall: Mit der zunehmenden Nutzung Künstlicher Intelligenz (KI) steigen auch die potenziellen Risiken und Schäden, die durch diese Technologien verursacht werden können.

Um diese Risiken zu managen und zu verhindern, ist es wichtig, klare Definitionen für KI-Vorfälle und verwandte Begriffe zu haben. Das OECD-Dokument „Defining AI Incidents and Related Terms“ bietet eine umfassende Übersicht und präzise Definitionen, die als Grundlage für ein gemeinsames Rahmenwerk zur Meldung von KI-Vorfällen dienen sollen.

BSI zum Einfluss von KI auf die Cyberbedrohungslandschaft

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat eine umfassende Untersuchung zu den Auswirkungen künstlicher Intelligenz (KI) auf die Cyberbedrohungslage vorgelegt.

Der Fokus liegt auf der Bewertung, wie KI, insbesondere große Sprachmodelle (LLMs), die Cyberbedrohungslandschaft beeinflussen, sowohl für Angreifer als auch für Verteidiger. Der Bericht hebt hervor, wie KI-basierte Technologien die Möglichkeiten und Techniken der Cyberkriminalität erweitern, aber auch wie sie zur Stärkung der Cybersicherheitsmaßnahmen eingesetzt werden können.

Künstliche Intelligenz in der Cybersicherheit: Autonome Nutzung von One-Day-Vulnerabilities

Eine aktuelle Studie zum Thema künstliche Intelligenz und Cybersicherheit zeigt auf, dass große Sprachmodelle (LLMs), insbesondere GPT-4, in der Lage sind, sogenannte One-Day-Vulnerabilities autonom zu nutzen. Dies wirft wichtige Fragen über die Sicherheit und die ethischen Aspekte des Einsatzes dieser Technologien auf.

BSI zu Chancen und Risiken generativer KI

Im Folgenden soll eine aktuelle Publikation des Bundesamts für Sicherheit in der Informationstechnik (BSI) vorgestellt werden, die sich mit den Chancen und Risiken großer Sprachmodelle befasst. Diese KI-Modelle, bekannt als Large Language Models (LLMs), sind in der Lage, auf der Basis von trainierten Daten neue Texte, Bilder und andere Inhalte zu generieren. Ihre vielseitige Einsetzbarkeit bietet zahlreiche Möglichkeiten für Industrie und Behörden, birgt jedoch auch neue IT-Sicherheitsrisiken.

Der Missbrauch von Generativer KI und großen Sprachmodellen (LLM)

Generative KI verlangt unserer Gesellschaft viel ab: Schon jetzt ist immer weniger das, wonach es aussieht. Man darf (und sollte) weder seinen Ohren noch seinen Augen trauen – und es wird immer einfacher, selbst ohne erhebliche eigene Ressourcen oder technische Fertigkeiten, Angriffsszenarien mithilfe von KI aufzubauen.

Die Analyse „GenAI against humanity: nefarious applications of generative artificial intelligence and large language models“ bietet eine tiefgreifende Analyse der missbräuchlichen Anwendungen von Generativer Künstlicher Intelligenz (GenAI) und Großen Sprachmodellen (LLMs). Diese Studie, verfasst von Emilio Ferrara, betrachtet die dunkle Seite dieser Technologien, indem sie verschiedene schädliche Szenarien und deren potenzielle Auswirkungen auf Gesellschaft und Individuen aufzeigt.

Einsatz von Generativer KI bei Penetrationstests

In dem Forschungsartikel „Generative AI for Pentesting: The Good, The Bad, The Ugly“ wird der Einsatz von Generativer Künstlicher Intelligenz (GenAI) und Großen Sprachmodellen (LLMs) im Kontext von Penetrationstests untersucht. Die Studie bietet eine umfassende Analyse der Vorteile, Herausforderungen und Risiken, die mit dem Einsatz von GenAI in der Cybersecurity verbunden sind.

Robotersicherheit

Die Welt der Robotik entwickelt sich rasant weiter und mit ihr die Art und Weise, wie Roboter gebaut und eingesetzt werden. Moderne Roboter unterscheiden sich deutlich von ihren Vorgängern. Statt monolithischer Entitäten, die für spezifische Aufgaben konstruiert wurden, entstehen heute modularere, flexiblere Systeme.

Diese Entwicklung bringt neue Herausforderungen mit sich, insbesondere in Bezug auf die Cybersicherheit und die Wahrung der Integrität der Roboterkörper. Eine neue Studie von Alberto Giaretta und Amy Loutfi an der Örebro Universität in Schweden beleuchtet genau diese Themen und bietet einen umfassenden Einblick in die Zukunft der Robotersicherheit.

LLM und OSINT

In der Studie „Evaluation of LLM Chatbots for OSINT-based Cyber Threat Awareness“ von Samaneh Shafee, Alysson Bessani und Pedro M. Ferreira wird detailliert auf die Funktionen von Large Language Models (LLMs) eingegangen, die für Open Source Intelligence (OSINT) im Kontext der Cyberbedrohungserkennung verwendet werden.

Die Autoren untersuchen die Leistungsfähigkeit verschiedener Chatbot-Modelle, darunter ChatGPT, GPT4all, Dolly, Stanford Alpaca, Alpaca-LoRA, Falcon und Vicuna, in Bezug auf binäre Klassifikation und Named Entity Recognition (NER) Aufgaben, die unter Verwendung von OSINT durchgeführt werden.