Was ist ein KI-System im Sinne der KI-VO: Die KI-Verordnung (der „AI Act“) reguliert europaweit KI-Systeme. Dabei ist die erste und wichtigste Frage: Was ist überhaupt ein KI-System?
Die Frage, vor der man sich drückt?
Die Frage „Was ist ein KI-System“ ist zwar die wichtigste beim Einstieg in die KI-VO, zugleich aber paradoxerweise bisher die Frage, um die sich scheinbar alle drücken. Zu kurz gedacht ist dabei der Ansatz, kurzerhand auf die Definition im AI-Act zu verweisen, da diese Definition ja gerade erst einmal ausgelegt werden muss.
Besonders tückisch ist, dass die mir bekannten Versionen der deutschen KI-Verordnung häufig mit KI-Systemen bereits übersetzt wurde. Die Übersetzer arbeiten dabei nicht fachlich genau, so wird zB gerne aus „machine based“ ein „maschinengestützt“ was ebenso wenig in der Auslegung das gleiche bedeutet, wie das als „abgeleitet“ übersetzte „interferieren“ (worauf ich schon früher auf LinkedIn hingewiesen habe). Ich möchte im Folgenden einen etwas konkreteren Anlauf der Auslegung wagen, dazu setze ich allerdings auf den englischsprachigen originaltext in der Fassung vom 19.4.2024 („CORRIGENDUM“).
Gesetzliche Definition von KI-System
Die Analyse muss mit Blick auf Art. 3 (1) KI-VO beginnen, der da lautet:
‘AI system’ means a machine-based system that is designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment, and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments;
Dieser Text ist klassisch in Tatbestandsmerkmal zu zerlegen, die dann auszulegen sind. Ich sehe folgende Bestandteile als sinnvolle Tatbestandsmerkmale an:
- machine-based system
- (is) designed
- to operate
- with varying levels of autonomy (AND)
- may exhibit adaptiveness after deployment (AND)
- that, for explicit or implicit objectives, infers, from the input it receives,
- how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments
Die Liste an Tatbestandsmerkmalen ist dabei deutlich kniffliger, als es auf den ersten Blick erscheint. Wesentliche, aber nicht alleinige, Auslegungshilfe ist dabei Erwägungsgrund 12.
1. machine-based system
Schon das erste Merkmal zeigt aus meiner Sicht, wie wichtig die Arbeit am originalen Text ist: Gerne wird dies übersetzt mit „maschinengestützt“. Der Blick in den Duden zeigt aber, dass dies am Ende so viel bedeutet wie „unterstützt“, während Erwägungsgrund 12 deutlich macht:
The term ‘machine-based’ refers to the fact that AI systems run on machines.
Es geht also darum, dass es sich um ein „System“ (also eine geordnete im Sinne von strukturierte Funktionsweise) handelt, das ausschließlich auf „einer Maschine“ läuft. Das ist keineswegs selbstverständlich und soll wohl zur Abgrenzung zu menschlichen Gehirnen dienen – ist aber schon jetzt sehr kurz gedacht, da absehbar biologische Neuronen als Basis für höher entwickelte KI-Systeme dienen können und werden. Es handelt sich also schon jetzt um eine Definition, die (nur) den heutigen Zustand abbildet und nicht für die Ewigkeit bestimmt ist.
Interessant ist, dass das, was wohl jeder erwarten würde, hier nicht ausdrücklich erwähnt wird: Das Wort Software sucht man vergeblich. Erst der Umkehrschluss aus Erwägungsgrund 12 Satz 2 macht deutlich, dass KI-Systeme eine Art von Software sind, da man diese zu „einfachereren, tradierten Versionen von Software“ abgrenzen möchte, mit diesen Worten:
Moreover, the definition should be based on key characteristics of AI systems that distinguish it from simpler traditional software systems or programming approaches (…).
Im Fazit handelt es sich also hier um ein Kriterium schlicht zur Abgrenzung von anderer Software nach dem Motto: Software, die nicht wie bisher bekannte Software ist – und auf Maschinen aber nicht auf organischen Strukturen ablaufen darf (weil nichts Besseres einfiel, um biologische Organismen klarer abzugrenzen).
2. (is) designed
Aus meiner Sicht das unterschätzte und risikoreiche Kriterium mit Blick in die Zukunft. Wenn man die frühere Version mit der aktuellen Version vergleicht, sieht man, dass das „is“ neu hinzugefügt wurde. Das ist nicht revolutionär, rundet aber ab, was das Wort „designed“ andeutet: Einen Schaffungsprozess.
Ein System ist nicht „designed“ wenn es zufällig oder chaotisch entstanden ist. Wie im Urheberrecht wird hier ein Schöpfungsprozess durch die Wortwahl verlangt. Das hinzugekommene Wörtchen „is“ macht dabei umso mehr deutlich, dass es um zielgerichtetes, menschliches Schaffen geht. Es sind damit nur solche Systeme gemeint, die durch einen Menschen zielgerichtet kreiert wurden, was nicht verlangt, dass die Funktionsweise bis ins letzte Detail vorgesehen worden sein muss.
Aber: Wenn KI weiterentwickelte KI entwickelt, bin ich skeptisch, ob ein „design“ nach dieser Definition noch vorliegt! Die Definition würde also bei Software, die autono von bestehender Software geschrieben wurde, versagen!
3. to operate
Das Tatbestandsmerkmal wird wohl im Sinne eines „arbeitens“ zu verstehen sein. Aber im Sinne eines aktiven Arbeitens, nicht im Sinne eines „Abarbeitens“ (work). Hier beginnt bereits der Unterschied zu Standard-Software und tatsächlich liegt hier bereits in einem Umkehrschluss die Klarstellung eines (teil-)autonomen Arbeitens der Software im Unterschied zum kondiktionalen Abarbeiten von in einer Software vorgesehenen Bedingungen, etwa in Form klassischer Wenn-/Dann-Verzweigungen.
4. with varying levels of autonomy
Wenn man „operate“ so versteht wie ich es oben tue, ist die Auslegung dieses Tatbestandsmerkmals vereinfacht: Dadurch dass ein grundlegender Grad an Autonomie durch die Wortwahl „operate“ vorgegeben ist, muss hier nicht mehr überlegt werden, ob auch die Schein-Autonomie von diesem Tatbestandsmerkmal erfasst sein soll. Vielmehr ist dieses nun nur noch deklaratorischer Natur dahin, dass jede Form von Autonomie, gleich wie schwach oder stark, erfasst sein soll. Die Schein-Autonomie ist dagegen durch das vorherige Tatbestandsmerkmal der Notwendigkeit des „operate“ ausgeschlossen.
5. may exhibit adaptiveness after deployment
Der Gesetzgeber möchte damit wohl zum Ausdruck bringen, dass es sich nicht um statische Systeme handelt, sondern dass diese eine gewisse Dynamik aufweisen, dazu aus Erwägungsgrund 12:
The adaptiveness that an AI system could exhibit after deployment, refers to self-learning capabilities, allowing the system to change while in use.
Wichtig ist das „may“, es ist also keine zwingende Voraussetzung dass das System sich während der Nutzung anpasst. Wobei das wohl wichtige Merkmal gar nicht explizit erwähnt wird sondern nur doch die aktive Formulierug beim lesen klar wird: Es geht ja wohl darum, dass das System sich selbst anpassen kann. Damit wird allerdings – es ist unklar ob gewollt oder zufällig – ein Teilrisiko aus Merkmal 2 geschwächt: Wenn ein System sich selbst anpasst, ggfs. weiterentwickelt, könnte es die Schwelle des noch gewollten Designs verlassen. Durch diese Klarstellung wird nun verhindert, dass ein derart sich selbst weiterentwickelndes System auf dem Weg die Definition verlassen könnte.
Ich jedenfalls sehe das Merkmal 5 als Klarstellung an, dass die Autonomie (Merkmal 4) nach oben keine Grenze kennt: ein System ist vom Tatbestandsmerkmal 4 Umfasst, auch wenn es sich mit vollständiger Autonomie weiterentwickelt.
Daher mein Fazit zu den Merkmalen 3 bis 5: Das Merkmal 4 wird nach unten durch Merkmal 3 abgegrenzt (es muss eine wie auch immer geartete Autonomie vorhanden sein) und nach oben gibt es mit Merkmal 5 keine Begrenzung, es genügt jede Form von Autonomie.
6. that, for explicit or implicit objectives, infers, from the input it receives,
Kernpunkt ist hier sicherlich das „infer“, doch bevor man dahin kommt, sollte auf den unscheinbaren zweiten Teil geachtet werden: „input it receives“. Dieser Teil macht deutlich, dass abhängig vom „Input“ (was weit zu verstehen ist und Eingaben ebenso wie sensorisch erfasste Daten sein können) gearbeitet werden muss. Rein zufällige, chaotische Abläufe sind damit ausgeschlossen. Ebenso ist aber damit zugleich klar, dass die Abhängigkeit vom Input gerade nicht die Autonomie ausschließt!
Auf Basis von Eingaben ist also zu inferieren: Das Wort „inferieren“ gibt es im Duden dabei nicht, was schon die üblichen Methoden zur Auslegung erschwert. Übersetzt wird es gemeinhin mit „ableiten“ und wird so schon genutzt in ersten juristischen Texten. Tatsächlich ist das schlichte „ableiten“ aber nur die allgemeine Formulierung für ein Herleiten von Informationen aus bestehenden (allgemeineren) Informationen in Form der Deduktion (Brockhaus/10 Bände/2005). Dies setzt, anders als der technisch zu verstehende Begriff des inferierens, wie er in der Praxis wohl (?) zu verstehen ist, keine kognitiven Prozesse voraus.
„Kognitiv“ ist auch der richtige Ansatz, denn die schlichte Autonomie ist bereits als eigenständiges Merkmal vorgesehen. Wenn also als zusätzliches Merkmal nun „infer“ verlangt wird, muss dies eine zusätzliche Abgrenzung im Vergleich zum schon bestehenden autonomen Arbeiten bieten. Dies wird im Umkehrschluss gestützt durch die Ausführungen in Erwägungsgrund 12:
The capacity of an AI system to infer transcends basic data processing by enabling learning, reasoning or modelling.
In einem kognitiven Zusammenhang lässt sich dies in einer Form des „Verstehens“ zusammenfassen, etwa wenn die Software Zusammenhänge sieht und hierauf aufbauend dann Vorhersagen in Form von Rückschlüssen trifft. Dieses „Verstehen“ ist dann die Weiterentwicklung des „autonomen Arbeitens“ und macht am Ende den Unterschied zwischen unvorhergesehen arbeitender Software und einer KI, die gerade durch ihre Schlussfolgerungen den Eindruck von Intelligenz erzeugt.
Fazit: Das „Inferieren“ ist das Kernmerkmal, an dem schlussendlich die Weiche gestellt wird. Wegen der aufgezeigten sprachlichen Probleme plädiere ich dabei dringend dafür, dass man nicht Übersetzungen schafft, wie „ableiten“, sondern „Inferieren“ als Wortschöpfung übernimmt.
7. how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments
Dieses Tatbestandsmerkmal ist für mich wiederum rein abgrenzender Natur: Auf den ersten Blick klingt es allzu selbstverständlich, geradezu trivial. Doch erst mit diesem Kriterium kann eine saubere Grenzziehung zwischen dem schlichten Training – etwa einer reinen Vektor-Datenbank – und dem Aufsetzen einer agierenden Software auf eine solche Datenbank unterschieden werden. Durch die Bezugnahme auf die Beeinflussung der Umwelt ist damit klargestellt, dass über ausdrückliche Aussagen hinaus auch jegliche konkludente Einflussnahme reichen kann.
Also: Was ist ein KI-System?
In einer Gesamtschau meiner – sehr rudimentären – Analyse ist ein KI-System eine von einem Menschen geschaffene, autonom arbeitende Software, die abhängig von Input jeglicher Art inferiert und mit ihrer Umgebung auf irgendeine Art interagieren kann.
Das bedeutende Merkmal ist das Inferieren, das als neuartiger Begriff verstanden werden sollte: Durch die vorherige Klarstellung der Autonomie als Kriterium ist deutlich, dass Inferieren sich nicht hierin erschöpfen kann. Ein „Verstehen“ im Sinne des Erfassens von Zusammenhängen wird der Sache wohl am ehesten gerecht. Hier zeigt sich dann auch die Bedeutung der Begriffe „Autonom“ und „Inferieren“: Auch tradierte Software kann Muster nach vorprogrammierten Schemata erkennen – Software die inferieren kann, erkennt Muster aber selbstständig und braucht keine Anleitung im Verstehen der Muster, sondern vielmehr Hilfe auf der Abstraktions-Ebene darüber: Beim Lernprozess, der wiederum autonom stattfindet.
- Autonome Polizeirobotik: Chinesischer Polizeiroboter RT-G als dystopischer Ausblick? - Dezember 16, 2024
- Entwicklung der Robotik weltweit - November 22, 2024
- Zukunft der Robotik: Einfluss des Data Act auf Innovation und rechtliche Rahmenbedingungen - Oktober 4, 2024
