Die KI-Verordnung (der „AI Act“) reguliert Entwicklung, Vertrieb und Einsatz von KI. Nun bringen es EU-Regeln mit sich, äußerst umfangreich und komplex zu sein – zwar bieten sich hier viele Hilfen beim Verständnis des Textes, aber gerade Laien sind schnell überfordert, die wesentlichen ersten Infos systematisch zu erfassen.
Im Folgenden möchte ich eine kleine Hilfestellung geben, zum Orientieren für diejenigen, die sich mit der Entwicklung von KI beschäftigen.
Was ist ein KI-System
Bevor man über die Regulierung von KI nachdenkt, muss man sich im Klaren sein, worum es überhaupt geht – die Unterscheidung zwischen „trivialer Software“, „Datenbank“ und „KI-System“ ist eine gewisse Herausforderung. Ich beschreibe in einem ausführlichen Beitrag, wie man die gesetzliche Definition wohl am Ende zu verstehen hat. Nur wenn diese erfüllt ist, bewegt man sich im regulatorischen Rahmen der KI-VO:
Ein KI-System ist eine von einem Menschen geschaffene, autonom arbeitende Software, die abhängig von Input jeglicher Art inferiert und mit ihrer Umgebung auf irgendeine Art interagieren kann.
RA Jens Ferner dazu, was ein KI-System ist
Welche Arten von KI reguliert der AI-Act?
Es ist eine Frage persönlicher Systematisierung und Kategoriesierung, um zu der Antwort zu kommen, was die KI-VO letztlich an Systemen reguliert. Ich bevorzuge auf abstrakter Ebene eine Dreiteilung, wobei man in Erinnerung halten muss, dass es allgemeine Vorgaben gibt, die auch für nicht explizit regulierte Modelle gelten:
Hochrisiko-KI-Systeme
Diese umfassen unter anderem Systeme für biometrische Identifikation, kritische Infrastrukturen, Bildung und berufliche Ausbildung, Beschäftigung und Arbeitsverwaltung, Zugang zu essenziellen privaten und öffentlichen Dienstleistungen sowie Rechtssysteme und demokratische Prozesse.
Generelle KI-Modelle
Generelle KI-Modelle (General Purpose AI) sind KI-Systeme, die nicht für eine spezifische Aufgabe entwickelt wurden, sondern breit einsetzbar sind und verschiedene Anwendungen unterstützen können. Diese Modelle können in einer Vielzahl von Bereichen und für unterschiedliche Zwecke verwendet werden, ohne dass sie für eine bestimmte Aufgabe optimiert wurden.
Verbotene KI-Praktiken
Dazu gehören Systeme, die subliminale Techniken verwenden, um das Verhalten von Personen zu beeinflussen, Systeme, die die Verletzlichkeit von Personen aufgrund ihres Alters, einer Behinderung oder ihrer sozialen oder wirtschaftlichen Situation ausnutzen, Systeme zur sozialen Bewertung von Personen sowie Systeme zur Vorhersage krimineller Handlungen auf Basis von Profiling.
Verbotene KI-Praktiken
Ein verbotenes KI-System gemäß dem AI Act ist ein KI-System, dessen Einsatz als inakzeptabel und schädlich für die Gesellschaft oder Einzelpersonen angesehen wird und daher strengstens untersagt ist. Diese Verbote sind in Artikel 5 des AI Acts festgelegt und beinhalten spezifische Praktiken, die aufgrund ihres potenziellen Missbrauchs und ihrer Gefahr für grundlegende Rechte und Freiheiten nicht verwendet werden dürfen.
Durch diese Beschränlungen soll sichergestellt sein, dass die Entwicklung und Nutzung von KI-Systemen mit den grundlegenden Werten der EU übereinstimmen und die Rechte und Freiheiten der Einzelpersonen geschützt werden. Die wesentlichen Kategorien verbotener KI-Systeme sind:
- Subliminale Techniken: Systeme, die Techniken einsetzen, die jenseits des Bewusstseins einer Person liegen, um deren Verhalten signifikant zu beeinflussen, sind verboten. Diese Techniken zielen darauf ab, Entscheidungen zu erzwingen, die die betroffenen Personen sonst nicht getroffen hätten, und können zu erheblichem Schaden führen.
- Ausnutzung von Schwachstellen: Systeme, die Schwachstellen von Einzelpersonen oder Gruppen aufgrund von Alter, Behinderung oder sozialen und wirtschaftlichen Umständen ausnutzen, um deren Verhalten zu manipulieren, sind ebenfalls untersagt. Diese Systeme können erheblichen Schaden anrichten, indem sie die Verletzlichkeit der betroffenen Personen missbrauchen.
- Sozialbewertung und Klassifizierung: KI-Systeme, die Personen oder Gruppen basierend auf deren sozialem Verhalten oder persönlichen Eigenschaften bewerten oder klassifizieren und zu ungerechtfertigter oder unverhältnismäßiger Benachteiligung führen, sind verboten. Solche Systeme können diskriminierende Ergebnisse erzeugen und die soziale Gerechtigkeit beeinträchtigen.
- Risikobewertung für kriminelle Handlungen: Systeme, die allein auf der Basis von Profiling oder Persönlichkeitsmerkmalen das Risiko einer Person bewerten, eine Straftat zu begehen, sind verboten. Diese Systeme könnten zu ungerechtfertigten Vorurteilen und Diskriminierung führen.
- Erweiterung von Gesichtserkennungsdatenbanken: Das Erstellen oder Erweitern von Gesichtserkennungsdatenbanken durch ungezieltes Sammeln von Bildern aus dem Internet oder CCTV-Aufnahmen ist untersagt, da dies zur Massenüberwachung beitragen und fundamentale Rechte verletzen kann.
- Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen: Systeme, die Emotionen von Personen am Arbeitsplatz oder in Bildungseinrichtungen erkennen, sind verboten, außer sie dienen medizinischen oder sicherheitsrelevanten Zwecken. Diese Systeme könnten die Privatsphäre und die Rechte der betroffenen Personen erheblich beeinträchtigen.
Ein besonderer Fall sind dabei biometrische Systeme, die mal verboten und mal wieder zulässig sind, je nach konkretem Einsatzgebiet. Ich überlege auch, ob man diese nicht als eigene Kategorie aufnehmen sollte. Bisher behandle ich KI-Systeme mit dieser Funktionalität in einem eigenen Beitrag.
Rollen in der KI-Verordnung
Im AI-Act der Europäischen Union werden mehrere Rollen definiert, diese Rollen umfassen: Anbieter, Importeure, Händler, Bereitsteller, benannte Stellen, Marktüberwachungsbehörden und autorisierte Vertreter. Auch Nutzer spielen eine (kleine) Rolle im Regelwerk des AI-Acts und tauchen woanders viel wichtiger auf.
- Anbieter (Provider): Anbieter sind diejenigen, die KI-Systeme entwickeln und auf den Markt bringen. Sie tragen die Hauptverantwortung für die Einhaltung aller Vorschriften des AI-Acts, einschließlich Risikobewertungen, Transparenz, Datensicherheit und technischer Dokumentation.
- Importeure: Importeure bringen KI-Systeme aus Nicht-EU-Ländern in die EU. Sie müssen sicherstellen, dass die eingeführten Systeme allen Anforderungen des AI-Acts entsprechen, einschließlich der Überprüfung der technischen Dokumentation und der Einhaltung durch den Anbieter.
- Händler (Distributors): Händler, die KI-Systeme innerhalb der EU vertreiben, sind verpflichtet, die Konformität der Systeme zu überprüfen. Sie müssen sicherstellen, dass die Systeme korrekt gekennzeichnet sind und dass alle notwendigen Informationen und Anweisungen zur Verfügung stehen.
- Bereitsteller (Deployers): Bereitsteller setzen KI-Systeme ein, um spezifische Aufgaben zu erfüllen. Sie müssen sicherstellen, dass die Systeme gemäß den Anweisungen des Anbieters verwendet werden und alle Sicherheitsanforderungen eingehalten werden. Dazu gehört auch die Überwachung der Leistung der Systeme und die Meldung von Vorfällen an die Behörden.
- Benannte Stellen (Notified Bodies): Benannte Stellen sind unabhängige Organisationen, die die Konformitätsbewertungen für hochriskante KI-Systeme durchführen. Sie prüfen die Einhaltung der Anforderungen des AI-Acts und stellen Zertifizierungen aus.
- Marktüberwachungsbehörden: Nationale Marktüberwachungsbehörden überwachen die Einhaltung des AI-Acts. Sie führen Inspektionen durch, verlangen technische Dokumentationen und setzen Korrekturmaßnahmen durch, falls Verstöße festgestellt werden. Sie können Sanktionen verhängen und Marktverbote aussprechen.
- Autorisierte Vertreter: Anbieter, die nicht in der EU ansässig sind, müssen einen autorisierten Vertreter in der EU benennen. Dieser Vertreter übernimmt die Verantwortung für die Einhaltung der Vorschriften und fungiert als Ansprechpartner für die Marktüberwachungsbehörden.
- Nutzer: tauchen in der KI-Verordnung vor allem dort auf, wo es um Transparenz und Information in Richtung der Nutzer geht. Allerdings sind Nutzer gleichwohl wichtig in Erinnerung zu behalten, da diese im Rahmen der KI-Haftungsrichtlinie eigene Pflichten auferlegt bekommen können!
Regulierte KI-Systeme im AI-Act
Am leichtesten ist es, sich in einer klassischen tabellarischen Übersicht die grundlegenden Anforderungen je nach System vor Augen zu führen.
Eine solche Übersicht zeigt verständlich die unterschiedlichen Anforderungen, die Entwickler von nicht explizit regulierten KI-Systemen, Hochrisiko-KI-Systemen und generellen KI-Modellen erfüllen müssen, bevor sie ihre Systeme auf den Markt bringen können.
Hochrisiko-KI-Systeme und generelle KI-Modelle unterliegen dabei strengeren Vorschriften und Überprüfungen, um die Sicherheit und den Schutz der Nutzer und der Gesellschaft zu gewährleisten:
| Kategorie | Nicht explizit regulierte KI | Hochrisiko-KI-Systeme | Generelle KI-Modelle |
|---|---|---|---|
| Definition | KI-Systeme, die keine spezifischen regulatorischen Anforderungen erfüllen müssen | Systeme, die ein hohes Risiko für Gesundheit, Sicherheit oder Grundrechte darstellen | KI-Modelle, die für vielfältige Anwendungen entwickelt wurden und breite Einsatzmöglichkeiten haben |
| Beispiele | – Chatbots – Empfehlungssysteme – Sprachassistenten | – Biometrische Identifikation – Kritische Infrastrukturen – Systeme für Bildung und berufliche Ausbildung | – Sprachmodelle – Bildverarbeitungssysteme – Allgemeine KI-Frameworks |
| Risikobewertung | – Grundlegende Bewertung und Dokumentation der potenziellen Risiken | – Detaillierte Risikobewertung und -analyse – Durchführung von Risikomanagementmaßnahmen | – Risikobewertung basierend auf spezifischen Anwendungen und potenziellen Risiken |
| Technische Dokumentation | – Basisdokumentation der Funktionalität und Nutzung des Systems | – Umfangreiche technische Dokumentation einschließlich Datenquellen, Algorithmen, Designentscheidungen und Validierungsmethoden | – Dokumentation der Modellarchitektur, Trainingsdaten, Algorithmen und möglichen Anwendungsbereichen |
| Transparenzanforderungen | – Information der Nutzer über die Nutzung von KI | – Umfassende Transparenzanforderungen – Bereitstellung von Erklärungen zu den Entscheidungsprozessen des Systems | – Transparenz bezüglich der allgemeinen Funktionsweise und möglichen Einsatzgebiete des Modells |
| Sicherheitsanforderungen | – Sicherstellung grundlegender Sicherheitsmaßnahmen | – Erfüllung strenger Sicherheitsanforderungen – Maßnahmen zur Minimierung von Risiken für Gesundheit und Sicherheit | – Implementierung von Sicherheitsmaßnahmen, abhängig vom spezifischen Einsatzbereich |
| Überwachung und Kontrolle | – Grundlegende interne Überprüfung und Monitoring | – Kontinuierliche Überwachung und Berichterstattung – Regelmäßige Audits und Überprüfungen durch unabhängige Stellen | – Überwachung der Modellnutzung und kontinuierliche Bewertung der Risiken in verschiedenen Einsatzbereichen |
| Datenmanagement | – Einhaltung grundlegender Datenschutzanforderungen | – Strikte Einhaltung der Datenschutzgesetze – Sicherstellung der Datenqualität und -integrität | – Sicherstellung der Datenqualität und Einhaltung von Datenschutzanforderungen in allen Anwendungsfällen |
| Meldung von Vorfällen | – Dokumentation und Meldung schwerwiegender Vorfälle | – Sofortige Meldung schwerwiegender Vorfälle an zuständige Behörden – Durchführung von Abhilfemaßnahmen und Berichterstattung | – Dokumentation und Meldung von Vorfällen, abhängig vom spezifischen Einsatzbereich und den damit verbundenen Risiken |
| Nutzerinformationen und Schulung | – Bereitstellung grundlegender Informationen an die Nutzer | – Umfassende Schulung und Information der Nutzer und Betreiber des Systems | – Information der Nutzer über die allgemeine Funktionsweise und die Einsatzmöglichkeiten des Modells |
| Konformitätsbewertung | – Selbstbewertung der Konformität | – Durchführung einer Konformitätsbewertung durch eine benannte Stelle (Dritte) | – Konformitätsbewertung basierend auf spezifischen Anwendungen und regulatorischen Anforderungen |
| Zertifizierung und Kennzeichnung | – Keine spezifischen Anforderungen | – Notwendigkeit einer CE-Kennzeichnung und Zertifizierung vor dem Inverkehrbringen | – Zertifizierung und Kennzeichnung je nach spezifischem Einsatzbereich und den damit verbundenen regulatorischen Anforderungen |
| Kategorie | Nicht explizit regulierte KI | Hochrisiko-KI-Systeme | Generelle KI-Modelle |
CE-Kennzeichen als Mittel der Regulierung
Kontrolle von KI-Systemen
Der AI-Act der Europäischen Union (EU) legt fest, dass Künstliche Intelligenz (KI)-Systeme, die in der EU verwendet werden, bestimmte Anforderungen erfüllen müssen, um sicherzustellen, dass sie sicher und vertrauenswürdig sind. Eine zentrale Komponente dieser Anforderungen ist die CE-Konformitätsprüfung.
Vorsicht, ich betone den Punkt der CE-Kennzeichen aus wichtigem Grund: Hier trifft die KI-Verordnung auf das Wettbewerbsrecht! Wer mit CE-Kennzeichen unzulässig wirbt oder vorgeschriebene CE-Konformitätsprüfungen nicht vornimmt bzw. die vorgeschriebene Dokumentation nicht vorhält, der begeht einen Wettbewerbsverstoß – und kann auf Unterlassung in Anspruch genommen werden.
CE-Konformitätsprüfungen sind Verfahren, die sicherstellen, dass Produkte, einschließlich KI-Systeme, den geltenden EU-Richtlinien und -Normen entsprechen. Diese Prüfungen sind notwendig, um das CE-Kennzeichen zu erhalten, welches signalisiert, dass das Produkt den EU-Sicherheits-, Gesundheits- und Umweltanforderungen entspricht. Ich gehe darauf in einem eigenen Beitrag ein!
Konsequenzen bei Verstößen
Wenn KI-Anbieter sich nicht an die Regulierungsvorgaben des AI-Acts halten, drohen ihnen erhebliche Konsequenzen. Der AI-Act enthält klare Regelungen und Strafen, um sicherzustellen, dass KI-Systeme sicher und vertrauenswürdig sind und die Rechte und Freiheiten der Nutzer geschützt werden. Meine Highlights:
Korrekturmaßnahmen
Wenn ein KI-System die Anforderungen des AI-Acts nicht erfüllt, müssen die Anbieter entsprechende Korrekturmaßnahmen ergreifen. Die Marktüberwachungsbehörden können die Anbieter dazu verpflichten, die Konformität des KI-Systems wiederherzustellen, das System vom Markt zu nehmen oder es zurückzurufen. Diese Maßnahmen müssen unverzüglich umgesetzt werden.
Finanzielle Sanktionen
Verstöße gegen die Vorschriften des AI-Acts können zu erheblichen Geldstrafen führen. Die Höhe der Geldstrafen variiert je nach Art und Schwere des Verstoßes:
- Verstöße gegen das Verbot bestimmter KI-Praktiken: Geldstrafen von bis zu 35 Millionen Euro oder bis zu 7 % des weltweiten Jahresumsatzes des Unternehmens, je nachdem, welcher Betrag höher ist.
- Nicht-Einhaltung anderer Anforderungen: Geldstrafen von bis zu 15 Millionen Euro oder bis zu 3 % des weltweiten Jahresumsatzes des Unternehmens, je nachdem, welcher Betrag höher ist.
- Bereitstellung falscher, unvollständiger oder irreführender Informationen: Geldstrafen von bis zu 7,5 Millionen Euro oder bis zu 1 % des weltweiten Jahresumsatzes des Unternehmens, je nachdem, welcher Betrag höher ist.
Einschränkungen und Verbote
Bei anhaltenden Verstößen oder schwerwiegenden Risiken können die Marktüberwachungsbehörden das Inverkehrbringen des KI-Systems in der EU einschränken oder verbieten. Dies bedeutet, dass das betroffene KI-System nicht mehr auf dem EU-Markt angeboten oder genutzt werden darf, bis die Konformität wiederhergestellt ist
Überwachung und Nachverfolgung
Die Marktüberwachungsbehörden sind befugt, umfassende Überprüfungen und Inspektionen durchzuführen, um die Einhaltung der Vorschriften sicherzustellen. Dies beinhaltet den Zugang zu technischen Unterlagen, den Quellcode des KI-Systems und relevante Daten, die zur Entwicklung und Validierung des Systems verwendet wurden
Wettbewerbsrecht
Es wird die spannende Frage sein, ob zumindest einzelne Verstöße gegen Vorgaben der KI-Verordnung im Zuge des Wettbewerbsrechts durch Mitbewerber durchgesetzt werden können. Ich selbst gehe davon aus, dass einzelne Regularien wie speziell zur CE-Kennzeichnung, aber auch beim „KI-Washing“ wettbewerbsrechtlich sanktionierbar sind.
Ausblick
Als Fachanwalt für IT-Recht berate ich Unternehmen, die Künstliche Intelligenz (KI)-Systeme entwickeln und auf den Markt bringen möchten. Die rechtlichen Anforderungen in diesem Bereich sind komplex und können weitreichende Konsequenzen haben. Aus meiner Erfahrung möchte ich erläutern, warum eine frühzeitige anwaltliche Anbindung für KI-Anbieter von entscheidender Bedeutung ist.
Die frühzeitige anwaltliche Anbindung ist für KI-Anbieter unerlässlich, um die komplexen Anforderungen des AI-Acts zu erfüllen und schwerwiegende Konsequenzen zu vermeiden. Durch professionelle Beratung können Unternehmen sicherstellen, dass ihre Systeme rechtlich konform sind, wodurch finanzielle Risiken minimiert und das Vertrauen der Nutzer gestärkt wird. In meiner Praxis habe ich gesehen, dass proaktive rechtliche Unterstützung einen entscheidenden Unterschied machen kann – für die rechtliche Sicherheit und den geschäftlichen Erfolg von Unternehmen im Bereich der Künstlichen Intelligenz.
Schwerwiegende Konsequenzen bei Nichteinhaltung
Die Nichteinhaltung der Vorschriften des AI-Acts kann für KI-Anbieter schwerwiegende Konsequenzen haben. Neben erheblichen finanziellen Sanktionen drohen auch Marktverbote, die das Inverkehrbringen von KI-Systemen in der EU untersagen können. Darüber hinaus können umfassende Überwachungsmaßnahmen und rechtliche Schritte ergriffen werden, um die Konformität sicherzustellen und die Rechte der Nutzer zu schützen. Diese Maßnahmen können nicht nur die finanzielle Situation eines Unternehmens erheblich belasten, sondern auch dessen Ruf nachhaltig schädigen.
Ich kann helfen, diese Risiken zu minimieren und die Konformität sicherzustellen. Als Anwalt unterstütze ich Unternehmen dabei, die komplexen Anforderungen des AI-Acts zu verstehen und umzusetzen. Dies beginnt mit einer umfassenden Risikoanalyse und der Entwicklung von Strategien zur Einhaltung der Vorschriften.
Ein weiterer wichtiger Aspekt ist die Erstellung und Pflege der erforderlichen technischen Unterlagen und Dokumentationen. Hierzu gehört auch die Vorbereitung auf mögliche Überprüfungen durch die Marktüberwachungsbehörden. Durch eine frühzeitige Beratung können Unternehmen sicherstellen, dass alle relevanten Anforderungen von Anfang an berücksichtigt werden, was spätere Anpassungen und potenzielle Strafen vermeidet.
Die Einhaltung der Vorschriften stärkt nicht nur die rechtliche Position eines Unternehmens, sondern fördert auch das Vertrauen der Nutzer in die angebotenen KI-Systeme. Dies ist in einem wettbewerbsintensiven Markt von entscheidender Bedeutung. Unternehmen, die nachweislich sicherere und konforme Systeme anbieten, können sich besser gegenüber der Konkurrenz behaupten und langfristig eine stärkere Marktposition aufbauen.
- Zukunft der Robotik: Einfluss des Data Act auf Innovation und rechtliche Rahmenbedingungen - Oktober 4, 2024
- Allgemeine Überlegungen zu Robotern: Definitionen, Bewusstsein und Asimovs Gesetze - August 18, 2024
- Whitepaper des BSI zur Transparenz von KI-Systemen - August 16, 2024
