Artificial Intelligence Act - das müssen Unternehmen wissen

Der AI Act wurde eingeführt, um die potenziellen Risiken, die mit dem Einsatz von Künstlicher Intelligenz verbunden sind, zu minimieren. Es gibt Bedenken, dass KI-Systeme diskriminieren könnten,

• z. B. wenn sie auf voreingenommenen Datensätzen basieren (KI Bias),
• Nutzer manipulieren
• oder verwendet werden könnten, um Menschen unrechtmäßig zu überwachen.

Mit dem AI Act will die EU sicherstellen, dass KI die Sicherheit, Gesundheit und Grundrechte von EU-Bürgerinnen und EU-Bürgern nicht gefährdet und im Einklang mit europäischen Werten eingesetzt wird.

Der AI Act legt besondere Anforderungen für unterschiedliche Arten von KI fest, abhängig von ihrem Risikopotenzial. Kurz um gilt: je höher das Risiko, desto strenger die Anforderungen.

Was müssen Unternehmen tun?

Unternehmen müssen ihre Systeme klassifizieren und entsprechende Maßnahmen zu ergreifen.

Unterschieden wird in vier KI-Risikokategorien:

Unannehmbares Risiko

Dazu zählen KI-Anwendungen, die gegen Grundrechte verstoßen. Diese müssen bis zum 2. Februar 2025 vom EU-Binnenmarkt genommen werden. Dazu gehören KI-Lösungen, die eingesetzt werden zur:

• Ausnutzung von Schwächen besonders schutzbedürftiger Personen (Ältere, Kinder, Menschen mit Behinderung oder in einer sozioökonomisch schwachen Situation), z.B. wenn Krankenkassen von älteren Menschen mit chronischen Krankheiten höhere Beitragsforderungen verlangen würden
• Bewertung des sozialen Verhaltens, etwa Social Scoring für öffentliche und private Zwecke, z.B. wenn ein Vermieter Bewerber aufgrund von Information aus sozialen Medien oder aus anderen digitaler Daten potentielle Mieter bewertet
• kognitiven Verhaltensmanipulation
• Biometrischen Echtzeit-Fernidentifizierung: hier gelten strenge Ausnahmefälle, zum Beispiel bei terroristischen Anschlägen
• Biometrischen Kategorisierung zur Ableitung der ethnischen Herkunft, religiöser Zugehörigkeit, politischer Auffassung oder sexuellen Orientierung - mit Ausnahmen bei der Strafverfolgung
• Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen - mit der Ausnahme für medizinische Zwecke oder sicherheitstechnische Aspekte

Hochrisiko-KI

Der AI Act befasst sich umfangreich mit Hochrisiko-KI-Systemen, die in sensiblen Bereichen eingesetzt werden können und bei Fehlfunktionen oder Missbrauch ernsthafte Konsequenzen haben könnten, z.B. beim autonomen Fahren. Für sie gelten strenge Verpflichtungen. Für Unternehmen ist die Konkretisierung von Hochrisiko-KI-Systemen nach Anhang I und Anhang III der Verordnung relevant.

Anhang I bezieht sich auf KI-Systeme, die als Sicherheitskomponenten von Produkten verwendet werden oder selbst als Produkt gemäß der diversen EU-Harmonisierungsvorschriften gelten, die eine Konformitätsprüfung durch Dritte brauchen. Hiervon sind Unternehmen betroffen, die u.a. Spielzeuge, Maschinen oder Fahrzeuge herstellen.

Anhang III listet hingegen acht Bereiche auf, in denen der Einsatz von KI-Anwendungen als hochriskant für die persönlichen Grundrechte eingestuft werden:

• Biometrischen Fernidentifizierungssysteme
• KI-Systeme, die als Sicherheitsbauteile in kritischer Infrastruktur eingesetzt werden, etwa im Straßenverkehr, der Wasser-, Gas-, Wärme- oder Stromversorgung
• KI-Systeme, die die Eignung, Zugangsberechtigung zur oder die Lernergebnisse in der allgemeinen und beruflichen Bildung von Personen bewerten
• KI-Systeme, die in der Beschäftigung, im Personalmanagement und Zugang zur Selbstständigkeit Einfluss auf die Einstellung, auf ein Arbeitsverhältnis oder die Erteilung von Berufserlaubnissen und Lizenzen [FN4] haben können, z.B. den beruflichen Aufstieg verhindern
• Zugang und Teilhabe an grundlegenden privaten und öffentlichen Diensten und Leistungen, beispielsweise im Falle eines dringenden Polizei- oder Feuerwehreinsatzes, bei Vergabeentscheidung von Krediten oder bei der Preis- und Risikobewertung von Lebensversicherungen
• Beim Einsatz nach der im europäischen und nationalen Recht zulässigen Strafverfolgung, etwa bei Lügendetektoren oder zur Bewertung von Beweismitteln
• Bei Migration, Asyl und Grenzkontrollen gemäß des europäischen und nationalen Rechts, für Asyl- und Visumsanträge oder zur Aufdeckung, Anerkennung und Identifizierung von Personen
• KI-Systeme, die Justizbehörden unterstützen und demokratische Prozesse beeinflussen können, z.B. das Wahlverhalten und Wahlergebnisse

Begrenztes Risiko

KI-Systeme, die mit Personen interagieren und nur ein geringes Risiko für die Benutzer darstellen, etwa Chatbots, müssen die Nutzer darüber informieren, dass es sich um eine KI handelt oder Inhalte künstlich erzeugt sind. Unternehmen müssen hier die Transparenz- und Informationspflichten des AI Acts anwenden. KI mit allgemeinem Verwendungszweck fällt grundsätzlich in diese Kategorie, wobei es für KI-Modelle mit besonders hohem Wirkungsgrad eine weitere Abstufung des systemischen Risikos gibt mit komplexeren Vorschriften für Anbieter.

Minimales Risiko

Hierzu zählen Systeme, die kein nennenswertes Risiko bergen, etwa Spamfilter. Unternehmen wird nahegelegt, freiwillig einen KI-Verhaltenskodex umzusetzen. Laut AI Act ist die Kommission verpflichtet, innerhalb von zwölf Monaten nach in Kraft treten des AI Acts einen KI-Verhaltenskodex unterstützend anzubieten.

KI-Anwendungen, die nicht betroffen sind

Ausgenommen von der Verordnung sind KI-Anwendungen für Forschungs- und Entwicklungszwecke, für militärische oder nationale Sicherheitszwecke, für den rein privaten, nicht-kommerziellen Gebrauch und für die grenzüberschreitende Kooperation zwischen Behörden und internationalen Organisationen zur Strafverfolgung und juristischen Kooperation.

Der Rechtsrahmen gilt nach dem Marktortprinzip

• für jegliche Akteure innerhalb und außerhalb der EU,
• die ein KI-System in der Union auf den Markt bringen
• und dessen Verwendung Auswirkungen auf EU-Bürgerinnen und EU-Bürger hat.

In Anbetracht der breiten Anwendungsbereiche von KI nimmt der AI Act jegliche Akteure entlang der Wertschöpfungskette in Verantwortung, wenn auch mit unterschiedlichem Maß.

Anbieter

Unternehmen werden zum Anbieter, wenn sie KI-Systeme entwickeln, zur Nutzung bereitstellen oder unter dem eigenen Namen oder der eigenen Handelsmarke auf den Markt bringen.

Beispiel: OpenAI gilt durch seine Entwicklung von ChatGPT als Anbieter.

Betreiber

Als Betreiber gelten Unternehmen, die KI-Systeme nutzen oder in interne Prozesse integrieren.

Beispiel: Eine Bank, die KI zur Betrugserkennung von Transaktionen verwendet.

Produkthersteller

Als Produkthersteller gilt, wer KI-Anwendungen als Produkt selbst oder als Bestandteil in einem Produkt anbietet, verbreitet oder unter dem eigenen Namen oder der eigenen Handelsmarke in der EU nutzt.

Beispiel: Ein Autohersteller, der KI zur Entwicklung von Fahrassistenzsystemen in seinen Fahrzeugen einsetzt.

Bevollmächtigter

Bevollmächtige sind in der EU niedergelasseen und vertretene KI-Anbieter, die ihren Sitz außerhalb der EU haben, ihre KI-Anwendung aber auf den europäischen Markt in Verkehr bringen möchten.

Beispiel: Anwaltskanzleien

Einführer

Einführer bringen KI-Systeme von Anbietern in Drittlänern auf den europäischen Binnenmarkt. Dies verpflichtet Sie, die Konformität der Anbieter zu überprüfen und bei Zweifeln über die korrekte Konformität das Europäische KI-Büro zu informieren.

Beispiel: Eine in der EU niedergelassene Tochtergesellschaft eines Konzerns in einem Drittland, der das KI-System auf den EU-Markt bringt.

Händler

Händler vertreiben KI-Produkte an Endnutzer oder weiterverarbeitende Unternehmen. Ihre Pflicht besteht darin, Information über die Eigenschaften und die sichere Nutzung des Produkts zu sichern.

Wichtig zu wissen ist, dass im Rahmen des AI Acts verschiedene Akteure in die Rolle des Anbieters wechseln könnten, mit den dazugehörigen Pflichten.

Besondere Vorsicht gilt bei Hochrisiko-KI. Bringen Einführer, Produkthersteller oder Betreiber ein Hochrisiko-KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke auf den Markt oder nehmen es in Betrieb, gelten sie als Anbieter im Sinne des AI Acts und müssen die Pflichten aus Art. 16 (Art. 28) erfüllen. Insbesondere bei Produkthersteller kann dies der Fall sein, die Produkte meist unter eigenem Namen auf den Markt bringen.

Dies gilt auch, wenn Unternehmen die Zweckbestimmung eines Hochrisiko-KI-Systems ändern oder wesentliche Änderungen daran vornehmen, die es weiterhin als Hochrisiko-KI-System einstufen würde. Umgekehrt könnten Änderungen dazu führen, dass ein KI-System oder dessen Zweckbestimmung dieses zu einem Hochrisiko-KI-System machen könnten.

In solchen Fällen haftet der ursprüngliche Anbieter nicht mehr und der neue Anbieter ist für die Erfüllung aller Anforderungen der KI-Verordnung verantwortlich. Der ursprüngliche Anbieter muss dem neuen Anbieter jedoch die notwendigen Dokumentationen und Unterlagen zur Verfügung stellen. Diese gilt es umfassend zu prüfen und Korrekturen vorzunehmen, wenn notwendig.

Artikel 4 verpflichtet Unternehmen sicherzustellen, dass alle beteiligten Akteure, die mit der Entwicklung, Implementierung und Nutzung von KI-Systemen in einem Unternehmen befasst sind, über die erforderlichen Kompetenzen und Kenntnisse verfügen. Dies betrifft Anbieter und Betreiber, unabhängig davon, ob es sich um eine KI mit minimalem oder hohen Risiko handelt. Sicherzustellen ist, dass Mitarbeiter ausreichend über die Funktionsweise, die potenziellen Risiken und die sicheren Einsatzmöglichkeiten der KI-Systeme informiert und je nach Bedarf geschult sind.

Termin: Als eine der ersten Umsetzungspflichten, die Anwendung finden, müssen Unternehmen dies bis zum 2. Februar 2025 durchführen.

In der Praxis bedeutet dies für Unternehmen, dass sie:

• Schulungsprogramme entwickeln und implementieren müssen, die die notwendigen technischen und ethischen Grundlagen für den Umgang mit KI vermitteln.
• Trainings zur sicheren Nutzung von KI-Systemen bereitstellen müssen, insbesondere wenn diese in sicherheitskritischen oder sensiblen Bereichen eingesetzt werden.
• Regelmäßige Auffrischungskurse für die Mitarbeitenden anbieten müssen, um sicherzustellen, dass sie stets über die neuesten Entwicklungen und Best Practices im Umgang mit KI-Systemen informiert sind.

Die umfangreichsten Pflichten müssen Unternehmen erfüllen, die als Anbieter von Hochrisiko-KI definiert werden. Unter Abschnitt II des AI Acts finden Unternehmen die technischen, sicherheitsrelevanten und organisatorischen Pflichten, die im Falle von Nicht-Einhaltung zu hohen Bußgeldern führen können.

Transparenz und Bereitstellung von Information für Betreiber (Artikel 13)

Damit nachstehende Akteure voll und ganz über die Funktionen, den Verwendungszweck und die Gefahren der KI-Systeme Kenntnis haben, müssen Anbieter ihnen eine gut verständliche Gebrauchsanweisung übermitteln. Dazu gehören u.a.:

• Name und Kontaktdaten des Anbieters (ggf. Auch des Bevollmächtigten)
• Merkmale, Fähigkeiten und Leistungsgrenzen des Hochrisiko-KI-Systems (inkl. Zweckbestimmung)
• Maßnahmen zur menschlichen Aufsichtspflicht
• Mechanismen für den Zugriff auf die Protokollierung
• Die ausführlichen Informationen sind unter Artikel 13 gelistet.

Risikomanagement (Artikel 9)

Ein Risikomanagementsystem für Hochrisiko-KI-Systeme muss eingerichtet, dokumentiert und kontinuierlich während des gesamten Lebenszyklus aufrechterhalten werden. Anbieter müssen umfassende Risikomanagementmaßnahmen ergreifen, um bekannte und vorhersehbare Risiken für die Gesundheit, Sicherheit und Grundrechte von Personen zu identifizieren, zu analysieren und zu bewerten, einschließlich möglicher Fehlanwendungen und Risiken, die nach der Markteinführung auftreten könnten. Zudem müssen Hochrisiko-KI-Systeme während der Entwicklung regelmäßig getestet werden

.Daten und Datenverwaltung (Artikel 10)

Die verwendeten KI-Modelle müssen mit Datensätzen trainiert, validiert und getestet werden, die den Qualitätsanforderungen des AI Acts (Artikel 17) entsprechen. Dies betrifft die Menge, Verfügbarkeit und Eignung der Datensätze und die Vermeidung möglicher Verzerrungen, Datenlücken oder Mängel.

Technische Dokumentation (Artikel 11)

Vor dem Inverkehrbringen oder der Inbetriebnahme eines Hochrisiko-KI-Systems in der EU muss eine technische Dokumentation erstellt werden. Sie muss belegen, dass alle Anforderungen an Hochrisiko-KI-Systeme erfüllt sind und den Behörden ermöglichen, die Konformität des Systems zu überprüfen.

Aufzeichnungspflichten (Artikel 12)

Hochrisiko-KIs sind so zu entwickeln, dass eine automatische Protokollierung der Ergebnisse abrufbar ist. Dies dient für den Fall, dass wesentliche Änderungen vorgenommen wurden, und können von den Behörden verlangt werden.

Menschliche Aufsicht (Artikel 14)

Unternehmen müssen bei der Entwicklung einer Hochrisiko-KI eine Mensch-Maschine-Schnittstelle ermöglichen. Durch die Möglichkeit der Überwachung durch natürliche Personen sollen Risiken für die Gesundheit, Sicherheit und Grundrechte verhindert bzw. minimiert werden. Die Verpflichtung zur KI-Kompetenzvermittlung kommt hier ebenso zum Tragen. Dabei ist sicherzustellen, dass die verantwortliche Person in der Lage ist das KI-System zu verstehen, bei Fehlausführungen entsprechend einzugreifen und die Ergebnisse stehts zu hinterfragen (Vermeidung einer Automatisierungsbias). Kommt es zu erheblichen Ausfällen muss das KI-System technisch ausgeschaltet werden können, beispielsweise mittels einer Stopptaste.

Ebenso sollte ein Mensch stets die letzte Entscheidung beim Einsatz von KI haben. Beispiel: Eine Bank benutzt KI zur Ermittlung der Kreditwürdigkeit von Personen. Das Ergebnis der KI sollte dabei nicht ohne menschliche Einbindung Anwendung finden.

Genauigkeit, Robustheit und Cybersicherheit (Artikel 15)

• Genauigkeit bezieht sich darauf, wie gut die Vorhersagen des Modells mit den tatsächlichen Daten übereinstimmen.
• Robustheit bedeutet, dass das System widerstandsfähig gegenüber Fehlern, Störungen und Unstimmigkeiten ist, insbesondere in seiner Interaktion mit Menschen oder anderen Systemen.
• Cybersicherheit soll sicherstellen, dass das System gegen Angriffe resistent ist, die seine Leistung oder Sicherheitsmerkmale beeinträchtigen könnten oder Nutzer böswillig manipulieren könnten.

Weitere Pflichten

Darüber hinaus müssen Anbieter folgenden Pflichten nachkommen:

• Qualitätsmanagement gemäß Artikel 17 einhalten
• Kennzeichnungspflicht (Informationen über den Anbieter)
• Aufbewahrung der Dokumente gemäß Artikel 18
• Korrekte Aufbewahrung der Protokolle
• Konformitätsbewertungsverfahren bevor das KI-System eingeführt oder in Betrieb genommen wird
• EU-Konformitätserklärung gemäß Artikel 47 erstellen
• CE-Kennzeichnung kenntlich machen an KI-System oder seiner Verpackung
• Registrierungspflichten gemäß Artikel 49, Abs. 1 nachkommen
• Bei Korrekturmaßnahmen die erforderlichen Informationen bereitstellen gemäß Artikel 20
• Nachweispflicht über eingehaltene Verpflichtungen nach Abschnitt II des AI Acts, sofern eine Behörde dies anfordert
• Barrierefreiheitsanforderungen gemäß den Richtlinien (EU) 2016/2102 und (EU) 2019/882 erfüllen

Betreiber von Hochrisiko-KI haben vor allem eine Transparenz- und Informationspflicht zu erfüllen, die denen der Anbieter ähnelt sowie bestimmte Umsetzungspflichten des Anbieters zu überprüfen. Dabei handelt es sich um:

• KI-Kompetenzvermittlung der Mitarbeiter
• angemessene technische und organisatorische Maßnahmen ergreifen, um den sicheren und ordnungsgemäßen Betrieb des KI-Systems zu gewährleisten, wie vom Anbieter in der Gebrauchsanweisung beschrieben
• Menschliche Aufsichtspflicht erfüllen
• auf eine zweckgebundene Nutzung achten, um nicht in die Rolle des Anbieters zu rutschen
• Benachrichtigung des Anbieters, Händlers oder der Marktüberwachungsbehörde bei Zweifeln über die Konformität der Hochrisiko-KI bis hin zum Aussetzen des KI-Systems im Notfall
• Aufbewahrungspflicht der vom Anbieter erstellten Protokolle (mind. 6 Monate)
• Prüfen, ob die EU-Konformitätserklärung vom Anbieter erstellt wurde
• Prüfen, ob das KI-System in der EU-Datenbank registriert wurde (Hochrisiko-KI in kritischer Infrastruktur wird in der nationalen Datenbanken registriert)
• Kooperation mit den zuständigen Behörden

KI mit allgemeinem Verwendungszweck, auch General Purpose Artificial Intelligence (GPAI) genannt, hat ein erhebliches Einsatzspektrum. Dies macht sie zu einem kraftvollen Werkzeug für Innovation und Effizienzsteigerung etwa als virtueller Assistent im Kundenservice oder bei der Analyse von Krankheitsdaten.

Der Unterschied zwischen GPAI ohne und mit systemischem Risiko besteht hauptsächlich in der Höhe des Wirkungsgrades, die sie für den Markt und die Gesellschaft darstellen. Daraus ergeben sich strengere regulatorischen Anforderungen und Schutzmaßnahmen, die von Anbietern und Bevollmächtigten erfüllt werden müssen.

GPAI mit systemischem Risiko (Artikel 51)

Als GPAI mit systemischem Risiko werden KI-Modelle bezeichnet, die eine der folgenden Bedingungen erfüllen. Zum einen, wenn es sich um GPAIs mit einem hohen Wirkungsgrad handelt. Unter Artikel 51, Absatz 2 wird hierzu eine Gesamtrechenleistung von mehr 10^25 FLOPs (Floating Point Operations) genannt, die beim Training verwendet wurden. Zum anderen, wenn eine der acht in Anhang XIII gelisteten Kriterien zutrifft. Diese reichen von der Größe oder Qualität der Datensätze bis zu der Anzahl der Parameter. Interessant sind hierbei auch Buchstabe f) und g) des Anhangs, die auf die Reichweite eingehen. Während die Zahl der registrierten Endnutzer offen bleibt, können mindestens 10.000 gewerblich in der EU registrierte Nutzer das GPAI-Modell als systemisch riskant einstufen. Daraus ließe sich schließen, dass ChatGPT als ein solches gelten dürfte.

Anbieter von GPAI ohne systemischem Risiko müssen hauptsächlich Transparenzregeln einhalten (Artikel 53).

• Technische Dokumentation
  Anbieter von generativen KI-Modellen (GPAI) müssen detaillierte technische Dokumentationen des KI-Modells sowie der Trainings-, Testverfahren und damit einhergehende Ergebnisbewertungen erstellen. Diese sind stets zu Aktualisierung und müssen die Mindestanforderungen von Anhang XI enthalten, z.B. Informationen über den Verwendungszweck oder die Lizenz.
• Transparenz und Bereitstellung von Informationen
  Anbieter von GPAI müssen eine Gebrauchsanweisung für nachgelagerte Anbieter erstellen, die leicht verständlich die Fähigkeiten und Grenzen des KI-Systems erklärt. Diese müssen die Transparenzinformationen von Anhang XII entsprechen, damit Betreiber oder Händler ihren Pflichten nachgehen können.
• Urheberrecht einhalten
  KI-entwickelnde Unternehmen müssen eine entsprechende technische Lösung implementieren, die beim Trainieren der Modelle das Urheberrecht nicht verletzt. Gleichzeit sind Unternehmen beraten darauf zu achten, ob Urheber der genutzten Daten ein Verbot für Testzwecke erlassen hat. Dies ist zum Beispiel der Fall bei der New York Times, die dies in ihren AGBs verboten hat.
• Trainingsdaten
  Anbieter müssen eine detaillierte Zusammenfassung der Trainingsdaten anfertigen. Zur Unterstützung ist das Europäische KI-Büro dabei, eine Vorlage für Unternehmen auszuarbeiten.
• Zusammenarbeit mit Behörden
  Anbieter sollen bei Auskunftsfragen mit der Europäischen Kommission und den zuständigen nationalen Behörden zusammenarbeiten. Dies beinhaltet auf Anfrage die notwendigen Dokumentationen auszuhändigen.
• Zusätzliche Pflichten für Anbieter von GPAI mit systemischem Risiko (Artikel 55)
  In diesem Fall müssen nebst der oben erklärten Transparenzpflichten für GPAI, zusätzliche Compliance Anforderungen durchgeführt werden.

Dazu gehört ein Risikomanagementsystem wie bei Hochrisiko-KI, eine Meldepflicht gegenüber dem Europäischen Büro für Künstliche Intelligenz (ggf. auch an die nationale Behöre) bei erheblichen Vorfällen sowie über die Implementierung der Maßnahmen zur IT-Sicherheit.

Die Verordnung erwähnt bei der Nutzung von GPAI keine speziellen Pflichten für Betreiber. Trotzdem ist es ratsam, gerade bei der Nutzung von GPAI mit systemischem Risiko eine Überprüfung der Anbieterverpflichtungen zu erwägen.

Die nationale KI-Aufsichtsbehörde muss spätestens bis zum 2. August 2025 von der Bundesregierung ernannt werden.

Als zentrale Anlaufstelle wird ihre Hauptaufgabe sein, die Einhaltung der Vorgaben des AI Acts in Deutschland zu überwachen. Dazu gehören:

• die Überprüfung und Zulassung von Hochrisiko-KI-Systemen,
• Beratung und Unterstützung für Unternehmen
• Durchführung von Audits und Inspektionen
• bei Verstößen Sanktionen zu verhängen, die von Bußgeldern bis hin zu Nutzungsbeschränkungen oder dem vollständigen Verbot eines KI-Systems reichen können.

Das Bundesministerium für Wirtschaft und Klimaschutz sieht dafür die Bundesnetzagentur vor, die nebst der Aufsichtsaufgaben auch Maßnahmen zur Innovationsförderung umsetzen soll gemäß der Sandboxes. Der Bundesnetzagentur sollen jedoch nicht alle Kompetenzen im Bereich KI zugeschrieben werden. Produktrelevante Fragen für den Automotivebereich zum Beispiel soll weiterhin das Kraftfahrtbundesamt ausüben.

Die Verhandlungen dazu sind noch nicht abgeschlossen.

Unternehmen, die Künstliche Intelligenz einsetzen, müssen beim Umgang mit personenbezogenen Daten die Datenschutz-Grundverordnung (DSGVO) beachten, die eine rechtmäßige, transparente und zweckgebundene Verarbeitung verlangt.

Werden KI-Systeme mit personenbezogenen Daten trainiert oder verarbeiten sie diese, dann müssen Unternehmen befugt auf einer Rechtsgrundlage gemäß der DSGVO wie z. B. einem berechtigen Interesse (Art. 6 Abs. 1 lit. f DSGVO) oder einer Einwilligung (Art. 6 Abs. 1 lit. a DSGVO bzw. bei besonderen Kategorien personenbezogener Daten nach Art. 9 Abs. 1 lit. a DSGVO) in allen Stufen der Datenverarbeitung, d. h. beim Erheben von Trainingsdaten, beim Verarbeiten von Trainingsdaten, bei der Bereitstellung solcher KI-Anwendungen, beim Nutzen von solchen und beim Nutzen von Ergebnissen solcher KI-Anwendungen, hierin enthaltene personenbezogene Daten verarbeiten dürfen. Die ist vorab zu klären und zu dokumentieren im Verzeichnis von Verarbeitungstätigkeiten.

Zudem müssen KI-Systeme so konfiguriert oder eingestellt sein, dass sie den Rechtsgrundsätzen Datenschutz durch Technik bzw. Technikvoreinstellung sowie dem Grundsatz der Datenminimierung (Art.5, Abs. 1 lit. c DSGVO) entsprechen. Unternehmen unterliegen hinsichtlich der Datenverarbeitung den Informationspflichten nach DSGVO. Bei KI-Systemen haben sie stets auch über die involvierte Logik zu informieren. Zwischen dem Anbieter und dem Betreiber einer KI ist ein Vertrag über Auftragsverarbeitung (weisungsgebundene Auftragsverarbeitung) abzuschließen. Hier sind die Vorgaben der DSGVO zu Drittstaatentransfers zu beachten. Je nach Sachverhaltsgestaltung kann anstelle eines Vertrags über Auftragsverarbeitung oder nur für Teile der Datenverarbeitung ein Vertrag über gemeinsame Verantwortliche (wenn gemeinsam Mittel zur und Zwecke der Verarbeitung festgelegt werden) zu schließen sein. Zudem ist nach DSGVO i.V.m. Nr. 11 der sog. „Blacklist“ der DSK (Datenschutzkonferenz der Datenschutzaufsichtsbehörden des Bundes und der Länder) beim Einsatz von KI immer dann eine Datenschutz-Folgenabschätzung durchzuführen, wenn mit dieser KI die Interaktion mit Betroffenen gesteuert oder persönliche Aspekte der betroffenen Person bewertet werden.

Die DSGVO verbietet abgesehen von engen Ausnahmen zudem ein automatisiertes Profiling von Personen, wenn hierdurch erzeugte Entscheidungen dieser Person gegenüber rechtlicher Wirkung entfalten oder diese Person in ähnlicher Weise beeinträchtigen (Art. 22 DSGVO).

Zusätzlich sollten Geschäftsgeheimnisse durch Maßnahmen wie Verschlüsselung, Zugriffsbeschränkungen und Vertraulichkeitsvereinbarungen gesichert werden.

Mehr Informationen: Datenschutz & Künstliche Intelligenz - was bringt der AI Act?

Sandboxes sind geschützte Umgebungen, in denen Unternehmen ihre KI-Systeme testen und entwickeln können, bevor sie in realen Szenarien eingesetzt werden. Ihr Vorteil für Unternehmen, und speziell KMUs oder Start-Ups, ist die Erprobung in einem sicheren Rechtsrahmen, in dem Risiken erkannt und unter behördlicher Aufsicht behoben werden können. Dadurch sollen Konformitätsbrüche mit dem AI Act vermieden werden. Unternehmen müssen dabei auf gewisse Schutzvorkehrungen achten: Zustimmung der Nutzer, Ausschluss negativer Auswirkungen, Ergebnisse müssen umkehrbar sein und die Daten am Ende des Tests gelöscht werden.

Vorteile von Sandboxes:

• Sicherheit: Minimierung potentieller Risiken, in dem neue KI-Systeme in einer kontrollierten Umgebung getestet werden
• Regulatorische Unterstützung: Konformität der getesteten KI-Systeme durch die Zusammenarbeit mit Aufsichtsbehörden

Sandboxes sind per se nichts Neues. Im Bereich FinTech und Krypto betreibt die Bundesanstalt für Finanzdienstleistungsaufsicht bereits ein Reallabor zur Testung neuer Geschäftsmodelle und Technologien von Unternehmen. Im Bereich KI fehlt solch eine Unterstützung bisher. Der AI Act sieht deshalb vor, dass bis zum 2. Februar 2025 pro EU-Mitgliedsstaat mindestens eine Sandbox errichtet werden muss.

Die Sanktionsregeln sehen vor, dass Mitgliedstaaten bei Verstößen gegen KI-Vorschriften wirksame und abschreckende Strafen verhängen müssen.

Die Summen variieren je nach Schwere des Verstoßes und berücksichtigen die Unternehmensgröße.

• Verstöße bei verbotenen Praktiken aus Artikel 5 oder Verletzungen von Datenanforderungen:
  Strafen bis zu 35 Millionen Euro oder 7 % des gesamten weltweiten Vorjahresumsatzes (je nachdem, welcher Wert höher ist).
• Verstöße gegen andere Vorschriften der Verordnung:
  Strafen bis zu 15 Millionen Euro oder 3 % des gesamten weltweiten Vorjahresumsatzes.
  Hierunter fallen Vorschriften für Hochrisiko-KI wie Konformitätsprüfung oder Risikobewältigungsmaßnahmen. Unternehmen, die entlang der Wertschöpfungskette als Akteure (Anbieter, Betreiber, Händler oder Einführer) laut AI Act fungieren, laufen Gefahr, bei nicht konformen Praktiken Geldbußen zu erhalten.
• Nichteinhalten der GPAI-Vorschriften:
  Strafen bis zu 15 Millionen Euro oder 3 % des gesamten weltweiten Vor-jahresumsatzes.
• Falsche, unvollständige oder irreführende Angaben an Behörden:
  Strafen bis zu 7,5 Millionen Euro oder 1,5 % des gesamten weltweiten Vorjahresumsatzes.

Für KMUs und Start-Ups gelten jeweils die niedrigeren Schwellenwerte.

Unternehmen sollten sich für ihre Compliance-Strategie gut mit den verschiedenen Umsetzungsfristen auseinandersetzen, um etwaige Verstöße zu umgehen und ihnen bei dabei hilfreich sein können. Die ersten treten bereits sechs Monate nach in Kraft treten des AI Acts in Kraft.

2. Februar 2025

• Verbot unannehmbarer KI
• Vorschriften zu Artikel 4 zur KI-Kompetenzpflicht

2. Mai 2025

• Veröffentlichung der KI-Verhaltenskodizes

2. August 2025

• GPAI-Regeln treten in Kraft
• Errichtung des Governance-Systems auf EU-Ebene
• Ernennung der nationalen Behörde
• Sanktionen

2. August 2026

• Vorschriften für Hochrisiko-KI in den acht Bereichen gemäß Anhang III
• KI-Systeme mit begrenztem und minimalem Risiko

2. August 2027

• Hochrisiko-KI gemäß der EU-Harmonisierungsvorschriften in Anhang I
• Nicht bindende GPAI-Standards
• Umsetzungspflicht für Anbieter von GPAI, die ihr Modell vor dem 2. August 2025 in Verkehr oder betrieb gebracht haben

2. August 2030

• Umsetzungsfrist für GPAI, die vor dem 2 August 2026 in Verkehr oder Betrieb gebracht wurden, deren Konzeption wesentlich geändert wurde

Mit Inkrafttreten des AI Acts am 1. August 2024 steht Deutschland vor der Herausforderung, diese Verordnung in nationales Recht umzusetzen, wobei Unternehmen bereits in den ersten sechs Monaten erste Regelungen beachten müssen. Die Art und Weise, wie Deutschland den AI Act umsetzt, wird entscheidend für die Wettbewerbsfähigkeit der heimischen Wirtschaft sein. Insgesamt hinkt die EU im internationalen Vergleich hinterher.

Die IHK für München und Oberbayern fordert daher in ihrem Positionspapier zur Umsetzung des AI Acts eine zügige Vorlage des Durchführungsgesetzes der Bundesregierung, um Rechtssicherheit zu gewährleisten, europäische Innovationen zu fördern und bürokratische Hürden zu minimieren.

Konkret fordern wir:

• Eine Harmonisierung des AI Acts mit bestehenden Verordnungen (z.B. der DGSVO, Data Act etc.) statt Doppelregulierung
• Keine zusätzlichen, national einschränkenden Regulierungen (Gold Plating)
• Terminologische Auslegungsspielräume z.B. zu KI oder der Bewertung eines KI-Hochrisikosystems zügig konkretisieren
• Keinen weiteren Bürokratieaufwuchs für Unternehmen
• Die Bennungen einer zentralen Bundesbehörde, um einen Flickenteppich von 16 Länderbehörden nach dem Vorbild der DSGVO zu vermeiden
• Eine zeitnahe Einsatzfähigkeit
• Ausreichend Ressourcen, z.B. um rechtzeitig qualifizierte Fachkräfte anzuwerben

Lesen Sie unser vollständiges IHK-Positionspapier zur Umsetzung des AI Acts HIER.