Datenschutz und Künstliche Intelligenz - Darauf müssen Sie achten

• Welche Rolle spielt der Datenschutz bei der Künstlichen Intelligenz?
• Was bringt die KI-Verordnung?
• Was ist bereits jetzt beim Einsatz von KI zu beachten?

WICHTIG: Unternehmen müssen auch beim Einsatz von KI wie ChatGPT sicherstellen, dass ihre Datenverarbeitung compliant ist.

Welche Vorgaben müssen eingehalten werden?

• Bei der Verarbeitung von personenbezogenen Daten sind die Datenschutzgesetze (z. B. DSGVO, TDDDG) einzuhalten.
• Mit Inkrafttreten der KI-Verordnung werden mit Ablauf der Übergangsfristen auch deren Bestimmungen beim Einsatz von KI zu beachten sein. Die ersten Regeln werden ab dem 2. Februar 2025 gültig sein.
• Unabhängig davon müssen KI-Systeme im Einklang sein mit sonstigen einschlägigen Gesetzen wie dem Urheberrecht, dem AGG.
• Sie müssen ethischen Kriterien entsprechen; ferner muss die Qualität der Daten so sein, dass Ergebnisverzerrungen („Bias“) vermieden werden. Soweit vorgeschrieben, sind spezifische Maßnahmen zur Sicherheit einzuhalten.

Die KI-VO (Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024) legt erstmals harmonisierte Vorschriften für künstliche Intelligenz EU-weit fest.

Welches Ziel verfolgt die KI-Verordnung?

Die Verordnung folgt einem risikobasierten wie menschenzentrierten Ansatz. Das heißt: Je höher das Risiko einer KI-Anwendung, umso strenger sind die Anforderungen. Es wird unterschieden zwischen verbotenen KI-Praktiken, Hochrisiko-KI-Systemen, KI-Systemen mit geringem Risiko und sog. generativen KI-Systemen wie ChatGPT .

• KI-Anwendungen mit einem inakzeptablen Risiko sollen sechs Monate nach Inkrafttreten verboten werden.
• Für Hochrisiko-KI-Systeme sind strenge Anforderungen an Technik und Organisation umzusetzen.
• Systeme mit einem geringen Risiko sollen lediglich Informations- und Transparenzpflichten unterliegen.

Wie ist der Zeitplan?

Mit Inkrafttreten der KI-VO gilt ein abgestufter Zeitplan für Übergangsfristen.

Übergangsfristen - Gestufte Anwendbarkeit nach Inkrafttreten

• Nach sechs Monaten (2. Februar 2025): KI mit inakzeptablem Risiko ist dann verboten. Ab diesem Zeitpunkt sind zudem die Regelungen zur KI-Kompetenz (AI-Literacy) zu beachten.
• Nach 12 Monaten (2. August 2025): Regeln zu Governance und General Purpose AI (GPAI) für Hochrisiko-KI mit Ausnahme des Art. 101 KI-VO (Geldbußen für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck), der zum 2. August 2026 in Kraft treten wird.
• Nach 24 Monaten (2. August 2026): Sämtliche Bestimmungen werden wirksam, auch für KI-Systeme mit hohem Risiko nach Anhang III (eigenständige KI-Systeme, z.B. Biometrische Identifizierung)
• Nach 36 Monaten (2. August 2027): Pflichten für Hochrisiko-KI-Systeme nach Anhang I (KI in Medizinprodukten, Maschinen, Seilbahnen, Spielzeug etc.)

Bestandsschutz
Abweichende Übergangsfristen für KI-Systeme, die bereits auf dem Markt oder in Betrieb genommen sind:

• Solche Hochrisiko-KI-Systeme: Ab dem Zeitpunkt einer wesentlichen Änderung sind diese an die KI-VO anzupassen (Art. 111 Abs. 2 KI-VO).
• Solche Hochrisiko-KI-Systeme, welche derzeit Behörden bestimmungsgemäß verwenden: Binnen einer Frist von 6 Jahren anzupassen, d.h. bis 2. August 2030 (Art. 111 Abs. 2 Satz 2 KI-VO).
• Solche GPAI-Systeme: Anbieter solcher KI-Modelle, die vor dem 2. August 2025 in Verkehr gebracht wurden, haben diese bis 2. August 2027 an die KI-VO anzupassen (Art. 111 Abs. 3 KI-VO).
• Solche KI-Systeme, welche Teil der IT-Großsysteme im Bereich der Freiheit, der Sicherheit und des Rechts sind: Diese KI-Systeme sind bis 31. Dezember 2030 an die KI-VO anzupassen (Art. 111 Abs. 1 KI-VO).

Was regelt die KI-Verordnung?

Definition von Künstlicher Intelligenz (KI) - Art. 3 Nr. 1 KI-VO

„KI-System“ ist hiernach ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.

Ausgehend von dieser Definition werden Systeme immer dann als KI-Systeme einzustufen sein, wenn

• Maschinen durch Künstliche Intelligenz die Fähigkeit entwickeln,
• autonom Aufgaben auf der Basis von Algorithmen auszuführen,
• und dabei Lösungen für Probleme und Empfehlungen oder Entscheidungen vorzuschlagen.

KI-Systeme unterscheiden sich von reinen algorithmenbasierten IT-Systemen durch ihre Fähigkeit, aus Daten zu lernen und ihre Leistung/Ergebnisse zu verbessern. Erwägungsgrund 6 der KI-VO nimmt diese Abgrenzung dahingehend vor, dass algorithmenbasierte IT-Systeme nur auf festgelegten Regeln basieren und aufgabenspezifisch programmiert werden. Letztere fallen nicht unter die Definition der KI gemäß der KI-VO.

Risikobasierter Regelungsrahmen

• Verbot von Hochrisiko-KI
• Implementierung von Sicherheitsanforderung für riskante KI, z. B. soll es jederzeit möglich sein, dass Menschen in Prozesse eingreifen.
• Transparenzpflichten hinsichtlich des Trainings und der Funktionsweise von Künstlicher Intelligenz.

Was gilt für wen?

Pflichtenkatalog - Differenzierung nach

• Rolle: Anbieter, Hersteller, Betreiber, Einführer, Händler, bevollmächtigter Vertreter oder betroffene Person in der EU
• Klassifizierung der KI
  • Verbotene KI, Art. 5 KI-VO
  • Hochrisiko-KI-Systeme, Art. 6 – 49 KI-VO – Transparenzvorschriften, Art. 13 KI-VO
  • Codes of Conduct, Art. 95 KI-VO
  • GPAI Model – Transparenzvorschriften, Art. 53 KI-VO
  • GPAI Model mit systemischen Risiko – Transparenzvorschriften, Art. 55 KI-VO

Was hat die DSGVO mit KI zu tun?

Beim Einsatz von KI sind bereits jetzt die Datenschutzgesetze einzuhalten. Voraussetzung ist, dass der Anwendungsbereich der Datenschutzgesetze eröffnet ist, d. h. mit der KI personenbezogene Daten verarbeitet (z. B. eingegeben, ausgewertet oder in sonstiger Weise verarbeitet) werden.

• Die Grundsätze der DSGVO wie Rechtmäßigkeit, Zweckbindung, Transparenz, Datenminimierung, Richtigkeit müssen beachtet werden.
  • Rechtmäßigkeit bedeutet, eine Datenverarbeitung muss durchgängig auf Rechtsgrundlagen gestützt werden können, welche es erlaubt, diese personenbezogenen Daten für konkrete Zwecke mit KI zu verarbeiten.
  • Informationspflichten nach Art. 13, 14 DSGVO, auch über die involvierte Logik (Art. 13 Abs. 2 lit. f) DSGVO, Art. 14 Abs. 2 lit. g) DSGVO)
  • Dokumentation – Beschreibung des KI-Systems im Verzeichnis von Verarbeitungstätigkeiten (Art. 30 Abs. 1 DSGVO)
  • Abschluss eines Vertrags über Auftragsverarbeitung, Art. 28 DSGVO, z. B. zwischen Anbieter und Betreiber
    • Ein KI-Anbieter ist Auftragsverarbeiter i.S.d. DSGVO
    • Ein Unternehmen, dass die KI einsetzt ist Verantwortlicher i.S.d. DSGVO
    • Beachte
      Ein Unternehmen wechselt seine Rolle als Betreiber und wird zu einem Anbieter, wenn es wie folgt vorgeht:
      - Es versieht ein bereits in Verkehr gebrachtes und in Betrieb genommenes Hochrisiko-KI-System mit seinem eigenen Namen oder seiner eigenen Handelsmarke.
      - Es nimmt an einem solchen Hochrisiko-KI-System wesentliche Veränderungen vor.
      - Es verändert die Zweckbestimmung eines KI-Systems, einschließlich eines KI-Systems mit allgemeinem Verwendungszweck, dass nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so, dass das betreffende KI-System zu einem Hochrisiko-KI-System im Sinne von Art. 6 KI-VO wird.
  • Datenschutz durch Technikgestaltung und durch datenschutzfreundliche Voreinstellungen (Art. 25 DSGVO)
  • Technische und organisatorische Maßnahmen angemessen nach dem Stand der Technik (Art. 32 DSGVO)
  • Durchführung einer Datenschutz-Folgenabschätzung nach Art. 35 DSGVO:
    Blacklist der DSK - Nr. 11: Die Durchführung einer DSFA ist u.a. beim Einsatz von KI zur Verarbeitung personenbezogener Daten, zur Steuerung der Interaktion mit den Betroffenen oder zur Bewertung persönlicher Aspekte der betroffenen Person zwingend.

Was bedeutet der Art. 22 DSGVO für den Einsatz Künstlicher Intelligenz?

• Art. 22 Abs. 1 DSGVO verbietet es, eine Person einem ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung zu unterwerfen, welche ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.
• Ausnahmen von diesem Verbot sieht Art. 22 Abs. 2 lit. b) DSGVO vor z. B. über nationale Rechtsvorschriften: Jedoch nur, wenn diese angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person enthalten.
• Die Frage, was unter einer „automatisierten Entscheidung“ im Sinne dieser Vorschrift verstanden werden kann, befasst mittlerweile die Gerichte. Diese Gerichtsentscheidungen werden auch für die Beurteilung von Künstlicher Intelligenz von grundsätzlicher Bedeutung sein. Maßgeblich wird hier die Rechtsprechung zum sog. Schufa-Urteil sein.

Was bedeutet das konkret?

Checklisten der Datenschutzaufsichtsbehörden zu KI finden Sie im Download-Bereich. Damit können Sie prüfen, was Sie in Ihrem Betrieb in Bezug auf Datenschutz und Künstliche Intelligenz beachten müssen.

Welche Bedeutung hat das Schufa-Urteil?

Am 07.12.23 hat der Europäische Gerichtshof (EuGH) im Urteil zum Bonität-Scoring von Auskunfteien (EuGH v. 7.12.23, C-634/21) Folgendes entschieden:

Das Schufa-Scoring stellt eine automatisierte Einzelentscheidung im Sinne von Art. 22 Abs. 1 DSGVO dar.
EuGH Leitsatz: […] „automatisierte Entscheidung im Einzelfall“ im Sinne dieser Bestimmung vorliegt, wenn ein auf personenbezogene Daten zu einer Person gestützter Wahrscheinlichkeitswert in Bezug auf deren Fähigkeit zur Erfüllung künftiger Zahlungsverpflichtungen durch eine Wirtschaftsauskunftei automatisiert erstellt wird, sofern von diesem Wahrscheinlichkeitswert maßgeblich abhängt, ob ein Dritter, dem dieser Wahrscheinlichkeitswert übermittelt wird, ein Vertragsverhältnis mit dieser Person begründet, durchführt oder beendet“.

Der EuGH entscheidet nur über die Auslegung des EU-Rechts (hier von Art. 22 DSGVO). Damit ist es nun Aufgabe des Verwaltungsgerichts Wiesbaden, als vorlegendes nationales Gerichts zu entscheiden, ob § 31 BDSG die Anforderungen von Art. 22 Abs. 2 lit. b) DSGVO einhält oder ob die Schufa ihr Scoring auf eine andere Ausnahme des Art. 22 DSGVO stützen kann.

Stand: 06.09.2024