Datenschutzaufsichtsbehörden veröffentlichen Orientierungshilfe zu KI

Bereits im Jahr 2019 veröffentlichte die Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder („DSK“) die sog. Hambacher Erklärung zur Künstlichen Intelligenz und kam damit dem Hype um generative KI ein wenig zuvor. Seit mit ChatGPT das erste öffentlich verfügbare Large Language Model auf den Markt kam, beschäftigen sich die deutschen Datenschutzaufsichtsbehörden allerdings noch deutlich intensiver mit KI. So aktualisierte das Bayerische Landesamt für Datenschutzaufsicht im Januar 2024 seine Checkliste für Datenschutzkonforme Künstliche Intelligenz und auch der Landesbeauftragte für Datenschutz und Informationsfreiheit Baden-Württemberg äußerte sich mit einem Diskussionspapier. Einige Landesdatenschutzbehörden wandten sich zudem mit Fragebögen an OpenAI und brachten sich in die europäische Abstimmung zu ChatGPT ein.

Auch im Hinblick auf die KI-Verordnung (sog. AI Act) bringen sich die Datenschutzaufsichtsbehörden offensiv als mögliche Marktüberwachungsbehörden in Stellung. Insofern verwundert es nicht, dass sie ihre Kompetenz (im doppelten Wortsinne) zum Thema generative KI, insbesondere in Form von LLM-Tools, demonstrieren wollen. Mit der „Orientierungshilfe“ der DSK vom 6. Mai 2024 ist dies jedoch nur mittelmäßig gelungen.

Kernaussagen der Orientierungshilfe „Künstliche Intelligenz und Datenschutz“

Die Orientierungshilfe der DSK behandelt einige grundlegende Themen im Zusammenhang mit dem Einsatz von generativer KI und gibt damit zu erkennen, welche Aspekte die deutschen Datenschutzaufsichtsbehörden besonders kritisch sehen. Unternehmen, die generative KI-Systeme einsetzen wollen, sollten diesen Punkten besondere Beachtung schenken.

Die Orientierungshilfe widmet sich zunächst dem Anwendungsbereich des Datenschutzrechts und legt diesen besonders weit aus. Unternehmen sollten daher prüfen, ob bei ihrem Einsatz von generativen KI-Systemen personenbezogene Daten verarbeitet werden:

• durch die Eingabe, insbesondere als Teil sog. Prompts (Input), 
• durch die Ausgabe, d.h. als Teil des von dem generativen KI-System generierten Output; oder
• im Zusammenhang mit der Nutzung, etwa, weil sich das System verwendende Mitarbeiter mit einer personalisierten E-Mail-Adresse oder Telefonnummer anmelden.

In der Praxis sollten Unternehmen besonders darauf achten, dass nur eine (grundsätzlich unumkehrbare) Anonymisierung der Daten, nicht jedoch eine (bloße) Pseudonymisierung zum Ausschluss der Anwendbarkeit des Datenschutzrechts führt. Eine Pseudonymisierung kann etwa vorliegen, wenn sich ein Prompt nur auf eine „Person X“ bezieht, zusätzlich verfügbare Daten es aber ermöglichen, die Information auf ein konkretes Individuum zu beziehen. Dabei spielt auch die Perspektive eine Rolle: so können Daten, die für das Unternehmen selbst pseudonym und damit personenbezogen sind, für einen anderen Verantwortlichen oder auch Auftragsverarbeiter (etwa den System-Anbieter) anonym sein (vgl. EuG, Urt. v. 26.04.2023, T-557/20). 

Unternehmen sollten bei Auswahl und Einsatz von generativen KI-Systemen laut der Orientierungshilfe zudem prüfen, ob das fragliche KI-System im Einklang mit geltendem (Datenschutz-)Recht trainiert wurde. Hat das Unternehmen das KI-System nicht selbst trainiert, müsse es als Verantwortlicher überprüfen, ob das KI-System fehlerhafte Ergebnisse produziere. Nach der Auffassung der DSK können Unternehmen somit für die Folgen fehlerhaften KI-Trainings (sowie sonstige Fehler des Systems) verantwortlich sein. 

Die Orientierungshilfe weist außerdem auf die Risiken hin, die entstehen, wenn Beschäftigte eines Unternehmens insbesondere sog. „offene“ KI-Systeme (z.B. die öffentlich verfügbare Version von ChatGPT) verwenden. Insbesondere für die Nutzung solcher Systeme sollten Unternehmen daher interne Richtlinien aufstellen. Aber auch für die Nutzung „geschlossener“ interner Systeme sind Richtlinien wichtig, um die Wahrung datenschutzrechtlicher Anforderungen sicherzustellen. Das gilt vor allem für KI-Systeme, die im Zusammenhang mit rechtlich relevanten Entscheidungen eingesetzt werden (z.B. in Bewerbungsverfahren). Nur wenn „Verfahren so gestaltet werden, dass dem entscheidenden Menschen ein tatsächlicher Entscheidungsspielraum zukommt und nicht maßgeblich aufgrund des KI-Vorschlags entschieden wird“, ist laut DSK ein Verstoß gegen das Verbot automatisierter Einzelfallentscheidungen nach Art. 22 Abs. 1 DS‑GVO ausgeschlossen.

Ein wichtiger Prüfpunkt beim Einsatz von KI-Systemen von Drittanbietern ist nach der Orientierungshilfe außerdem, ob gesonderte datenschutzrechtliche Vereinbarungen zur Auftragsverarbeitung oder zur gemeinsamen Verantwortlichkeit geschlossen werden müssen (vgl. Art. 25, 28 DS-GVO). 

Des Weiteren weist die DSK ausdrücklich darauf hin, dass für Verantwortliche die Pflicht zur Durchführung einer Datenschutz-Folgenabschätzung bestehen kann, wenn ein KI-System etwa sog. Profiling durchführt oder zur umfangreichen Verarbeitung sensibler Daten (z.B. zur Gesundheit) eingesetzt wird. Hierbei sollen laut DSK bereits jetzt die Risikoklassifizierungen und daraus abzuleitenden Pflichten der noch nicht in Kraft getretenen KI-Verordnung beachtet werden. 

Auch wenn KI-Systeme nicht in den Anwendungsbereich des Art. 35 DS‑GVO fallen, sodass eine Datenschutz-Folgenabschätzung nicht verpflichtend ist, sollten Unternehmen ihre Entscheidungen zu Auswahl und Einsatz des Systems zudem umfassend dokumentieren. Insbesondere lassen sich so in der bisher noch recht konturlosen Rechtslage Haftungsrisiken begrenzen. 

Kritik an der Orientierungshilfe der DSK 

Darüber hinaus bietet die Orientierungshilfe wenig Orientierung, insbesondere in den Details:

• Zur Frage der verfügbaren Rechtsgrundlagen etwa verweist die DSK schlicht auf die eingangs erwähnte Vorarbeit des baden-württembergischen Landesdatenschutzbeauftragten, sodass Unternehmen sich im vagen Feld der Interessenabwägung nach Art. 6 Abs. 1 lit. f DS-GVO weiterhin v.a. selbst zurechtfinden müssen.
• Besonders vermisst man eine Hilfestellung zum Thema Transparenz. Dass die gemäß Art. 13 Abs. 2 lit. f, 14 Abs. 2 lit. g DS-GVO erforderliche Information über die bei automatisierten Entscheidungen „involvierte Logik“ eine „Erläuterung der Methode der Datenverarbeitung bezogen auf die Funktionsweise des Programmablaufs im Zusammenhang mit der konkreten Anwendung“ (Rn. 23 der Orientierungshilfe) verlangt, hilft betroffenen Verantwortlichen nicht wirklich weiter. Das höchst praxisrelevante Auskunftsrecht gemäß Art. 15 DS-GVO findet in der Orientierungshilfe praktisch keine Erwähnung (nur höchst oberflächlich in Rn. 22).

In einigen Punkten greift die Orientierungshilfe zudem zu weit: 

• Im Hinblick auf das datenschutzkonforme Training generativer KI ist zwar wohl richtig, dass Verantwortliche die Rechtmäßigkeit der Verarbeitung personenbezogener Daten sicherstellen müssen. Verarbeitet das KI-System jedoch in seiner vom Verantwortlichen eingesetzten Version solche Daten nicht (mehr), trifft den Verantwortlichen keine Pflicht, seine Lieferkette auf Datenschutzverletzungen beim Training des KI-Modells zu überprüfen. Ebenso wenig müssen Verantwortliche (aus datenschutzrechtlichen Gründen) prüfen, ob der Hersteller eines eingekauften Computers oder auch einer eingekauften (KI-freien) Software bei der Herstellung dieser Produkte Datenschutzverstöße begangen hat.
• Zudem verlangt die DSK, dass Accounts, mit denen einzelne Beschäftigte KI-Systeme dienstlich nutzen, nicht mit einer personalisierten, sondern einer bloßen Funktions-E-Mail-Adresse verknüpft sein sollten. Eine dogmatische Begründung bleibt sie indes schuldig.

Fazit und Ausblick

Wie so manche Veröffentlichung der Datenschutzaufsichtsbehörden löst auch die Orientierungshilfe zu generativer KI nicht unbedingt viele praktische Fragen. Sie zeigt jedoch auf, welche datenschutzrechtlichen Punkte Unternehmen beim Einsatz generativer KI-Systeme besonders beachten sollten: 

• Eine sorgfältige Prüfung, ob und inwieweit beim Einsatz des Systems personenbezogene Daten verarbeitet werden, ist in jedem Fall nötig. Dabei sollten Unternehmen auch Daten der Nutzer des Systems und pseudonymisierte Daten in den Blick nehmen. 
• Unternehmen müssen den Output des KI-Systems vor Verwendung auf mögliche Fehler prüfen. Das ist aufgrund des bekannten „Halluzinationsproblems“ bei generativer KI ohnehin praktisch zwingend, aber nach Auffassung der DSK auch datenschutzrechtlich geboten. 
• Unternehmen sollten interne Richtlinien für die Verwendung von KI-Systemen aufstellen, insbesondere wenn das System im Zusammenhang mit u.U. rechtlich belastenden Entscheidungen eingesetzt werden soll (etwa im HR-Bereich).
• Sind an der Datenverarbeitung mehrere Stellen beteiligt, so sollten Unternehmen prüfen, ob eine Auftragsverarbeitung oder eine gemeinsame Verantwortlichkeit besteht und in diesen Fällen die entsprechenden Vereinbarungen abschließen. 
• Unternehmen sollten prüfen, ob der geplante Einsatz eines KI-Systems die Pflicht zur Erstellung einer Datenschutz-Folgenabschätzung auslöst. Auch wenn dies nicht der Fall ist, sollten sie eine umfassende Dokumentation anfertigen, um diese bei Nachfragen der Aufsichtsbehörde oder betroffener Personen vorlegen zu können. 

In jedem Fall wird es sich lohnen, die weiteren aufsichtsbehördlichen Stellungnahmen zum Thema KI und insbesondere etwaige Zwangsmaßnahmen und Bußgelder im Auge zu behalten. Das gilt vor allem, aber nicht nur, wenn die Datenschutzaufsichtsbehörden tatsächlich auch zur Überwachung der Einhaltung der KI-Verordnung berufen werden sollten.