Die italienische Datenschutzbehörde hat gegen das US-Unternehmen Luka, Inc., Betreiber des KI-gestützten Chatbots „Replika“, eine Geldbuße von 5 Millionen Euroverhängt und eine unabhängige Untersuchung zur Verarbeitung personenbezogener Daten durch das KI-System eingeleitet.
Replika ist ein Chatbot, der als virtueller Begleiter zur emotionalen Unterstützung dient und je nach Wunsch als FreundIn, TherapeutIn, romantische PartnerIn oder MentorIn fungieren kann. Folgende Datenschutzvorwürfe werden Luka, Inc. von der italienischen Datenschutzbehörde gemacht:
- Fehlender Nachweis geeigneter Rechtsgrundlagen (Art. 6 DSGVO):
Die Datenschutzerklärung nannte keine konkreten Rechtsgrundlagen für einzelne Verarbeitungsvorgänge, insbesondere nicht für die Weiterverarbeitung der Daten zu Trainingszwecke des LLMs.
- Unzureichende Datenschutzerklärung (Art. 13, 14 DSGVO):
Die ausschließlich englischsprachige und unvollständige Datenschutzerklärung war weder verständlich für italienischsprachige Nutzende noch transparent in Bezug auf zentrale Aspekte der Datenverarbeitung, wie bei der Speicherdauer, beim Drittlandstransfer und automatisierter Entscheidungsfindung .
- Fehlende Altersverifikation (Art. 8 DSGVO):
Luka habe keine wirksamen technischen Maßnahmen zur Altersprüfung implementiert, obwohl sie Minderjährige von der Nutzung ausgeschlossen haben. Minderjährige hatten trotz offener Angabe eines Alters unter 18 ungehinderten Zugang zu nicht altersgerechten Inhalten bei der Nutzung von Replika.
Der Fall Replika macht deutlich, dass KI-Anwendungen von Anfang an datenschutzkonform gestaltet werden müssen, insbesondere wenn sie emotional oder psychologisch auf NutzerInnen einwirken. Transparenz bei automatisierten Entscheidungen, Schutz Minderjähriger und klare Zweckbindung der Datenverarbeitung sind dabei unerlässlich. Außerdem zeigt der Fall, dass Aufsichtsbehörden auch komplexe KI-Systeme prüfen und bei Verstößen konsequent sanktionieren.
Wir unterstützen Sie gerne mit einer rechtlichen Prüfung oder strategischen Beratung zur DSGVO-konformen Gestaltung Ihrer KI-Anwendungen. Sprechen Sie uns an!