Ha suscitato scalpore, in tutta Europa, la notizia della sanzione pari a 5 milioni di euro che è stata irrogata dall’Autorità Garante italiana per la protezione dei dati personali (in seguito anche “Garante Privcy”) nei confronti della società statunitense Luka Inc. che gestisce il chatbot Replika, noto per fornire agli utenti una sorta di compagno virtuale (“AI companion”). Vediamo ora le ragioni in dettaglio che hanno portato al provvedimento sanzionatorio del 10 aprile 2025.
La società statunitense che gestisce Replika, il chatbot dotato di una interfaccia scritta e vocale che basandosi sull’intelligenza artificiale genera un “amico virtuale” (“Avatar” o “Sistema di IA”), era già stata oggetto di contestazioni da parte del Garante Privacy nel mese di febbraio, 2023, quando l’Autorità aveva disposto con effetto immediato la limitazione provvisoria del trattamento dei dati personali degli utenti europei alla luce delle indagini che avevano fatto emergere diversi rischi per i diritti (connessi alla protezione dei dati personali, ma con importanti ricadute sul piano della capacità di autodeterminazione) dei minori d’età e dei soggetti in condizione di fragilità emotiva.
Nel mese di giugno 2023, l’Autorità ha deliberato la sospensione del provvedimento di limitazione provvisoria a condizione che il titolare, ex art. 58, par. 2, lett. d) del Regolamento UE 2016/679 (“GDPR”), adottasse misure idonee a garantire che le attività di trattamento dei dati personali nell’ambito del servizio Replika avvenissero in modo conforme alla normativa in materia di protezione dei dati personali.
A distanza di quasi due anni, il Garante Privacy ha avviato d’ufficio un nuovo procedimento per accertare la conformità del Sistema di IA, la cui diffusione commerciale è nel frattempo aumentata in modo significativo, proponendosi sul mercato come chatbot finalizzato a migliorare l’umore e il benessere emotivo dell’utente, favorendone la capacità di comprendere e gestire i propri pensieri e sentimenti. Replika sostiene infatti di impiegare un sistema di “intelligenza artificiale generativa”, focalizzato sulla produzione di contenuti inediti e innovativi mediante l’impiego di algoritmi neurali, che consentono il riconoscimento di oggetti, forme o pattern.
Nel corso dell’istruttoria, il Garante ha riscontrato le violazioni delle disposizioni contestate nel provvedimento di blocco del febbraio 2023. Secondo il Garante, la società statunitense non ha infatti:
- Identificato le basi giuridiche delle operazioni di trattamento effettuate attraverso Replika;
- Fornito un’informativa in linguaggio chiaro e comprensibile, nonchè modulato sulla base dell’età e della condizione degli utenti che potevano accedere al Sistema di IA, oltre che dettagliata in merito alle diverse finalità di trattamento perseguite da Replika, tra cui la finalità di miglioramento della performance del Sistema di IA, tramite addestramento dell’algoritmo sui dati degli utenti;
- Implementato un idoneo e necessario meccanismo per il riconoscimento dell’età degli utenti né nell’atto di registrazione al servizio, né durante il suo utilizzo, nonostante la società dichiarasse di escludere i minorenni tra gli utenti.
In relazione a tale ultimo aspetto, in particolare, il Garante ha richiamato la necessità di adottare:
- una procedura di verifica dell’età dell’utente (il sistema richiedeva solo nome, email e genere) con conseguente rischio di proposizione ai minori di risposte inidonee rispetto al loro grado di sviluppo ed autoconsapevolezza, tra cui contenuti sessualmente espliciti;
- meccanismi di interdizione o blocco anche a fronte di dichiarazioni dell’utente che rendessero evidente la sua minore età, nonché la proposizione di risposte da parte del chatbot palesemente in contrasto con le tutele che andrebbero assicurate ai minori e, più in generale, a tutti i soggetti più fragili.
Nonostante gli interventi correttivi apportati dalla società in corso d’istruttoria, il Garante Privacy ha ritenuto tuttora non conforme l’informativa (fornita in lingua inglese e non trasparente in merito a tempi di conservazione dei dati e possibile trasferimento extra UE) e il meccanismo di verifica dell’età che, alla luce di quanto sopra, si pone in contrasto con i principi di di privacy by design e by default.
Avv. Lorenzo Baudino Bessone e Dott.ssa Lucrezia Uva
