L’Autorità di controllo di Amburgo ha irrogato ad una società del settore finanziario una sanzione di quasi 500.000 euro per aver violato i diritti dei propri clienti attraverso decisioni interamente automatizzate e prive di trasparenza. Più precisamente, nonostante l’accertata meritevolezza creditizia e solvibilità dei correntisti, un algoritmo privo di supervisione umana decideva autonomamente in merito alle richieste di rilascio di carte di credito. Gli interessati a cui era stato negato il servizio si rivolgevano alla società per conoscere la motivazione di tale decisione, tuttavia, quest’ultima non ottemperava agli obblighi informativi previsti dalla normativa.
La vicenda impone il rinvio al Regolamento generale sulla protezione dei dati personali (GDPR) che all’art. 22 riconosce il diritto dell'interessato a “non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona”. Ciò può verificarsi, ad esempio, in presenza di un rifiuto automatico di una domanda di credito online o di pratiche di assunzione elettronica senza interventi umani (Cons. 71 del GDPR).
Tuttavia, la disposizione ammette alcune eccezioni qualora la decisione: i) sia necessaria per la conclusione o l'esecuzione di un contratto tra l'interessato e un titolare del trattamento; ii) sia autorizzata dal diritto dell'Unione o dello Stato membro cui è soggetto il titolare del trattamento, che precisa altresì misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell'interessato; iii) si basi sul consenso esplicito dell'interessato.
In presenza di un procedimento decisionale automatizzato di cui all’art. 22 GDPR, il titolare del trattamento dei dati personali dovrebbe innanzitutto attuare misure appropriate per tutelare i diritti e le libertà degli interessati, consentendo loro di esprimere la propria opinione, ottenere una spiegazione, contestare la decisione e, in ogni caso, garantire l'intervento umano. Obblighi di trasparenza derivano altresì dagli artt. 13 par. 2 lett. f) e 14 par. 2 lett. g) del GDPR, che impongono al titolare di comunicare agli interessati l’esistenza di un processo decisionale automatizzato, informazioni significative sulla logica utilizzata, l’importanza e le conseguenze previste da tale trattamento per l’interessato.
Sul fronte dell’AI, il Regolamento (UE) sull’intelligenza artificiale 2024/1689 (AI Act) considera ad alto rischio un sistema avente un rischio significativo di danno per i diritti fondamentali delle persone fisiche, anche nel senso di influenzare materialmente il risultato del processo decisionale (Cons. 58 “in quanto determinano l’accesso…alle risorse finanziarie o a servizi essenziali quali l’alloggio, l’elettricità e i servizi di telecomunicazione. I sistemi di IA utilizzati a tali fini possono portare alla discriminazione fra persone o gruppi e possono perpetuare modelli storici di discriminazione, come quella basata sull’origine razziale o etnica, sul genere, sulle disabilità, sull’età o sull’orientamento sessuale, o possono dar vita a nuove forme di impatti discriminatori”). Tra questi, ai sensi dell’Allegato III, punto 5 lett. b), sono ricompresi anche i sistemi di IA destinati a essere utilizzati per valutare l'affidabilità creditizia delle persone fisiche o a stabilire il loro merito di credito (salvo ai fini di individuare frodi finanziarie).
Non solo. Il Regolamento impone ai fornitori di un sistema di AI ad alto rischio una serie di obblighi complementari a quelli previsti dal GDPR in caso di decisioni automatizzate di cui all’art. 22. Basti pensare all’obbligo di progettare e sviluppare detti sistemi in modo tale da garantire che il loro funzionamento sia “sufficientemente trasparente da consentire ai deployer di interpretare l'output del sistema e utilizzarlo adeguatamente” (art. 13), alle istruzioni per l’uso che contengano informazioni sintetiche, complete, corrette, chiare e comprensibili agli utenti che precisino, tra l’altro, la finalità prevista dal sistema di IA, il suo livello di accuratezza, robustezza e cybersicurezza, le specifiche per i dati di input (o qualsiasi altra informazione pertinente in termini di set di dati di addestramento, convalida e prova). Ciò consente ai deployer di interpretare ed utilizzare correttamente l'output, tuttavia, in ogni caso, è necessaria la sorveglianza umana così da prevenire o ridurre al minimo i rischi per i diritti fondamentali (art. 14). Pertanto, la trasparenza e la supervisione dell’uomo (human in the loop) sono le chiavi per scongiurare il rischio di opacità dei sistemi che, diversamente, potrebbero costituire una vera e propria black box, in violazione degli obblighi imposti dalle normative.
In conclusione, alla luce di tutto quanto sopra evidenziato, sono chiare le ragioni che hanno spinto l’Autorità di Amburgo a irrogare la sanzione alla società. Infatti, un algoritmo privo di supervisione umana che decide sulla richiesta di concedere la carta di credito, ben può considerarsi rientrante nella definizione di cui all’art. 22 GDPR, nonché essere identificato come sistema di AI ad alto rischio. Conseguentemente, la società finanziaria che se ne serve ha l’obbligo di garantire agli interessati la supervisione umana, il diritto di opporsi (opt-out) e di essere informati (nei termini sopra richiamati) al fine di permettere ai medesimi di comprendere a pieno la portata del trattamento dei propri dati personali e le conseguenze da esso derivanti. Ciò, a maggior ragione, visto che la decisione algoritmica nel caso concreto può condurre a discriminazioni o comunque all’esclusione da un servizio essenziale quale può essere il diritto di ricevere una carta di credito, anche in caso di accertata meritevolezza creditizia e solvibilità.
