Amenda GDPR in Germania pentru utilizarea AI in decizii privind carduri de credit
Autoritatea de supraveghere din Hamburg a aplicat o sanctiune de 492.000 de euro dupa ce un sistem automatizat a respins cereri de carduri de credit fara explicatii suficiente.
Autoritatea pentru Protectia Datelor si Libertatea Informatiei din Hamburg (conform comunicatului HmbBfDI) a aplicat o amenda de 492.000 de euro unei companii din sectorul financiar, dupa ce a constatat deficiente in modul in care aceasta utiliza decizii automatizate pentru solutionarea cererilor de carduri de credit. Cazul este relevant pentru companiile care utilizeaza algoritmi sau sisteme de inteligenta artificiala in procese care pot produce efecte importante asupra persoanelor.
Investigatia: cand automatizarea afecteaza drepturile persoanei vizate
Investigatia a pornit in urma unor reclamatii formulate de persoane ale caror cereri de carduri de credit fusesera respinse printr-un proces automatizat. Acestea au solicitat explicatii cu privire la motivele respingerii, iar raspunsurile primite nu au fost considerate suficient de clare si de concrete pentru a permite intelegerea deciziilor individuale.
Compania, a carei identitate nu a fost facuta publica de autoritatea germana, activeaza in sectorul financiar, iar sistemul analizat era utilizat pentru evaluarea automata a cererilor online de carduri de credit. Potrivit HmbBfDI, mai multe cereri au fost respinse automat, inclusiv in situatii in care persoanele respective aveau o bonitate buna
Ce a constatat autoritatea germana?
Problema identificata de HmbBfDI nu a fost doar existenta deciziei automatizate, ci faptul ca informatiile furnizate ulterior persoanelor vizate nu erau suficient de concrete pentru a permite intelegerea motivelor care au determinat respingerea cererii. Conform GDPR persoanele vizate trebuie sa poata intelege criteriile dupa care sistemul ia decizia si, atunci cand solicita informatii suplimentare, ce factori au fost decisivi in cazul lor concret.
GDPR nu interzice automatizarea, insa stabileste conditii stricte atunci cand o decizie este luata exclusiv automat, fara interventie umana, si produce efecte juridice sau afecteaza in mod semnificativ persoana vizata. Articolul 22 RGPD ofera persoanelor vizate o protectie speciala in astfel de situatii.
Potrivit HmbBfDI, raspunsurile furnizate persoanelor afectate erau formulate atat de general incat acestea nu puteau identifica criteriile si factorii care avusesera relevanta in cazul lor concret. In cazul deciziilor automatizate, transparenta nu inseamna doar informarea generica a persoanei ca „se utilizeaza un algoritm”.
Persoana vizata trebuie sa poata primi informatii relevante privind logica implicata in procesul automatizat, precum si informatii care sa ii permita sa inteleaga de ce decizia a fost luata in cazul sau. Aceste informatii sunt esentiale si pentru exercitarea drepturilor prevazute de art. 22 alin. (3) RGPD, inclusiv posibilitatea de a solicita interventia unei persoane, de a-si exprima punctul de vedere si de a contesta decizia.
Sanctiunea: 492.000 de euro
Un element interesant al cazului este insa modul in care compania a reactionat in timpul procedurii. Potrivit autoritatii, aceasta a facut eforturi semnificative pentru imbunatatirea proceselor prin care erau respectate drepturile persoanelor vizate si a cooperat in mod extensiv cu autoritatea.
Compania a acceptat sanctiunea, iar eforturile de remediere si cooperarea cu HmbBfDI au fost luate in considerare in mod semnificativ ca factori de atenuare la stabilirea amenzii. Acest aspect este important si pentru management: conformitatea GDPR nu se termina in momentul in care este identificata o problema. Modul in care organizatia reactioneaza, remediaza si coopereaza cu autoritatea poate avea consecinte asupra evaluarii sanctiunii.
Lectia pentru companii: AI trebuie implementat cu GDPR incorporat
Din experienta noastra de consultanta GDPR, riscurile de acest tip apar frecvent atunci cand tehnologia este implementata inainte ca organizatia sa stabileasca suficient de clar regulile juridice si operationale care trebuie sa guverneze utilizarea ei.
In cazul unui sistem AI sau al unui algoritm care utilizeaza date cu caracter personal, intrebarea nu ar trebui sa fie doar daca sistemul functioneaza tehnic.
Trebuie stabilit, inainte de implementare:
- ce date sunt utilizate;
- in ce scop sunt prelucrate;
- care este temeiul juridic;
- daca decizia este exclusiv automatizata;
- ce efecte produce asupra persoanei;
- ce informatii trebuie furnizate persoanei vizate;
- cum poate fi contestata decizia;
- cand si cum poate interveni un factor uman;
- cine este responsabil pentru verificarea rezultatelor sistemului.
In lipsa acestor controale, organizatia poate ajunge in situatia in care sistemul functioneaza corect din punct de vedere tehnic, dar procesul este neconform din punct de vedere GDPR.
Cazul din Germania transmite un mesaj important pentru companiile care introduc inteligenta artificiala in procesele de business: AI nu transfera responsabilitatea de la organizatie catre algoritm.
Faptul ca o decizie este generata automat nu inseamna ca persoana vizata trebuie sa accepte un rezultat pe care nu il poate intelege sau contesta. Dimpotriva, cu cat automatizarea are un impact mai important asupra persoanei, cu atat devin mai importante transparenta, trasabilitatea si posibilitatea unui control uman efectiv. HmbBfDI subliniaza explicit ca, pe masura ce utilizarea algoritmilor si a inteligentei artificiale se extinde, capacitatea de a explica deciziile automatizate devine un element central al protectiei datelor.
Pentru management, intrebarea corecta nu este doar: „Putem utiliza AI pentru a automatiza acest proces?” ci: „Putem demonstra ca procesul automatizat respecta drepturile persoanelor asupra carora produce efecte?”. Aceasta este diferenta dintre adoptarea unei tehnologii si implementarea responsabila a AI.
Cazul sanctionat in Germania arata ca, atunci cand un algoritm ajunge sa ia decizii importante despre oameni, capacitatea de a explica decizia, transparenta si controlul uman nu sunt doar bune practici – ele devin elemente esentiale ale conformitatii GDPR.