1. O condamnare discutabilă
În 2013, Eric Loomis era condamnat la șase ani de închisoare de o instanță din statul Wisconsin, SUA. La individualizarea judiciară a pedepsei s-a ținut seama de un algoritm care îl evaluase ca prezentând risc ridicat de recidivă. Când Loomis a cerut să înțeleagă formula după care fusese judecat, i s-a explicat că aceasta constituie secret comercial al unei companii private. Omul nu putea vedea, contesta sau înțelege motivul.[1]
În Europa sunt discuții pentru acceptarea AI în justiție. Eu mă întreb dacă suntem pregătiți să acceptăm un astfel de mecanism precum cel descris mai sus. Știu că judecătorul greșește uneori, dar există o diferență între a corecta un om și a-l elimina din ecuație. Oare realizăm ce anume urmează să cedăm?
2. Cine a decis că algoritmul are dreptate
În dezbaterile despre inteligența artificială în justiție se susține că algoritmii sunt obiectivi pentru că sunt matematici. Prin urmare, s-ar înlătura orice formă de subiectivism al judecătorului.
E o iluzie și încă una periculoasă. Orice algoritm înscrie în arhitectura lui alegerile celor care l-au construit aspecte precum: ce variabile contează, cum se ponderează, ce prag separă riscul acceptabil de cel inacceptabil. Acestea nu sunt chestiuni tehnice, ci întrebări cu substrat moral. Iar când răspunsurile sunt îngropate în cod și protejate ca secret comercial, devin de neatins.
Lawrence Lessig, profesor la Harvard și unul dintre cei mai influenți teoreticieni ai dreptului digital, a spus acum douăzeci de ani: „codul este lege”.[2]
Să ne gândim la diferența dintre un semn de circulație și un separator de beton. Semnul îți interzice să depășești — dar poți să o faci, asumându-ți riscul. Separatorul de beton face depășirea fizic imposibilă. Nu te avertizează, nu te pedepsește, nu îți cere acordul. Pur și simplu elimină opțiunea. Cam așa funcționează un algoritm față de o lege: nu îți spune ce e permis și ce nu — îți construiește o realitate în care anumite drumuri pur și simplu nu există.
Să ne imaginăm că în România computerul judecătorului ar apela la un algoritm care produce un scor de risc pentru inculpatul care urmează să vină în sala de judecată. De fapt, algoritmul nu ar asista judecătorul, ci ar prefigura hotărârea lui. Judecătorul care vede afișat scorul „risc ridicat” pentru recidivă nu pornește de la zero în judecata sa. Iar, în final, algoritmul nu ar fi ținut să își motiveze soluția.
Consider că aceasta nu e o problemă de performanță tehnică. E o problemă de legitimitate: cine autorizează acest sistem să exercite putere asupra oamenilor? Niciun parlament nu a votat-o, nicio instanță nu a validat-o, dar totuși există în sala de judecată mimând obiectivitatea.
3. Ce arată dovezile
În cazul american expus s-a făcut o investigație de publicația ProPublica. Aceasta, în anul 2016, a demonstrat empiric că algoritmul COMPAS — același folosit în cazul Loomis, comun în peste douăzeci de state americane — etichetase inculpații de culoare ca risc ridicat de aproape două ori mai frecvent decât inculpații albi care nu comiseseră ulterior nicio altă infracțiune.[3] Așadar, algoritmul însuși prelua o prejudecată din datele generate de practicile în aplicarea legii existente de decenii — și o proiecta înainte, îmbrăcată în autoritatea matematicii.
Compania producătoare a contestat metodologia ProPublica, susținând că sistemul satisface standardele tehnice de acuratețe.[4] Răspunsul companiei îmi confirmă tocmai problema. Ea nu a negat că există disparități, ci a susținut că algoritmul e „corect” după o altă definiție a corectitudinii. Iată, deci, că există mai multe moduri de a măsura echitatea unui algoritm, iar matematica demonstrează că nu poți să le satisfaci pe toate simultan. Trebuie să alegi, iar acea alegere — care grup suportă mai multe erori, în favoarea cărei valori se sacrifică alta — e o decizie de altă natură decât cea tehnică. Ei bine, această decizie fusese luată în liniște, de ingineri, în birourile unei companii private, fără ca vreun cetățean, vreun legiuitor sau vreun judecător să fi fost întrebat. Apoi a fost apoi prezentată publicului ca rezultat obiectiv al unui calcul. Așadar, nu era vorba că algoritmul a greșit, ci că acesta a luat o decizie morală, chiar politică, prefăcându-se că face matematică.
În Marea Britanie, sistemele de poliție predictivă au generat un fenomen pe care cercetătorii îl numesc „bucla de feedback”: datele istorice direcționau mai mulți polițiști spre cartierele defavorizate, mai mulți polițiști făcea mai multe arestări, mai multe arestări alimentau algoritmul, algoritmul justifica și mai multă prezență polițienească. Sistemul nu descoperea infracționalitate, ci o fabrica, transformând consecințele structurale ale unui sistem inechitabil în dovadă obiectivă, cuantificată, greu de contestat.[5]
În Estonia s-a experimentat automatizarea completă a litigiilor de valoare mică, sub 7000 euro, un sistem care genera hotărâri judecătorești pe baza documentelor depuse, fără niciun judecător în ecuație. Și totuși, o întrebare simplă: mai e asta un proces în sensul constituțional al cuvântului?[6]
4. Când nimeni nu răspunde
Ceea ce mă preocupă cel mai mult în toate aceste cazuri nu e că algoritmii au greșit — căci și oamenii greșesc. Dar atunci când algoritmul greșește, nimeni nu poate fi tras la răspundere. În cazurile menționate judecătorul a arătat spre soft, compania care a dezvoltat softul a arătat spre date. Responsabilitatea s-a diluat de-a lungul unui lanț de delegări tehnice până a devenit de neidentificat.
Or, responsabilitatea morală, în accepțiunea sa filosofică fundamentală, presupune trei condiții: un subiect capabil de deliberare, o decizie luată prin exercitarea acestei capacități și asumarea răspunderii pentru consecințele deciziei.⁷ Toate trei sunt simultan prezente în actul judecătorului uman, dar toate trei sunt simultan absente când actul e transferat unui sistem automatizat.
Hannah Arendt, analizând procesul lui Adolf Eichmann la Ierusalim în 1961, a identificat ceea ce a numit „banalitatea răului”: răul nu vine neapărat din ură sau sadism, ci din absența gândirii — din incapacitatea sistematică de a privi realitatea din perspectiva celui pe care îl afectezi.[7] Algoritmul, prin natura sa, nu poate privi realitatea din perspectiva nimănui. Procesează date despre oameni fără să îi înțeleagă. Iar un sistem de justiție care ar deleagă deciziile către algoritm de fapt nu ar introduce o eficiență neutră, ci ar instituționaliza această incapacitate.
Nu susțin că designerii de algoritmi sunt echivalenți morali ai lui Eichmann. Susțin ceva mai precis: că logica structurală a soluționării algoritmice reproduce, la nivel instituțional, dinamica pe care Arendt a identificat-o ca precondiție a injustiției administrative. Banală, neintenționată, perfect procedurală.
5. Un argument al CCR
S-ar putea crede că această problemă e un subiect de dezbatere occidentală, departe de România. Cred că e o eroare de perspectivă.
Curtea Constituțională a României a pronunțat, în februarie 2018, o decizie pe care o consider una dintre cele mai relevante din jurisprudența sa pentru această dezbatere — Decizia nr. 22/2018 —, fără ca aceasta să fi fost analizată vreodată în literatura privind justiția algoritmică.[8] Curtea fusese sesizată cu o problemă aparent tehnică: poate fi un judecător care a văzut probe excluse ulterior obligat să decidă ca și cum nu le-ar fi văzut? Răspunsul Curții a fost categoric: nu. Formarea convingerii judiciare este un proces cognitiv ireductibil — o realitate psihologică specifică judecătorului ca subiect uman conștient. Judecătorul nu poate să nu se facă că nu a văzut... ceea ce tocmai văzuse.
CCR recunoștea, în esență, că interioritatea umană a judecătorului — subiectivitatea sa ireductibilă ca ființă conștientă — nu e un defect al sistemului judiciar, corectabil prin mecanisme procedurale. E o condiție constitutivă a actului de a judeca. Orice sistem care elimină sistematic această interioritate nu produce hotărâri mai obiective, ci produce hotărâri cărora le lipsește o condiție esențială a legitimității lor.
Iată cum CCR a României a răspuns, în principiu, la problema care mă frământă, mai înainte ca întrebarea să fie formulată explicit în dezbaterea europeană.
6. Reglementarea europeană
Uniunea Europeană a adoptat în 2024 Regulamentul privind AI, care consideră sistemele AI utilizate în administrarea justiției drept aplicații cu risc ridicat, supuse celor mai exigente cerințe de reglementare — transparență, supraveghere umană, evaluare de conformitate.[9] Consiliul Europei a adoptat Convenția-cadru privind AI, care impune statelor membre să garanteze un control uman semnificativ asupra sistemelor AI în contexte care afectează drepturi fundamentale.[10] Carta Etică privind AI în Justiție a CEPEJ stabilise încă din 2018 că decizia finală trebuie să aparțină întotdeauna unui judecător uman.¹²
Acestea sunt progrese reale, dar au, toate, o limită comună: stabilesc condițiile în care AI poate fi folosit în justiție, fără să pună întrebarea prealabilă și mai profundă — există funcții judiciare care nu pot fi delegate unui sistem automatizat indiferent de condițiile de utilizare? Astfel, reglementările menționate cer prezența unui om, dar nu definesc ce înseamnă că decizia „aparține" acelui om atunci când el depinde tehnic de un instrument pe care nu îl poate evalua independent.
7. Întrebarea pe care vom refuza să o punem
Vor trece ani. Sunt sigur că AI își va face loc în justiție. Și, la un moment dat, ne vom pune o întrebare. Una mult mai incomodă decât „Sunt algoritmii corecți?”. Și anume: ce relevă despre noi — despre cultura noastră juridică, despre arhitectura noastră judiciară — faptul că mai degrabă avem încredere într-un sistem care nu poate fi interogat decât într-un judecător responsabil?
Omenirea a construit mecanisme de control administrativ și disciplinar, proceduri de atac a hotărârilor, modalități de evaluare, ghiduri de aplicare a pedepsei[11] — toate menite, în parte, să limiteze influența judecătorului uman. L-am tratat, progresiv, ca pe o problemă de gestionat, nu ca pe o garanție de protejat. Am golit treptat spațiul deliberării judiciare, am suspectat conștiința de arbitrariu și am confundat conformismul textual cu independența[12]. Și apoi ne-am mirat că algoritmii au umplut vidul — reproducând la scară industrială, cu autoritatea matematicii, exact inegalitățile pe care îi proiectasem să le corecteze.
Algoritmul nu se impune justiției. Chiar noi îl invităm, pentru că nu mai avem încredere în judecători. Vom prefera opacitatea cutiei negre în loc de transparența unei hotărâri motivate, semnate, asumate personal. Și vom considera, detașați, că eliminarea responsabilității morale e semn de progres al obiectivității.
Între textul legii și viața celui judecat trebuie să rămână un om. Un om care gândește, îndoiește, cântărește și răspunde. Algoritmul poate calcula, dar nu poate judeca. Iar o justiție care uită diferența nu devene mai rațională, ci mai puțin umană. Și, prin urmare, mai puțin dreaptă.
NOTE:
[1] State v. Loomis, 881 N.W.2d 749 (Wis. 2016). Decizia a suscitat critici academice substanțiale pentru că a validat utilizarea unui instrument opac și nevalidat pe populația locală ca element al individualizării pedepsei. Curtea a recunoscut limitele COMPAS, dar a concluzionat că judecătorul nu se bazase „exclusiv” pe scor — un raționament care, în opinia multora dintre comentatori, evită întrebarea esențială: ce înseamnă că o condamnare e parțial întemeiată pe un calcul ce nu poate fi contestat?
[2] Lawrence Lessig, Code: Version 2.0, Basic Books, New York, 2006, p. 5, online la https://upload.wikimedia.org/wikipedia/commons/f/fd/Code_v2.pdf. Teza centrală e simplă și tulburătoare: un sistem tehnic nu îți interzice să faci ceva, ci elimină posibilitatea să faci acel lucru. Legea spune „Să nu furi!” și te pedepsește dacă o încalci. Codul unui algoritm face pur și simplu ca anumite opțiuni să nu existe. E o diferență enormă: prima abordare îți respectă libertatea și te responsabilizează; a doua o elimină, fără să îți ceară acordul.
[3] Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, „Machine Bias", ProPublica, 23 mai 2016, online la www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing Investigația a analizat scorurile COMPAS atribuite a peste 7.000 de inculpați din Broward, Florida, între 2013 și 2014, și a urmărit evoluția lor pe doi ani. Metodologia a generat o controversă academică semnificativă privind definițiile matematice ale echității — care nu pot fi toate satisfăcute simultan.
[4] William Dieterich, Christina Mendoza, Tim Brennan, „COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity", Northpointe Inc., iulie 2016, online la https://go.volarisgroup.com/rs/430-MBX-989/images/ProPublica_Commentary_Final_070616.pdf
[5] Marion Oswald, „Algorithm-assisted decision-making in the public sector: framing the issues using administrative law rules governing discretionary power", Philosophical Transactions of the Royal Society A, vol. 376, nr. 2128, 2018, online la https://royalsocietypublishing.org/rsta/article/376/2128/20170359/115642/Algorithm-assisted-decision-making-in-the-public ; Rashida Richardson, Jason Schultz, Kate Crawford, „Dirty Data, Bad Predictions: How Civil Rights Violations Impact Police Data, Predictive Policing Systems, and Justice", New York University Law Review Online, vol. 94, 2019, pp. 192–233, online la https://www.nyulawreview.org/wp-content/uploads/2019/04/NYULawReview-94-Richardson_etal-FIN.pdf Fenomenul „datelor murdare" — date generate de practici discriminatorii care alimentează sisteme prezentate ca obiective — este una dintre problemele cele mai grave și mai puțin discutate ale justiției predictive.
[6] Experimentul estonian ridică întrebări nerezolvate sub art. 6 din Convenția Europeană a Drepturilor Omului — dreptul la un proces echitabil —, în special privind cerința unui tribunal independent și imparțial care să examineze efectiv argumentele părților.
[7] Hannah Arendt, Eichmann in Jerusalem: A Report on the Banality of Evil, ed. rev., Penguin Books, London, 2006, p. 287 (Postfață). Conceptul de „banalitate a răului” a fost adesea simplificat în dezbaterea publică. Arendt nu susținea că Eichmann era banal ca persoană, ci că răul pe care l-a participat era structural-banal: produs de absența gândirii, nu de prezența urii. Această distincție e esențială pentru aplicarea analogiei la soluționarea algoritmică a cauzelor judiciare.
[8] Curtea Constituțională a României, Decizia nr. 22/2018, publicată în Monitorul Oficial al României, Partea I, nr. 177, 26 februarie 2018, par. 19–22. Decizia a fost pronunțată în contextul unor excepții de neconstituționalitate privind normele procedurale referitoare la excluderea probelor. Argumentul Curții privind ireductibilitatea procesului cognitiv al judecătorului nu a fost, din câte știu, analizat în studiile dedicate limitelor constituționale ale automatizării judiciare.
[9] Regulamentul (UE) 2024/1689 al Parlamentului European și al Consiliului din 13 iunie 2024 privind inteligența artificială (Actul privind IA), JO L, 2024/1689, 12 iulie 2024, pct. 61 Preambul și pct. 8 din Anexa III, online la https://eur-lex.europa.eu/eli/reg/2024/1689. Actul nu interzice utilizarea AI în justiție, ci o permite sub condiții stricte.
[10] Convenția-cadru a Consiliului Europei privind inteligența artificială și drepturile omului, democrația și statul de drept (CETS nr. 225), Vilnius, 5 septembrie 2024, art. 5, online la https://rm.coe.int/1680afae3c. E primul instrument internațional juridic obligatoriu privind AI. România a semnat convenția, fără să fi ratificat-o încă la data redactării acestui text.
[11] P.F. Strawson, „Freedom and Resentment", Proceedings of the British Academy, vol. 48, 1962, pp. 1–25, online la https://www.thebritishacademy.ac.uk/publishing/proceedings-british-academy/proceedings-volumes-1-111/48/strawson. Analiza lui Strawson a responsabilității morale ca practică relațională întemeiată pe atitudini reactive — recunoaștere, resentiment, indignare morală — este fundamentală pentru a înțelege de ce responsabilitatea nu poate fi „distribuită" unui sistem tehnic: atitudinile reactive presupun un destinatar uman.
[12] Comisia Europeană pentru Eficiența Justiției (CEPEJ), Carta Etică Europeană privind Utilizarea Inteligenței Artificiale în Sistemele Judiciare, Consiliul Europei, Strasbourg, 2018, online la https://rm.coe.int/ethical-charter-en-for-publication-4-december-2018/16808f699c. Principiul 5 — principiul „sub controlul utilizatorului" — stabilește că instrumentele AI trebuie să rămână sub autoritatea judecătorului, iar decizia finală trebuie să aparțină întotdeauna unui om. Carta nu e juridic obligatorie, dar reflectă consensul european emergent și a influențat direct reglementările ulterioare.
ANTERIOR :