Il caso Compas e il tema della giustizia predittiva, tra opacità e distorsioni

È circostanza ben nota che l’incalzante e inarrestabile evoluzione tecnologica abbia oramai fatto pieno ingresso anche nel mondo giuridico. Tra le molteplici novità, figlie del progresso tecnico-scientifico, utilizzate anche in ambito legale, risulta ampiamente diffuso, al giorno d’oggi, il ricorso ad algoritmi e sistemi di intelligenza artificiale.

A tal proposito, a titolo esemplificativo, è possibile citare alcune delle principali legal technologies che sfruttano tali strutture intelligenti.

Nell’ambito della contract automation ritroviamo meccanismi di due diligence che permettono di rilevare specifiche anomalie in una mole di contratti.

Nel settore della legal research è fatto uso di sistemi che interrogano database per estrarre materiali utili e precedenti giurisprudenziali.

In questa sede, tuttavia, si intende porre l’attenzione sul tema della giustizia predittiva, vale a dire la possibilità sistematica di prevedere l’esito di un giudizio, ovvero le chances di vittoria o soccombenza relativamente ad una specifica questione di fatto e/o di diritto controversa, tramite il ricorso ad algoritmi matematici.

Preliminarmente, occorre comprendere quali siano le modalità di funzionamento dell’algoritmo predittivo il cui utilizzo viene in tale ambito prospettato.

Esistono, invero, diverse tipologie di intelligenza artificiale.

Alcune producono degli output, cioè dei risultati, elaborando le informazioni incamerate sulla base di una serie predefinita di input forniti alla macchina da coloro che partecipano alla catena produttiva.

Altre, invece, sono generate tramite Machine Learning (apprendimento automatico), vale a dire meccanismi che permettono ad un’intelligenza artificiale di modificare e migliorare le proprie capacità e prestazioni nel tempo attraverso l’esperienza. Si tratta, in questo caso, di una macchina che viene dotata di un elevatissimo grado di autonomia, tanto da permettere al dispositivo di adottare e attuare decisioni indipendentemente dal controllo umano.

Nel caso di specie, l’intelligenza artificiale di cui ci si serve sfrutta un sistema Deep Learning, una sottocategoria del Machine Learning, mediante l’applicazione del quale avremo una macchina che riesce autonomamente a classificare i dati e a strutturarli gerarchicamente, venendo simulati i processi di apprendimento del cervello biologico attraverso sistemi artificiali (cosiddette reti neurali artificiali) e migliorando le proprie prestazioni con l’apprendimento continuo.

In tal modo, saranno individuate le informazioni più rilevanti e utili alla risoluzione di uno specifico problema, alla stregua di quanto sarebbe in grado di fare la mente umana.

In realtà, la teorizzazione di un modello matematico in grado di prospettare l’esito di una questione controversa non è un qualcosa di totalmente innovativo.

Già Leibniz[1], in una sua celebre opera del XVII secolo, avanzava la concreta possibilità di utilizzare modelli matematici ai fini della risoluzione di una disputa.

Si pensi alla sua considerazione futuristica, orientata all’idea di certezza declinata in senso perfettamente matematico: “quando sorgeranno delle controversie, non ci sarà maggior bisogno di discussione tra due filosofi di quanto ce ne sia tra due calcolatori. Sarà sufficiente, infatti, che essi prendano la penna in mano, si siedano a tavolino, e si dicano reciprocamente (chiamato, se loro piace, un amico): calcoliamo”.

In Francia, nel 1709, il matematico Bernoulli sosteneva una tesi sull’uso giudiziario del calcolo delle probabilità, intitolata “De Usus Artis Conjectandi in jure”, in cui faceva emergere la nozione di probabilità del giudizio.

Loevinger[2], a cui si devono le prime riflessioni già nel 1949 sul rapporto tra diritto e tecnologie informatiche, propose la creazione di una nuova scienza giuridica definita come “l’applicazione del metodo scientifico allo studio del diritto”, il cui scopo era il calcolo della probabilità delle decisioni giudiziarie.

Da tali trattazioni, emerge come la certezza del diritto in realtà altro non è se non la prevedibilità dell’esito giudiziale. Pertanto sarebbe possibile affermare che la giustizia predittiva nient’altro rappresenta se non la naturale e immediata conseguenza del principio di certezza del diritto.

L’idea di un giudizio tale che, nella gestione di una controversia, la vicenda concreta sarà ricondotta entro i confini di una determinata fattispecie normativa, si concreta in calcolo di quello che Irti[3] definisce “il futuro giuridico”.

Sopra un diritto (certo), che può tradursi in calcolo, si possono edificare aspettative, insomma si può farne affidamento. Ciò consente all’odierno homo oeconomicus di agire meglio in coerenza con le proprie finalità.

A tal fine, basti evocare la funzione nomofilattica della Corte di Cassazione, alla stregua di una “concezione ‘matematizzante’ del diritto”, tanto che, oltre tale perimetro, si sconfinerebbe in un “diritto incalcolabile”.[4]

Il passo logico verso l’ipotesi di un algoritmo con funzione predittiva della decisione giudiziale è, in teoria, breve.

È necessario sin da subito precisare, tuttavia, che tanto la dottrina quanto la giurisprudenza, non hanno mai teorizzato l’ipotesi di una totale sostituzione della macchina all’uomo nella prospettiva della realizzazione di un “giudice-robot”.

Si ritiene, difatti, che l’attività ermeneutica e, conseguentemente, quella decisoria, debbano rimanere ad appannaggio dell’uomo, in quanto soltanto l’essere umano è dotato della sensibilità ed accuratezza necessarie ad emettere il giudizio più adeguato al singolo caso.

L’impiego di tecnologie che permettano di analizzare precedenti e dati in maniera più precisa e oggettiva può essere utile nel realizzare una giustizia più certa, dunque più equa, ma è altresì vero che giungere ad un certo risultato finale semplicemente perché ciò è quanto suggerito dai sistemi matematici di calcolo su cui si basa l’algoritmo adoperato potrebbe determinare profonde ingiustizie, allontanandosi dalla prospettiva di una giustizia effettiva.

Il caso emblematico che ha portato alla luce il tema della giustizia predittiva è quello relativo all’applicazione della tecnologia del software Compas (Correctional offender management profiling for alternative sanctions), a seguito della sentenza emessa dalla Corte Suprema dello Stato del Wisconsin nel 2016[5], con la quale la Corte si è pronunciata in merito all’appello di Eric L. Loomis, la cui pena a sei anni di reclusione era stata comminata dal tribunale circondariale di La Crosse.

Fermato dalla polizia nel 2013 alla guida di un’automobile precedentemente utilizzata nel corso di una sparatoria, a Loomis venivano imputati diversi capi d’accusa.[6]

La Corte, prima di pronunciarsi con sentenza in merito alla determinazione della pena, ordinava l’elaborazione di una relazione circa i risultati delle investigazioni condotte sulla storia personale dell’imputato, al fine di verificare la presenza di circostanze utili a modulare la severità della pena.

Tale relazione avrebbe dovuto includere anche i risultati elaborati dal programma Compas, consistente in uno strumento di valutazione funzionante mediante algoritmo, concepito per prevedere il rischio di recidiva di ciascun imputato.

Dunque, l’algoritmo in parola è stato utilizzato in sede di commisurazione della pena da

comminare all’imputato, una volta che è stato riconosciuto colpevole e, per l’effetto,

il medesimo ha subito un aumento di pena correlato al rischio di recidiva, così come calcolato dall’algoritmo stesso.

L’algoritmo suindicato elabora dunque i dati ottenuti dal fascicolo dell’imputato, tra i quali figurano anche il trascorso criminale e le condizioni socioeconomiche e personali della persona, e dalle risposte fornite nel colloquio con lo stesso. Così facendo, esso è in grado di tracciare un grafico dal quale sarà possibile evincere la valutazione del rischio di recidiva prospettata dal sistema, che potrà essere classificata come low, medium o high.

Nel caso di Loomis, i calcoli dell’algoritmo attestavano un alto livello di rischio di recida. Pertanto il tribunale circondariale, tenendo in considerazione anche i risultati del Compas ai fini della determinazione della pena, optava per la comminazione di sei anni di reclusione.

Il condannato presentava perciò istanza di revisione della pena, lamentando che la decisione del tribunale circondariale, nel prendere in considerazione i risultati elaborati dal Compas, violasse il suo diritto ad un processo equo sotto molteplici profili.

Nello specifico, Loomis sosteneva che il suo diritto ad essere condannato ad una pena individualizzata fosse stato leso poiché Compas elabora la propria previsione comparando le informazioni ottenute dal singolo con quelle relative ad un gruppo di individui con caratteristiche alle sue assimilabili, sicché, a ben vedere, il sistema non sarebbe in grado di prevedere specificamente il rischio di recidiva individuale dell’imputato.

Il tribunale circondariale, tuttavia, rigettava l’istanza in questione, sostenendo che la pena inflitta sarebbe stata la medesima indipendentemente dalla considerazione dei risultati forniti dal Compas, inducendo così i legali di Loomis ad impugnare tale decisione dinanzi alla Corte d’Appello, la quale infine rimetteva la questione alla Corte Suprema del Wisconsin.

Secondo la disquisizione della Supreme Court, sebbene il software possa essere impiegato nei giudizi di determinazione della pena, ciò deve avvenire con le dovute limitazioni e cautele. In particolare, i giudici supremi hanno stabilito che i punteggi di rischio di recidiva prodotti dall’algoritmo non possono essere utilizzati come fattori determinanti ai fini della comminazione della pena.

Con riguardo al rischio, anch’esso prospettato dai legali di Loomis, che Compas attribuisca importanza sproporzionata ad alcuni fattori, come ad esempio il background familiare oppure l’appartenenza ad un certo gruppo etnico, la Corte Suprema ha evidenziato che, per garantire l’accuratezza della valutazione, occorre che il programma sia costantemente monitorato nonché usato con accortezza e seguendo specifiche cautele.

In particolare, viene sottolineato dai giudici della Corte Suprema che i tribunali circondariali devono esercitare la propria discrezionalità nel tenere conto dei risultati prodotti dal sistema, con riguardo ad ogni specifico individuo e considerando anche tutti gli altri fattori a disposizione, realizzando un doveroso contemperamento, al fine di scongiurare il rischio di essere condannati ad una pena che, in effetti, non sarebbe individualizzata a causa del modus operandi dell’algoritmo utilizzato.

Alla luce di tali considerazioni, la Corte Suprema dello Stato del Wisconsin concludeva affermando che, a ben vedere, l’uso del programma Compas per la determinazione della pena non aveva violato il diritto dell’imputato all’equo processo, in quanto era stato possibile osservare che, nel caso di specie, il punteggio di rischio prodotto dall’algoritmo era stato solo uno dei numerosi fattori considerati dal tribunale.

Difatti, sebbene si fosse fatto riferimento ai risultati del software, i giudici di prime cure avevano attribuito al fattore di rischio di recidiva un peso minimo; pertanto, la sentenza non sarebbe stata diversa anche in mancanza dei dati forniti dal programma.

Illegittimo sarebbe stato, al contrario, basare la sentenza solo ed esclusivamente su tali risultati, utilizzandoli, quindi, come fattori determinanti della decisione, non effettuando alcun bilanciamento con altri elementi.

Breviter, è necessario accompagnare l’output dell’algoritmo predittivo con un foglio di avvertenze in modo che il giudice sia condotto a ricordare di maneggiare con la giusta cura la decisione algoritmica e, soprattutto, non dimentichi e abbia sempre chiaro che si tratta solo di uno degli elementi (ossia il risultato di un calcolo probabilistico su classi di persone) da considerare, in aggiunta ad altri, ai fini della decisione finale.

Dal caso emblematico appena esposto appare dunque chiaro quale debba essere la funzionalità di un algoritmo predittivo del genere: non si tratta di predire con esattezza puntuale il dispositivo di una sentenza, bensì di individuare l’orientamento del ragionamento del giudice alla luce di una serie di dati che avranno una certa rilevanza ai fini della decisione da assumere.

In considerazione di ciò, indubbiamente l’impiego di una tecnologia simile in ambito processuale risulterebbe utile sotto molteplici profili.

In relazione a quelle che sono le maggiori criticità riscontrabili nel sistema giudiziario italiano, l’utilizzo di un algoritmo predittivo servirebbe in primis a far sì che i tempi della giustizia si riducano, sfruttando la rapidità di analisi e risposta propria della macchina algoritmica, potendo in questo modo dare effettiva attuazione al principio di ragionevole durata del processo, corollario del più ampio principio dell’equo processo, sancito ex art. 111 della Costituzione italiana.

La prevedibilità delle decisioni risulta un grande valore anche sotto altri profili.

Ad esempio, si assisterebbe presumibilmente ad una riduzione del contenzioso, poiché le parti, potendo aver contezza sin da subito delle chances di vittoria o soccombenza, saranno incentivate a fare ricorso a sistemi di risoluzione delle controversie alternativi al classico processo, come la mediazione, l’arbitrato o la proposta conciliativa.

È tuttavia possibile riscontrare talune severe criticità nell’impiego di un algoritmo predittivo in ambito processuale.

Anzitutto, potrebbe verificarsi un problema di discriminazione algoritmica, vale a dire la possibilità che anche gli algoritmi possano realizzare forme di disparità di trattamento in base ai dati processati.

Ciò è stato rilevato[7], ad esempio, in merito al già citato programma Compas adoperato negli Stati Uniti.

Si è riscontrato dunque come, per la popolazione afro-americana, l’algoritmo abbia previsto un tasso di rischio di recidiva pari al doppio di quello assegnato alla popolazione bianca.

In effetti, non c’è da stupirsi per un risultato del genere dal momento che l’algoritmo rielabora dati riguardanti una comunità che, più di altre, è soggetta a misure di polizia e sanzioni penali, di modo che, inevitabilmente, il software risulterà da ciò condizionato e il suo prodotto ne sarà diretta espressione.

Pertanto, con l’utilizzo di un sistema del genere, si tenderebbe a riprodurre, se non addirittura amplificare, discriminazioni viventi nel sistema penale, con effetti che si potrebbero qualificare deterministi, tali da inchiodare un individuo al destino di una intera comunità.

In concreto, l’algoritmo reca inevitabilmente con sé i pregiudizi di coloro che sul e con l’algoritmo operano: progettista, costruttore, addestratore, utilizzatore.

Ulteriore causa che conduce all’iniquità e al pregiudizio algoritmico promana dalla qualità dei dati immessi nel procedimento algoritmico e dal modo in cui essi vengono inseriti nel sistema

A ciò si aggiunga che, in ogni caso, la stessa riduzione in dato della realtà comporta una riduzione appunto e dunque una selezione. Nel processo di trasformazione, dalla realtà al dato, un quid va perduto affinché la complessità sia comprensibile al circuito in silicio[8]. Si tratta di un elemento nient’affatto trascurabile quello che risiede nella “riduzione di dimensionalità”.[9]

In qualche misura, la realtà e i suoi fenomeni complessi ne risultano frammentati, ridotti, semplificati, altrimenti la loro traduzione elettronica non potrebbe essere implementata nel modo di funzionamento della macchina.

Insomma, è il processo di datificazione del mondo che comporta ineludibilmente il rischio di una scarsa rappresentazione della realtà o, meglio, di una sua soggettivizzazione, se si tiene in considerazione che l’opera di riduzione delle informazioni trova comunque origine in scelte di programmazione e pertanto di un programmatore. I dati non sono dati oggettivi e reali, ma sono il risultato di un processo di sfrondamento selettivo, che per quanto possa essere automatizzato è conseguenziale a (pre)scelte che si compiono a monte.

Ai rischi di semplificazione, distorsione, e discriminazione si aggiungono poi quelli di oscurità e non controllabilità (la cosiddetta opacità algoritmica), tipici dei sistemi algoritmici, di modo che risulterebbe messo in discussione il principio del trasparente esercizio della funzione giurisdizionale. Alla luce di tali considerazioni, è possibile constatare, pertanto, come in realtà l’algoritmo potrebbe persino dare luogo a risultati che deviano totalmente dal principio di uguaglianza, del quale dovrebbe invece garantire l’osservanza, in forza della caratteristica della neutralità che, almeno in teoria, dovrebbe caratterizzarlo.

La realizzazione di una certa “omogeneizzazione” della giustizia risulta essere, d’altro canto, un ulteriore e importante aspetto correlato all’utilizzo di sistemi algoritmici del genere.

Il dettato di cui l’art. 47-quater Ord. Giud. prevede che si evitino i contrasti inconsapevoli, cercando di superare l’inevitabile difformità che esiste nelle diverse giurisprudenze attraverso il confronto e l’acquisizione del valore della prevedibilità delle decisioni. Inoltre, proprio grazie al raggiungimento di un risultato di questo tipo, si riuscirebbe probabilmente a rinsaldare il rapporto tra cittadino e amministrazione della giustizia dal momento che la società percepisce in maniera negativa e come un fallimento della giustizia la differenza decisionale che talvolta sussiste tra casi pur apparentemente simili tra loro.

Tuttavia, quello che spesso viene percepito come una debolezza del nostro sistema giudiziario, può invece rappresentare un punto di forza. Il fatto che controversie analoghe possano ricevere una risposta differente fa sì che si sviluppi un dibattito, un dialogo in forza del quale si dovrebbe generare un ragionamento in grado di far riflettere il più possibile al fine di trovare quella che potrebbe essere la soluzione migliore tra le varie prospettate o anche una soluzione innovativa.

Questo non sarebbe assolutamente possibile qualora casi analoghi venissero sempre risolti in maniera simile, che è quanto accadrebbe ogni qual volta si facesse ricorso ad un algoritmo predittivo. In questo caso il sistema non avrebbe modo di crescere, di innovarsi, e si perderebbe la ricchezza costituita dalla diversità dei vari orientamenti che possono venire a crearsi in giurisprudenza. Non ci sarebbe confronto e si perderebbe la possibilità di accorgersi della presenza di altre soluzioni, che potrebbero essere più o meno corrette di quella prospettata, ma delle quali, indubbiamente, va tenuta considerazione per far sì che il nostro sistema di diritto sia in grado di evolversi e adattarsi ai tempi che cambiano. Qualora si procedesse in un’unica direzione, senza tener conto delle possibili alternative, probabilmente ci si accosterebbe fin troppo ad un sistema di common law, in quanto il precedente giurisprudenziale perderebbe il suo valore semplicemente persuasivo per acquisirne piuttosto uno vincolante, correndo altresì il rischio di avere a che fare con un diritto statico, immoto, col risultato che un programma teoricamente sviluppato al fine di garantire una giustizia migliore in realtà sarebbe causa di gravi iniquità ed errori.

La considerazione di ogni singolo caso meramente come “copia conforme” di un precedente giudiziario analogo, in virtù delle similarità che le controversie presentano, sicuramente abbrevierebbe i tempi della giustizia ma, dall’altra parte, potrebbe verosimilmente condurre a risultati scorretti, qualora non si effettuasse uno scrupoloso esame di ciascuna questione. Tale problematica che si prospetterebbe in particolar modo per ciò che concerne le controversie intrise di soggettivismo, quali, ad esempio, quelle relative all’ambito del diritto penale.

È proprio per evitare di andare incontro a problematiche simili che, ancora una volta, risulta evidente come non sia ammissibile che una macchina lavori in autonomia quale “giudice-robot” piuttosto che come semplice strumento d’ausilio per il giudice umano. Soltanto il controllo e l’intervento dell’uomo possono evitare che si giunga a risultati iniqui o comunque scorretti, adoperando il responso dell’algoritmo come una valida indicazione piuttosto che come un dogma indiscutibile e inattaccabile.

Allo stato dell’arte, è dunque utile accompagnare l’esito algoritmico con una sorta di foglio delle avvertenze con cui l’organo giudicante umano sia reso edotto dei limiti dell’elaborazione predittiva in maniera tale che possa svolgere una funzione, per quanto limitata, di controllo sul processo e non giunga a ricomoscere nell’algoritmo un’autorità che non può e non deve connotarlo.

Senza dimenticare, infine, che la vigilanza da parte del giudice sull’operato della macchina e sulle decisioni da questa prospettate, appare necessaria anche al fine di garantire il principio di indipendenza e di imparzialità del giudice, pietre angolari di una buona giustizia ineludibilmente codificate nei sistemi costituzionali.

[1] LEIBNIZ Gottfried Wilhem, Dissertatio de Arte combinatoria, Lipsia, 1666.

[2] LOEVINGER Lee, Jurimetrics – The Next Step Forward, in Minnesota Law Review, 455, 1949.

[3] IRTI Natalino, Un diritto incalcolabile, Giappichelli, Torino, 2016.

[4] IRTI Natalino, Opera citata.

[5] Cfr. processo “Wisconsin S.C., State v. Loomis, Case no. 2015AP157-CR, 13 July 2016″.

[6] Nello specifico: 1) messa in pericolo della sicurezza, 2) tentativo di fuga od elusione di un ufficiale del traffico, 3) guida di un veicolo senza consenso del proprietario, 4) possesso di arma da fuoco da parte di un pregiudicato, 5) possesso di fucile a canna corta o pistola.

[7] LARSON Jeff – ANGWIN Julia, Technical Response to Northpointe, in ProPublica, New York, 29 luglio 2016. In particolare, l’organizzazione non governativa ProPublica ha condotto uno studio sui punteggi di rischio assegnati a più di 7.000 persone arrestate nella contea di Broward, in Florida tra il 2013 e il 2014 con lo scopo di comprendere quanti di loro fossero stati accusati di nuovi reati nei successivi due anni. Orbene, dall’analisi dei dati è risultato che solo il 20% delle persone per cui era stato predetto avrebbero commesso nuovamente dei reati, poi li ha commessi effettivamente. Ampliando, altresì, lo studio anche a violazioni meno rilevanti della legge (quale la guida con patente scaduta), il 61% è stato tratto in arresto nei successivi due anni. Più o meno in probabilità similare al lancio di una moneta, hanno fatto notare gli autori. In definitiva, lo studio ha evidenziato come i sistemi di risk assessments, sempre più presenti nelle aule dei Tribunali statunitensi, tendano a perpetrare delle discriminazioni già presenti nella società statunitense. Infatti, le percentuali di rischio sono grandi il doppio per le persone di colore in confronto con quelle di pelle bianca. Ulteriore dato, non di secondo rilievo, è che l’algoritmo di Compas è stato prodotto da una società con scopo di lucro. In replica alle osservazioni di ProPublica, è stato prodotto uno studio in cui si sosteneva che lo studio della organizzazione non governativa fosse basato su statistiche e analisi di dati carenti e pertanto errasse nel dimostrare che il software Compas, così come gli altri strumenti di actuarial risk assessment instruments (ARAIs), fosse fondato su pregiudizi nei confronti di determinati gruppi sociali. In sintesi, quest’ultimo studio replica affermando che “ARAIs predict outcomes more strongly and accurately than professional judgment alone”. La posta in gioco sembrerebbe, in realtà, essere più elevata, per la pretesa di conseguire risultati, nel fare giustizia, che siano attuati in modo “scientifico”. Il tutto è sufficiente per rilevare che l’utilizzo di tali strumenti digitali si accompagni a talune criticità, come la natura privata dell’algoritmo o il rischio di riproposizione di bias del tutto umani nel ragionamento algoritmico.

[8] CALCATERRA Alessandra, Machinae autonome e decisione robotica, in A. Carleo (a cura di), Decisione robotica, Il Mulino, Bologna, 2019.

[9] DOMINGOS Pedro, L’algoritmo definitivo: la macchina che impara da sola e il futuro del nostro mondo, Bollati Boringhieri, Torino, 2016. Lo studioso rende l’idea della riduzione nel modo che segue: “quando sistemate i libri sullo scaffale in modo che i titoli relativi ad argomenti simili siano vicini, state effettuando una forma di riduzione di dimensionalità dalla vastità dello spazio degli argomenti all’unica dimensione dello scaffale. Inevitabilmente, alcuni libri strettamente correlati finiranno a grande distanza uno dall’altro, ma potete sempre ordinarli in modo tale da minimizzare eventualità del genere. È ciò che fanno gli algoritmi di riduzione della dimensionalità”.

Chiara Filippone