Uno studio condotto negli Stati Uniti - dove l’assistenza sanitaria poggia su basi differenti rispetto a quella del nostro paese - offre a noi lo spunto per una riflessione sull’impatto che sistemi di intelligenza artificiale capaci di predire l’identità razziale dei pazienti solo analizzando le loro immagini diagnostiche, hanno nel perpetuare fenomeni di disparità razziale in tema di accesso alle cure.
TAKEAWAY
- Uno studio del Massachusetts Institute of Technology, al quale hanno collaborato anche ricercatori provenienti da Atenei del Canada, Australia e Taiwan, ha confermato l’ipotesi in base alla quale i sistemi AI sono in grado di inferire – in modo autonomo e senza alcun input da parte del personale sanitario – l’identità razziale dei pazienti analizzandone le immagini diagnostiche.
- Il rischio di tale abilità dell’AI, in un contesto come quello USA, è la discriminazione razziale perpetuata, con impatti negativi sull’accesso alle cure e sulle pratiche mediche. Da qui l’importanza di sondare il meccanismo che la governa, in modo da controllarlo e gestirlo.
- Pur senza essere (ancora) riusciti a isolare quelle specifiche informazioni che supportano il sistema nel dedurne l’identità razziale, i risultati di questa prima ricerca in materia suggeriscono che è dall’incrocio di tutte le variabili contenute nei dati di addestramento che la macchina apprende a desumere “chi è” il paziente.
La letteratura esistente sull’impiego delle tecniche di intelligenza artificiale nell’analisi e nell’incrocio dei dati derivanti dall’imaging biomedico ha, da tempo, messo in evidenza la capacità dell’AI nel rilevare alcuni fattori demografici dei pazienti – tra cui l’identità razziale – a partire dalle immagini diagnostiche che li riguardano.
Tale evidenza, di per sé, non ha nulla di sensazionale, né la capacità alla quale si fa riferimento ci sorprende. Nulla che non sia già stato detto e scritto riguardo all’utilizzo dell’intelligenza artificiale nella diagnostica medica, insomma.
Ma la questione è un’altra. Come sostengono gli autori dello studio “AI recognition of patient race in medical imaging: a modelling study” – condotto dal Dipartimento di ingegneria elettrica e informatica del Massachusetts Institute of Technology (MIT), dall’Institute for Medical Engineering and Science (IMES) e dal centro di ricerca Abdul Latif Jameel Clinic for Machine Learning in Health, entrambi presso lo stesso Ateneo americano – si tratterebbe di una capacità dell’AI che sfugge al controllo dei medici, che è indipendente dalla presenza o meno di indicazioni sulla razza contenute nelle immagini stesse e le cui conseguenze, specie in un contesto – come quello USA – in cui l’assistenza sanitaria è anche una questione socio-economica, potrebbero rivelarsi assai negative per lo stesso paziente.
«Se, nell’imaging diagnostico, un sistema AI che identifica l’identità razziale dei pazienti e prende decisioni di tipo terapeutico, commettesse errori dovuti a un trattamento sanitario discriminante legato a tali identità, i radiologi e quanti sono addetti alla diagnostica per immagini – che in genere non hanno accesso alle informazioni relative alla razza e all’etnia dei pazienti – non sarebbero in grado di riconoscerli, col grave rischio di immetterli inconsapevolmente nell’ingranaggio dei processi decisionali sanitari»
si legge nel documento che illustra lo studio. L’ombra è quella della discriminazione razziale perpetuata in tema di accesso alle cure, osservano gli autori. E «non semplicemente dovuta a una sottorappresentazione di determinati gruppi di pazienti nei dati di addestramento degli algoritmi AI».
Intelligenza artificiale e immagini diagnostiche: l’ipotesi di partenza e gli esperimenti condotti
In tema di intelligenza artificiale e immagini diagnostiche, l’ipotesi di partenza dei ricercatori ha riguardato la capacità – da parte di un sistema AI – di prevedere con precisione l’identità razziale dei pazienti dall’analisi delle loro immagini biomediche.
A partire da questa ipotesi, lo studio (al quale hanno collaborato anche ricercatori provenienti da Canada, Australia e Taiwan) ha previsto la messa a punto di un modello di deep learning per poi – attraverso tre gruppi di esperimenti – misurarne la capacità di riconoscere l’identità razziale dei pazienti dall’imaging biomedico, esaminare le possibili caratteristiche fisiche di tali pazienti come spiegazioni delle prestazioni del modello e, infine, studiare i meccanismi sottostanti al modello stesso.
Il modello è stato addestrato utilizzando tre grandi set di dati contenuti all’interno di archivi pubblici e privati – per il cui utilizzo è stata ottenuta l’approvazione da parte dei Comitati etici istituzionali USA – relativi a radiografie del torace e degli arti, a TAC del torace e a mammografie, tutte recanti i referti conclusivi ma tutte prive di riferimenti espliciti all’identità razziale dei pazienti (bianca, nera e asiatica).
I risultati dei tre gruppi di esperimenti hanno confermato l’ipotesi di partenza – anche se con valori differenti – indicando, in particolare, il modello di deep learning che ha lavorato sulle radiografie del torace come quello maggiormente predittivo della razza dei pazienti, probabilmente perché le immagini diagnostiche del torace sono ricche di dettagli riguardanti più organi (polmoni e cuore in primis).
Ma, al di là dei dati numerici emersi e delle percentuali che hanno caratterizzato le prestazioni del modello per ciascuna prova, il team si è focalizzato sul “come”, cercando innanzitutto di spiegare il comportamento del sistema di intelligenza artificiale, soffermandosi sulle differenze di tipo fisico tra i diversi gruppi razziali considerati – tra cui, ad esempio, la densità ossea, la densità del seno e la distribuzione, tra la popolazione mondiale, delle patologie emerse dalle diagnosi correlate alle diverse immagini diagnostiche prese in esame – nonché sulla capacità del sistema stesso di rilevare la razza incrociando più fattori demografici del paziente (contenuti nel referti) e su aree specifiche delle immagini.
La difficoltà nell’isolare i dettagli dai quali si inferisce l’identità razziale
In tema di intelligenza artificiale e immagini diagnostiche, un dato interessante emerso dallo studio ha riguardato le radiografie degli arti in cui emergevano particolari relativi alla densità ossea, dove la parte più spessa dell’osso appariva bianca e la parte più sottile appariva, invece, più grigia o traslucida.
In merito a questo aspetto, i ricercatori hanno ipotizzato che, poiché le persone di colore possiedono una densità ossea più elevata, le differenze di colore nelle immagini diagnostiche potessero aver supportato il modello di deep learning nell’identificare l’identità razziale dei pazienti.
Eppure, anche isolando con un filtro le parti bianche delle immagini, il risultato non variava, in quanto l’algoritmo AI era comunque in grado di compiere con precisione la propria previsione perché – osserva il team – «le caratteristiche delle immagini diagnostiche apprese in fase di addestramento si basavano su tutte le regioni dell’immagine».
Allo stesso modo, anche variabili come la densità del seno (riferita alle mammografie), l’età dei pazienti e il genere (indicate nei referti) non sono risultate correlabili alle prestazioni del modello, né – analizzate isolatamente – predittive del gruppo razziale.
«Abbiamo anche esaminato se le informazioni sulla razza persistessero in tutte le gamme spettrali e in presenza di immagini altamente degradate. Dunque, abbiamo testato l’effetto – sulle prestazioni del modello di deep learning – dell’aggiunta di un filtro al set di dati, trasformando, di fatto, le immagini stesse». Ma senza incidenza alcuna sulla capacità predittiva del sistema AI. Suggerendo che è, probabilmente, l’aggregazione di tutte le variabili e di tutti gli elementi contenuti nella grande mole dei dati utilizzati per l’addestramento del modello (età e genere del paziente, peculiarità delle immagini biomediche e referti a corredo) ad essere responsabile della sua capacità di rilevare l’identità razziale dall’analisi di radiografie, TAC e mammografie.
La capacità del modello di deep learning di rilevare l’identità razziale dei pazienti non deriva dall’analisi delle sole informazioni contenute nelle immagini, ma dall’incrocio di tutti i dati somministrati al sistema AI.
Non è stato possibile – fanno notare gli autori dello studio in tema di intelligenza artificiale e immagini diagnostiche – riuscire a isolare i dettagli chiave che conducono alla rilevazione dell’identità razziale. Ma non è detto che, in futuro, non si arrivi a questo risultato, proseguendo su questo indirizzo di studio.
La ricerca condotta dal MIT – si precisa – «è stata limitata dalla disponibilità di dati inerenti a più identità razziali. Pertanto, ci siamo concentrati sui pazienti asiatici, neri e bianchi e abbiamo escluso popolazioni di pazienti troppo piccole per essere analizzate adeguatamente, tra cui, ad esempio, i pazienti nativi americani. Anche le popolazioni di pazienti ispanici sono state escluse a causa delle variazioni nel modo in cui questa popolazione è stata registrata nei set di dati».
Intelligenza artificiale e immagini diagnostiche: riflessioni di carattere etico
In tema di intelligenza artificiale e immagini diagnostiche, in ambito USA non sono infrequenti i casi in cui l’abilità delle tecniche AI di apprendere a riconoscere l’appartenenza razziale dalle immagini mediche si riflette negativamente sui pazienti, arrivando a prendere decisioni che, a loro volta, producono risultati diversi – in termini di salute e di accesso alle cure – per i membri di diversi gruppi razziali.
In attesa che il quadro normativo statunitense si pronunci in materia, prevedendo misure atte a difendersi da un riconoscimento razziale non richiesto da parte della macchina, a identificare queste capacità nei sistemi AI e a mitigare gli eventuali danni che potrebbero essere causati, i ricercatori raccomandano a sviluppatori di algoritmi, tecnici AI e personale sanitario coinvolto nell’analisi delle immagini diagnostiche «di considerare l’utilizzo di modelli di deep learning con estrema cautela, poiché le informazioni che ne derivano potrebbero essere utilizzate in modo improprio, per perpetuare o addirittura peggiorare le disparità razziali che esistono nella pratica medica del nostro paese».
I risultati ottenuti da questo studio indicano che il futuro lavoro di imaging medico AI dovrebbe enfatizzare «gli audit delle prestazioni dei sistemi di intelligenza artificiale impiegati, con attenzione alle informazioni riguardanti l’identità razziale, il genere e l’età dei pazienti».
Un’ultima raccomandazione da parte del team verte attorno alla necessità di includere le informazioni sull’identità razziale nei set di dati di imaging medico, proprio per consentire il controllo di tale variabile e ulteriori indagini nel momento in cui si dovesse osservare una decisione ritenuta non “equa” da parte della macchina.
