Un articolo a cura del MIT e dell’Ateneo di Boston offre interessanti spunti per un nuovo dibattito sull’equità nella cura del paziente, focalizzando l’attenzione su tutti i dispositivi di supporto decisionale utilizzati nel medicale, non solo su quelli che sfruttano l’AI.
I sistemi di intelligenza artificiale che prendono decisioni non corrette, nel senso di “non etiche”, perché, ad esempio, discriminatorie nei confronti di un’etnia, di un ceto socio-economico, di un target di età o di aree geografiche di provenienza, lavorano seguendo uno schema viziato dal pregiudizio, in quanto sono stati addestrati sulla base di dati contenenti – essi stessi – pregiudizi e distorsioni, non importa se intenzionali o non intenzionali.
I pregiudizi che inquinano gli algoritmi AI destinati, in particolare, all’ambito sanitario, a supporto dei processi decisionali clinici, sono, in molti casi, responsabili di promuovere disparità in termini di cure e trattamenti rivolti ai pazienti. Per tale motivo, sono i più pericolosi.
Il tema di un’AI che rispetti i diritti fondamentali dell’essere umano e i principi etici, che sia affidabile e sicura, non è certo nuovo. Nell’ultimo decennio, è stato al centro di un dibattito globale – specie nel mondo occidentale – che, via via, si è ampliato fino a includere le voci di ingegneri, sviluppatori AI, tecnici, forze di Governo, Istituzioni, giuristi e filosofi. Sono state avanzate raccomandazioni e definiti requisiti, linee guida e principi per un’intelligenza artificiale priva di rischi per gli utenti.
Per quanto riguarda, nello specifico, l’Unione Europea, questo lungo iter è sfociato, a marzo 2024, nell’approvazione definitiva dell’EU AI Act o “Legge sull’intelligenza artificiale”. Si tratta del primo quadro giuridico al mondo in materia di artificial intelligence, il quale inserisce nei “sistemi ad alto rischio” anche quelli utilizzati nel settore sanità, per i quali vengono imposte rigide valutazioni di conformità, al fine di assicurarne l’accuratezza, la robustezza e la sicurezza.
Ma in altri paesi, tra cui gli Stati Uniti, dove, ad oggi, non vige ancora una legislazione federale puntuale ed esaustiva che disciplini l’impiego dell’intelligenza artificiale e dove l’assistenza sanitaria poggia su basi differenti rispetto a quella del nostro paese e del resto d’Europa – il quadro presenta altre tinte.
Takeaway
Discriminazione algoritmica nella diagnostica medica: il caso degli Stati Uniti
Il riferimento agli Stati Uniti è ricorrente nella letteratura sulla discriminazione algoritmica in applicazioni di diagnostica medica, non solo per la particolarità del suo sistema sanitario (basato, in grandissima parte, su assicurazioni private, spesso molto costose), ma anche perché, in tutti questi anni, il mondo della ricerca USA ha prodotto il maggior numero di lavori sul tema.
È del settembre 2020, ad esempio, uno studio della Stanford University, in California – descritto in “Geographic Distribution of US Cohorts Used to Train Deep Learning Algorithms” – in cui gli autori denunciano di aver scopertoche ad allenare gli algoritmi AI impiegati dalla maggior parte degli strumenti diagnostici americani sono i dati relativi a soggetti provenienti da solo tre Stati USA (California, Massachusetts e New York).
Ben trentaquattro Stati non sono stati affatto rappresentati e gli altri tredici hanno fornito dati limitati. Il che, già quattro anni fa (ancora in piena crisi pandemica), sollevava seri interrogativi sulla reale efficacia di tali strumenti nell’effettuare indagini diagnostiche su tutti i pazienti degli Stati Uniti (di etnie diverse, a contatto con climi e ambienti naturali differenti, esposti a rischi diversi in fatto di inquinanti, solo per citare due variabili importanti in sede di ricerca), senza alcuna discriminazione geografica.
Algoritmi AI che automatizzano pregiudizi nascosti nei dati sanitari di addestramento
Un anno e mezzo dopo, un articolo dal titolo “In medicine, how do we machine learn anything” (Patterns, 14 gennaio 2022), a cura di una ricercatrice del MIT Institute for Medical Engineering and Science e di una collega dell’Università di Boston, affronta per la prima volta la questione degli algoritmi AI che automatizzano i pregiudizi nascosti nei dati sanitari con i quali sono stati allenati e dell’impreparazione, sul tema, di quanti lavorano nelle Istituzioni sanitarie (medici, informatici esperti di AI, bioingegneri), incapaci di riconoscerli.
Nel dettaglio, le due scienziate parlano di «pregiudizio pervasivo nei dispositivi clinici». Il focus è sui dati clinici (parametri vitali, valori ematici, sintomatologie e il contenuto della diagnostica per immagini), di per se stessi estremamente mutevoli. A questo si aggiunge il fatto che vengono acquisiti per mezzo di dispositivi medici non sempre progettati in modo equo rispetto all’etnia, al genere, all’età e ad altre caratteristiche dei pazienti, non tenendo in considerazione aspetti come il colore della pelle, la provenienza geografica o l’identità sessuale.
Nello specifico, citano i saturimetri, utilizzati per misurare il livello di ossigeno presente nel sangue, il cui funzionamento si fonda sull’emissione di fasci di luce che attraversano i tessuti. Ebbene, il colore scuro dell’epidermide sembra influenzare il modo in cui i fasci di luce vengono assorbiti.
Fatto – questo – messo in rilievo anche dal National Health Service (NHS) britannico e dalla Medicines and Healthcare products Regulatory Agency (MHRA) nel 2021, in piena seconda ondata di Covid, sottolineando come, nei pazienti dalla pelle scura, tali dispositivi rilevino una maggiore ossigenazione del sangue rispetto ai valori reali, col conseguente rischio di non inquadrare l’oggettiva condizione respiratoria di chi, affetto dal virus, presenta i primi gravi sintomi di insufficienza polmonare.
La domanda è sempre la stessa: qual è il livello di attendibilità e di oggettività dei dati clinici raccolti attraverso dispositivi come quello menzionato, che andranno, poi, ad allenare algoritmi di intelligenza artificiale per applicazioni diagnostiche?
L’AI rileva l’identità razziale dei pazienti dalle immagini diagnostiche, sfuggendo al controllo dei medici
A proposito di discriminazione algoritmica nella diagnostica medica, un altro filone di studi in ambito statunitense è quello che indaga le abilità dei sistemi di intelligenza artificiale nel rilevare alcuni fattori demografici dei pazienti – tra cui l’identità razziale – a partire dall’analisi dei dati video che li riguardano, ricavati da radiografie, TAC e risonanze magnetiche.
Al riguardo, un lavoro del maggio 2022 (“AI recognition of patient race in medical imaging: a modelling study”) – condotto dal Massachusetts Institute of Technology (MIT) insieme all’Institute for Medical Engineering and Science (IMES) e al centro di ricerca Abdul Latif Jameel Clinic for Machine Learning in Health, entrambi presso il MIT – annuncia che si tratterebbe di capacità dell’AI che sfuggono al controllo dei medici e che sono indipendenti dalla presenza o meno di indicazioni sull’etnia contenute nelle immagini stesse.
Oltre che sulle implicazioni sotto il profilo della privacy, in questo caso il dito è puntato sulle conseguenze per il paziente, specie in un contesto – come quello USA – dove l’assistenza sanitaria è anche una questione socio-economica:
«Se, nell’imaging diagnostico, un sistema di artificial intelligence che identifica le identità razziali dei pazienti e prende decisioni di tipo terapeutico, commettesse errori dovuti a un trattamento sanitario discriminante legato a tali identità, i radiologi e quanti sono addetti alla diagnostica per immagini – che in genere non hanno accesso alle informazioni relative alla razza e all’etnia – non sarebbero in grado di riconoscerli, col grave rischio di immetterli, inconsapevolmente, nell’ingranaggio dei processi decisionali sanitari»
L’ombra è quella della discriminazione razziale perpetuata nell’accesso alle cure.
Discriminazione algoritmica nella pratica medica: focus sugli strumenti di supporto decisionale
Veniamo ai giorni nostri, con – protagonisti, ancora una volta – i ricercatori del MIT e dell’Università di Boston, i quali, in “Settling the Score on Algorithmic Discrimination in Health Care” (New England Journal of Medicine AI, 2024), evidenziano le lacune nella regolamentazione USA dei modelli AI utilizzati nell’healthcare, nonché degli algoritmi informatici impiegati, chiedendo una maggiore supervisione da parte degli organismi preposti.
Il tutto si mette in moto quando, a maggio 2024, l’Office for Civil Rights (OCR) statunitense, in seno all’U.S. Department of Health and Human Services (HHS), emette una nuova norma ai sensi dell’Affordable Care Act (ACA), la legge di riforma sanitaria americana approvata nel 2010 sotto la presidenza Obama.
In sostanza, il nuovo regolamento USA vieta la discriminazione algoritmica nella pratica medica, sulla base dell’età, del genere, della razza, del paese di provenienza e di eventuali disabilità del paziente.
Per la precisione, la norma fa espressamente riferimento a “strumenti di supporto decisionale” usati dal personale medico nella cura del paziente, intendendo – con questa locuzione – sia i sistemi di intelligenza artificiale, sia tutti quegli strumenti non automatizzati utilizzati in medicina.
Ebbene, secondo gli autori, la norma rappresenta, certamente, un importante passo avanti verso una sempre maggiore equità sanitaria negli Stati Uniti. Tuttavia, aggiungono che «dovrebbe imporre miglioramenti orientati all’equità anche agli algoritmi non basati sull’AI e a tutti quei sistemi di supporto alle decisioni cliniche già in uso nelle sub-specialità», dove, per “sub-specialità”, si intende, ad esempio – per un cardiologo specialista in aritmologia – l’elettrofisologia, area di studi che si occupa specificatamente dei disturbi elettrici del cuore. Ma andiamo più in profondità.
I Software as a Medical Device (SaMD) e i dispositivi per il calcolo del rischio clinico
Ricordando come il numero di dispositivi AI approvati dalla U.S. Food and Drug Administration sia aumentato in modo incisivo negli ultimi dieci anni (solo a ottobre 2024 – fa notare i team di studio – ne sono stati approvati quasi mille, molti dei quali progettati per supportare il processo decisionale dei medici), gli autori sottolineano che gli strumenti coperti dalla nuova norma contro la discriminazione algoritmica in ambito sanitariodovrebbero prevedere anche quelli atti a calcolare il rischio clinico mediante punteggi e tutte le applicazioni amministrative esistenti, alcune delle quali sono state sviluppate ad hoc per i contesti clinici, ma senza una valutazione preliminare che ne confermi la validità.
«Spesso, tali strumenti, adottati in un ambito critico come quello medicale, senza una validazione approfondita, non fanno che perpetuare disparità tra i pazienti di etnie diverse o provenienti da determinate aree geografiche, ponendo seri rischi dal punto di visa di accesso alle cure e a taluni trattamenti terapeutici per le popolazioni non americane».
In pratica – spiegano – la U.S. Food and Drug Administration classifica gli algoritmi clinici come “Software as a Medical Device” (SaMD), ma non include fra questi i software che sono in uso ai medici e che sono verificabili da questi ultimi, permettendo, così, ad alcuni strumenti di aggirare il controllo normativo.
«Sosteniamo che, per assicurare equità e sicurezza nella cura dei pazienti, le organizzazioni sanitarie devono garantire che tutti gli strumenti, compresi quelli attinenti ai punteggi di rischio clinico, siano valutati in modo completo prima di essere utilizzati».
Ricordiamo che il “rischio clinico” rimanda alla possibilità che un paziente subisca un «danno involontario – imputabile alle cure sanitarie – che causa un prolungamento del periodo di degenza, un peggioramento delle condizioni di salute o, in casi estremi, il decesso» [fonte: Ministero della salute].
I medici si avvalgono di strumentazioni e di apparecchiature per quantificare tale rischio attraverso un numero, un punteggio. Numeri e punteggi ritenuti addirittura meno “opachi” degli algoritmi AI, in quanto, in genere, contemplano solo poche variabili correlate a un modello semplice.
Inoltre – insistono i ricercatori USA – «non esiste alcun organismo di regolamentazione che supervisioni i punteggi di rischio clinico prodotti dagli strumenti di supporto alle decisioni cliniche, nonostante il fatto che la maggior parte dei medici statunitensi (65%) li utilizzi su base mensile per determinare i passi successivi per la cura del paziente».
Glimpses of Futures
Indipendentemente dal paese di riferimento (USA o Europa) e dalle politiche di healthcare, l’articolo a cura del MIT e dell’Università di Boston offre interessanti spunti di riflessione in merito all’equità nella cura del paziente, portando l’attenzione su tutti i dispositivi a supporto dei processi decisionali da parte dei medici, dal momento che tutti si fondano sui dati dei pazienti. Dati che possono nascondere schemi alterati da pregiudizi e discriminazioni tali da tradursi in disparità di trattamento terapeutico.
Utilizzando la matrice STEPS, proviamo ora ad anticipare possibili scenari futuri, analizzando gli impatti – dal punto di vista sociale, tecnologico, economico, politico e della sostenibilità – dati sia dalla supervisione degli strumenti che, in campo sanitario, sfruttano le tecniche di intelligenza artificiale, sia di quelli basati su semplici algoritmi informatici per il calcolo del rischio clinico mediante punteggi.
S – SOCIAL: nel contesto sociale preso in considerazione, dove non esiste l’equivalente dell’EU AI Act e dove la sanità è pressoché privata, una futura, possibile, regolamentazione contro la discriminazione algoritmica su tutti i livelli (presidenza Trump permettendo), significherebbe, nel tempo, garantire a tutti i pazienti, di qualsiasi colore, luogo di provenienza, condizione socio-economica, genere ed età, la certezza di equità nella diagnosi, nella cura e nei punteggi di rischio clinico. Più in particolare, la regolamentazione dei punteggi di rischio clinico pone una sfida significativa, come rimarcano gli autori. Anche perché, a causa della proliferazione di strumenti di supporto alle decisioni cliniche incorporati nelle stesse cartelle cliniche elettroniche USA, diventa essenziale garantire trasparenza e assenza di discriminazione.
T – TECHNOLOGICAL: sotto il profilo tecnologico, la supervisione degli strumenti che calcolano il rischio clinico mediante punteggi dovrà necessariamente focalizzarsi sui dati sanitari dai quali vengono tratte le variabili che vanno a modellare l’algoritmo. Il problema, in questi casi, non è tanto collegato alla qualità dei dati (eventualmente viziati da pregiudizi e distorsioni), quanto dalla loro scarsità. Risultando limitato, il dataset non è rappresentativo dell’intera popolazione americana. In uno scenario futuro, i “supervisori” dovranno, quindi, lavorare all’ampliamento del set di dati sanitari per mezzo dei quali allenare gli algoritmi, tenendo conto dell’ampio ventaglio delle età, dei paesi di provenienza, delle etnie e dei ceti socio-economici dei pazienti USA.
E – ECONOMIC: come evidenziato dalle autrici del già citato “In medicine, how do we machine learn anything”, la questione degli algoritmi AI che automatizzano i pregiudizi nascosti nei dati sanitari con i quali vengono allenati, dipende anche dall’impreparazione – in fatto di discriminazione algoritmica – di medici, informatici esperti di AI e bioingegneri che lavorano nel settore sanitario, incapaci di riconoscerli, col rischio che vengano immessi, inconsapevolmente, nell’ingranaggio dei processi decisionali sanitari. Il che suggerisce, per il futuro, la formazione di figure professionali dalle specifiche skill, in grado di supervisionare tutta la strumentazione di supporto decisionale ad uso del personale medico nella diagnosi e cura del paziente, con l’obiettivo di verificarne l’idoneità nel guidare verso decisioni eque, che consentano a tutti l’accesso ai trattamenti terapeutici più indicati, senza alcuna discriminazione.
P – POLITICAL: rimanendo nei confini USA, c’è un’ennesima considerazione da fare, riguardante la nuova amministrazione entrante, sotto la presidenza di Donald Trump, eletto il 6 novembre 2024. Il nuovo presidente degli Stati Uniti, com’è noto, ha già avuto occasione di porre l’enfasi sulla deregolamentazione in materia di sanità e di esprimere opposizione all’Affordable Care Act voluto da Obama e, più generale, alle politiche di non discriminazione portate avanti da quest’ultimo. Per tale motivo, la regolamentazione delle strumentazioni per il calcolo del rischio clinico mediante punteggi potrebbe rivelarsi particolarmente impegnativa da qui ai prossimi anni.
S – SUSTAINABILITY: una futura, globale e perfetta equità nella cura dei pazienti, ottenuta eliminando ogni rischio di discriminazione algoritmica dalla pratica medica, a partire dalla valutazione preliminare e dalla supervisione continua di tutti i dispositivi di supporto decisionale utilizzati dai professionisti delle strutture sanitarie, compresi quelli impiegati per il calcolo del rischio clinico mediante punteggi, contribuirebbe alla sostenibilità sociale di ogni sistema sanitario, che è strettamente legata alla rimozione di tutti quei fattori e cause sottostanti le disuguaglianze tra i malati.
