Quando gli algoritmi AI automatizzano i bias nascosti nei dati in ambito sanitario

Un interessante documento redatto da due ricercatrici in materia di intelligenza artificiale applicata all’healthcare mette in guardia dal pregiudizio insito nei dati clinici con i quali vengono addestrati gli algoritmi ML destinati al settore medico.

TAKEAWAY

  • Se i dati clinici sono, per loro natura, soggetti ad essere mutevoli, a questo si aggiungono le metodologie di raccolta non sempre equilibrate sotto il profilo dell’etnia, dello stato socioeconomico e di altre caratteristiche dei pazienti presi in esame. Il risultato è quello di dati che riflettono una serie di disuguaglianze di fondo.
  • Un altro aspetto riguarda il difficile raggiungimento di un’effettiva imparzialità da parte degli algoritmi di machine learning impiegati nel settore sanitario (indipendentemente dalla bontà dei dati clinici di partenza), dovuto, in molti casi, a problematiche di discriminazione razziale sistemica all’interno del paese considerato.
  • Tra le soluzioni per rendere l’assistenza sanitaria uguale per tutti, l’attenzione di sviluppatori, personale medico-sanitario e Istituzioni ospedaliere ai dati clinici raccolti, oltre a una sorveglianza costante degli algoritmi utilizzati, per verificare che siano utili a tutti, senza disparità di cure.

Parlare di algoritmi di machine learning e di dati clinici ci proietta immediatamente in ambito sanitario, in cui l’utilizzo di tecniche di intelligenza artificiale è una pratica ormai acquisita, per mezzo della quale è possibile, in tempi rapidi, l’elaborazione di enormi quantità di dati a supporto della diagnostica e delle relative azioni di intervento da parte del personale medico, nonché dell’analisi predittiva, atta a tracciare il profilo di rischio del paziente e a definire l’attività di prevenzione a lui più adatta.

Ma trattare di sistemi di apprendimento automatico nella sanità e dei dati clinici con i quali tali sistemi vengono addestrati, ci porta anche su un altro terreno, che ha a che vedere col rischio di un eventuale impatto delle disuguaglianze etniche, socioeconomiche e di genere sui dati impiegati nello sviluppo degli algoritmi.

In realtà, sui sistemi AI che, nel prendere decisioni discriminatorie, dimostrano di seguire uno schema viziato dal pregiudizio, perché allenati sulla base di dati contenenti essi stessi pregiudizi (anche se non intenzionali), si è prodotta, nel corso degli anni, una discreta letteratura. Sul tema si sono pronunciati, via via, tecnici, ingegneri e filosofi esperti di etica. Ma l’articolo dal titolo “In medicine, how do we machine learn anything” – a cura di una ricercatrice del MIT Institute for Medical Engineering and Science e di una collega della Boston University, apparso sulla testata Patterns il 14 gennaio 2022 – approfondisce alcuni aspetti specifici della questione, partendo da un assunto ben preciso, ossia la mancanza di formazione, da parte di medici, informatici, ingegneri e delle stesse Istituzioni sanitarie, circa i bias che inquinano gli algoritmi AI destinati al settore healthcare e responsabili di promuovere disparità in termini di cure e trattamenti rivolti ai pazienti.

Machine learning e dati clinici: la mancanza di oggettività dei data set in campo medico

Nell’articolo si insiste su un concetto: tutti i dati clinici – tra cui, ad esempio, parametri vitali, valori ematici, sintomatologie di specifiche patologie e il contenuto della diagnostica per immagini, solo per citarne alcuni – in quanto correlati alla dimensione del corpo umano e attinenti alla sua sfera fisiologica, sono estremamente mutevoli. A questo si aggiunge il fatto che vengono acquisiti per mezzo di dispositivi non sempre progettati in modo equo rispetto all’etnia, al genere, all’età ed altre caratteristiche delle persone e per mezzo di interazioni paziente-operatori sanitari spesso (e non intenzionalmente) condotte in modo diverso a seconda del colore della pelle, della provenienza geografica o dell’identità sessuale del soggetto. Per l’esattezza, le due autrici parlano di «pregiudizio pervasivo nei dispositivi clinici, negli interventi e nelle interazioni».

Sappiano che, nel dominio dell’intelligenza artificiale, il dato è tutto. Dalla sua qualità e dalla bontà delle metodologie atte a raccoglierlo, organizzarlo e analizzarlo dipende la bontà stessa del sistema AI messo a punto. Questo vale in generale e in modo particolare e specifico per i dati clinici, differenti, per loro natura, da tutti gli altri dati.

Se algoritmi di machine learning «eccellono in compiti quali il riconoscimento di oggetti, perché tutti, all’unanimità, siamo d’accordo sul fatto che “un cane è un cane”», la stessa cosa non può dirsi per quegli algoritmi AI deputati al riconoscimento di patologie respiratorie e allenati con dati raccolti, ad esempio, da strumentazioni che difettano nella rilevazione del livello di saturazione di ossigeno nel sangue in chi ha la pelle scura, perché – come vedremo più avanti – tarate solo su pazienti dalla pelle chiara.

Il mondo dei dati clinici, dunque, non è sempre ancorato a verità oggettive, rimarcano le due ricercatrici. Le quali, inoltre, osservano:

«La complessità dei dati sanitari è collegata a una lunga storia di discriminazione e la ricerca, in questo campo specifico, vieta applicazioni ingenue, in quanto le discriminazioni nell’assistenza ai pazienti promuovono pericolose disparità di salute»

I bias celati nel funzionamento dei dispositivi medici e nelle interazioni con i pazienti

Nell’articolo in tema di machine learning e dati clinici, vengono citati una serie di esempi a dimostrazione della «lunga storia di discriminazione legata ai dati clinici».

Si è accennato ai saturimetri, dispositivi utilizzati nella misurazione del livello di ossigeno presente nel sangue (saturazione), il cui funzionamento si fonda sull’emissione di fasci di luce che attraversano i tessuti. Ebbene, il colore scuro dell’epidermide sembra influenzare il modo in cui i fasci di luce vengono assorbiti. Fatto – questo – messo in rilievo anche dal National Health Service (NHS) britannico e dalla Medicines and Healthcare products Regulatory Agency (MHRA) nel 2021, in piena seconda ondata di Covid, sottolineando che, nei pazienti dalla pelle scura, tali dispositivi rilevano una maggiore ossigenazione del sangue rispetto ai valori reali, col conseguente rischio di non inquadrare l’oggettiva condizione respiratoria di chi, affetto dal virus, presenta i primi gravi sintomi di insufficienza polmonare. Rischio purtroppo divenuto fatale realtà, in alcuni paesi, durante la fase più acuta dell’emergenza pandemica.

Alla base – spiegano le ricercatrici – vi sono 20 anni di test effettuati su soggetti dalla pelle chiara, partendo dal presupposto ingenuo che «il pigmento della pelle non ha importanza».

Oltre ai saturimetri, un altro caso riguarda le malattie dermatologiche, in cui si registra, a livello globale, la tendenza alla sottodiagnosi riferita a pazienti dalla pelle scura, costituenti una bassa percentuale di esemplari (dal 4% al 8%) in sede di studio dei test diagnostici. «Se la presentazione della malattia non è mai mostrata con tonalità della pelle scura nei libri di testo di medicina, come la riconosceranno i medici?» fanno notare le autrici dell’articolo.

Anche le interazioni tra pazienti e operatori sanitari possono essere cariche di pregiudizi con, ad esempio, «medici meno propensi a raccomandare determinati trattamenti terapeutici e determinati interventi a pazienti di colore, anche se con cartelle cliniche statisticamente identiche a quelle dei pazienti bianchi». E questo dovuto alla credenza inconscia in base alla quale i pazienti di colore non possiedono gli strumenti (intellettuali e culturali) per capire esattamente di quali trattamenti e di quali interventi si stratta, nonché per sostenere una conversazione su tematiche mediche.

A tale riguardo, anche le difficoltà linguistiche alimentano pregiudizi sistematici da parte del personale medico-sanitario, a livello inconscio meno incline a percepire come veritiere e credibili le sintomatologie descritte da pazienti di differente etnia e con diversa provenienza geografica.

La domanda, a questo punto è: qual è il livello di attendibilità e di oggettività dei dati clinici raccolti attraverso i dispositivi citati e le interazioni appena descritte e che andranno ad allenare gli algoritmi AI per applicazioni diagnostiche?

Machine learning e dati clinici: è possibile sviluppare algoritmi del tutto imparziali?

Un altro punto interessante toccato nell’articolo in materia di machine learning e dati clinici concerne l’effettiva imparzialità degli algoritmi AI impiegati settore sanitario, tra cui – solo per citare un esempio – quelli finalizzati a supportare le decisioni delle direzioni ospedaliere in merito alla destinazione delle risorse economiche. A tale proposito, le ricercatrici spiegano come «l’aggiunta o la rimozione dei dettagli di un paziente, relativi a etnia, età e status socioeconomico, non porti sempre automaticamente a risultati imparziali». Anzi, in taluni casi: «… l’inclusione dei dettagli citati negli algoritmi decisionali dell’assistenza sanitaria può portare a pregiudizi espliciti, intenzionali, nei confronti di determinati gruppi, perché legati a questioni di discriminazione razziale sistemica radicata nel paese»

Viene, inoltre, riportato uno studio in cui, sebbene fossero stati eliminati dai set di dati tutti i riferimenti su etnia e reddito, un algoritmo sviluppato per fare previsioni in merito ai pazienti affetti da patologie croniche che avrebbero, in futuro, saltato i controlli di routine in ospedale sulla base delle informazioni contenute nelle cartelle cliniche, non è diventato imparziale, perché comunque includeva, come variabile, dati precedenti presenti nelle cartelle e relativi a situazioni passate in cui determinati pazienti non si erano presentati agli appuntamenti fissati.

In questo specifico caso – notano le autrici – «le previsioni fatte dall’algoritmo discriminano quelle persone che potrebbero aver saltato gli appuntamenti a causa dell’impossibilità di permettersi il trasporto in ospedale o una baby sitter che badasse ai propri bambini durante la loro assenza, discriminando in modo indiretto – e non intenzionalmente – quei pazienti appartenenti a gruppi a basso reddito».

Andando avanti di questo passo, è probabile che algoritmi di questo genere, utilizzati per mettere a punto politiche che, però, non affrontano i pregiudizi socio-culturali radicati nel sistema e che influiscono sull’assistenza sanitaria ai gruppi emarginati, «abbiano, di fatto, impatti parziali che esacerbano le disuguaglianze sanitarie esistenti».

Conoscere, sorvegliare e studiare come base di approccio al problema

La soluzione, volta a rendere l’assistenza sanitaria davvero inclusiva, è quella di giungere a riconoscere e, dunque, a rimuovere i bias celati nei data set. Il lavoro da compiere è alla fonte, agendo sui dati clinici da selezionare per allenare gli algoritmi di machine learning. Sì, ma come farlo nel concreto?

Le ricercatrici suggeriscono, innanzitutto, l’acquisizione di una maggiore consapevolezza da parte di tutti gli attori coinvolti nel processo, ovvero chi gli algoritmi li sviluppa e chi li andrà a utilizzare, compresi, dunque, informatici, ingegneri, personale medico-sanitario e Istituzioni ospedaliere. Consapevolezza che passa attraverso l’attenzione – da parte di tutti – ai dati clinici a disposizione, per capire chi vi è incluso e chi vi è escluso. L’obiettivo è cogliere un eventuale vizio di fondo, per non automatizzarlo e perpetuarlo con l’utilizzo del sistema di intelligenza artificiale messo a punto.

La seconda raccomandazione è quella di eseguire audit rigorosi e regolari per garantire che, al di là dei dati di addestramento, gli algoritmi forniscano sempre e comunque uguale assistenza a tutti i pazienti. È necessaria insomma, una sorveglianza costante sugli algoritmi adoperati in campo sanitario. Soprattutto «per valutare in che modo questi stanno influenzando le popolazioni che dovrebbero servire, comprese quelle emarginate e povere. Questo è un metodo per identificare e affrontare i pregiudizi».

Infine, vi è l’esigenza sempre più forte che vuole coloro che sviluppano e utilizzano algoritmi AI per prendere decisioni in ambito sanitario, impegnati nello studio – al fine di saperle conoscere – delle ingiustizie storiche contro i gruppi emarginati, per avere una buona base culturale in materia ed essere in grado di adottare politiche e pratiche antirazziste.

Default image
Paola Cozzi

Giornalista dal solido background acquisito lavorando presso i più prestigiosi Editori italiani | Ventidue anni di esperienza nello sviluppo di prodotti editoriali b2b, cartacei e digitali | Vent'anni alla direzione di una testata b2b in tema di Sicurezza anticrimine di tipo fisico | Attualmente si dedica al Giornalismo Digitale ed esplora nuove tecniche e nuovi stili di comunicazione

Articles: 241

Newsletter Updates

Inserisci il tuo indirizzo email qui sotto per iscriverti alla nostra newsletter