Anziché dimostrare per l’ennesima volta che i sistemi di intelligenza artificiale spesso codificano pregiudizi nei confronti di sottogruppi minoritari, il recente lavoro del MIT si focalizza su “come” intervenire per fare fronte agli impatti negativi degli algoritmi discriminatori sui processi decisionali, specie in contesti ad alto rischio come quello medico-sanitario.

Esiste ormai una cospicua letteratura su come la presenza di pregiudizi negli algoritmi di intelligenza artificiale – a loro volta addestrati per mezzo di dati contenenti essi stessi pregiudizi (anche se non intenzionali) – si riflette negativamente sulla bontà delle raccomandazioni e sulla qualità delle decisioni automatizzate da parte dei sistemi AI adottati.

In particolare, sono numerosi gli esempi che vedono i sistemi di intelligenza artificiale codificare pregiudizi nei confronti di sottogruppi minoritari, razziali, di genere, socio-economici e religiosi. Tra tali sistemi, ad esempio, quelli di Natural Language Processing (NLP), nei compiti di completamento delle frasi, spesso tendono ad associare i musulmani alla violenza oppure a contenere pregiudizi nei confronti delle persone con disabilità.

In ambito sanitario, le tecniche AI sono sempre più impiegate per supportare il processo decisionale in una varietà di applicazioni, tuttavia, in questo specifico contesto, pochi lavori si sono focalizzati sulle modalità volte a mitigare i danni che eventuali algoritmi discriminatori possono causare in termini di disparità di cure e di trattamenti rivolti ai pazienti.

«Il potenziale impatto dell’implementazione dell’AI in contesti sanitari eterogenei non è ancora ben inquadrato. Man mano che questi strumenti proliferano, è però fondamentale studiare come l’intelligenza artificiale possa essere utilizzata per migliorare la pratica del personale medico-sanitario anche nei casi in cui i modelli AI in questione commettano errori» si legge in “Mitigating the impact of biased artificial intelligence in emergency decision-making“, studio a cura dei ricercatori del Computer Science and Artificial Intelligence Laboratory (CSAIL) del Massachusetts Institute of Technology (MIT) e della MIT Jameel Clinic – centro di ricerca presso lo stesso Ateneo – sull’impatto che modelli AI imprecisi e distorti hanno nei compiti di consulenza in situazioni sanitarie emergenziali (in cui è di vitale importanza prendere decisioni equilibrate) e sul modo in cui intervenire per farvi fronte. Vediamo che cosa ne è emerso.

L’impatto di modelli AI distorti sulle decisioni che coinvolgono un’emergenza di salute mentale

A proposito di pregiudizi insiti negli algoritmi di intelligenza artificiale impiegati in ambito sanitario, il team di ricerca del MIT ha compiuto una valutazione circa l’impatto che modelli AI distorti hanno in un contesto decisionale che coinvolge un’emergenza di salute mentale.

Nel dettaglio, lo studio ha previsto un esperimento online – svoltosi tra maggio 2021 e dicembre 2021 – al quale hanno preso parte, previo consenso, 954 soggetti, di cui 438 medici reclutati tra il personale di alcuni ospedali di Stati Uniti e in Canada e 516 non esperti.

L’esperimento è consistito nel mostrare a tutti i partecipanti i contenuti di una serie di telefonate a un finto centro di aiuto, da parte di soggetti di sesso maschile in preda a episodi correlati a problematiche di salute mentale. Tra le informazioni di base fornite, il fatto che la persona fosse di etnia caucasica oppure afroamericana con, in aggiunta, riferimenti a un’eventuale fede religiosa musulmana.

«Un esempio di scheda descrittiva della telefonata – spiegano gli autori – è dato da un contesto in cui un uomo di origine afroamericana viene trovato da solo in casa in uno stato di delirio allucinatorio, specificando che il soggetto non ha assunto alcun tipo di droga o di alcol, in quanto musulmano praticante».

Ai medici e ai non esperti, partecipanti all’esperimento, in sostanza, è stato chiesto si indicare come avrebbero reagito di fronte a una simile situazione, scegliendo tra chiamare la Polizia – ritenendo, dunque, il paziente potenzialmente violento – o richiedere un tempestivo intervento medico.

Ricordiamo che i partecipanti sono stati suddivisi casualmente in un gruppo di controllo (che ha fornito le proprie risposte in completa autonomia) e in altri quattro gruppi formati per testare le risposte in condizioni diverse, suggerite da un modello di elaborazione del linguaggio naturale equo e imparziale oppure da un modello AI distorto e parziale.

Pregiudizi negli algoritmi di intelligenza artificiale: i risultati dell’esperimento del MIT

Nell’ambito del lavoro sui pregiudizi negli algoritmi di intelligenza artificiale in un contesto sanitario, il primo dato emerso dall’analisi delle risposte date dal gruppo di controllo è stato positivo, rilevando come – complici probabilmente le informazioni sull’etnia e sulla religione dei pazienti e il modo in cui queste sono state somministrate in sede di esperimento – «i partecipanti umani non hanno mostrato alcun pregiudizio».

Agli altri quattro gruppi, invece, sono stati forniti consigli generati da un modello di intelligenza artificiale distorto e da un modello imparziale. «Consiglio somministrato ai partecipanti in forma prescrittiva o descrittiva» specifica il team di studio. Che aggiunge:

«Un modello AI viziato dal pregiudizio e, quindi, “parziale”, sarebbe più propenso a raccomandare l’intervento della Polizia in una situazione che coinvolge una persona afroamericana o musulmana rispetto a un modello di intelligenza artificiale imparziale»

In particolare, i consigli “prescrittivi” hanno illustrato ai partecipanti che cosa fare in modo diretto: chiamare la Polizia oppure cercare assistenza medica. I consigli “descrittivi”, al contrario, non sono stati così espliciti:

«Sullo schermo, i partecipanti hanno visualizzato un contrassegno, a indicare che il sistema di intelligenza artificiale ha percepito un chiaro rischio di violenza associato a una particolare chiamata. Nessun contrassegno, invece, viene mostrato se la minaccia di violenza è stata percepita come non rilevante»

Un secondo dato interessante rilevato dagli autori riguarda la forte influenza dei consigli prescrittivi da parte di una macchina non equa, che ha condizionato le risposte dei partecipanti. In poche parole, «quando a qualcuno viene detto, viene prescritto di “fare qualcosa”, come chiamare la Polizia o chiamare il medico, questo lascia poco spazio ai dubbi»fanno notare.

Diverso è, invece, quando la situazione viene semplicemente descritta e classificata, con o senza la presenza di un contrassegno:

«Questo ha lasciato spazio all’interpretazione dei partecipanti, permettendo loro di essere più flessibili, di considerare la situazione da soli e nel suo insieme e di mantenere il loro processo decisionale originale e imparziale»

In altre parole – osservano i ricercatori del MIT – «il pregiudizio incorporato in un modello di intelligenza artificiale può essere ridotto inquadrando in modo appropriato il consiglio che viene reso».

Andando più in profondità, i partecipanti imparziali sono stati comunque condizionati dalle raccomandazioni fornite da modelli AI distorti, indipendentemente dall’essere medico o una persona non esperta in materia di salute mentale: «i medici sono stati influenzati dai modelli di intelligenza artificiale contenenti pregiudizi tanto quanto i non esperti» precisa il team.

Schema riassuntivo dell’esperimento descritto, in cui ai partecipanti (suddivisi tra medici e non esperti) vengono mostrati i riassunti dei contenuti delle telefonate a un fittizio centro di aiuto da parte di persone in preda a episodi legati a un disagio mentale, chiedendo loro di scegliere - supportati dai suggerimenti di un modello AI imparziale o, al contrario, parziale - tra intervento della Polizia e richiesta di assistenza medica (Fonte: “Mitigating the impact of biased artificial intelligence in emergency decision-making“ - Massachusetts Institute of Technology).
Schema riassuntivo dell’esperimento descritto, in cui ai partecipanti (suddivisi tra medici e non esperti) vengono mostrati i riassunti dei contenuti delle telefonate a un fittizio centro di aiuto da parte di persone in preda a episodi legati a un disagio mentale, chiedendo loro di scegliere – supportati dai suggerimenti di un modello AI imparziale o, al contrario, parziale – tra intervento della Polizia o richiesta di assistenza medica (Fonte: “Mitigating the impact of biased artificial intelligence in emergency decision-making“ – Massachusetts Institute of Technology).

Attenzione non solo alle prestazioni del modello AI, ma anche a come i suoi output vengono colti dai decisori umani

Il lavoro del MIT sui pregiudizi negli algoritmi di intelligenza artificiale in ambito sanitario indica che è fondamentale scegliere attentamente lo “stile” delle raccomandazioni nel processo decisionale assistito dall’intelligenza artificiale, perché una progettazione ponderata dell’intero processo può ridurre l’impatto del bias del modello.

Gli autori, in particolare, suggeriscono di fare uso di quadri concettuali che fungano da guida pratica su come presentare al meglio le informazioni dettate da un aiuto decisionale automatizzato.

Tale suggerimento si aggiunge all’esigenza di una crescente comprensione del fatto che qualsiasi implementazione AI di successo debba prestare molta attenzione non solo alle prestazioni del modello stesso, ma anche a come l’output di questo modello viene visualizzato da parte di un decisore umano.

«Ad esempio, la Food and Drug Administration (FDA) statunitense – rammenta il gruppo di ricerca – ha recentemente raccomandato che l’implementazione di qualsiasi dispositivo medico basato sull’intelligenza artificiale utilizzato per informare le decisioni umane, debba tenere conto delle considerazioni sui fattori umani e sull’interpretazione umana degli output del modello».

Pregiudizi negli algoritmi di intelligenza artificiale: alcune riflessioni conclusive

Le implicazioni di questo studio in tema di pregiudizi negli algoritmi di intelligenza artificiale, in realtà, ci portano oltre la sfera del disagio mentale, offrendo solo un caso istruttivo, un esempio nel combinare le raccomandazioni dell’AI con il giudizio umano in contesti ad alto rischio del mondo reale. Quello medico-sanitario è stato solo un pretesto esplicativo.

L’insegnamento che se ne trae è che sistemi di intelligenza artificiale a supporto del processo decisionale devono essere sempre accuratamente convalidati, sia sotto il profilo delle prestazioni, sia per quanto concerne il loro concreto utilizzo da parte di decisori umani, prima di essere implementati in contesti ad alto rischio, in cui l’adesione a decisioni inquinate dal pregiudizio razziale, di genere, religioso o socio-economico potrebbero avere un costo assai alto.

«La nostra scoperta principale, e cioè che esperti e non esperti seguono comunque consigli AI distorti quando vengono forniti in modo prescrittivo, deve essere attentamente considerata nei numerosi scenari del mondo reale» concludono i ricercatori del MIT, ribadendo come, per le implementare sistemi di artificial intelligence di successo, si debbano testare a fondo sia le prestazioni degli stessi modelli, sia l’interazione uomo-AI, affinché il supporto decisionale basato sulla machina migliori l’efficacia e la sicurezza delle decisioni umane.

Scritto da:

Paola Cozzi

Caporedattrice Leggi articoli Guarda il profilo Linkedin