Una metodologia per mitigare distorsioni e pregiudizi nascosti nei set di dati utilizzati per l’addestramento di algoritmi AI in ambito bancario, è in grado di consentire a modelli di machine learning di prendere decisioni più eque e corrette nel concedere o nel rifiutare richieste di mutuo e di prestiti.

TAKEAWAY

• In tema di automatizzazione delle operazioni bancarie per le concessioni di mutui e prestiti, una tecnica sviluppata dal CSAIL del MIT lavora all’individuazione e alla rimozione dei bias all’interno dei grandi set di dati contenenti più attributi sensibili – come, ad esempio etnia e genere – e diverse opzioni sensibili per ciascun attributo.
• In sostanza, il software messo a punto procede “livellando” il numero dei richiedenti il mutuo all’interno di ogni sottogruppo creato nel dataset, duplicando i soggetti dei gruppi minoritari e, parallelamente, eliminando alcuni soggetti dai gruppi maggioritari.
• Dopo le opportune fasi di test, la metrica di equità definita potrà essere applicata ai dati di ogni dominio, da quelli clinici del settore sanitario a quelli relativi alle domande di assunzione del comparto Human Resources, per l’addestramento di algoritmi AI finalizzati alla valutazione e alla presa di decisioni in molteplici contesti applicativi.

---

«Se desideriamo che un sistema di intelligenza artificiale sia in grado di valutare e di distinguere tra una richiesta di mutuo con i requisiti giusti per poter essere accettata e una richiesta che, invece, non li ha, e lo alleniamo dandogli esempi diversi di richieste, specificando, per ognuna, se sia idonea, dobbiamo stare attenti a non trasferirgli modelli in cui – ad esempio – tutte le richieste di mutuo da parte di persone giovani vengono accettate, mentre quelle che provengono da parte di persone anziane vengono rifiutate. Dandole – non intenzionalmente – la correlazione tra età degli utenti e opzioni di rifiuto o di accettazione, mettiamo la macchina nelle condizioni di operare scelte discriminatorie nei confronti di un target di età specifico»: così Francesca Rossi, AI Ethics Global Leader IBM, da me intervistata per Tech4Future qualche tempo fa, in tema di etica e intelligenza artificiale.

Sul tema specifico, che vede le tecniche di intelligenza artificiale impiegate nel settore bancario e, più in particolare, nella valutazione delle richieste di mutuo e di prestiti in genere, uno studio a cura dell’University of California (Berkley), pubblicato sul Journal of Financial Economics a maggio del 2021, focalizzandosi sui pregiudizi etnico-razziali contenuti nei dati di addestramento dei sistemi AI, ha rilevato che, negli Stati Uniti, ai gruppi di minoranza – tra cui afroamericani e ispanici – vengono rifiutati mutui e prestiti con una percentuale del 14% in più rispetto ai gruppi considerati privilegiati.

Si tratta – notano gli autori – di “ingiustizia algoritmica”, allo stesso tempo conseguenza del razzismo sistemico esistente in ambito USA ed essa stessa rea di inasprire le disparità di trattamento già esistenti tra etnie diverse:

«Se un algoritmo di intelligenza artificiale viene addestrato sulla base di un set di dati non equo, come quello, in seguito al quale, a una percentuale maggiore di mutuatari neri vengono negati prestiti rispetto ai mutuatari bianchi aventi lo stesso reddito e punteggio di credito, tali distorsioni influenzeranno le previsioni e le decisioni della macchina anche in altri ambiti di applicazione».

Il Computer Science and Artificial Intelligence Laboratory (CSAIL) del Massachusetts Institute of Technology (MIT) in un recente studio dal titolo “Developing a Novel Fair-Loan Classifier through a Multi-Sensitive Debiasing Pipeline: DualFair”, illustra un processo messo a punto proprio con l’intento di individuare e di mitigare (se non rimuovere) gli eventuali pregiudizi contenuti nei set di dati utilizzati per addestrare i sistemi di machine learning di cui si avvalgono le banche per automatizzare le operazioni che regolano le concessioni di mutui e di prestiti in genere.

E se la letteratura in materia contiene diversi esempi di metodologie che si prefiggono di correggere il sistema aggiornando i dati di addestramento (dunque, in fase di pre-elaborazione), intervenendo sul processo stesso di apprendimento del modello di machine learning (fase di elaborazione) oppure manipolando l’output del modello (fase di post-elaborazione), la tecnica avanzata dal MIT (denominata “DualFair”) è in grado di «rimuovere il pregiudizio da un set di dati che contiene più attributi sensibili (ad esempio, razza, genere ed etnia) e diverse opzioni sensibili (ad esempio, accettazione della richiesta di mutuo, rifiuto, rinvio, richiesta di ulteriori informazioni) per ciascun attributo».

Intelligenza artificiale e richiesta di mutuo: i bias nascosti nei dati

In tema di intelligenza artificiale e richiesta mutuo, l’intenzione del team di studio era quella di trovare una soluzione a due diverse tipologie di bias nascosti all’interno dei dati utilizzati in ambito bancario, per allenare algoritmi di machine learning.

La prima ha a che vedere con la “distorsione”, ossia con l’evidente mancanza di equilibrio tra risultati favorevoli da un lato e risultati sfavorevoli dall’altro, riferiti a un determinato gruppo: ne è un esempio la percentuale considerevolmente alta di rifiuto delle richieste di mutuo per gli utenti di origine ispanica.

Nel secondo tipo di bias, invece, si ha un “pregiudizio di selezione”. Il che significa che i dati utilizzati non sono rappresentativi della popolazione più ampia, ossia include solo informazioni relative – ad esempio – agli utenti di colore oppure provenienti da una specifica area (un quartiere particolarmente disagiato), in cui il livello socio-economico è notoriamente basso.

Per affrontare entrambi i bias, i ricercatori hanno lavorato ripartendo il set di dati nel maggior numero possibile di sottogruppi, in base a combinazioni di attributi e opzioni sensibili, come, ad esempio, «donne bianche che non sono né ispaniche né latine e uomini di colore che non sono né ispanici né latini e via discorrendo con questo registro».

Successivamente, il software messo a punto dal MIT procede uniformando, livellando, il numero dei richiedenti il mutuo all’interno di ogni sottogruppo, duplicando i soggetti dei gruppi minoritari e, allo stesso tempo, sottraendo alcuni soggetti dai gruppi maggioritari.

Il risultato è un bilanciamento, un riequilibrio tra la proporzione di accettazioni e di rifiuti di mutuo all’interno di ciascun sottogruppo.

Insomma, DualFair agisce eliminando sia la distorsione, sia il pregiudizio di selezione, intervenendo in questo modo su ciascun punto dei dati:

«Se il cliente in questione è una donna nera non ispanica, alla quale l’algoritmo di machine learning ha rifiutato il mutuo, il software regolerà automaticamente – uno alla volta – la sua razza, la sua etnia e il suo genere, per verificare se il risultato cambia. Se il sistema AI gli concede il mutuo nel momento in cui la razza viene modificata in bianca, DualFair considererà i dati relativi alla razza come “parziali” e, dunque, li rimuoverà dal set di dati»

La fase di test del metodo anti-bias

In materia di intelligenza artificiale e richiesta di mutuo, la tecnica sviluppata dal MIT è stata testata ricorrendo al set di dati pubblici Home Mortgage Disclosure Act, inerente all’88% dei mutui bancari concessi negli Stati Uniti nel 2019 e contenente ben 21 variabili, tra cui razza, genere ed etnia dei richiedenti.

Il primo step ha visto il software suddividere l’intero set di dati in set più piccoli, riferiti, in particolare, a sei Stati americani. Tali dati sono serviti per allenare un modello di machine learning atto a prevedere l’accettazione o il rifiuto dei mutui.

Quello che è emerso fin dai primi test, è – grazie all’applicazione del software – un aumento del livello di equità delle previsioni da parte del sistema di intelligenza artificiale relativamente a quattro dei sei Stati USA presi in esame, parallelamente al livello di accuratezza nelle operatività.

La metrica impiegata – come visto in precedenza – si fonda sull’analisi dell’equità di un singolo attributo sensibile alla volta (ad esempio, razza, etnia, genere, età, solo per citarne alcuni), per poi considerare la distorsione della previsione guardando agli attributi nel loro insieme.

L’obiettivo attuale dei team di ricerca è quello di proseguire con le sperimentazioni del loro metodo anti-bias, applicandolo ad altre tipologie di set di dati adoperati per l’addestramento di algoritmi AI, tra cui i dati clinici in ambito sanitario, quelli relativi ai tassi di assicurazione auto o alle domande di assunzione.

Intelligenza artificiale e richiesta di mutuo: la portata della strategia

Sebbene – come osservano gli autori dello studio in tema di intelligenza artificiale e richiesta di mutuo – il software sviluppato presenti alcuni limiti, tra cui una certa instabilità nell’operatività quando si trova a dover lavorare su piccole quantità di dati con più attributi e opzioni sensibili, la tecnica che vi sta alla base ha dimostrato di poter essere applicata con risultati significativi a una mole di dati pubblici eterogenei – contenenti più parametri sensibili non binari e più opzioni sensibili – come quella che fa capo, appunto, all’Home Mortgage Disclosure Act americano.

Il pensiero va ad altri dataset USA pubblici di grandi dimensioni come, ad esempio, quelli in ambito sanitario e assicurativo, ancora più eterogenei rispetto all’HMDA.

La peculiarità del lavoro del Computer Science and Artificial Intelligence Laboratory del Massachusetts Institute of Technology sta nell’aver dato vita a una strategia metodologica volta a mitigare i pregiudizi nascosti nei dati caratterizzati da più parametri sensibili e da più opzioni sensibili.

In particolare, la metrica di equità definita – detta Alternate World Index (AWI) – può essere applicata a dati con più parametri sensibili e opzioni sensibili di ogni dominio, per l’addestramento di modelli di apprendimento automatico non solo nel comparto dei mutui e, più in generale, dei prestiti bancari, ma anche laddove vi sia l’esigenza di compiere valutazioni e, sulla base di queste, di prendere decisioni in merito a determinate richieste e problematiche.