Un recente studio del Computer Science and Artificial Intelligence Laboratory del MIT avanza una nuova metodologia per riequilibrare i modelli di machine learning addestrati in modo sbilanciato dal punto di visa delle categorie rappresentate dai dati.
TAKEAWAY
- L’asse “dati inquinati dai pregiudizi-algoritmi AI altrettanto inquinati” rimanda a un concetto ormai acquisito. Il problema è che, quando, in fase post-addestramento, tale asse si rivela, è tardi per porvi rimedio. E ricorrere a nuovi set di dati per mezzo dei quali riallenare il sistema, non porta a risultati apprezzabili.
- I ricercatori del Computer Science and Artificial Intelligence Laboratory del MIT propongono una tecnica che lavora sui dati già somministrati, addestrando il sistema ad apprendere metriche di somiglianza separate per determinati attributi delle immagini date (ad esempio, il colore della pelle), “decorrelandole” da tutte le caratteristiche apprese in precedenza.
- Gli scenari aperti da questo filone di studi guardano a una sempre più profonda comprensione circa il raggiungimento della piena equità dei sistemi di intelligenza artificiale già addestrati, arrivando altresì a individuare in quali specifiche situazioni questi possono essere davvero definiti equilibrati.
In tema di machine learning e di addestramento sbilanciato, perché basato su dati non equi sotto il profilo delle categorie rappresentate (età, genere, etnia, solo per citare alcuni esempi), esiste una discreta letteratura. Anche delle conseguenze di tali squilibri di fondo nei set di dati, si è scritto e dibattuto a più riprese, ribadendo che se un sistema di intelligenza artificiale viene allenato per mezzo di dati che, ad esempio, contengono una percentuale più alta di informazioni riguardanti gli uomini rispetto ai riferimenti alle donne, il rischio che si verifichino discriminazioni di genere nell’ambito delle decisioni che la macchina poi prenderà una volta addestrata e pronta per essere operativa, è alquanto alto. E lo stesso accade nel caso in cui il set di dati contenga molte più immagini di persone appartenenti a una determinata etnia rispetto a un’altra.
L’equazione “dati viziati dai bias = algoritmi AI altrettanto inquinati dai bias” è ormai nota ed acquisita. Resta il fatto che si tratta di un’equazione impossibile da correggere una volta data. E, quand’anche venisse riformulata ricorrendo a un bilanciamento del set di dati, il risultato resterebbe invariato.
In uno studio dal titolo “Is fairness only metric deep? Evaluating and addressing subgroup gaps in DML”, i cui contenuti verranno discussi durante l’International Conference on Learning Representations (ICLR), dal 25 al 29 aprile 2022, i ricercatori del Computer Science and Artificial Intelligence Laboratory (CSAIL) del Massachusetts Institute of Technology(MIT) tentano una svolta, applicando una tecnica in grado di riequilibrare il modello di machine learning vittima di addestramento sbilanciato, riducendone la distorsione e ottimizzandone le prestazioni. Vediamo nel dettaglio di quale tecnica si tratta.
Machine learning e addestramento sbilanciato: focus sulla tecnica di Deep Metric Learning
In tema di machine learning e addestramento sbilanciato, la tecnica di intelligenza artificiale sulla quale il team di studio si è focalizzato è denominata Deep Metric Learning (DML), il cui meccanismo prevede la presenza di una rete neurale che apprende la somiglianza tra oggetti costruendo una mappa di immagini tra loro molto simili e molto ravvicinate e, allo stesso tempo, tra immagini – al contrario – non somiglianti e tra loro molto distanti.
Come si comporta questa rete neurale durante la fase di addestramento? Procede con la mappatura dei dati video all’interno di uno spazio, dove la somiglianza tra le immagini corrisponde alla distanza tra le stesse. Per cui, per classificare, ad esempio, la specie dei pesci, mapperà – come prima cosa – le immagini dei pesci più grandi tutti insieme in un dato “spazio di incorporamento” e i pesci più piccoli insieme in un’altra parte dello stesso spazio.
Una volta allenato mediante questo tipo di metrica, il modello di Deep Metric Learning sarà in grado di stabilire somiglianze tra nuove immagini di pesci, mai viste prima. Quello che farà, sarà apprendere a raggruppare quelle più simili (ad esempio, quelle dei pesci molto colorati) ponendole molto vicine, a distanza rispetto alle immagini dei pesci più grandi e di quelli più piccoli.
La metrica fondata sulla somiglianza dei dati correlata alla distanza degli stessi all’interno dello spazio di inclusione, è spesso utilizzata nell’ambito del riconoscimento facciale. Si tratta, dunque, di una tecnica piuttosto solida. Tuttavia, dopo averla individuata, il secondo step dei ricercatori è stato quello di capire come stabilire se si tratta di una metrica che lavora in maniera distorta, perché a sua volta addestrata su dati video non bilanciati.
Quando una metrica di somiglianza non è equilibrata nella classificazione delle immagini?
In tema di machine learning e addestramento sbilanciato, il team di ricercatori ha definito, in particolare, due metodi per riconoscere metriche di somiglianza non eque. Nel caso specifico di applicazioni di riconoscimento facciale:
«… la metrica si comporta in modo non equilibrato se raggruppa le immagini dei soggetti di pelle scura molto più vicine l’una all’altra – anche se fra loro ci sono persone molto diverse per genere ed età (donne e uomini, ragazzi molto giovani e anziani) – di quanto non faccia con le immagini dei soggetti di pelle chiara»
Il secondo metodo, invece, reputa “ingiusta” quella metrica che, per stabilire le somiglianze tra le immagini, apprende caratteristiche ritenute “migliori” (riguardanti, ad esempio, la regolarità dei tratti del viso o aventi a che fare con altri aggettivi positivi) per il gruppo di maggioranza (le persone di pelle chiara) rispetto al gruppo di minoranza (le persone di colore).
L’aspetto più preoccupante emerso da una serie di esperimenti condotti dal team di studio su modelli di Deep Metric Learning le cui metriche di somiglianza tra le immagini erano state valutate non eque, riguarda l’impossibilità di superare il pregiudizio appreso da queste in fase di incorporamento dei dati video.
«Questo lascia perplessi, anche perché quella di rilasciare modelli di machine learning di questo genere, con a bordo bias già appresi, è una pratica piuttosto comune – anche se non intenzionale – da parte delle aziende che li sviluppano. E il problema vero è che qualsiasi cosa si faccia a valle, non è dato risolvere i problemi di non equità indotti nello spazio di incorporamento delle immagini» si legge nel documento che illustra lo studio compiuto.
Anche se si decidesse di intervenire riqualificando l’intero modello sulla base di un data set bilanciato, «resterebbero ancora divari di prestazioni di almeno il 20 per cento». L’unica via per sciogliere questo nodo, è fare in modo che lo spazio di incorporamento dei dati sia bilanciato fin dall’inizio. Ma con un modello già fatto e allenato – come detto – non è una strada praticabile.
Machine learning e addestramento sbilanciato: correggere la metrica non equa attraverso la “decorrelazione”
In tema di machine learning e addestramento sbilanciato, una possibile soluzione avanzata dai ricercatori porta il nome di Partial Attribute Decorrelation (PARADE), tecnica in base alla quale – fermo restando il set di dati somministrato in fase di addestramento, che non va modificato – si procede con un secondo allenamento del modello, in modo che questo apprenda una metrica di somiglianza separata per una determinata caratteristica dei soggetti raffigurati nelle immagini date (il tono del colore della pelle), “decorrelando”, in questo modo, la metrica di somiglianza del tono del colore della pelle dalla metrica di somiglianza di tutti le altre caratteristiche (età, genere, attributi fisici ecc.).
Quello del tono del colore della pelle, naturalmente, è soltanto un esempio. Qualsiasi tipo di caratteristica – seguendo tale metodologia – può essere non-correlata alla metrica di somiglianza “mirata”, ossia relativa agli attributi appresi in fase di addestramento. «E poiché la metrica di somiglianza per l’attributo sensibile viene appresa in uno spazio di incorporamento separato, viene eliminata dopo l’addestramento, in modo tale che nel modello rimanga solo la metrica di somiglianza mirata» precisa il team.
La tecnica della Partial Attribute Decorrelation è applicabile a diversi modelli di machine learning.Nell’esempio in ambito healthcare citato nel documento, relativo a un modello allenato per la diagnosi del cancro al seno sulla base delle immagini evidenziate dalle mammografie, viene sottolineata la possibilità – per il medico che lo desidera – di decorrelare la metrica di somiglianza tra le immagini che presentano uno specifico attributo dalla metrica di somiglianza tra le immagini contenenti tutte le altre informazioni relative alle pazienti.
Tra gli studi futuri in materia di machine learning e addestramento sbilanciato, vi è l’approfondimento delle funzionalità del Deep Metric Learning. In particolare, l’obiettivo del Computer Science and Artificial Intelligence Laboratory del MIT è giungere a capire come si raggiunge correttamente l’equità in un modello ML. La domanda attualmente aperta verte sul “come”, oltre che sulle specifiche situazioni in cui il modello AI è equilibrato. Su questi aspetti si sta muovendo la ricerca, guardando a scenari applicativi sempre più ampi.