La discriminazione da parte degli algoritmi di soluzioni e applicazioni basate su tecniche di intelligenza artificiale è reale e rappresenta un pericolo, soprattutto alla luce di casi già "entrati nella storia"

Quello della discriminazione da parte degli algoritmi di soluzioni e applicazioni basate su tecniche di intelligenza artificiale è un “tema caldo”. Molti di questi sistemi risultano al “giudizio umano”, alla luce di alcune applicazioni concrete, maschilisti, razzisti e pure ignoranti. Ma non è colpa loro, è colpa dei loro genitori, i programmatori.

Partiamo con una doverosa premessa tecnica. L’Intelligenza Artificiale di per sé non esiste. Quanto meno non esistono le intelligenze artificiali stante le definizioni di Alan Turing (il creatore del famoso test) e di Raymond Kurzweil (ancora in vita, che sostiene che si vedrà una “vera” intelligenza artificiale nei prossimi 50 anni).

Quello di cui molti media e marketing manager parlano, nelle loro analisi o nei loro spot pubblicitari, sono algoritmi. Per intenderci, gli algoritmi sono funzioni di calcolo e i primi risalgono ai tempi di Ada Lovelace e Babbage (1850 circa).

La capacità di calcolo degli attuali computer, il cloud venduto da vari operatori e la conseguente capacità di calcolo estesa in affitto, ha reso gli algoritmi omnipresenti.

Questi algoritmi si possono trovare, come detto, ovunque: dall’autoradio della vostra nuova macchina “intelligente” al software di screening dei curriculum di Amazon (attivo sino al 2018, si riporta). Queste soluzioni informatiche permettono di semplificare la vita: velocizzano i processi aziendali e riducono (quando possibile) i costi di personale (che può essere affrancato da lavori noiosi per svolgere attività più gratificanti all’interno o all’esterno dell’azienda).

Il serio problema si manifesta quando questi software “crescono male” e diventano molesti, dannosi e, in ultima istanza, pericolosi per aziende pubbliche o private e per i cittadini comuni.

I casi storici recenti di discriminazione da parte degli algoritmi

Per miglior comprensione alcuni casi storici recenti di discriminazione da parte degli algoritmi sono utili.

Un inizio d’anno con il botto per Deliveroo e il suo algoritmo con atteggiamenti discriminatori (definizione del tribunale di Bologna). Frank, così si chiama l’algoritmo, è stato condannato perché discrimina i riders (autonomi non assunti dall’azienda) sulla base delle loro performance e attività. È un precedente che farà storia. Per la prima volta un algoritmo viene giudicato. In verità non è colpa dell’algoritmo: semplicemente Frank ripete e applica, in modo più o meno continuo, le direttive che gli sono state impiantate. Un po’ come dire: se a un bimbo insegni per decenni che i cittadini di origine africana devono essere trattati male e chiamati “negri”… il bimbo, una volta cresciuto, seguirà questi dettami insegnategli dai genitori. Gli algoritmi non hanno genitori genetici ma programmatori. Il principio, semplificando un poco, è tuttavia il medesimo.

Se Frank vi sta simpatico impazzirete per i suoi “cugini” di Amazon, Google e Microsoft. Nel 2020 è stato reso pubblico un paper di ricerca scientifica su come i prodotti di analisi d’immagine (venduti da questi gruppi ad aziende terze) “osservano” le donne. I ricercatori li hanno testati con le foto di politici, donne e uomini, del congresso americano. Hanno “dato in pasto” le immagini agli algoritmi di analisi di Google Cloud Vision, Microsoft Azure Computer Vision e Amazon Rekognition. I risultati, simili tra loro, sono stati sorprendenti. Gli algoritmi vedevano gli uomini e le donne in modo differente.

Ancora più grave, gli algoritmi etichettavano le donne, in ambito sociale, con un rating più basso rispetto ai loro colleghi uomini. Le etichette che venivano associate alle donne di potere (stesso potere dei loro colleghi maschi) erano più di carattere estetico e sessuale: “giovane”, “bellezza”, ecc.

È importante comprendere il rischio insito in questi “errori di programmazione”. L’esempio del bimbo “razzista”, paragonabile all’algoritmo razzista è utile. Siamo sicuri che, in futuro, algoritmi evoluti grazie a quelli “razzisti”, non diventeranno strumenti di discriminazione su base etnica, filosofica, religiosa o economica? Sembra uno scenario fantascientifico? No è piuttosto realistico e, se non curato, può facilmente degenerare.

I due casi riportati sono solo i più recenti.

Sino ad ora abbiamo discusso di errori: difficile pensare che questi errori siano stati compiuti consciamente dai programmatori degli algoritmi. Ora però entriamo in un caso molto più preoccupante ed egualmente recente.

Google e il caso Gebru

Gebru è una delle più famose ricercatrici nel campo delle Intelligenze artificiali e algoritmi. Tra i suoi lavori più rilevanti (e recenti) un paper che analizza i bias cognitivi degli algoritmi, applicati a funzioni di riconoscimento facciale, nei confronti di donne e persone di colore. In aggiunta ha fondato il movimento “Black in AI” (un gruppo interno a Google che studia il fenomeno del riconoscimento delle persone di colore da parte degli algoritmi di riconoscimento visivo) ed è grande sostenitrice della diversity nella industria tecnologica. Uno di quei soggetti che ogni azienda di Silicon Valley sbava per avere. L’attività della Gebru a Google è stata amplia e diversificata, nell’ambito dello studio dell’IA. Tuttavia, verso la fine del 2020, lei viene purgata da Google. La notizia sconvolge il tessuto sociale di Silicon valley: Gebru è vista da tutti come una visionaria, una grande esperta e una persona che “fa la cosa giusta”, battendosi per rendere più efficaci i sistemi di analisi algoritmica riducendo i bias cognitivi (i pregiudizi che in pratica creano rapporti di minoranza o falsi positivi nel riconoscimento dei comportamenti, un po’ come i casi storici riportati sopra). Per capire la gravità dei bias: una precedente versione di software di riconoscimento facciale di Google etichettava come “gorilla” i cittadini di pelle scura…

Il motivo dell’epurazione della Gebru, a quel che si legge sulle testate di settore, sarebbe uno scontro violento, in seno a Google, originato da un recente paper che la ricercatrice aveva reso pubblico (per essere corretti stava per pubblicare). La versione di Google è che il paper della Gebru non era all’altezza degli standard dell’azienda. Il documento, un paper esplosivo, analizza i rischi elevati connessi all’utilizzo di algoritmi nella analisi dei processi di tracciamento delle persone e i rischi ad essi connessi di forti bias cognitivi. Dopo una lunga analisi su varie chat di programmatori sono riuscito a trovare il paper di cui suggerisco la lettura (nel caso il link svanisca). Il paper è piuttosto tecnico, per questo invito chiunque alla lettura per evitare fraintendimenti. Semplificando molto l’analisi, i rischi palesati dalla Gebru sono numerosi e differenti: costi energetici/ambientali legati alla creazione di modelli linguistici inclusivi (alla fine un algoritmo non è altro che un programma che gira su un computer e consuma elettricità), costi finanziari, danni generati da stereotipi massicci e non considerati (i famosi bias cognitivi). Si può desumere che questi rischi e relativi costi possano essere un potenziale danno per l’azienda. Il timore che si può percepire nel paper è che Google ignori i rischi al fine di massimizzare i profitti.

La cacciata della Gebru crea anche un precedente importante nel mondo dei ricercatori nell’ambito dell’IA. Per certi aspetti è come se fosse un messaggio silenzioso a tutti coloro che hanno una visione non-aziendale. Il messaggio sembra essere “o parli bene delle cose che l’azienda per cui lavori può fare o ti cacciamo”. Nello stesso periodo temporale della cacciata della Gebru, Google ha suggerito a tutti i suoi ricercatori di parlare “bene” dell’IA.

Se consideriamo che la maggioranza dei ricercatori in campo IA sono dipendenti delle grandi aziende della Silicon Valley, è facile capire come l’evento della Gebru segni una evoluzione nel mondo dell’IA e nel modo di creare algoritmi.

Il serio rischio, per il futuro, è che le aziende possano imporre una qualche forma di coercizione psicologica sui team di sviluppo di algoritmi e IA, forzandoli, in modo indiretto, ad allinearsi su una strategia di massimizzazione dei profitti ignorando i rischi.

I rischi non sono solo teorici ma estremamente pratici.

Se (un grande SE) nei prossimi decenni le IA, e i loro “genitori algoritmi”, impareranno a odiare, ora sappiamo il perché. Skynet scansati.

Scritto da:

Enrico Verga

Analista e Editorialista Leggi articoli Guarda il profilo Linkedin