“I dati con cui vengono addestrati gli algoritmi hanno caratteristiche e problematiche che portano a modelli incorporanti stereotipi e discriminazioni di genere, razza, etnicità e stati di disabilità. Suprematismo bianco, misoginia e ageismo etc… sono fin troppo presenti nei dati di addestramento: non solo eccedono la loro presenza in rapporto alla popolazione media ma la creazione di questi modelli, con questi dati, può ulteriormente amplificare i pregiudizi (bias) e danni”. 

Il punto di vista di Timnit Gebru, una delle massime autorità in materia di AI, licenziata in tronco da Google dopo la pubblicazione della sua famosa ricerca sui rischi degli algoritmi, fanno riflettere. Ormai le intelligenze artificiali (in vero semplici algoritmi, ma chiamarle IA fa più “cool”) sono tra noi. Difficile pensare che le aziende scaleranno, rinnegando, questo tipo di innovazione. I vantaggi di avere sintetici che aiutano, e amplificano, le capacità dei biologici (umani) sono ovvi: tempi di processazione di grandi moli di dati più rapidi, capacità di analisi degli stessi efficace e, cosa non secondaria, risparmio di tempo e maggior efficienza, che portano a migliori margini trimestrali.

In un mondo ideale gli algoritmi sono la soluzione di tutti i mali. Tuttavia, non viviamo in un mondo ideale, come Gebru può confermare.

Uno dei tanti problemi degli algoritmi è la loro educazione (training dataset) e la lacunosa mole di dati che vengono usati per “educare” i sintetici. Lacune così grandi che rischiano di danneggiare le aziende o le istituzioni che decidono di affidarsi a questi sintetici: i casi di algoritmi razzisti sono ormai cosa tristemente comune (come evidenziava un articolo del New York Times già nel 2020).  Nel mondo delle risorse umane questi algoritmi van per la maggiore ma i rischi, nel lor utilizzo, continuano a crescere in modo scalare: maggiore è il dispiegamento di questi software maggiore sono i problemi registrati. Facciamo il punto.

Una legge di NY getta le basi per contrastare i rischi di algoritmi discriminatori

Questa estate è stata varata una legge che norma l’agire degli algoritmi. Conosciuta come la “New York City Local Law 144”, è la prima del suo genere in tutti gli Stati Uniti e porta una ventata di novità nel mondo degli algoritmi, in particolare in quelle aziende che utilizzano gli algoritmi durante il processo di selezione dei curricula di candidati.

In apparenza questa legge ha competenza solo per l’area geografica dove è attiva (cioè per le aziende di NY), tuttavia, se consideriamo il numero di aziende di valore di NY e il numero di persone che si candidano, si può comprendere quanto questa legge travalichi i limiti geografici della città. Per dirla semplice, se un cittadino italiano, o un cittadino iraniano, si candida per una posizione in una azienda che ha sede a NY questa legge ha validità a protezione proprio del singolo candidato.

Il primo aspetto di questa legge è che le aziende interessate dovranno rendere pubblico il fatto che utilizzano algoritmi per la discrimina dei curricula. Le aziende poi dovranno spiegare la “impact ratios” degli algoritmi: si dovrà rendere pubblico in che modo l’algoritmo assegna in media i punteggi ad ogni candidato e sulla base di quali specifici fattori discriminanti avviene tale assegnazione.

Le aziende che non si adegueranno a questa legge saranno multate 375$ per la prima violazione, 1350$ per la seconda, 1500$ per la terza e ogni successiva violazione. Per comprendere la portata economica dell’impatto di una mancata compliance alla normativa, basti pensare al fatto che le aziende con sede a NY ricevono candidature nell’ordine di decine di migliaia al mese (per lo meno quelle che ricevono un numero così elevato di candidature da dover ricorrere ad algoritmi di selezione). Non essere “compliant” alla legge newyorkese potrebbe rappresentare un costo non indifferente per le aziende che usano algoritmi non rispettando i dettami della norma in questione.

Ovviamente la legge in sé è migliorabile ma crea un importante precedente a cui le altre città e nazioni potranno ispirarsi. Ormai tutte le aziende che hanno piattaforme di applicazione online (quelle cioè che consentono ai candidati di presentare le proprie domande/proposte in modo autonomo direttamente da piattaforma online) hanno uno o più sistemi di analisi e discriminazione automatica.

Lo scenario e i rischi passati

Se lo scenario sembra un fenomeno di nicchia ci si deve ricredere. A maggio del 2023 Geoffrey Hinton, dopo aver lasciato Google (ma non cacciato come Gebru), è apparso sul New York Times con una riflessione. Nel pezzo egli avvertiva dei rischi dell’Intelligenza Artificiale, che lui stesso aveva contributo a creare. Hinton è solo l’ultimo dei grandi esperti di AI, soprannominati in modo dispregiativo AI Doomers (catastrofisti) dal mondo delle Big Tech. Sempre nel 2023 oltre 350 di questi “catastrofisti”, tra cui Hinton e Altman, il creatore di OpenAI hanno firmato una lettera aperta per invitare le aziende e le nazioni a mitigare i rischi di un dispiegamento massiccio di sintetici autodeterminanti (AI). I catastrofisti hanno definito la proliferazione di sintetici intelligenti una minaccia al pari di una pandemia o di una guerra nucleare.

Se il fenomeno “luddista” pare esagerato possiamo osservare un precedente storico preoccupante. Amazon ha utilizzato algoritmi nei sistemi di ricerca del personale sino al 2018. Ha dichiarato di averli rimossi dopo aver scoperto che i sintetici discriminavano le donne e i cittadini afro-americani.

L’esempio di Amazon è solo uno dei più famosi, ma sono molti i coded bias che sono stati riscontrati: occhiali da vista, veli sulla testa, persone diversamente abili, donne, orientamento sessuale lgbtq+, etc. Nel 2022 uno studio della Università di Cambridge ha dimostrato che i sintetici delle risorse umane sono complicati da gestire in modo corretto.

Resta da capire che tipo di sintetici vengano usati nelle risorse umane. I più semplici sono software che analizzano le parole del cv. Ma ci sono anche chatbot che conducono interviste online per filtrare i candidati, quanto meno i primi livelli. Il numero e la qualità dei software che potenzialmente sfruttano algoritmi discriminatori è molto amplia.

Storia e discriminazioni future

Nel dicembre del 2021 la Data & Trust Alliance ha iniziato un progetto per creare un sistema di valutazione per le IA, in modo da scoprire quali sintetici dimostrano comportamenti legati a coded bias. Nel gruppo ci sono numerose realtà che ricevono migliaia di curricula ogni giorno: CVS Health, Deloitte, General Motors, Humana, IBM, Mastercard, Meta, Nike e Walmart. I media hanno esultato per questa iniziativa; resta da vedere quanto il progetto sia orientato ad un efficace attività a favore dei candidati, oppure sia strumento di lobby e manipolazione dei media.

Il problema della legge è che cristallizza nel tempo qualcosa che, per sua definizione attuale, è estremamente fluida: 5 anni fa gli algoritmi generativi erano scarsamente conosciuti fuori dai circoli tech. Tra 5 anni la loro evoluzione, anche senza questa veemenza mediatica che li magnifica ogni giorno, sarà 10 volte più avanzata di oggi. Lo scenario di una legge lenta e una tecnologia veloce rischia di creare future incomprensioni o errate interpretazioni della legge. Questo almeno è il pensiero delle Big Tech e di tutte le altre realtà del mondo digitale che, pur apprezzando lo sforzo del legislatore, lo osservano con discreta perplessità. Uno degli aspetti più criticati è che la legge 144 richiederà un auditor indipendente che, esterno a tutte le attività degli algoritmi, possa comprendere se l’azienda che li utilizza è compliance con la legge.

Il caso di NY è comunque un primo passo e, come confermato di recente su differenti testate, anche a Washington si sta osservando con attenzione la legge appena varata e le sue ricadute. Il legislatore federale, grazie anche ai casi mediatici delle guerre ai monopoli digitali (Google e Amazon Vs Khan), vuole assumere un ruolo più influente nel normare questo settore e proteggere i cittadini. La legge di NY è destinata a creare un precedente importante: il mondo delle IA rischia di divenire più normato. Un bene per i cittadini, un po’ meno per le Big Tech che, sino ad oggi, han usato gli algoritmi come un revolver nel far west.