Explainable AI: cos’è, quali sono i principi e gli esempi

La Explainable AI – “intelligenza artificiale spiegabile” o “XAI” – è una disciplina emergente nell’ambito del machine learning, il cui obiettivo è fare chiarezza in merito a quanto succede nella “black box” dei dati e degli algoritmi che elaborano modelli di intelligenza artificiale.

Sappiamo che l’AI sta diventando parte sempre più integrante nelle nostre vite, influenzando aspetti decisionali di notevole responsabilità. Spiegare “come funziona” diventa sempre più essenziale per fidarsi dei suoi suggerimenti e delle azioni da essa condizionati.

Vediamo, allora, in che cosa consiste la XAI e quali sono le ragioni per cui il suo ruolo diventerà sempre più centrale nel dibattito e nelle applicazioni pratiche in vari ambiti di business.

Explainable AI: cos’è e perché se ne parla

Riprendendo un’azzeccata definizione del blog di NVIDIA, la Explanaible AI (XAI) è un insieme di strumenti e di tecniche utilizzate per aiutare le persone a comprendere meglio perché un modello di intelligenza artificiale genera certe decisioni, grazie alla descrizione del suo funzionamento.

Non abbiamo dunque a che fare con un elemento puntuale, piuttosto con un insieme di fattori, che potremmo così riepilogare:

  • un insieme di best practice: basate sulle tecniche utilizzate ormai da molti anni dai data scientist per aiutare gli altri a capire come un modello apprende dai dati che gli vengono forniti. In altri termini, l’essenza dei processi di autoapprendimento del machine learning
  • un insieme di principi di design: finalizzati non soltanto a spiegarne e motivarne gli effetti, ma a progettare dei sistemi AI più semplici da comprendere e implementare a tutti i livelli
  • un insieme di strumenti sempre più efficienti: sistemi AI più semplici da comprendere sono al tempo stesso causa ed effetto di modelli di apprendimento sempre più raffinati, anche grazie alla possibilità di condivisione e sviluppo da parte della community

Prima di entrare nel merito del funzionamento e dei metodi per spiegare l’intelligenza artificiale, è fondamentale chiedersi le ragioni per cui la Explainable AI stia ricevendo attenzioni sempre maggiori, non soltanto in ambito accademico, ma nella vita e nelle applicazioni di tutti i giorni.

La ragione per cui la XAI attira un interesse crescente è molto semplice: l’intelligenza artificiale è caratterizzata da tecniche di apprendimento automatico difficili da comprendere, da cui derivano applicazioni sempre più diffuse in molti ambiti rilevanti del nostro sistema socio-economico.

La scarsa trasparenza è tipica di quella che convenzionalmente viene definita la “Black Box” dell’intelligenza artificiale, una scatola nera in cui convergono dati ed algoritmi funzionali alla creazione di un modello capace di apprendere e decidere in autonomia. Fino a che punto possiamo fidarci di qualcuno che non conosciamo? Questo interrogativo vale anche per le intelligenze artificiali.

Explainable Artificial Intelligence e guida autonoma
Come fa un’auto a parcheggiare da sola? Succede tutto nella black box, dove gli algoritmi di intelligenza artificiale che la “istruiscono” calcolano le decisioni che il modello di machine learning reputa più opportune.

Uno degli esempi più ricorrenti, parlando di fiducia nei confronti delle macchine governate dall’intelligenza artificiale, è relativo ai sistemi di guida autonoma. Quando vediamo un veicolo prendere decisioni in autonomia sulla strada, veniamo colti da un mix di stupore e di timore, che si genera per via dell’assenza di controllo nei confronti di un sistema tecnologico che tradizionalmente siamo abituati a gestire sulla base delle nostre decisioni.

Come fa un’auto a parcheggiare da sola? Succede tutto nella black box, dove gli algoritmi delle AI che la istruiscono calcolano le decisioni che il modello di machine learning reputa più opportune.

Se il sistema fosse in grado di spiegarci come funziona, su quali variabili ambientali basa le sue valutazioni cosa lo porta a prendere determinate decisione, noi, in quanto utilizzatori finali del servizio, saremmo in grado di sviluppare un senso di empatia e di comprensione nelle logiche della macchina, che si riflette in un rapporto di naturale fiducia nei confronti della tecnologia, soprattutto su aspetti molto delicati come quelli relativi alla sicurezza.

La rilevanza di questi aspetti appare evidente anche sotto il profilo economico. Gli investimenti alla base della Explainable AI sono sempre più considerevoli, basti pensare che il Dipartimento della Difesa Americano sta sostenendo un programma, il DARPA-XAI, con un budget previsto di circa 2 miliardi di dollari. Tra gli obiettivi espressi dal DARPA, viene esplicitamente riportato come l’obiettivo sia: “Creare nuovi sistemi di machine learning, che sapranno spiegare le loro motivazioni, individuando punti di forza e debolezze, oltre a trasmettere una comprensione in merito al loro futuro comportamento”.

Secondo una ricerca di Forrester, la AI spiegabile è un fenomeno capace di generare una serie di vantaggi tangibili per chi la adotta regolarmente all’interno della propria pipeline: una riduzione dell’impegno per il monitoraggio del modello dal 35% al 50%, l’aumento fino a 8 volte dei modelli in produzione oltre ad una precisione generale del modello stesso stimabile dal 15% al 30%, per un incremento dell’intervallo dei profitti che può addirittura triplicare.

Si tratta di numeri molto incoraggianti, che testimoniano da un lato l’esigenza di una maggior trasparenza per le AI, dall’altro l’incredibile potenziale che le applicazioni basate sul machine learning hanno in termini di diffusione sul mercato, a condizione di saperle implementare in maniera corretta sia dal punto di vista tecnologico che nelle innumerevoli sfaccettature etiche che le contraddistinguono. La XAI è dunque una disciplina emergente, destinata a durare, diventando un fattore sempre più rilevante nella crescita e nella diffusione dell’intelligenza artificiale.

GDPR e protezione dei dati
La Explainable AI sarà sempre più rilevante per via delle questioni di carattere normativo, come il famigerato GDPR, che obbliga, di fatto, ad adottare criteri di trasparenza per quanto riguarda la conservazione e il trattamento dei dati.

I principi della Explainable AI

La explanaible AI è uno dei pilastri fondamentali della cosiddetta AI responsabile, che oltre ai fattori di trasparenza e spiegabilità propri delle XAI include qualità ed elementi quali: imparzialitàequitàgovernance dei dati, privacyaccountability (responsabilità), sicurezza, sostenibilità ecologica-ambientale, e molto altro.

La complessità contestuale in cui rientra la AI spiegabile non è dunque riconducibile ad una sola questione tecnica, ma deve necessariamente tenere conto degli obiettivi di una strategia di implementazione delle AI, dichiaratamente umano-centrica, collaborativa, in grado di rendere sempre più trasparente l’apparente scatola nera delle sue tecnologie.

Al di là degli aspetti divulgativi e concettuali, la Explainable AI è stata e sarà progressivamente sempre più rilevante per via delle questioni di carattere normativo, come il famigerato GDPR, che obbliga di fatto ad adottare criteri di trasparenza per quanto riguarda la conservazione e il trattamento dei dati, che costituiscono la materia prima per alimentare i modelli di machine learning delle AI.

Ancor prima di entrare negli aspetti tecnici, relativi alla definizione di un modello XAI, diventa indispensabile porsi alcune domande fondamentali, tra cui: come è stato allenato il modello di machine learning? Quali dati sono stati utilizzati?

Il tutto senza mai trascurare la valutazione e la correzione del bias, ossia il possibile scostamento tra il modello di autoapprendimento e la realtà in cui si prospettano le sue valutazioni. Il ruolo dei dati in questo frangente assume una rilevanza fondamentale. Vediamo dunque come sia possibile “spiegare” un sistema di intelligenza artificiale, rendendo comprensibile ad una certa tipologia di pubblico una materia decisamente complessa e tutt’altro che semplice da divulgare.

Strumenti e metodi dell’Explainable AI

Spiegare l’intelligenza artificiale ci pone nella più classica delle condizioni in cui è semplice a dirsi quanto complicato a farsi. Un modello basato su tecniche di intelligenza artificiale è qualcosa di relativamente semplice a livello concettuale, in quanto si ispira a concetti intuitivi, come l’imitazione del comportamento della mente umana, nel caso dell’intelligenza artificiale generale, piuttosto che nella risoluzione di problemi in un contesto specifico, in una data situazione, cui siamo pronti a riconoscerci.

Il problema è rendere concreta, attuabile e fruibile questa spiegabilità, senza disattendere o banalizzare la naturale complessità tecnologica e computazionale dei modelli. La questione si pone dunque su un duplice piano di valutazione, che vede affiancati i concetti di interpretabilità e spiegabilità del modello.

L’interpretabilità (interpretability) di un modello mette in relazione i dati in ingresso (input data) con quelli in uscita (output data), per fornire una spiegazione logica della previsione o della scelta effettuata dal modello di machine learning.

La spiegabilità (explainability) di un modello non si sofferma su una relazione causale tra i dati utilizzati, mirando ad enfatizzare come il modello sia arrivato a compiere una determinata previsione/scelta, spiegandone di fatto il funzionamento.

Il metodo utilizzato dipende dunque dall’interpretabilità, per rappresentare il processo che porta dall’inserimento del dato fino alla previsione/scelta, in funzione di vari fattori, quali la scelta dell’algoritmo, il livello di spiegazione richiesto e il tipo di dati utilizzati nel modello stesso.

Tra i metodi più utilizzati nell’ambito della Explainable AI ritroviamo il LIME, il SHAP, il LRP e molte loro derivazioni, ma più che entrare nel merito degli aspetti matematici che li contraddistinguono, riteniamo più opportuno focalizzarci su due approcci in termini di interpretabilità del modello che risultano fondamentali dal punto di vista progettuale.

Una tecnica piuttosto diffusa è quella del proxy modeling, che consiste nel creare una differente versione del modello, la cui struttura è dichiaratamente più semplice rispetto alla black box vera e propria.

Si tratta di modelli in grado di approssimare e descrivere in maniera semplificata la notevole complessità elaborativa tipica del machine learning, ma al tempo stesso di modelli del tutto differenti rispetto a quelli effettivamente in uso.

Una Explainable AI basata sul proxy modeling è dunque semplice da divulgare, ma l’utilizzo di un modello alternativo rende necessaria una notevole attenzione ed una grande esperienza pratica, per evitare di raccontare qualcosa di decisamente differente rispetto all’elaborazione effettiva del sistema AI.

metodi di Explainable Artificial Intelligence
Un modello basato su tecniche di intelligenza artificiale è qualcosa di relativamente semplice a livello concettuale, in quanto si ispira a concetti intuitivi, come l’imitazione del comportamento della mente umana.

Un approccio alternativo è caratterizzato dal design of interpretability, che parte dal modello originale e lo semplifica limitando le opzioni di apprendimento e restringendo il campo dei dati utilizzato. Questo può avvenire anche grazie ad una scomposizione della black box in più parti, ai fini di rendere più semplice la comprensione dei modelli di apprendimento automatico da essa contenute.

In questo caso, l’effetto collaterale potrebbe ricadere nella mancanza di accuratezza derivante dalle minori informazioni ed istruzioni contenute nel modello, oltre al fatto che un approccio di questo genere comporta mediamente un notevole dispendio dal punto di vista computazionale.

Che si tratti di creare un modello alternativo più snello, piuttosto che semplificare la struttura del modello originale, un’interpretazione efficace e trasparente dei sistemi di AI dipende soprattutto dal saper valutare caso per caso le condizioni più opportune in funzione del target di riferimento. Oltre alle notevoli competenze tecniche richieste, è infatti determinante saper configurare delle interfacce utente capaci di rendere disponibili le informazioni effettivamente utili.

Appare evidente la differenza nel dover spiegare un modello ad un Data Scientist, piuttosto che a un manager d’azienda o al possibile utente finale di un servizio. Ognuno di questi soggetti è infatti dotato di competenze ed interessi molto differenti nei confronti della questione, in virtù del suo livello di interazione con la tecnologia stessa e degli obiettivi di utilizzo che ne derivano.

La naturale conseguenza di questa considerazione è il fatto che non tutti i sistemi necessitano dello stesso livello di trasparenza. Dal momento che risulta di fatto impossibile standardizzare gli algoritmi, i metodi o persino gli approcci della XAI, è invece possibile pensare di definire degli standard pratici per quanto concerne i livelli di trasparenza e spiegabilità a seconda dei requisiti del target.

Un chatbot per l’assistenza alla vendita richiede ad esempio livelli di trasparenza ben inferiori rispetto alle applicazioni in ambito militare, che comportano, come abbiamo accennato nel caso di DARPA, uno sforzo enorme per ottenere una fiducia ed un consenso diffuso nell’opinione pubblica. Per acquisire una maggior consapevolezza, vediamo dunque alcuni tra i principali ambiti applicativi della Explainable AI.

Riconoscimento facciale
Le tecnologie basate sul riconoscimento dell’immagine rappresentano uno dei campi d’azione più fertili dell’intelligenza artificiale, grazie a modelli di apprendimento sempre più maturi e alla relativa semplicità nel costituire un dataset generato da immagini categorizzate.

Explainable AI: esempi

Sulla base delle considerazioni esposte nei precedenti paragrafi, non sorprende vedere come la Explainable AI venga utilizzata soprattutto in ambiti dove il rapporto tra etica e tecnologia assume un ruolo centrale negli aspetti relativi alla trasparenza, in funzione di una elevata responsabilità. Di seguito, alcuni dei settori più sensibili a questi aspetti.

Guida autonoma

I sistemi di pilota automatico e di navigazione intelligente previsti dai vari livelli di guida autonoma ci pongono di fronte a numerose azioni che il veicolo può compiere in assoluta autonomia. La Explainable AI risulta fondamentale per spiegare ai passeggeri il funzionamento di questi sistemi, e di sentirsi al sicuro a bordo dei mezzi di trasporto, soprattutto quando saranno effettivamente implementati il livello 4 e il livello 5, che prevedono la totale autonomia del veicolo. Lo stesso concetto vale per i mezzi pubblici, come i treni senza conducente su linee fortemente automatizzate.

Riconoscimento facciale

Le tecnologie basate sul riconoscimento dell’immagine rappresentano uno dei campi d’azione più fertili dell’intelligenza artificiale, grazie a modelli di apprendimento sempre più maturi e alla relativa semplicità nel costituire un dataset generato da immagini categorizzate. Tali aspetti, quando vengono applicati alle persone fisiche, come nel caso dei sistemi di videosorveglianza, comportano implicazioni relative alla privacy e a possibili aspetti discriminatori, che rendono auspicabile un approccio il più possibile trasparente nei confronti del pubblico.

Tecnologie militari

L’industria della difesa è uno dei principali motori nello sviluppo delle tecnologie AI, ed il fatto di utilizzarle per funzioni di grande responsabilità, implicano il fatto di dover motivare ai contribuenti le scelte alla base di enormi investimenti. A ciò si aggiungono le considerazioni di carattere etico, soprattutto per quanto concerne l’impiego delle armi. Una recente polemica, generata dall’assoluta mancanza di trasparenza, riguarda un drone di fabbricazione turca in grado di riconoscere una figura umana ostile e attaccarla mediante un attacco suicida.

Explainable AI e Fintech
Il comparto Finance (Fin) e Technology (Tech) fa da tempo largo impiego delle tecniche di intelligenza artificiale per implementare i propri servizi, in particolare la concessione di mutui e finanziamenti ai clienti.

Diagnostica medica

Le tecnologie AI sono sempre più diffuse in svariati ambiti della ricerca e dell’applicazione medico-sanitaria, dove sussistono questioni di notevole responsabilità. In merito al digital imaging, ritroviamo ad esempio la diagnostica strumentale, che consente di utilizzare algoritmi AI per distingue i tessuti sani da quelli alterati dal possibile effetto di una patologia tumorale. Si tratta di differenze spesso non riscontrabili ad occhio nudo, ma soltanto grazie all’elevato livello di accuratezza dei sistemi informatici. Spiegarne il funzionamento ai pazienti aiuta ad accettare una diagnosi precoce, difficile da affrontare innanzitutto dal punto di vista psicologico, ma nella cui fiducia risiedono molto spesso le effettive speranze di prevenire le fasi più acute della malattia.

Telecomunicazioni

L’intelligenza artificiale è destinata a svolgere un ruolo crescente nell’ambito delle telecomunicazioni, in particolare per quanto concerne la veicolazione dei dati sulle varie reti, nell’ottica di implementare i sistemi a banda larga su cui saranno basate le comunicazioni del futuro. Spiegare come funzionano le reti, i protocolli e come vengono utilizzati i dati risulta oltremodo rilevante nella prospettiva di rispettare le normative vigenti e generare fiducia nei cittadini, soprattutto quando si relazionano con i servizi per la pubblica amministrazione.

Mutui e finanziamenti

Il Fintech – termine nato dalla contrazione di Finance (Fin) e Technology (Tech) – fa da tempo largo impiego delle tecniche AI per implementare i propri servizi, in particolare la concessione di mutui e finanziamenti ai clienti. Un sistema AI può decidere se un soggetto è più o meno idoneo a ricevere un finanziamento, sulla base di una serie di variabili molto ampia. Un aspetto critico è legato a possibili discriminazioni, qualora il sistema venisse allenato con una sorta di pregiudizio, anche inconsapevole, nei confronti di determinate tipologie di soggetti, ad esempio appartenenti a determinate etnie, aree di residenza o altri fattori potenzialmente decisivi per l’esito della valutazione. Un modello Explainable AI potrebbe fugare notevoli dubbi, contribuendo al tempo stesso a migliorare il modello di training del sistema, fermo restando la discrezionalità della banca nell’erogare i servizi secondo le proprie policy. 

Investimenti e trading

Un altro ambito Fintech in cui le Explainable AI rivestono un ruolo di notevole responsabilità è quello relativo agli investimenti, in particolare ai sistemi automatici che regolano il comportamento di determinate strategie. Oggi è possibile regolarmente dinamicamente la strategia stessa, in funzione di scelte determinate dalle condizioni dei mercati, dalle soglie di utilizzo e da tutte le variabili complesse che possono entrare in gioco sulla base dei profili di rischio impostati. Da ciò dipende il successo delle iniziative e la relativa fortuna dei risparmiatori. Spiegare agli investitori le logiche con cui i sistemi AI gestiscono i loro soldi è pertanto fondamentale per generare le necessarie condizioni di fiducia relative ai più moderni prodotti finanziari.


A prescindere dall’ambito di applicazione, l’obiettivo delle Explainable AI è quello di continuare lo sviluppo dei framework che consentano alle organizzazioni di comprendere e mantenere il controllo degli aspetti relativi alla responsabilità, all’etica, alla trasparenza e alla sostenibilità delle applicazioni AI, in condizioni sicure e rispettose nei confronti delle normative sulla privacy e sull’utilizzo dei dati.

I principali player tecnologici sono costantemente attivi nel trovare soluzioni che possano supportare l’impiego e la diffusione dell’intelligenza artificiale spiegata. Tra i vari casi di interpretazione dei modelli di machine learning con la Explainable AI vi è ad esempio lo strumento What If di Google, che consente di “spiegare” i modelli con pratici diagrammi, schemi e dashboard preconfigurate, che seguono logiche consolidate nell’ambito della data visualization.

Questo approccio, notevolmente automatizzato, consente di creare dei modelli di Explainable AI in ambienti low code, pertanto accessibili anche a coloro che non possiedono competenze estremamente elevate nell’ambito dello sviluppo per l’intelligenza artificiale, democratizzandone l’utilizzo per applicazioni sempre più diffuse, con l’obiettivo di definire uno scenario collaborativo in grado di mettere in relazione i vari stakeholder.

Default image
Francesco La Trofa
Da vent’anni attivo nella ricerca relativa alle tecnologie 3D, divulgatore sul tema delle applicazioni enterprise di tali tecnologie e autore di “VR Developer. Il creatore di contenuti in realtà virtuale ed aumentata” (2018), edito da Franco Angeli (vrdeveloper.info). Scrive di IT anche per il portale https://www.sergentelorusso.it/
Articles: 28