Un recente lavoro del MIT pone la comprensibilità della Explainable AI come un ulteriore parametro per valutarne la concreta efficacia, ai fini di un utilizzo ottimale - in tutti i campi - dei sistemi di intelligenza artificiale e della corretta interpretazione delle decisioni alle quali questi giungono.

TAKEAWAY

• I ricercatori del CSAIL MIT hanno sviluppato un metodo che, al contrario di quelli che poggiano sulle “spiegazioni locali” circa il funzionamento dell’AI – fondate su specifici e singoli dati di ingresso alla black box – si focalizza sull’intero set di dati, evidenziandone i più salienti ai fini dell’interpretazione delle decisioni prese dalla macchina (dati in uscita).
• In tale metodo, un ruolo centrale ce l’ha l’utente, al quale spetta il compito di verificare se le regole definite a partire dai dati evidenziati hanno effettiva applicabilità, in quanto in grado di spiegare le decisioni prese e in quanto chiare e comprensibili.
• In futuro, si lavorerà all’estensione del concetto di comprensibilità a forme più complesse di spiegazione dell’intelligenza artificiale, tra cui la “spiegazione controfattuale” che, col fine di smontare e comprendere i meccanismi dei modelli di machine learning, interviene sui dati di input per modificare i dati di output.

---

Rendere le tecniche di intelligenza artificiale – e, più in particolare, le tecniche di machine learning – “spiegabili”, comprensibili, chiare a chi le utilizza: questo è il compito della Explainable Artificial Intelligence (o Explainable AI), disciplina afferente all’ambito di studi dell’apprendimento automatico.

Quello che talora spaventa delle tecniche AI deriva dal loro essere simili a «”scatole nere”, il cui meccanismo, proprio come una black box, è descrivibile solo guardando al comportamento esterno, in quanto rimane incomprensibile come, da determinati dati in ingresso, derivi, poi, una determinata decisione in uscita. Cosa c’è dentro la scatola nera resta ignoto ai non addetti ai lavori. In particolare, del machine learning rende insicuri il fatto di non riuscire a capire in che modo arrivi a prendere le decisioni. E questo fa sì che non ci si affidi tranquillamente a una macchina del genere, soprattutto nel seguire le raccomandazioni e i suggerimenti che questa dà a chi la utilizza e la interroga»: sono le parole di Francesca Rossi, AI Ethics Global Leader IBM, in una mia intervista per Tech4Future di qualche tempo fa.

I metodi della Explainable Artificial Intelligence vanno incontro al senso di insicurezza e alla scarsa fiducia ai quali si fa riferimento, aiutando chi impiega quotidianamente le “scatole nere” nell’ambito della propria attività professionale, a interpretarne il funzionamento.

Anche se – si legge in un documento a cura del Computer Science and Artificial Intelligence Laboratory (CSAIL) del Massachusetts Institute of Technology (MIT), dal titolo “EXSUM: from local explanations to model understanding” – «il raggiungimento di questo obiettivo richiede, a sua volta, il conseguimento di due sotto-obiettivi, ovvero che le spiegazioni generate da tali metodi siano corrette e che le persone possano capirle facilmente e in modo certo, affidabile».

Mentre sul primo sotto-obiettivo si è indagato e scritto parecchio, il raggiungimento del secondo – osservano gli autori – viene spesso trascurato e dato per scontato perché ritenuto “inglobato” nel primo, come a dire che se i metodi della Explainable AI sono efficaci (ma chi lo prova?), se le spiegazioni che generano sono corrette dal punto della fedeltà al sistema AI descritto, queste portano necessariamente alla corretta comprensione del funzionamento della macchina. Un’equazione senza variabili, insomma.

I ricercatori del MIT, invece, in collaborazione con Microsoft Research, nel documento citato introducono un metodo matematico che va oltre questa equazione assoluta, introducendo la quantificazione della comprensibiità delle logiche che governano i sistemi di intelligenza artificiale. Vediamo in che modo.

Explainable Artificial Intelligence, tra criteri di correttezza e di comprensibilità

Capire ciò che è sconosciuto, equivale a non temerlo, a non averne paura e, dunque, a “dominarlo”. Nello specifico, comprendere e dominare – grazie ai metodi di Explainable Artificial Intelligence – il meccanismo che governa il comportamento di un modello di machine learning, equivale a utilizzare questo strumento in modo appropriato nel quotidiano, a implementarlo e a sfruttarlo al meglio.

Il che, riferito ad ambiti di applicazione come quello finanziario o clinico – solo per citare alcuni esempi – assume un significato di particolare rilievo. Pensiamo a quali impatti potrebbero riflettersi in modo negativo sulle attività che caratterizzano tali ambiti, se le decisioni prese dai sistemi di intelligenza artificiale adottati non venissero comprese e interpretate adeguatamente perché non è sufficientemente chiaro il funzionamento che vi è alla base, perché questo non è stato compreso a fondo.

Ma basta una spiegazione corretta e fedele di quello che è il processo di ragionamento del sistema AI, affinché questo sia comprensibile agli utenti senza fraintendimenti?

«Nell’ambito della Explainable AI – rimarca il gruppo di studio – il concetto di “comprensibilità” deve ancora essere formalizzato. La nostra esperienza ci porta ad affermare che gli utenti, spesso, derivano la comprensione dei modelli di apprendimento automatico da pochi esempi e in modo non rigoroso. E questo può indurli a fidarsi di un modello in modo errato».

In tema di Explainable Artificial Intelligence, poniamo l’esempio della spiegazione circa il funzionamento di un modello ML deputato alla classificazione delle recensioni di film come “negative” o “positive”, il cui metodo di explainability adottato si basa sul considerare i singoli aggettivi qualificativi presenti nei testi scritti analizzati dalla macchina, trasferendo agli utenti il concetto meccanicistico per cui “aggettivo positivo uguale a recensione positiva”. La spiegazione è formalmente corretta, ma «non è sufficiente – da sola – a concludere che, in generale, il modello classifica correttamente gli input positivi».

L’aggettivo “importante” – ad esempio – è positivo se è correlato, nel contesto della frase, a elementi che rimandano a un significato positivo (“Il tessuto della sceneggiatura ha giocato un ruolo importante nel conferire spessore ai personaggi del film”).

Ma presenta tutt’altra semantica se, nella recensione, si lega ad altri elementi, portatori di altri significati: “È mancata una sceneggiatura importante sotto il profilo dell’introspezione dei protagonisti”.

«Man mano che ci astraiamo dai dettagli di basso livello e utilizziamo concetti di livello superiore come il “sentiment” espresso dalle parole (“è mancata”), la spiegazione risultante perde di correttezza ma acquista comprensibilità» commenta il team.

Superare il paradigma della Local Explanation

Il metodo di Explainable Artificial Intelligence appena descritto si fonda sulle cosiddette “spiegazioni locali”, focalizzate su singoli e specifici dati di ingresso alla black box.

Nelle spiegazioni sul funzionamento di sistemi di intelligenza artificiale che classificano testi scritti, ad esempio, il metodo della Local Explanation pone l’accento su determinate parole ritenute strategiche per comprendere il “ragionamento” e la decisione presa dalla macchina.

Quello che poi accade è che, non intenzionalmente, gli utenti tendono a generalizzare le spiegazioni locali, applicandole all’intero modello ML, al suo insieme.

Sempre in riferimento alla classificazione delle recensioni di film, se, in seguito al metodo della Local Explanation, vengono messi in rilievo aggettivi positivi come “insuperabile”, “maestoso” o “affascinante” come quegli input che hanno portato il modello a decidere che la recensione fosse positiva, è probabile che gli utenti siano indotti a pensare che tutti gli aggettivi positivi presenti nel testo diano un contributo positivo alle previsioni effettuate dal modello in questione.

È avendo chiaro questo nodo che il team del CSAIL MIT ha sviluppato un metodo (ExSum, abbreviazione di Explanatory Summary) che – al contrario della Local Explanation – incentra le spiegazioni sul funzionamento dell’AI a partire da un intero set di dati.

Tornando alla spiegazione di come il modello impara a classificare le recensioni di film “positive” o “negative”, il nuovo metodo potrebbe soffermarsi anche sulla valenza espressa dalle parole e dalle locuzioni con significato di negazione (no, non, nulla, niente, “è mancato”, “la mancanza di”), responsabili di contribuire negativamente al sentiment che ha guidato il testo della recensione.

All’utente (soggetto – questa volta – attivo) spetta il compito di verificare se questa “regola” (ossia la valenza negativa di alcune parole) abbia un fondamento applicata al testo analizzato dal sistema AI. E, in questa verifica, viene supportato da tre metriche – copertura, validità e nitidezza – dove la prima rimanda alla quantificazione della concreta applicabilità della regola all’intero set di dati; la seconda alla definizione della percentuale degli esempi che la validano; la terza alla descrizione di quanto essa precisa sia.

Tre metriche, dunque, che misurano quanto l’Explainable Artificial Intelligence sia comprensibile, perché concretamente applicabile ai dati di ingresso alla scatola nera (il modello ML), perché da essa derivano esempi plausibili (una regola generica non è utile alla comprensione del modello) e, infine, perché chiara e puntuale.

Explainable Artificial Intelligence: uno sguardo alla ricerca futura

In tema di Explainable Artificial Intelligence, un altro esempio pratico sull’utilità di un metodo che, dalle spiegazioni locali sul funzionamento dell’AI passa alla sua comprensione globale, è dato dalla messa a punto di una regola per la quale, all’interno di un testo, i pronomi maschili possiedono una valenza positiva e, al contrario, i pronomi femminili rimandano a una valenza negativa. Il tutto per arrivare a capire e a spiegare quanto il modello di machine learning adottato per compiere previsioni sulla base di informazioni scritte, possa eventualmente essere discriminatorio in termini di genere.

Ebbene, se nella verifica di questa regola è possibile applicare le metriche di copertura, validità e nitidezza descritte, significa che essa è vera – in quanto riesce a spiegare le decisioni discriminatorie del modello – e, al contempo, comprensibile.

Tra gli obiettivi futuri del gruppo di lavoro del MIT, vi è l’estensione del concetto di comprensibilità a forme più complesse di spiegazione dell’intelligenza artificiale, tra cui quelle che mostrano come, modificando i dati di input per cambiare la previsione stessa del modello, si possa arrivare a smontarlo e a comprenderlo (spiegazione controfattuale).

Riguardo, poi, alla definizione delle regole da parte degli utenti – mediane le quali poter misurare la comprensibilità delle spiegazioni sul funzionamento dell’AI – i ricercatori affermano di volere affinare l’interfaccia utente del framework ExSum, affinché la loro stesura sia rapida, assistita, a sua volta, da tecniche di intelligenza artificiale.