Dal lavoro del MIT e del MIT-IBM Watson AI Lab, una tecnica che consente a un modello di machine learning di eseguire la quantificazione dell'incertezza delle proprie previsioni utilizzando meno risorse di calcolo e senza ricorrere a un secondo addestramento.

Il riferimento alle tecniche di intelligenza artificiale (in particolare, al machine learning) e ai modelli predittivi rimanda immediatamente alle prestazioni delle reti neurali profonde nell’ambito di compiti quali, ad esempio, l’elaborazione di diagnosi precoci a partire dall’analisi dei dati di imaging diagnostico o all’anticipazione di manovre in base al rilevamento di ostacoli stradali nella guida autonoma, solo per citare due tra le applicazioni più complesse e, al contempo, più rischiose per le tipologie di previsioni formulate.

Proprio in seguito a tale complessità e al livello di rischio implicito, la cosiddetta “quantificazione dell’incertezza” (in inglese Uncertainty Quantification – UQ) ha, nell’ultimo decennio, sempre più attirato l’attenzione dei ricercatori, mossi dall’obiettivo di “misurare” l’affidabilità delle previsioni dei modelli AI, soddisfacendo così la domanda di modelli di apprendimento automatico più robusti e sicuri, specie in settori come – per l’appunto – la medicina e la guida autonoma.

Se è vero che i modelli di machine learning possono commettere errori nel prevedere determinati scenari, in contesti ad alto rischio è altrettanto vero che gli esseri umani devono poter sapere con una certa esattezza fino a che punto questi modelli sono imprecisi e se è bene fidarsi di loro.

Intelligenza artificiale e modelli predittivi: la quantificazione dell’incertezza basata su un metamodello bayesiano

In tema di intelligenza artificiale e quantificazione dell’incertezza dei modelli predittivi, «la maggior parte degli approcci si concentra sulla costruzione di un modello AI che, contemporaneamente, ottiene sia la previsione desiderata che le prestazioni di Uncertainty Quantification. Tuttavia, un tale metodo soffre di limitazioni pratiche, poiché richiede la messa a punto di una specifica struttura del modello di base e di un secondo addestramento da zero. Uno scenario più realistico consiste, invece, nel quantificare in modo “post-hoc” l’incertezza di un modello già addestrato, ossia successivamente, dopo il verificarsi dell’incertezza» osserva il team composto dai ricercatori del Massachusetts Institute of Technology, del MIT-IBM Watson AI Lab e dell’University of Florida, autori dello studio “Post-hoc Uncertainty Learning using a Dirichlet Meta-Model”, in cui presentano una tecnica che consente a un modello di apprendimento automatico di eseguire la quantificazione dell’incertezza delle sue previsioni avvalendosi di meno risorse di calcolo e senza la necessità di ulteriori dati di addestramento o di modifiche nella procedura di allenamento del modello base.

In particolare, il nuovo metodo si fonda su un metamodello bayesiano – ovvero su un modello che ha come fondamento il teorema di Bayes, impiegato nel calcolo della probabilità di un dato evento – ed è caratterizzato dalla capacità di quantificare diversi tipi di “incertezze”, responsabili di modelli AI predittivi deboli e poco affidabili.

Metodi intrinseci e metodi estrinseci

In tema di intelligenza artificiale e quantificazione dell’incertezza dei modelli predittivi, «… i metodi possono essere classificati come intrinseci o estrinseci, a seconda di come le incertezze sono ottenute dai modelli di machine learning» spiegano gli autori. I primi comprendono modelli in grado di fornire intrinsecamente una stima dell’incertezza insieme alle sue previsioni.

Le reti bayesiane (note come Bayesian Belief Networks – BBN) sono un esempio di metodi intrinseci capaci di quantificare previsioni e incertezze, fanno notare gli autori, rimarcando – però – come, in generale, tali metodi possano essere piuttosto costosi e richiedere diverse approssimazioni per ottimizzare nella pratica il modello.

I modelli estrinseci, invece, estraggono e quantificano le incertezze in modo “post-hoc”, cioè dopo che un dato evento si è verificato, lavorando poi alla calibrazione del rapporto previsioni-incertezze.

Tuttavia, si tratta di una metodologia non semplice e ancora poco esplorata. Attualmente, una delle tecniche che la connota consiste nel costruire «modelli ausiliari – o “meta-modelli” – utilizzati per generare misure di confidenza affidabili, intervalli di previsione o per prevedere le metriche delle prestazioni».

Nello specifico, la tecnica del metamodello bayesiano adottata dal team di studio prevede la creazione di un modello di machine learning “complementare”, più semplice, che assiste il modello AI originale (più grande) nella stima dell’incertezza.

Si tratta – in breve sintesi – di un modello più piccolo, progettato per identificare diverse tipologie di imprecisioni che, a loro volta, supportano i ricercatori nell’approfondimento della causa principale delle previsioni imperfette. Vediamo come funziona.

Intelligenza artificiale e modelli predittivi: come funziona il metamodello che stima le previsioni imperfette

In tema di intelligenza artificiale e modelli predittivi, il metamodello sviluppato dai ricercatori – che va ad affiancare il modello di apprendimento automatico originale – si collega a quest’ultimo (già addestrato) e ne utilizza le funzionalità apprese durante l’allenamento, per mezzo delle quali lo aiuta a effettuare valutazioni di quantificazione dell’incertezza, a partire anche da un solo output.

Nel dettaglio, il metamodello è stato progettato per supportare la stima di due generi di imprecisioni: quelle relative ai dati e quelle riferite al modello. Le prime sono causate da dati corrotti o da etichette inesatte e possono essere ridotte solo correggendo il set di dati di allenamento oppure raccogliendo nuovi dati.

Nelle incertezze del modello, invece, è l’architettura del modello stesso a non essere affidabile, certa, nell’apprendere i dati in input, col conseguente rischio di formulare previsioni errate, «molto probabilmente perché non ha assimilato un numero sufficiente di esempi di addestramento simili».

Si tratta di un problema frequente, dal momento che, calati nel mondo reale, è usuale che i modelli AI incontrino dati diversi dal set di dati di addestramento. E questo comporta il sorgere di dubbi circa il loro livello di accuratezza nel prendere decisioni e nel fare previsioni.

La convalida della quantificazione

In tema di intelligenza artificiale e modelli predittivi, nel momento in cui un modello genera un punteggio di quantificazione dell’incertezza, è necessario – sottolineano gli autori – una conferma della sua scrupolosità.

Spesso la convalida dell’accuratezza del punteggio viene eseguita creando un set di dati più piccolo, tenuto fuori dai dati di addestramento originali. Tuttavia, questa tecnica non è reputata attendibile, in quanto – ribadisce il team di studio – «il modello potrebbe comunque dare prova di una buona precisione di previsione pur in presenza di falle».

Per tale motivo, il team ha aggiornato questa tecnica aggiungendo “rumore” ai dati del set di convalida: in questo modo, i dati rumorosi risultano più simili a quei dati fuori distribuzione, capaci – proprio perché estranei – di creare incertezza nel modello di machine learning e, quindi, di metterlo alla prova, di testarlo per poi convalidarlo.

Alcune riflessioni conclusive

In materia di intelligenza artificiale e modelli predittivi, questo nuovo approccio alla quantificazione dell’incertezza delle previsioni – messo a punto dal MIT – è stato finora testato nella rilevazione di imprecisioni di alcune attività a valle, tra cui gli errori di classificazione delle immagini.

Questa metodologia potrebbe, in futuro, aiutare i ricercatori a consentire a più modelli di apprendimento automatico di eseguire simultaneamente la quantificazione dell’incertezza dellae previsioni, aiutando in questo modo gli utilizzatori a prendere decisioni più puntuali in merito a quando fidarsi dei modelli AI.

Nelle intenzioni degli autori, per quanto riguarda la ricerca futura, l’adattamento di questa tecnica a nuove classi di modelli, tra cui i modelli di linguaggio di grandi dimensioni, i quali possiedono un’architettura diversa rispetto alle reti neurali tradizionali. Sarà una sfida.

Scritto da:

Paola Cozzi

Giornalista Leggi articoli Guarda il profilo Linkedin