Prosegue la ricerca in tema di reti neurali artificiali in continuo stato di apprendimento e di adattamento a nuovi input, con la recente creazione di una rete neurale in cui i dati temporali vengono elaborati in modo continuo e fluido nel tempo e non passo dopo passo.

È di questi giorni l’annuncio, da parte del Massachusetts Institute of Technology (MIT), della messa a punto di reti neurali “a tempo continuo in forma chiusa” o Closed-form Continuous-depth (CfC). In particolare, il team di ricerca ne parla su Nature Machine Intelligence, in un articolo dal titolo “Closed-form continuous-time neural networks”, pubblicato il 15 novembre 2022.

In realtà, questo lavoro si pone come naturale prosecuzione dello studio che, a gennaio del 2021, portò alla presentazione delle cosiddette reti neurali liquide, descritte come reti neurali artificiali in continuo stato di apprendimento durante la loro operatività e in continuo stato di adattamento a sempre nuovi input.

Per la loro costruzione, i ricercatori del MIT guardarono alla struttura e ai meccanismi cognitivi dei cervelli di piccola taglia, come – ad esempio – quello di un verme lungo solo un millimetro della specie Caenorhabditis Elegans (al quale si ispirarono), in possesso di 302 neuroni in totale e di in sistema nervoso semplice e lineare, ma allo stesso tempo assai sofisticato.

Le reti neurali liquide hanno il potenziale per dare vita a modelli di machine learning particolarmente flessibili e al tempo stesso robusti, ritenuti dai loro autori ideali per futuri sistemi di guida autonoma, droni di ultima generazione e per tutte quelle attività correlate a dati di serie temporali, tra cui operazioni di monitoraggio e previsioni meteo.

Tuttavia, tali reti presentano alcune criticità sotto il profilo computazionale, specie nei casi in cui la loro architettura interna necessiti di essere modificata mediante l’aumento del numero dei neuroni e delle sinapsi. Il che, date le sue dimensioni, diventa complesso.

È proprio dal tentativo di superare questo limite che deriva il nuovo lavoro del Massachusetts Institute of Technology, il cui obiettivo – spiega il team – è «risolvere l’equazione differenziale alla base dell’interazione dei neuroni attraverso le sinapsi».

Il fine ultimo è giungere allo sviluppo di reti neurali liquide «dagli ordini di grandezza più veloci e scalabili». Questa è la differenza rispetto alle reti neurali liquide originarie, con le quali hanno in comune il fatto di essere adattabili anche dopo il loro addestramento.

Soluzione in cui il tempo è “in forma chiusa”

Risolvere l’equazione differenziale sulle quali poggiano le architetture delle reti neurali liquide – osservano i ricercatori – pone, però, un limite di carattere temporale, in quanto consente di calcolare lo stato di un dato fenomeno nel momento stesso in cui esso si manifesta e si evolve, ma solo «passo dopo passo e non in modo continuo».

Dunque, con l’obiettivo di giungere a calcolare lo stato di un determinato fenomeno attraverso tutto il suo arco di tempo, correlando azioni e comportamenti precedenti e futuri (come, ad esempio, l’intero percorso di un robot all’interno di uno spazio, prevedendone i movimenti successivi), il team di studio ha optato per la soluzione in cui il tempo è “in forma chiusa”, in grado, cioè, «di modellare l’intera descrizione di un sistema in un singolo passaggio di calcolo». Questa soluzione “in forma chiusa” conduce alla progettazione di modelli di reti neurali a tempo continuo e a profondità continua.

L’esempio pratico che gli autori riportano è quello della guida autonoma, in cui normalmente la rete neurale artificiale – addestrata a generare output, tra cui accelerazione/decelerazione dell’andatura e angolo di sterzata dell’auto – riceve input di guida da parte di una telecamera montata sul veicolo. Dalla dinamica input/output deriva ogni comportamento dell’auto.

Ebbene, con lo sviluppo delle reti neurali liquide, il team ha semplificato e velocizzato tale dinamica, impiegando reti neurali da 19 nodi (corrispondenti a 19 neuroni) più un piccolo modulo di percezione, capaci di guidare autonomamente il veicolo.

E oggi, con la soluzione delle reti neurali a tempo continuo in forma chiusa, il sistema a bordo del veicolo produrrebbe il comportamento esatto con un numero ancora inferiore di nodi. Il che si tradurrebbe in maggiore velocità e in minore costoso dal punto di vista computazionale:

I modelli di reti neurali a tempo continuo in forma chiusa, ricevendo input sotto forma di serie temporali, ossia di eventi accaduti nel tempo, in futuro potrebbero essere utilizzati – ad esempio – per operazioni di classificazione di stimoli visivi, per il controllo dei veicoli, la pianificazione dei movimenti dei robot o per l’analisi predittiva in ambito finanziario e medico, precisa il gruppo di ricerca del MIT.

Reti neurali a tempo continuo in forma chiusa: caratteristiche e future applicazioni

Tra le caratteristiche delle reti neurali a tempo continuo in forma chiusa, i ricercatori intravvedono la generalizzazione dell’apprendimento, dove determinati compiti e abilità appresi in un determinato ambiente vengono trasferiti in un contesto del tutto nuovo e senza alcun addestramento aggiuntivo.

Definita dagli autori “generalizzazione fuori distribuzione”, rappresenta, ad oggi, una delle maggiori sfide della ricerca sull’intelligenza artificiale. Sfida che già le reti neurali liquide – annunciate nel 2021 – avevano iniziato ad affrontare.

È chiaro, a questo punto, che si andrà verso sistemi di machine learning sempre più flessibili e capaci di eseguire compiti sempre più complessi, proprio perché supportati da un processo di apprendimento che tiene conto dei dati di serie temporali.

In particolare, le Closed-form Continuous-time neural networks – rimarca il team – «apporteranno grande valore nelle analisi predittive di serie temporali su larga scala. E questo in virtù della loro natura flessibile, causale e continua».

Anche nell’ambito dell’elaborazione del linguaggio naturale, in cui sono presenti grandi quantità di dati in sequenza temporale, le reti neurali a tempo continuo in forma chiusa si rivelano una scelta valida.

Questo lavoro del Massachusetts Institute of Technology, volto a implementare le reti neurali liquide mediante una soluzione in cui la descrizione del fenomeno avviene in un singolo passaggio di calcolo, ha finora dimostrato, in fase di test, che le reti neurali a tempo continuo in forma chiusa potrebbero, in futuro, essere di ausilio nei casi in cui i dati di input presentino limitazioni e irregolarità (come talora accade con i dati clinici, con le serie temporali in ambito finanziario e con i sistemi robotici autonomi multi-agente), in presenza di problemi in fase di addestramento e quando la spiegabilità e la comprensibilità dei sistemi di intelligenza artificiale è centrale, come nel caso dei modelli di machine learning deputati all’analisi dei dati in ambito diagnostico.

Sul tema, la strada della ricerca appare ancora lunga. Tra gli step futuri – ad esempio – figura il superamento del limite dato dal gradiente in via di estinzione, proprio di questi modelli di reti neurali liquide. Ma il percorso è ormai tracciato.