Avvalendosi di tecniche di reinforcement learning, è possibile insegnare a micro robot in ambienti fluidi abilità locomotorie simili a quelle delle cellule biologiche, scavalcando così il problema del design dell'andatura quando vi è l’esigenza di manovre particolarmente complesse o quando sono presenti perturbazioni di fondo, a tutto vantaggio di future applicazioni in ambito biomedico.
TAKEAWAY
- Dal lavoro congiunto di due Atenei e dell’Università di Hong Kong, i primi esperimenti nell’ambito della progettazione di micro robot in grado di nuotare avendo chiara la direzione bersaglio, eseguendo manovre complesse e modificando la propria andatura.
- A fare in modo che i micro nuotatori acquisiscano strategie di navigazione tipiche dei microrganismi, giungendo a modificare i propri movimenti in risposta all’ambiente, un algoritmo di apprendimento per rinforzo e una rete neurale dalla struttura “Actor-Critic”.
- In futuro, la ricerca prevede lo stesso approccio per consentire ai micro robot di sviluppare la capacità di navigazione tridimensionale, nonché di superare eventuali perturbazioni e la presenza di confini fisici e di ostacoli.
L’adozione di tecniche di intelligenza artificiale per consentire a micro robot di muoversi in modo autonomo all’interno di ambienti fluidi complessi, rimanda all’apprendimento di quelle abilità locomotorie proprie dei microrganismi, in grado di sviluppare strategie di navigazione tali da permettere loro di modificare l’andatura in risposta al contesto in cui si trovano.
Un esempio di tali strategie è dato dal passaggio dalla modalità di traslazione e di rotazione a quella di inversione del movimento tipica dei batteri oppure dalla corsa-stop-shock che ritroviamo negli organismi eucarioti.
«Questa capacità adattativa di cambio dell’andatura è particolarmente desiderabile in ambito biomedico, ad esempio per la somministrazione mirata di farmaci e la microchirurgia mediante micro nuotatori artificiali, che richiedono la navigazione verso località target spesso in condizioni ambientali incontrollate e imprevedibili» si legge nel documento “Gait switching and targeted navigation of microswimmers via deep reinforcement learning”, in cui viene illustrato il lavoro congiunto dei ricercatori della Santa Clara University, in California, del New Jersey Institute of Technology e dell’Università di Hong Kong in tema di microrobotica e abilità di micro-nuoto mediante l’impiego di tecniche di machine learning.
La letteratura esistente in materia – osservano gli autori dello studio – ha dimostrato come semplici sistemi riconfigurabili con andature locomotorie possono generare traslazione e rotazione netta. «Tuttavia, il design dell’andatura locomotoria diventa sempre più intrattabile quando sono richieste manovre sofisticate o sono presenti perturbazioni ambientali di fondo».
Motivo per cui i micro nuotatori esistenti vengono progettati utilizzando materiali morbidi e ricorrendo comunque ad andature locomotorie fisse, prevedendo interventi manuali per la navigazione.
Insomma, le strategie locomotorie adattive simili a quelle delle cellule biologiche, in grado di navigare autonomamente in ambienti assai complessi e imprevedibili, segnano una sfida irrisolta nello sviluppo di micro robot per ambienti fluidi
Solo più recentemente, l’evoluzione di tecniche AI finalizzate al superamento delle problematiche di locomozione nell’ambito della robotica ha aperto alla progettazione della prossima generazione di micro nuotatori intelligenti. Vediamo in che modo.
Intelligenza artificiale per micro robot: il ruolo del reinforcement learning
In tema di intelligenza artificiale per micro robot, la tecnica AI di cui si sono avvalsi i ricercatori per consentire a un micro nuotatore artificiale di adattare le sue andature all’esecuzione di determinati compiti senza essere programmato – tra cui la navigazione mirata e il tracciamento del percorso – è l’apprendimento per rinforzo (detto anche “reinforcement learning”), tecnica di machine learning tesa alla messa a punto di macchine capaci di scegliere tra differenti azioni da compiere per il raggiungimento di obiettivi prefissati, interagendo con l’ambiente in cui si trovano a operare.
«Abbiamo utilizzato l’apprendimento per rinforzo per addestrare il nostro sistema modello a nuotare lungo una direzione target, dato l’orientamento arbitrario del micro nuotatore iniziale. L’orientamento è definito in base alla posizione relativa tra il baricentro del micro nuotatore (rc) ed r1» spiega il team.
Nel dettaglio, l’algoritmo di reinforcement learning utilizzato per addestrare i micro robot è Proximal Policy Optimization (PPO), mentre il controllo dei movimenti è gestito mediante una rete neurale artificiale dalla struttura “Actor-Critic”, il cui funzionamento prevede che, in seguito a un’osservazione dell’ambiente, venga generata una data azione.
Seguendo lo schema in alto, notiamo, a sinistra, il modello di micro nuotatore artificiale costituito da tre sfere, collegate da due bracci dalle lunghezze variabili. La sfera r1 (rossa) sta a indicare la posizione iniziale e l’attuale orientamento del micro robot, mentre le due sfere blu segnalano – nell’esperimento – i suoi orientamenti successivi.
Reti neurali dalla struttura Actor-Critic
In tema di intelligenza artificiale per micro robot, entrambe le reti neurali sviluppate dal team di ricerca (Attore e Critico) sono costituite da tre set di livelli: input (Input Layer), nascosto (Hiden Layer) e output (Output Layer).
Ogni strato è composto da neuroni (contrassegnati come nodi) e i pesi sono illustrati come collegamenti tra i nodi. Come si evince dallo schema in alto, «nell’Actor Model, la dimensione dello strato di output della rete è la stessa della dimensione dello stato di input (tre nodi), mentre lo strato di output della rete del Critic Model presenta solo un nodo» fanno notare gli autori.
Questo perché, nell’apprendimento per rinforzo, ogni azione successiva viene definita utilizzando la rete neurale dell’attore (Actor Model). L’azione viene, quindi, valutata dalla rete neurale critica (Critic Model) per guidare il processo di addestramento.
Il micro robot esegue l’azione consigliata dall’agente e interagisce con l’ambiente idrodinamico, portando a movimenti che costituiscono la successiva osservazione e ricompensa. «Sia la rete neurale dell’Attore che quella del Critico vengono aggiornate periodicamente per migliorare le prestazioni complessive».
Il processo di addestramento della rete neurale è stato suddiviso in una serie di episodi, ognuno dei quali costituito da 150 fasi di apprendimento. Sulla base dei risultati dell’allenamento dopo ogni 20 episodi, la rete neurale critica aggiorna l’algoritmo AI per massimizzare i premi attesi a lungo termine.
E man mano che gli episodi procedono, la struttura Attore-Critico allena progressivamente l’algoritmo di reinforcement learning, migliorando così le prestazioni del nuotatore artificiale.
L’obiettivo, attraverso lo schema descritto, è fare in modo che il micro robot giunga a sviluppare andature locomotorie distinte quali sterzo, transizione e traslazione, per una strategia di navigazione multimodale.
«Il micro nuotatore dotato di intelligenza artificiale è in grado di adattare le sue andature in modo autonomo, per navigare verso qualsiasi direzione arbitraria e sotto l’influenza dei diversi cambiamenti ambientali».
Intelligenza artificiale per micro robot: prospettive future
In questo lavoro in tema di intelligenza artificiale per micro robot, «la strategia multimodale adottata dal micro nuotatore dotato di intelligenza artificiale ricorda il correre e il cadere tipico dei batteri» sottolinea il team, portando l’attenzione sul fatto che i risultati raggiunti tramite questa ricerca mostrano il potenziale dell’approccio basato sull’apprendimento per rinforzo nel realizzare un’adattabilità simile a quella degli organismi biologici «per robuste capacità locomotive e adattive, cruciali per le future applicazioni biomediche».
Mentre in questo primo studio il focus è sul movimento planare dei micro robot, l’approccio utilizzato potrà, in futuro, essere esteso – ad esempio – alla navigazione tridimensionale, «consentendo la rotazione fuori dal piano del nuotatore, con spazi di osservazione e azione espansi per gradi di libertà aggiuntivi».
Il framework rappresentato dal reinforcement learning non è legato a nuotatori specifici: in questo lavoro viene utilizzato un semplice sistema multi-sfera a solo scopo illustrativo, ma lo stesso schema si applica ad altri sistemi microrobotici.
Indagini successive potrebbero riguardare anche la perturbazione del flusso durante la fase di addestramento, portando allo sviluppo di un algoritmo AI ancora più potente che potrebbe migliorare ulteriormente le strategie di navigazione dei micro robot.
«È attualmente in corso la caratterizzazione dell’effetto delle fluttuazioni termiche sia nel processo di allenamento del micro nuotatore che nelle conseguenti prestazioni di navigazione» fanno sapere gli autori.
E, oltre al flusso e alle fluttuazioni termiche, altri fattori ambientali – inclusa la presenza di confini fisici e di ostacoli – possono essere affrontati in modo simile in studi futuri.