Perfezionando una ricerca precedente, un team di scienziati del MIT ha sviluppato un nuovo dispositivo robotico in grado di localizzare oggetti nascosti all’interno di pile di articoli, per mezzo della combinazione di dati video rilevati da una telecamera e tecnologie RFID.

TAKEAWAY

• Il Massachusetts Institute of Technology, proseguendo il filone di studi avviato qualche anno fa, progetta un sistema robotico che recupera oggetti target occlusi da mucchi di altri oggetti, non considerando più condizione esclusiva la presenza – per tutti gli elementi – di tag RFID (ne basta uno solo).
• Tra le metodologie adottate, il processo di mappatura RF-Visual, teso a definire mappe dei segnali RF e mappe visive separate, per poi unirle traendone informazioni dettagliate sulla geometria dell’oggetto target.
• Tra gli obiettivi futuri del team di ricerca, il recupero di oggetti nascosti deformabili, indagando molteplici tipologie di manipolazione e considerando un numero maggiore di pile per oggetti occlusi.

---

Quella della “ricerca meccanica” è un’abilità propria delle macchine capaci di rilevare e di recuperare oggetti parzialmente o completamente assenti dal loro campo visivo, esplorando attivamente l’ambiente all’interno del quale sono chiamate a operare. I robot dediti alla ricerca di oggetti nascosti all’obiettivo della loro telecamera – specie in contesti quali magazzini, negozi al dettaglio e siti di produzione, spesso caratterizzati dall’assenza di una puntuale organizzazione dello spazio – sono una presenza strategica a supporto della forza lavoro umana.

Pensiamo solo ai sistemi robotici deputati all’imballaggio di ordini da ricavare da scorte non smistate oppure all’elaborazione di resi da pile di prodotti. O, ancora, a robot ai quali viene chiesto di trovare strumenti specifici all’interno di un dato ambiente (ad esempio un cacciavite a stella) di cui hanno bisogno per le loro attività di assemblaggio.

«I sistemi robotici oggi esistenti affrontano la questione della ricerca meccanica degli oggetti occlusi in due modalità: la prima basata sulla percezione visiva mediante telecamera puntata sulla pila di elementi, la seconda basata su segnali RF che identificano e localizzano oggetti target contrassegnati da etichette Radio Frequency IDentification. Tuttavia, la prima soluzione funziona bene su pile relativamente piccole, diventando inefficiente in scenari complessi, con pile più grandi o multiple. Mentre, i vantaggi della seconda sono limitati agli scenari in cui tutti gli articoli sono contrassegnati»

si legge nel documento dal titolo “FuseBot: RF-Visual Mechanical Search”, a cura Massachusetts Institute of Technology – MIT, reso pubblico in occasione della conferenza “Robotics: Science and Systems 2022”, tenutasi dal 27 giugno al 1° luglio 2022 a New York.

Documento in cui la domanda che si pone il team di studio è se, a questo punto, sia possibile progettare un sistema robotico capace di eseguire un’efficiente ricerca meccanica coniugando le due tecnologie citate (video e radiofrequanza), per oggetti target con e senza tag RFID.

Vediamo insieme a quale risposta sono giunti gli autori [per approfondimenti, consigliamo la lettura della nostra guida alla robotica, che spiega come funziona e quali sono gli esempi applicativi – ndr].

Robot e ricerca di oggetti nascosti, indipendentemente dalla presenza di tag RFID

In tema di robot e ricerca di oggetti non presenti nel campo visivo, lo stesso gruppo di ricerca, qualche anno fa, ha messo a punto un braccio robotico che, sfruttando le informazioni visive provenienti dalla telecamera a bordo e i segnali RF, rileva gli oggetti occlusi contrassegnati da tag RFID.

Il lavoro attuale è diverso. Prende spunto dallo studio precedente, ma si pone un obiettivo più ambizioso, ossia recuperare qualsiasi oggetto nascosto, non solo quelli muniti di etichetta:

«Anziché richiedere che tutti gli elementi siano contrassegnati con RF, questa volta consideriamo scenari più realistici e pratici, in cui solo un sottoinsieme di oggetti è provvisto di tag»

In questa seconda ricerca, c’è, dunque, un’apertura a quelle tipologie di applicazioni in cui – ad esempio – l’oggetto target non può essere munito di etichetta RFID, per il semplice fatto che si tratta di uno strumento di metallo oppure di una bottiglia contenente liquidi.

La novità introdotta consiste nello sfruttare la presenza – nel mucchio di oggetti – di un solo elemento avente etichetta RF, a beneficio di tutti gli altri oggetti. E questo – spiega il team – grazie a due innovazioni chiave. La prima riguarda una tecnica «che localizza gli oggetti contrassegnati da tag RF in una pila e utilizza queste informazioni per costruire quella che viene definita “mappa di distribuzione dell’occupazione RF-Visual”».

La seconda concerne, invece, «la riduzione ai minimi termini del numero di azioni richieste per estrarre l’oggetto target, tenendo conto della distribuzione probabilistica della sua occupazione nello spazio».

La tecnica RF-Visual Mapping

In tema di robot e ricerca di oggetti nascosti, il processo di mappatura RF-Visual consiste in una serie di passaggi (si veda lo schema riassuntivo a fine paragrafo), «in cui il robot prima costruisce mappe dei segnali RF e mappe visive separate, quindi le fonde insieme e infine definisce le informazioni sulla geometria dell’oggetto target».

Il primo passaggio prevede la costruzione di una mappa 3D dell’ambiente, importante per identificare tutte le possibili posizioni dell’oggetto occluso. Per creare tale mappa, il robot orienta la telecamera montata sul braccio verso il basso, sopra la pila di oggetti, in modo da coprire l’intera area di lavoro (RF Visual Servoing).

Utilizzando le informazioni (ottenute dalla telecamera) relative alla profondità di campo e alla posizione degli oggetti, la macchina è in grado di determinare ogni elemento visibile alla telecamera (come, ad esempio, lo sono la superficie della pila e la superficie del piano del tavolo), lo spazio libero (nell’aria) oppure occluso (lo spazio sotto la pila o lo spazio sotto il tavolo).

A titolo di esempio, si consideri lo scenario della figura sottostante, costituito da due pile con tre oggetti contrassegnati da tag RFID e in cui l’oggetto target (target item) è un giocattolo nascosto sotto la pila. Qui, la mappa di distribuzione è rappresentata come una mappa di calore in cui le regioni sotto la superficie delle pile hanno un’alta probabilità (rossa) di contenere l’oggetto bersaglio (3D Occupancy Distribution).

Ricordiamo che il dispositivo robotico ha due antenne RF montate sul braccio, che utilizza per leggere e localizzare i tag RFID presenti nella pila di oggetti. I che modo?

«Quando le antenne trasmettono segnali a radiofrequenza, i tag RFID passivi raccolgono energia da queste per accendersi e rispondere con il proprio identificatore. Il robot sfrutta la risposta di ogni tag per calcolare la distanza da questo. E quando si sposta con la telecamera per raccogliere diverse misurazioni circa la profondità di campo, raccoglie simultaneamente misurazioni relative alla distanza da ciascuno dei tag, quindi combina tali misurazioni per localizzare ciascuno degli RFID all’interno della pila»

A partire dalle posizioni dei tag RFID all’interno del mucchio, identifica le aree di quest’ultimo che è meno probabile che l’oggetto target occupi, poiché, ad esempio, sono già occupate dagli oggetti contrassegnati dai tag.

A tale riguardo – osservano gli autori – una sfida che il processo di mappatura RF-Visual pone è data dal fatto che il robot è capace di recuperare la posizione del tag RFID solo come un singolo punto nello spazio 3D: «poiché un RFID è aderente alla superficie dell’articolo contrassegnato, permane un’incertezza non banale sull’orientamento e sulla posizione esatta dell’articolo nella pila, in quanto qiesto potrebbe occupare una regione nelle immediate vicinanze dell’etichetta localizzata».

Robot e ricerca di oggetti nascosti: l’estrazione del target item dal mucchio

In tema di robot e ricerca di oggetti nascosti dal campo visivo, poiché il target item è completamente occluso, la macchina non può accedervi direttamente, ma deve prima rimuovere tutto ciò che lo copre, decidendo – di volta in volta – quale oggetto eliminare per estrarlo in modo efficiente.

L’obiettivo di quella che viene definita dagli autori “politica di estrazione” è ridurre al minimo il numero complessivo di azioni necessarie per recuperare l’oggetto target. E sebbene il robot messo a punto dal Massachusetts Institute of Technology sfrutti la percezione RF-Visual per ridurre al minimo l’incertezza, «la distribuzione degli oggetti nello spazio può ancora avere aree ad alta probabilità, lasciando ambiguità nella posizione dell’elemento di destinazione. Si potrebbe pensare di spostarsi verso la regione con la più alta probabilità e cercare lì l’oggetto target, finché questo non viene recuperato. Ma questo potrebbe comportare una ricerca inefficiente, soprattutto in scenari complessi, in cui sono presenti più pile di grandi dimensioni».

Ecco, allora, che la macchina necessita di una politica di estrazione che si fondi non solo sulla distribuzione di probabilità della posizione dell’elemento target, ma anche sul cosiddetto “guadagno di informazioni” previsto da una determinata azione.

Dove, per “guadagno di informazioni” si intende «l’identificazione dell’oggetto “migliore” da afferrare all’interno della pila, assegnando a tale azione un certo “guadagno” atteso». Per fare questo, il robot esegue la “segmentazione dell’istanza” (Depth based Instance Segmentation), che fornisce l’area della superficie di ciascun oggetto visibile nella scena.

Risultati e studi futuri

In tema di robot e ricerca di oggetti occlusi, i ricercatori hanno condotto oltre 180 esperimenti per testare il nuovo robot, ricorrendo a pile di oggetti per la casa e per l’ufficio, a giocattoli per bambini e ad abiti, modificando, di volta in volta, le dimensioni delle pile e il numero di articoli contrassegnati da RFID al loro interno.

Gli esiti dei test hanno dimostrato l’esatta estrazione dell’oggetto target nel 95 per cento dei casi, rispetto all’84 per cento del braccio robotico precedente, il cui funzionamento era basato esclusivamente sulla ricerca degli oggetti target muniti di tag RFID.

Inoltre – sottolinea il team – tale obiettivo è stato raggiunto utilizzando il 40 per cento in meno di movimenti del braccio e con una rapidità doppia.

Tra i futuri traguardi della ricerca, modelli robotici più complessi per il recupero di oggetti nascosti deformabili, con l’osservazione di molteplici tipologie di manipolazioni e l’esplorazione di più pile per oggetti occlusi.