Un braccio robotico che segue il viso con rilevamento delle emozioni

I ricercatori dell’Universitat Aut貌noma de Barcelona (UAB) hanno recentemente sviluppato un braccio robotico che segue il viso con rilevamento delle emozioni ispirato alla lampada Luxo Jr. di Pixar Animation Studios. Questo robot è stato presentato da Vernon Stanley Albayeros Duarte, laureato in informatica alla UAB, nella sua tesi finale.

“L’idea alla base del nostro robot si basa in gran parte sui pantaloncini della lampada Luxo Jr. di Pixar”, ha detto Albayeros Duarte a TechXplore. “Volevo costruire un robot che imitasse il comportamento della lampada nei cortometraggi. Sono molto interessato alla scena dei maker e ho stampato in 3D per alcuni anni, quindi ho deciso di costruire una sorta di “animale domestico” per dimostrare alcuni interessanti interazioni uomo-macchina. È da qui che deriva l’intero tema “face following/rilevamento delle emozioni”, poiché far saltare la lampada come quelle dei cortometraggi Pixar si è rivelato molto difficile da implementare, ma ha comunque mantenuto la sensazione di “pet-toy” sul progetto».

Poiché questo studio faceva parte dei corsi di Albayeros Duarte, doveva soddisfare alcuni requisiti delineati da UAB. Ad esempio, l’obiettivo principale della tesi era che gli studenti imparassero a conoscere i servizi cloud di Google e come questi possono essere utilizzati per scaricare risorse di elaborazione in progetti che non sono computazionalmente potenti per loro.

Raspberry Pi è un computer piccolo ed economico, che presenta sostanziali limitazioni computazionali. Queste limitazioni lo rendono il candidato perfetto per esplorare l’uso della piattaforma cloud di Google per attività ad alta intensità di calcolo, come il rilevamento delle emozioni.

Albayeros Duarte ha quindi deciso di utilizzare un Raspberry Pi per sviluppare un piccolo robot con capacità di rilevamento delle emozioni. Il corpo principale del suo robot è LittleArm 2C, un braccio robotico creato dal fondatore di Slant Concepts, Gabe Bentz.

“Ho contattato Slant Concepts per chiedere il permesso di modificare il loro braccio robotico in modo che potesse contenere una telecamera alla fine, quindi ho creato la custodia dell’elettronica e la base”, ha detto Albayeros Duarte.

Il robot progettato da Albayeros Duarte “sposta” una fotocamera da sinistra a destra, catturando una foto e utilizzando OpenCV, una libreria di funzioni di programmazione spesso utilizzata per applicazioni di visione artificiale, per rilevare un volto all’interno della sua cornice. Quando il robot raggiunge l’estremità di entrambi i lati, alza o abbassa la telecamera di un paio di gradi e riprende il suo movimento ampio.

“Quando trova un volto, il robot interrompe il movimento ampio e controlla se il volto rimane nel campo visivo per più di una manciata di fotogrammi”, ha spiegato Albayeros Duarte. “Questo assicura che non ‘giochi’ con falsi positivi nel rilevamento del volto. Se il robot conferma di aver effettivamente trovato un volto, passa alla parte dell’algoritmo che segue il volto, dove cerca di mantenere il faccia centrata nel suo campo visivo. Per fare ciò, ruota e si inclina in base ai movimenti della persona che sta osservando.”

Mentre il robot segue i movimenti della persona nel suo campo visivo, scatta una foto del suo viso e la invia all’API Cloud Vision di Google. La piattaforma di Google analizza successivamente l’immagine e rileva l’attuale stato emotivo della persona in essa, classificandola come uno dei 5 stati emotivi: gioia, rabbia, dolore, sorpresa o neutralità.

“Quando il robot riceve i risultati di questa analisi, imita lo stato emotivo in cui si trova l’utente”, ha detto Albayeros Duarte. “Per la gioia salta un po’, per la rabbia scuote leggermente la testa in segno di disapprovazione, per il dolore si abbassa a terra e ti guarda, e per la sorpresa si muove all’indietro. Il robot ha anche un anello LED in grado di gamma di colori RGB completa, che utilizza per completare queste azioni.”

A seconda dell’emozione rilevata, il “comportamento travolgente” del robot cambia. Se rileva la gioia, spazza un po’ più velocemente, per la rabbia si muove il più velocemente possibile (senza compromettere la qualità del rilevamento del volto), per il dolore si muove in una posizione verso il basso o “cadente” e per la sorpresa si scuote a caso mentre spazza. In ognuna di queste “modalità”, il robot fa lampeggiare diversi colori sul suo anello LED RGB: giallo e colori caldi per la gioia, rosso brillante per la rabbia, blu e freddi per il dolore e un mix di giallo e verde per la sorpresa.

“Credo che ci sia un enorme potenziale non sfruttato per i robot ‘simili agli animali domestici'”, ha detto Albayeros Duarte. “Dal rendere gli assistenti personali come Alexa di Amazon e l’Assistente Google più interattivi e naturali, all’aiutare potenzialmente le persone disabili a diventare più autosufficienti attraverso il loro aiuto, avere un robot che risponde al tuo stato emotivo attuale può avere un enorme impatto sul percezione di questi dispositivi. Ad esempio, un assistente per anziani in grado di riconoscere il disagio emotivo potrebbe inviare avvisi tempestivi in ​​caso di necessità di assistenza sanitaria, mentre un robot utilizzato per aiutare a sviluppare le capacità motorie nei bambini con difficoltà motorie potrebbe rilevare se il bambino sta perdendo interesse o si sta impegnando maggiormente in un’attività e adeguare di conseguenza la sua difficoltà”.

Oltre ad essere un eccellente esempio di come la piattaforma cloud di Google può essere utilizzata per scaricare risorse computazionali, il progetto di Albayeros Duarte fornisce una serie di modelli per la stampa 3D che potrebbero essere utilizzati per riprodurre il suo robot o crearne adattamenti, insieme alla fattura di materiali necessari. Al momento, il ricercatore sta anche collaborando con Fernando Vilari帽o, Direttore Associato del Computer Vision Center (CVC) e Presidente dell’European Network of Living Labs (ENoLL), a un progetto volto a ispirare le giovani generazioni a raccogliere un carriera in STEM, nonché sulla costruzione della comunità di elaborazione fisica presso UAB, rivolgendosi a tutti coloro interessati a creare i propri progetti.

“Siamo stati allo Youth Mobile Festival di Barcellona, ​​un Mobile World Congress (MWC) orientato ai giovani organizzato dalle stesse persone del MWC”, ha detto Albayeros Duarte. “Immergere le dita dei piedi in robot interattivi come questo è un buon modo per costruire qualcosa che attiri istantaneamente l’attenzione dei gruppi scolastici in questi eventi e ci insegni di più sulla robotica a livello di consumatore, rispetto alla robotica a livello industriale. ”