Un nuovo dispositivo per interpretare la fingerspelling
Un gruppo di ricerca guidato da Cornell University ha progettato un anello dotato di intelligenza artificiale e tecnologia a micro-sonar, capace di seguire in modo continuo e in tempo reale i movimenti delle dita utilizzati per comporre parole nella lingua dei segni americana (ASL). Questo anello, chiamato SpellRing, è in grado di riconoscere la fingerspelling, ovvero la tecnica usata per comunicare parole prive di segno corrispondente – come nomi propri, termini tecnici o marchi.
Dalle mani allo schermo: un’interfaccia alternativa per l’inserimento di testo
Nella sua versione attuale, SpellRing permette a chi lo indossa di inserire testo in uno smartphone o computer semplicemente muovendo le dita, lettera dopo lettera. È uno strumento pensato per situazioni in cui l’uso della voce o della tastiera non è possibile o praticabile. Tuttavia, le prospettive future sono ancora più ampie: l’obiettivo a lungo termine è quello di ampliare la capacità del sistema per consentirgli di riconoscere non solo singole lettere, ma parole e frasi intere della lingua dei segni, in modo fluido e continuo.
Dispositivi ingombranti: una barriera all’adozione
Hyunchul Lim, dottorando in scienze dell’informazione e autore principale dello studio, ha sottolineato che molte soluzioni esistenti per il riconoscimento della lingua dei segni non sono state accolte con entusiasmo dalla comunità sorda. Il motivo è spesso la natura ingombrante e poco pratica dell’hardware utilizzato. Con SpellRing, i ricercatori hanno puntato a creare un unico anello compatto, in grado di rilevare i piccoli e complessi movimenti delle dita coinvolti nella fingerspelling.
Un dispositivo discreto e compatto
SpellRing si indossa sul pollice ed è dotato di microfono, altoparlante e giroscopio. Questi elementi collaborano per emettere e ricevere onde sonore non udibili che tracciano la posizione e i movimenti delle dita. Tutto il sistema è contenuto in un anello e in una piccola custodia stampata in 3D, grande quanto una moneta da un quarto di dollaro. Il cuore del sistema è un algoritmo di deep learning che elabora in tempo reale le “immagini” generate dal sonar, identificando le lettere con un’accuratezza paragonabile a quella di sistemi molto più complessi.
Valutazione del sistema: tra precisione e semplicità
Il team ha testato SpellRing con 20 persone, alcune esperte e altre meno esperte di lingua dei segni. I partecipanti hanno composto, attraverso la fingerspelling, oltre 20.000 parole di varia lunghezza. Il sistema ha mostrato un’accuratezza compresa tra l’82% e il 92%, a seconda della complessità delle parole. Un risultato notevole, soprattutto considerando la compattezza dell’hardware utilizzato.
Le sfide della variazione linguistica
Uno dei principali ostacoli nella progettazione del sistema è stata la variabilità nella forma delle lettere: le persone che usano l’ASL tendono infatti a modificare leggermente i segni per favorire la fluidità o per adattarli al contesto. Secondo Cheng Zhang, docente e coautore dello studio, riconoscere correttamente tutte e 26 le configurazioni delle lettere non è un compito semplice. L’aspetto geometrico dei segni può variare sensibilmente da una persona all’altra e persino da un’esecuzione all’altra della stessa persona.
Evoluzione da esperienze precedenti
SpellRing è l’evoluzione di un progetto precedente del laboratorio SciFi (Smart Computer Interfaces for Future Interactions) di Cornell, chiamato Ring-a-Pose. Fa parte di una linea di dispositivi smart equipaggiati con sonar, sviluppati per applicazioni che spaziano dalla realtà virtuale al riconoscimento del linguaggio silenzioso, passando per la rilevazione di movimenti del corpo superiore e delle espressioni facciali.
Oltre le mani: verso un sistema più completo
Lim ha dichiarato di voler ampliare il progetto integrando la tecnologia sonar in un paio di occhiali intelligenti, per acquisire anche i movimenti del busto, del volto e della testa. In effetti, l’ASL non si limita all’uso delle mani, ma coinvolge una gamma complessa di segnali visivi che includono espressioni facciali, inclinazioni del capo e posture del corpo superiore. Per questo motivo, l’anello rappresenta solo un primo passo verso un sistema più completo di traduzione automatica della lingua dei segni.
Un’attenzione concreta alla comunità di riferimento
Jane Lu, dottoranda in linguistica e coautrice dello studio, ha contribuito al progetto assicurandosi che ogni scelta fosse presa con consapevolezza e rispetto nei confronti della comunità sorda. Ha ricordato che, sebbene la fingerspelling sia una componente significativa, essa costituisce solo una parte della lingua dei segni, che è molto più ampia e articolata. Il dispositivo, pur rappresentando un progresso, non può sostituirsi alla ricchezza dell’intera lingua. Rimane quindi aperta la sfida di estendere le capacità di SpellRing fino a coprire l’intero spettro dell’ASL.
Una collaborazione multidisciplinare per un obiettivo condiviso
Lo sviluppo del dispositivo è il frutto della collaborazione di diversi ricercatori, provenienti non solo da Cornell ma anche da Carnegie Mellon University e dalla Stony Brook University. Tra loro vi sono studenti e docenti specializzati in interazione uomo-macchina, informatica e linguistica. Il progetto è stato finanziato dalla National Science Foundation, a conferma della rilevanza sociale e scientifica del lavoro.
Conclusione: verso un’interazione più inclusiva
Il progetto SpellRing rappresenta un esempio concreto di come l’intelligenza artificiale e la sensoristica possano essere impiegate per rendere le tecnologie digitali più accessibili. Offrendo una soluzione compatta, adattabile e rispettosa delle esigenze reali degli utenti, questo anello apre nuove possibilità per l’integrazione tra mondo digitale e linguaggi visivi. Sebbene il cammino per una piena traduzione automatica dell’ASL sia ancora lungo, gli strumenti sviluppati da questo team indicano una direzione chiara: quella dell’inclusione e del dialogo tra scienza e comunità.
