La comprensione del movimento è fondamentale per tutte le specie viventi, indipendentemente dal fatto di capire quale sia l’angolo in cui lanciare una palla o di vedere il movimento di predatori e prede. Ma i video semplici non possono realmente darci il quadro completo. Poiché i video e le foto tradizionali per lo studio del movimento sono bidimensionali, non ci mostrano quindi la struttura 3D sottostante della persona o del soggetto di interesse.
Ora i ricercatori del Laboratorio di Informatica e Intelligenza Artificiale del Massachusetts Institute of Technology, Google Research e l’Università della California di Berkley, hanno ideato un sistema di intelligenza artificiale (AI) per mostrare come si muove un corpo umano.
Il sistema, soprannominato MoSculp , utilizza un algoritmo in grado di acquisire video 2D e trasformarli in “sculture di movimento” stampate in 3D . Potrebbe consentire uno studio molto più dettagliato del movimento per atleti professionisti, ballerini o chiunque voglia migliorare le proprie capacità fisiche.
“Immagina di avere un video di Roger Federer che serve una palla in una partita di tennis e un video di te stesso che impara a giocare a tennis”, afferma la dottoressa Xiuming Zhang. “Potresti quindi costruire sculture di movimento di entrambi gli scenari per confrontarli e studiare in modo più approfondito dove devi migliorare”.
Ecco come funziona in pratica: dopo che un video è stato caricato nel sistema, MoSculp sovrappone i punti chiave rilevati sui frame di input e li conferma con alcuni fotogrammi selezionati casualmente. (Uno strumento di correzione incorporato consente agli utenti di apportare modifiche se necessario.) Dopo aver corretto “rilevazioni temporalmente incoerenti”, genera la scultura del movimento e la carica in un’interfaccia personalizzata.
È un processo a più fasi e tutte le esigenze di MoSculp sono una sequenza video. Ecco come funziona: dopo che un video è stato caricato nel sistema, MoSculp rileva automaticamente i punti chiave 2D sul corpo del soggetto, ad esempio l’anca, il ginocchio e la caviglia di una ballerina mentre esegue una sequenza di danza complessa. Quindi, prende le migliori pose possibili da quei punti per essere trasformati in “scheletri” in 3D.
Dopo aver unito insieme questi scheletri, il sistema genera una scultura di movimento che può essere stampata in 3D, mostrando il percorso continuo e regolare del movimento tracciato dal soggetto. Gli utenti possono navigare intorno alla scultura e personalizzare le proprie figure per concentrarsi su parti del corpo diverse, assegnare materiali diversi per distinguere tra le parti e persino personalizzare l’illuminazione, e quindi stamparla usando una stampante 3D.
Durante le prove, i ricercatori hanno scoperto che oltre il 75% dei soggetti riteneva che MoSculp fornisse una visualizzazione più dettagliata per lo studio del movimento rispetto alle tecniche di fotografia standard.
Il sistema funziona meglio per i movimenti più grandi, come lanciare una palla o fare un ampio salto durante una sequenza di danza. Funziona anche in situazioni che potrebbero ostacolare o complicare il movimento, come le persone che indossano abiti larghi o che trasportano oggetti.
Attualmente, MoSculp utilizza solo video a soggetto singolo, ma il team spera di espandersi a più persone. In futuro, credono che potrebbe essere usato per studiare cose come i disordini sociali, le interazioni interpersonali e le dinamiche di squadra.
“La danza e i movimenti atletici altamente qualificati spesso sembrano” sculture in movimento “, ma creano solo forme effimere ed effimere”, ha detto Courtney Brigham, responsabile delle comunicazioni di Adobe. “Questo lavoro mostra come prendere movimenti e trasformarli in vere sculture con visualizzazioni oggettive del movimento, fornendo agli atleti un modo per analizzare i loro movimenti per l’allenamento, non richiedendo più attrezzature di una fotocamera mobile e un po ‘di tempo di calcolo.”
Il team presenterà il proprio documento (“MoSculp: Visualizzazione interattiva di forma e tempo”) sul sistema il mese prossimo alla conferenza UIST (Software Interface and Technology) di Berlino, Germania.