Un’applicazione open source per passare dalla fotografia alla geometria tridimensionale
Lightning Pixel ha sviluppato Modly, un’applicazione desktop open source progettata per generare modelli 3D partendo da una singola immagine. Il software utilizza modelli di intelligenza artificiale eseguiti sulla GPU del computer, evitando di trasferire la fotografia e i dati della generazione verso un servizio cloud durante l’elaborazione.
L’obiettivo di Lightning Pixel è offrire un ambiente unico nel quale importare un’immagine, selezionare il modello di intelligenza artificiale, generare una mesh, controllare il risultato in un visualizzatore tridimensionale e infine esportare il file. Il processo non produce una copia misurabile dell’oggetto fotografato, ma una geometria plausibile costruita sulla base delle informazioni visibili e delle conoscenze apprese dal modello.
Questa distinzione è importante. Modly non sostituisce uno scanner 3D, un sistema fotogrammetrico basato su molte fotografie o un software CAD. Lightning Pixel propone invece uno strumento per creare rapidamente una base tridimensionale da perfezionare, utilizzare in una scena digitale oppure preparare per la stampa 3D.
L’elaborazione locale limita la dipendenza dai servizi cloud
Uno degli elementi centrali di Modly è l’esecuzione locale dei modelli. Durante la generazione, il calcolo viene svolto dall’hardware dell’utente, in particolare dalla GPU o dalla memoria unificata disponibile sui computer Apple compatibili.
Per studi di progettazione, laboratori, maker e professionisti che lavorano con immagini riservate, l’elaborazione locale permette di mantenere i file sul proprio sistema. Il funzionamento locale consente inoltre di eseguire più prove senza acquistare crediti per ogni generazione o attendere la disponibilità di server esterni.
L’uso di Modly non è però completamente scollegato da Internet. Lightning Pixel distribuisce il codice e le estensioni attraverso GitHub, mentre alcuni pesi dei modelli vengono scaricati da Hugging Face. Una connessione è quindi necessaria per installare l’applicazione, aggiungere le estensioni e scaricare i modelli. Una volta completati questi passaggi, la generazione può essere eseguita sul computer.
La scelta dell’elaborazione locale comporta anche una maggiore responsabilità nella gestione dell’hardware. La velocità, la risoluzione ottenibile e il modello utilizzabile dipendono dalla quantità di memoria disponibile, dalla GPU, dai driver e dalla compatibilità delle librerie richieste da ogni estensione.
Compatibilità con Microsoft Windows, Linux e Apple macOS
Lightning Pixel distribuisce Modly per Microsoft Windows, Linux e Apple macOS. Nel caso di Apple macOS, il supporto è rivolto ai computer basati su Apple Silicon, quindi ai sistemi con processori delle famiglie Apple M1, M2, M3, M4 e successive architetture compatibili. I Mac con processori Intel non rientrano nel percorso di supporto indicato da Lightning Pixel.
Gli utenti possono scaricare gli installer preparati da Lightning Pixel oppure clonare il repository disponibile su GitHub. La seconda modalità è destinata soprattutto a sviluppatori e utenti tecnici, perché richiede l’installazione delle dipendenze JavaScript, la configurazione dell’ambiente Python e l’avvio dell’applicazione attraverso gli script del progetto.
Lightning Pixel ha progettato il funzionamento su Apple Silicon tenendo conto della memoria unificata. Su un Mac con 16 GB, CPU e GPU condividono la stessa memoria, quindi l’esecuzione contemporanea di più modelli pesanti può rallentare o rendere instabile il sistema. Modly organizza le fasi più impegnative in sequenza e libera le risorse terminando i processi che possiedono la memoria utilizzata.
La disponibilità dell’applicazione su una determinata piattaforma non garantisce però che ogni estensione funzioni nello stesso modo. Alcuni modelli dipendono da CUDA o da componenti nativi sviluppati soprattutto per le GPU di NVIDIA. Lightning Pixel può quindi distribuire Modly per Apple macOS e Linux anche quando una specifica estensione presenta ancora limitazioni sulla piattaforma scelta.
Un’architettura che separa interfaccia, elaborazione ed estensioni
L’interfaccia di Modly è costruita da Lightning Pixel attraverso Electron e TypeScript. Le operazioni di intelligenza artificiale vengono gestite da un backend Python eseguito sul computer dell’utente. Nel progetto sono presenti anche componenti scritti in C++ e codice destinato a CUDA per le elaborazioni accelerate sulle GPU di NVIDIA.
Questa struttura consente a Lightning Pixel di separare l’applicazione principale dai singoli modelli generativi. Modly non contiene un solo sistema fisso per la conversione da immagine a 3D: utilizza un sistema di estensioni attraverso il quale possono essere installati modelli e processi differenti.
Ogni estensione viene distribuita come repository su GitHub e comprende un file di configurazione, gli script di esecuzione e le informazioni necessarie per scaricare i pesi. L’utente può inserire nell’applicazione l’indirizzo del repository dell’estensione, completare l’installazione e scegliere una delle varianti disponibili.
Questo approccio permette a Lightning Pixel di aggiornare i modelli senza ricostruire l’intera applicazione. Consente inoltre alla comunità open source di sviluppare integrazioni autonome, purché venga rispettata la struttura prevista dal progetto.
I modelli di Tencent disponibili attraverso Hunyuan3D 2 Mini
Tra le estensioni ufficiali di Lightning Pixel sono presenti diverse varianti di Hunyuan3D 2 Mini, un modello leggero derivato dal progetto Hunyuan3D di Tencent.
Lightning Pixel propone una versione standard, una variante Turbo e una variante Fast. Le tre opzioni sono pensate per offrire compromessi differenti tra qualità della mesh, tempo di calcolo e consumo di memoria. La scelta più adatta dipende dalla GPU e dal tipo di oggetto rappresentato nella fotografia.
L’estensione principale di Lightning Pixel carica la pipeline per la generazione della forma sviluppata da Tencent. La creazione delle texture può essere disponibile quando il sistema dispone delle estensioni native e delle librerie richieste. Su alcune configurazioni è quindi possibile ottenere soltanto la geometria, mentre su altre configurazioni il processo può includere anche l’aspetto superficiale.
Le varianti più rapide possono essere utili durante le prove iniziali, quando l’utente vuole verificare se l’inquadratura e il soggetto producono una forma convincente. Una variante più orientata alla qualità può essere scelta dopo aver individuato l’immagine più adatta.
TripoSG di VAST AI Research per geometrie complesse
Modly supporta anche TripoSG, sviluppato da VAST AI Research per la piattaforma Tripo. TripoSG è un modello dedicato alla generazione di forme tridimensionali da immagini e utilizza un’architettura basata sui rectified flow transformer.
VAST AI Research ha addestrato TripoSG utilizzando circa due milioni di coppie composte da immagini e rappresentazioni tridimensionali basate su funzioni di distanza. Il modello è stato progettato per riconoscere soggetti provenienti da fonti differenti, comprese fotografie, illustrazioni, disegni e immagini stilizzate.
All’interno di Modly, l’estensione preparata da Lightning Pixel permette di utilizzare TripoSG senza costruire manualmente l’intero ambiente software previsto dal progetto originale di VAST AI Research. Il modello può risultare adatto quando la priorità è ottenere una forma coerente, con bordi definiti e una struttura riconoscibile anche partendo da immagini che non hanno un aspetto fotografico.
Il risultato continua comunque a dipendere dalla visibilità del soggetto. Parti nascoste, superfici sovrapposte e dettagli troppo sottili devono essere immaginati dal modello di VAST AI Research e possono quindi differire dall’oggetto reale.
TRELLIS.2 di Microsoft in una versione quantizzata
Un’altra estensione ufficiale integra TRELLIS.2, il modello generativo sviluppato da Microsoft Research. Lightning Pixel utilizza una versione in formato GGUF preparata da Aero-Ex e distribuita attraverso Hugging Face.
La quantizzazione riduce la memoria necessaria per conservare ed eseguire il modello. Nell’estensione di Lightning Pixel è possibile selezionare livelli compresi tra Q4_K_M e Q8_0. I livelli più compressi richiedono meno memoria, mentre i livelli meno compressi mantengono una maggiore quantità di informazioni numeriche.
L’integrazione di TRELLIS.2 è organizzata in due passaggi. Il primo nodo genera la geometria e produce un file GLB privo di texture. Il secondo nodo riceve la mesh e l’immagine originale, costruendo le coordinate UV e applicando le texture.
Lightning Pixel mette a disposizione diversi livelli di qualità, con risoluzioni e procedure di generazione differenti. Sono presenti configurazioni rapide a 512, configurazioni bilanciate a 1024 e modalità più impegnative che utilizzano elaborazioni a cascata. L’utente può inoltre modificare il numero dei passaggi di diffusione, la risoluzione della texture, la dimensione dell’atlante UV e il valore iniziale utilizzato per rendere ripetibile una generazione.
TRELLIS.2 è stato progettato da Microsoft Research per rappresentare geometrie articolate e materiali PBR. La versione quantizzata integrata da Lightning Pixel rende il modello più accessibile, ma qualità, consumo di memoria e tempi di elaborazione cambiano in base al livello di quantizzazione e alla risoluzione scelta.
Dall’immagine alla mesh attraverso un flusso di lavoro visuale
Il flusso di base di Modly parte dall’importazione di un’immagine. Lightning Pixel consiglia una sequenza composta da un nodo di ingresso, un nodo per la generazione della mesh e un nodo per l’inserimento del risultato nella scena.
Il sistema rimuove lo sfondo per isolare il soggetto. Per ottenere una mesh più leggibile è preferibile utilizzare una fotografia ben illuminata, con un oggetto interamente visibile, bordi distinti e poche sovrapposizioni. Uno sfondo semplice facilita la separazione, anche se alcune estensioni sono in grado di gestire immagini meno curate.
Una fotografia frontale non contiene informazioni certe sulla parte posteriore dell’oggetto. Il modello deve quindi completare la forma basandosi su oggetti simili osservati durante l’addestramento. Una sedia può ricevere uno schienale plausibile, una statuetta può essere completata con una superficie continua e un contenitore può essere interpretato come pieno o cavo. Queste decisioni non derivano da una misurazione.
Al termine dell’elaborazione, Modly mostra il modello in un visualizzatore 3D. Lightning Pixel permette di importare mesh esistenti, applicare operazioni di smoothing e ridurre il numero di poligoni. La riduzione dei poligoni è utile per alleggerire i modelli destinati a videogiochi, configuratori, realtà aumentata o visualizzazioni sul Web. Lo smoothing può eliminare alcune irregolarità, ma un valore eccessivo può attenuare spigoli e dettagli.
Esportazione in GLB, OBJ, STL e PLY
Lightning Pixel consente di esportare le mesh nei formati GLB, OBJ, STL e PLY.
Il formato GLB appartiene allo standard glTF del Khronos Group ed è adatto alla distribuzione di risorse tridimensionali complete. Un singolo file GLB può contenere geometria, struttura della scena, materiali e texture, rendendo il formato utile per motori grafici, applicazioni Web e software di visualizzazione.
Il formato OBJ è utilizzato da numerosi programmi di modellazione. Il formato PLY può conservare informazioni associate ai vertici, come i colori. Il formato STL descrive invece la superficie attraverso triangoli ed è utilizzato soprattutto nei flussi destinati alla produzione additiva.
I file STL generati da Modly possono essere caricati in programmi di slicing come UltiMaker Cura, sviluppato da UltiMaker, PrusaSlicer, sviluppato da Prusa Research, e Bambu Studio, sviluppato da Bambu Lab. Lo slicer trasforma la geometria in strati e genera le istruzioni necessarie alla stampante.
L’esportazione in STL non rende però il modello automaticamente stampabile. Prima della produzione occorre controllare che la mesh sia chiusa, priva di superfici sovrapposte, dotata di spessori adeguati e orientata in modo compatibile con il processo di stampa. È inoltre necessario definire le dimensioni reali, perché la generazione da una fotografia non fornisce una scala metrica affidabile.
Modly non sostituisce il CAD e la scansione tridimensionale
L’intelligenza artificiale applicata alla generazione 3D è utile soprattutto per creare bozze, oggetti decorativi, concept, elementi per videogiochi, modelli da visualizzare e basi da modificare.
Per un componente meccanico, un alloggiamento, un giunto o un oggetto che deve rispettare tolleranze precise, è necessario ricostruire o correggere la geometria con un programma CAD. Fori, superfici di accoppiamento, giochi, filettature e spessori non dovrebbero essere affidati alla stima di un modello generativo.
Anche la riproduzione di opere, manufatti o persone richiede attenzione ai diritti di utilizzo delle immagini e dei soggetti. La licenza open source di Modly non modifica i diritti relativi alla fotografia caricata, all’oggetto rappresentato o all’impiego commerciale del risultato. Occorre inoltre verificare separatamente la licenza dei pesi selezionati, perché i modelli distribuiti da Tencent, VAST AI Research, Microsoft Research e Aero-Ex possono adottare condizioni differenti da quelle del software di Lightning Pixel.
La versione Beta v0.4.1 amplia workflow e automazione
La versione più aggiornata pubblicata da Lightning Pixel è Modly Beta v0.4.1, distribuita il 16 luglio 2026. La denominazione Beta indica che il progetto è ancora in una fase nella quale interfaccia, compatibilità e procedure di installazione possono cambiare.
La versione v0.4.1 introduce il pacchetto per Apple macOS, migliora la gestione delle estensioni danneggiate, aggiunge un browser per organizzare i workflow in cartelle e schede e amplia le possibilità di costruire elaborazioni iterative. Lightning Pixel ha inserito nodi “For Each” per immagini, testi e mesh, opzioni per le dimensioni dei caratteri e correzioni relative ai file glTF che utilizzano immagini WebP.
Modly comprende anche un’interfaccia a riga di comando. Gli sviluppatori possono controllare lo stato dell’applicazione, elencare i modelli, avviare un workflow, verificare l’avanzamento ed esportare il risultato attraverso script. Il backend locale utilizza un indirizzo sul computer dell’utente e può quindi essere collegato a procedure batch, sistemi di automazione o agenti software senza passare attraverso un servizio cloud.
Un progetto adatto alla prototipazione e alla sperimentazione
Modly riunisce in un’unica applicazione modelli sviluppati da Lightning Pixel, Tencent, VAST AI Research, Microsoft Research e Aero-Ex, utilizzando GitHub e Hugging Face per la distribuzione dei componenti.
Il vantaggio principale non consiste nella sostituzione completa della modellazione tradizionale, ma nella possibilità di creare una prima mesh in tempi contenuti, confrontare più modelli e mantenere l’elaborazione sul proprio computer. Per un maker, un artista digitale o un piccolo studio, Modly può ridurre il lavoro necessario per passare da un’immagine a una base tridimensionale modificabile.
La qualità finale dipende però dall’immagine, dal modello selezionato, dall’hardware e dalle correzioni eseguite dopo la generazione. Il controllo della topologia, delle dimensioni e della stampabilità resta una fase essenziale. Modly deve quindi essere considerato uno strumento di generazione e prototipazione, non un sistema di scansione metrologica o un sostituto del CAD.
