Un’alternativa locale ai servizi cloud di generazione 3D
La diffusione dei generatori basati sull’intelligenza artificiale sta rendendo sempre più semplice trasformare fotografie o descrizioni testuali in modelli tridimensionali. Gran parte dei servizi disponibili, però, funziona attraverso piattaforme cloud: l’utente carica un’immagine, il file viene elaborato su server remoti e il risultato viene successivamente scaricato. Modly, progetto open source sviluppato da Lightning Pixel, propone un approccio differente: portare l’intero processo di generazione AI direttamente sul computer dell’utente, utilizzando la GPU locale e senza la necessità di inviare immagini o modelli a un servizio esterno.
L’applicazione permette di generare mesh tridimensionali partendo sia da un’immagine sia da un prompt testuale e può funzionare completamente offline una volta installati il programma e i modelli necessari. Non vengono utilizzati crediti e non è previsto un abbonamento per ogni generazione. Il software è distribuito con licenza MIT, quindi il codice sorgente è disponibile pubblicamente e può essere modificato, integrato in altri progetti o adattato a workflow specifici rispettando le condizioni della licenza.
L’interesse di Modly non deriva quindi dalla creazione di un nuovo modello generativo proprietario. Il progetto funziona soprattutto come ambiente desktop capace di rendere accessibili diversi modelli AI open source dedicati alla generazione 3D, evitando all’utente di dover configurare manualmente ambienti Python, dipendenze CUDA, repository e interfacce differenti.
Immagine o testo diventano una mesh tridimensionale
Il flusso di lavoro è volutamente semplice. L’utente può importare una fotografia in formato PNG, JPG o WebP oppure fornire una descrizione testuale. Successivamente sceglie uno dei modelli AI installati e avvia l’elaborazione. La ricostruzione viene eseguita dalla GPU presente nel computer e il modello tridimensionale ottenuto può essere visualizzato direttamente nell’interfaccia di Modly.
Il sistema permette quindi di partire, per esempio, dalla fotografia di un oggetto, di un personaggio o di un elemento decorativo e ottenere una mesh che può essere ulteriormente elaborata con software come Blender, importata in motori grafici come Unity o Unreal Engine oppure esportata per la stampa 3D.
Il processo non deve però essere interpretato come una scansione tridimensionale metrologica. Se viene fornita una singola fotografia, l’intelligenza artificiale conosce soltanto ciò che è visibile nell’immagine e deve necessariamente stimare la forma delle superfici nascoste. Il risultato può quindi essere molto convincente dal punto di vista visuale senza riprodurre con precisione dimensionale l’oggetto originale.
Per miniature, personaggi, statue, elementi decorativi, concept e oggetti destinati alla visualizzazione questo limite può essere accettabile. È invece una situazione molto diversa dalla ricostruzione di un ricambio meccanico che deve rispettare diametri, tolleranze e superfici di accoppiamento.
Hunyuan3D, TripoSG e Trellis2 possono essere installati come estensioni
Una delle caratteristiche più interessanti dell’architettura di Modly è il sistema di extension. L’applicazione non è vincolata a un singolo modello AI: ogni modello può essere distribuito attraverso un repository GitHub contenente i file necessari per integrarlo nel programma.
Tra le estensioni ufficialmente indicate dal progetto figurano Hunyuan3D 2 Mini, Hunyuan3D 2 Mini Turbo, Hunyuan3D 2 Mini Fast, TripoSG e Trellis2 GGUF. L’utente può quindi scegliere una pipeline in funzione del proprio hardware e del compromesso desiderato fra velocità, consumo di memoria e qualità geometrica.
Questa architettura distingue Modly da un normale programma che incorpora un singolo modello. Se in futuro vengono pubblicate nuove reti neurali open source dedicate alla generazione tridimensionale, possono essere integrate senza necessariamente modificare l’intera applicazione.
L’installazione delle estensioni viene gestita dall’interfaccia Models. L’utente può indicare il repository GitHub dell’estensione e successivamente scaricare il modello o una delle varianti disponibili. Le singole estensioni possono inoltre utilizzare ambienti Python isolati, riducendo i conflitti fra versioni differenti delle librerie richieste.
L’articolo di Fabbaloo cita Ollama, ma Modly oggi segue una strada più specifica
Fabbaloo descrive Modly facendo riferimento anche a Ollama, noto sistema per eseguire localmente modelli AI. Il confronto aiuta a spiegare il concetto di local AI, ma la documentazione ufficiale attuale di Modly presenta una struttura differente.
Modly viene esplicitamente descritto dai suoi sviluppatori come uno strumento specializzato nella generazione 3D, in contrapposizione ai runner AI general purpose come Ollama o LM Studio. Il programma incorpora il workflow necessario per passare dall’immagine alla mesh, compresa la gestione delle estensioni, l’elaborazione dell’immagine, la generazione della geometria, la visualizzazione e l’esportazione.
Non è quindi necessario utilizzare Ollama come componente centrale per eseguire Hunyuan3D o gli altri modelli supportati. Questa distinzione è importante perché un modello linguistico eseguito tramite Ollama e una pipeline image-to-3D hanno architetture e requisiti molto differenti.
Il vantaggio principale è che immagini e modelli rimangono sul computer
Il funzionamento locale presenta una conseguenza particolarmente importante per privacy e riservatezza. Secondo Lightning Pixel, Modly non dispone di un meccanismo di upload verso server esterni e non utilizza telemetria per trasferire immagini o modelli generati. L’inferenza viene eseguita localmente.
Questo può essere interessante non soltanto per gli utenti che preferiscono evitare servizi cloud, ma anche per studi di design e imprese che stanno sperimentando strumenti AI su contenuti non ancora pubblici.
Caricare la fotografia di un prototipo, un concept di prodotto o una geometria proprietaria su un servizio esterno può richiedere una valutazione delle condizioni contrattuali, della localizzazione dei dati e delle politiche utilizzate dal fornitore. Con un’applicazione realmente locale il file rimane invece sull’infrastruttura dell’utente.
La questione deve comunque essere valutata separatamente dalla sicurezza generale del computer e dalle licenze dei singoli modelli utilizzati. Open source e funzionamento locale non significano automaticamente che qualsiasi modello possa essere impiegato senza verificare le condizioni della relativa licenza in applicazioni commerciali.
Nessun credito e nessuna coda di elaborazione
La seconda differenza rispetto ai servizi cloud riguarda il modello economico. Modly è gratuito e non applica un sistema nel quale ogni generazione consuma un determinato numero di crediti.
Una volta installato il software e scaricato il modello, il limite principale è rappresentato dalla capacità dell’hardware. L’utente può quindi effettuare numerose prove, modificare l’immagine di partenza e generare differenti varianti senza valutare ogni volta il consumo di crediti.
Per l’AI generativa questo può essere un vantaggio importante. Il primo risultato è raramente quello definitivo: spesso occorre generare diverse alternative prima di trovare una geometria interessante. Un sistema locale rende economicamente irrilevante il numero delle iterazioni, anche se naturalmente ogni generazione comporta consumo di energia e tempo di elaborazione della GPU.
Scompare anche la coda del servizio cloud. Le prestazioni dipendono esclusivamente dal computer dell’utente e dal modello scelto.
Il prezzo dell’indipendenza dal cloud è una GPU sufficientemente potente
La principale limitazione è proprio l’hardware. La generazione tridimensionale tramite reti neurali richiede quantità di memoria video considerevolmente superiori rispetto alle normali applicazioni desktop.
La documentazione di Modly indica come riferimento minimo una GPU NVIDIA compatibile CUDA con almeno 6 GB di VRAM. Una configurazione più potente permette naturalmente di utilizzare modelli più complessi, risoluzioni maggiori e pipeline di texturing più sofisticate.
I requisiti possono cambiare sensibilmente in funzione dell’estensione. La versione Mini di Hunyuan3D 2, per esempio, è stata scelta proprio per rendere la generazione disponibile anche su hardware con quantità di memoria relativamente contenute. La documentazione sperimentale del progetto relativa a NVIDIA Jetson descrive la generazione mesh-only con Hunyuan3D 2 Mini come appartenente alla classe di modelli da circa 6 GB di VRAM.
Modelli più grandi e soprattutto pipeline che generano texture PBR possono richiedere quantità decisamente maggiori. Una community extension dedicata alla versione completa di Hunyuan3D 2.1 indica, a titolo di esempio, circa 10 GB per la generazione della geometria e valori superiori quando viene attivato il texturing avanzato.
La conseguenza è semplice: Modly può essere gratuito come software, ma non rende gratuita la potenza di calcolo necessaria per eseguire l’intelligenza artificiale.
Windows, Linux e ora anche macOS Apple Silicon
Le prime versioni di Modly erano concentrate su Windows e Linux, situazione riportata anche da alcune presentazioni del progetto. Il repository ufficiale aggiornato include però anche il supporto per macOS su Apple Silicon, con installer DMG dedicato.
Il supporto Mac presenta naturalmente caratteristiche differenti rispetto alla versione NVIDIA/CUDA utilizzata su Windows e Linux e la compatibilità concreta dei singoli modelli deve essere verificata per ogni estensione.
Per Windows è disponibile un normale installer, mentre su Linux vengono distribuiti pacchetti AppImage e DEB. Gli utenti più tecnici possono inoltre clonare direttamente il repository e avviare Modly dal codice sorgente.
Questa natura multipiattaforma è significativa per un progetto open source relativamente giovane perché la gestione delle dipendenze AI rappresenta spesso uno degli ostacoli principali degli strumenti locali.
I file possono essere esportati come STL, OBJ, GLB e PLY
Una volta generata la geometria, Modly consente di esportarla in diversi formati: GLB, OBJ, STL e PLY.
GLB è particolarmente utile per asset tridimensionali completi destinati a visualizzazione, Blender, applicazioni web e game engine. OBJ rimane uno dei formati più diffusi per lo scambio di mesh fra programmi differenti. PLY viene utilizzato anche in workflow di scansione, ricerca e gestione di dati geometrici.
Per chi utilizza una stampante 3D il formato più immediato è invece STL. Il file può essere aperto direttamente in slicer come Ultimaker Cura, PrusaSlicer o Bambu Studio e preparato per la produzione.
L’esportazione STL non significa però che qualunque modello prodotto dall’AI sia automaticamente stampabile. Prima della produzione occorre comunque controllare geometria, dimensioni, orientamento, spessori, eventuali superfici aperte e presenza di dettagli non realizzabili con la tecnologia scelta.
Modly include anche strumenti per ridurre e regolarizzare le mesh
Lo sviluppo del progetto non si limita alla generazione. Le versioni più aggiornate consentono di importare mesh e applicare operazioni come smoothing e decimation direttamente all’interno dell’applicazione.
La decimation è particolarmente utile con modelli generati dall’AI. Una geometria molto densa può contenere centinaia di migliaia o milioni di triangoli anche quando una parte di questa complessità non produce differenze visibili significative.
Ridurre il numero di poligoni consente di ottenere file più leggeri, più semplici da manipolare in Blender o in uno slicer e meno onerosi per videogiochi e applicazioni real-time.
Naturalmente anche in questo caso l’automazione richiede attenzione: una riduzione troppo aggressiva può cancellare piccoli dettagli o modificare silhouette e curvature.
L’interfaccia a workflow rende Modly qualcosa di più di un semplice pulsante Generate
Le versioni più recenti introducono anche un sistema di workflow. Un esempio elementare indicato dagli sviluppatori collega i passaggi Image → Generate Mesh → Add to Scene.
L’idea permette di costruire pipeline nelle quali differenti processi vengono concatenati. È una direzione simile, concettualmente, a quella resa popolare da ambienti node-based utilizzati nell’AI generativa e nella grafica 3D.
L’architettura permette inoltre di sviluppare non soltanto estensioni che contengono un nuovo modello, ma anche estensioni dedicate all’elaborazione. Questo potrebbe trasformare Modly da semplice front-end per Hunyuan3D in un ambiente per combinare ricostruzione, pulizia della mesh, ottimizzazione e successive lavorazioni.
È disponibile anche un’interfaccia CLI per automazioni e agenti
Un’altra caratteristica interessante, soprattutto per sviluppatori e workflow automatizzati, è la presenza di una command line interface.
Il sistema permette di interrogare i modelli installati, avviare workflow e generare file indicando direttamente immagine di ingresso e destinazione del modello. La documentazione mostra, per esempio, la possibilità di avviare una generazione da immagine e ottenere direttamente un file GLB.
Questo apre scenari differenti dall’utilizzo desktop manuale. Un laboratorio potrebbe costruire una pipeline nella quale le immagini vengono preparate automaticamente, elaborate con uno specifico modello e successivamente passate a un’altra applicazione.
È anche un’indicazione della direzione che Lightning Pixel sta dando al progetto: Modly non vuole essere semplicemente un’interfaccia grafica monolitica, ma un’infrastruttura locale sulla quale altri strumenti possono costruire workflow di generazione 3D.
Open source significa che il modello sottostante può essere sostituito
Il codice sorgente di Modly è pubblicato su GitHub sotto licenza MIT. Questo consente a sviluppatori e aziende di analizzare il funzionamento dell’applicazione e modificarne il codice.
Il sistema di estensioni rafforza ulteriormente questa impostazione. Una società potrebbe teoricamente sviluppare una propria estensione per un modello interno o per una pipeline ottimizzata su una particolare famiglia di oggetti.
Il repository ufficiale ha inoltre raccolto migliaia di stelle e centinaia di fork su GitHub, segnale di un interesse considerevole per un progetto relativamente giovane dedicato a un settore ancora specialistico come la generazione tridimensionale locale.
La licenza MIT consente un utilizzo molto ampio del codice, compreso quello commerciale, mantenendo gli obblighi di attribuzione previsti dalla licenza e indicati anche dal progetto.
Un modello generato dall’AI non è un CAD
Per il settore della stampa 3D è importante mantenere chiara una distinzione che diventa sempre più necessaria con la crescita dei sistemi image-to-3D.
Modly genera mesh. È molto differente dal costruire un modello parametrico in SolidWorks, Autodesk Fusion, Siemens NX o PTC Creo.
Una mesh rappresenta una superficie attraverso poligoni. Un CAD meccanico contiene invece informazioni progettuali, superfici matematiche, quote, vincoli, feature e relazioni geometriche che permettono di controllare con precisione il componente.
Se l’AI genera una tazza osservandone una fotografia, può creare un modello tridimensionale visivamente molto simile, ma non sa necessariamente che il diametro deve essere esattamente 82 millimetri, che la parete deve avere uno spessore di 2,5 millimetri oppure che il manico deve sostenere un determinato carico.
La generazione AI è quindi particolarmente efficace per geometrie artistiche, figurine, concept, prototipi visuali, personaggi e forme organiche, mentre non sostituisce direttamente il CAD nella progettazione ingegneristica.
Per la stampa 3D locale la combinazione è comunque particolarmente interessante
Esiste però una forte affinità concettuale fra Modly e la stampa 3D desktop. Entrambe le tecnologie spostano sul computer e sulla macchina dell’utente attività che tradizionalmente richiedevano servizi esterni.
Un workflow può quindi partire da una fotografia, trasformarla localmente in una mesh attraverso Modly, correggerla in Blender o in un altro programma, esportarla come STL, effettuare lo slicing e produrla sulla propria stampante.
Tutto il percorso può teoricamente avvenire senza caricare né la fotografia né il modello tridimensionale su una piattaforma cloud.
Per maker e utenti che producono soprattutto modelli decorativi questo riduce considerevolmente la barriera di ingresso alla modellazione 3D. Chi non sa scolpire manualmente un personaggio in Blender può ottenere una base tridimensionale attraverso l’AI e modificarla successivamente.
Il vero limite si sposta dal costo del servizio alla potenza del computer
Modly rappresenta quindi anche un’interessante inversione del modello economico dominante nell’intelligenza artificiale generativa. Nei servizi cloud il provider acquista le GPU e l’utente paga l’accesso attraverso abbonamenti o crediti. Nel modello locale è l’utente a possedere la GPU e il software può essere gratuito.
Per chi genera pochi modelli, utilizzare un servizio cloud può continuare a essere economicamente più razionale rispetto all’acquisto di una scheda grafica potente. Per chi dispone già di workstation NVIDIA oppure utilizza frequentemente la generazione 3D, l’esecuzione locale diventa invece molto più interessante.
A questo si aggiungono privacy, assenza di code, possibilità di modificare il software e libertà di utilizzare modelli differenti.
Un progetto che potrebbe diventare una sorta di piattaforma locale per l’AI 3D
L’aspetto probabilmente più interessante di Modly non è quindi la semplice possibilità di trasformare una fotografia in una mesh senza pagare un abbonamento. Modelli open source capaci di svolgere questa operazione esistevano già.
Il contributo di Lightning Pixel consiste nel riunirli all’interno di un’applicazione desktop relativamente semplice da installare e dotata di un sistema estensibile. Il supporto a Hunyuan3D 2 Mini, TripoSG e Trellis2, la gestione dei workflow, gli strumenti di ottimizzazione della mesh e la CLI mostrano una piattaforma che sta diventando più ampia del semplice image-to-3D iniziale.
Nel mercato dell’AI generativa 3D questo approccio potrebbe avere un ruolo analogo a quello svolto da altri strumenti locali nel settore delle immagini e dei modelli linguistici: separare l’interfaccia dal modello sottostante e permettere all’utente di scegliere quale tecnologia eseguire sul proprio hardware.
Per gli utenti della stampa 3D il vantaggio è particolarmente evidente. Modly non elimina la necessità di conoscere almeno le basi della preparazione di una mesh e non trasforma una fotografia in un componente ingegneristico perfetto. Riduce però drasticamente il lavoro necessario per creare una prima geometria tridimensionale e lo fa senza crediti, senza abbonamenti e senza obbligare l’utente a consegnare immagini e modelli a un’infrastruttura cloud.
La vera competizione con i generatori commerciali sarà quindi basata su qualità dei modelli, facilità di installazione e requisiti hardware. Se i modelli open source continueranno a migliorare e Modly riuscirà a mantenerne semplice l’utilizzo, la generazione AI 3D locale potrebbe diventare un’alternativa concreta ai servizi online per una parte crescente di maker, artisti 3D, sviluppatori e utilizzatori di stampanti 3D.
