Tencent ha presentato Hunyuan3D-Buffalo 1.0, un modello multimodale progettato per comprendere, generare e modificare oggetti tridimensionali attraverso istruzioni espresse in linguaggio naturale. Il sistema punta a superare uno dei limiti più evidenti degli strumenti text-to-3D: la difficoltà di intervenire su una singola parte dell’oggetto senza rigenerare l’intero modello.
Con molti generatori 3D basati sull’intelligenza artificiale, una richiesta come “aggiungi un manico alla tazza”, “rimuovi le ali”, “sostituisci le ruote” oppure “allunga le gambe della sedia” può comportare la produzione di una nuova geometria completa. Il risultato rischia quindi di differire dall’originale anche nelle zone che non avrebbero dovuto essere modificate.
Hunyuan3D-Buffalo 1.0 è stato sviluppato dal gruppo Tencent Hunyuan3D per applicare trasformazioni localizzate, preservando per quanto possibile la struttura, la posizione e i dettagli delle aree non coinvolte dall’istruzione.
Un unico modello per quattro attività legate al 3D
Tencent descrive Hunyuan3D-Buffalo 1.0 come un’architettura unificata capace di gestire quattro categorie principali di operazioni: comprensione degli oggetti tridimensionali, generazione text-to-3D, modifica guidata da istruzioni e generazione delle singole parti di un modello.
La comprensione 3D consente al sistema di analizzare la geometria, riconoscere i componenti dell’oggetto e interpretare le relazioni spaziali tra le varie parti. Il modello può, per esempio, distinguere il corpo di una sedia dallo schienale e dalle gambe oppure individuare le ali, la fusoliera e la coda di un aeroplano.
La funzione text-to-3D permette invece di produrre un oggetto tridimensionale partendo da una descrizione testuale. A questa capacità si aggiunge l’editing guidato, che consente di indicare quale trasformazione eseguire su un modello già esistente.
La quarta funzione riguarda la generazione e l’estrazione delle parti. L’utente può identificare una componente tramite il linguaggio e ottenere una rappresentazione separata, utile per la modifica, la sostituzione o la ricomposizione dell’oggetto.
Queste attività vengono gestite all’interno della stessa infrastruttura, anziché attraverso strumenti completamente separati. Secondo Tencent, l’addestramento congiunto permette alle capacità di comprensione e generazione di contribuire alla precisione dell’editing.
Come funziona l’editing selettivo
Il principio centrale di Hunyuan3D-Buffalo 1.0 consiste nel condizionare la generazione sia con l’istruzione dell’utente sia con la rappresentazione dell’oggetto originale.
Il sistema deve prima comprendere quale componente viene citata nel comando. In seguito localizza la regione tridimensionale corrispondente e applica la trasformazione richiesta soltanto alla parte interessata. La geometria sorgente viene mantenuta come riferimento durante il processo di generazione, in modo da limitare le alterazioni delle zone esterne all’area selezionata.
Una richiesta come “rimuovi il secondo albero della nave” richiede più della semplice associazione tra parole e immagini. Il modello deve distinguere i diversi alberi, identificarne la posizione nello spazio, rimuovere quello indicato e ricostruire in maniera coerente la superficie circostante.
La stessa logica può essere applicata alle operazioni di aggiunta. Il comando “aggiungi una spada alla mano del personaggio” richiede che il sistema individui la mano, generi la nuova componente, ne definisca scala e orientamento e la colleghi al modello senza modificare la posa complessiva.
L’obiettivo non è quindi produrre una variante genericamente simile all’originale, ma eseguire una trasformazione circoscritta che rispetti la struttura dell’oggetto sorgente.
Hunyuan3D-VLM interpreta geometria, testo e relazioni spaziali
La componente dedicata alla comprensione prende il nome di Hunyuan3D-VLM. Si tratta di un modello visione-linguaggio adattato all’analisi di contenuti tridimensionali.
Hunyuan3D-VLM utilizza come base tecnologica la famiglia Qwen-VL sviluppata da Alibaba Cloud. Tencent ha aggiunto componenti dedicate alla codifica dei dati 3D, così da collegare le rappresentazioni geometriche allo spazio semantico del modello linguistico.
Il sistema viene addestrato per descrivere gli oggetti, rispondere a domande sulle loro caratteristiche, riconoscere le parti, localizzare regioni nello spazio e interpretare le conseguenze di un’operazione di modifica.
Questa capacità di ragionamento è importante perché un’istruzione può riferirsi a categorie, attributi o relazioni. L’utente potrebbe chiedere di modificare “la ruota anteriore sinistra”, “la parte superiore più stretta” oppure “il componente collegato al braccio destro”. Il modello deve trasformare queste indicazioni in coordinate e condizioni utilizzabili dal generatore 3D.
Dopo l’addestramento, Hunyuan3D-VLM viene mantenuto stabile durante le successive fasi dedicate alla generazione. In questo modo Tencent cerca di preservare le capacità di comprensione mentre ottimizza il modulo responsabile della produzione geometrica.
La generazione si basa su Hunyuan3D DiT
La produzione degli oggetti viene gestita da Hunyuan3D DiT, un’architettura generativa basata sui Diffusion Transformer. Il modello è inizializzato a partire da Hunyuan3D 2.1, un’altra soluzione sviluppata da Tencent per la creazione di asset tridimensionali.
Le rappresentazioni prodotte da Hunyuan3D-VLM vengono trasferite al modulo generativo attraverso un connettore. Queste informazioni costituiscono le condizioni semantiche che guidano la costruzione della geometria.
Durante l’editing, il processo riceve anche la rappresentazione dell’oggetto sorgente. Questo passaggio permette al modello di confrontare ciò che deve rimanere invariato con ciò che deve essere modificato.
Tencent ha scelto una struttura nella quale la comprensione autoregressiva e la generazione basata sulla diffusione svolgono ruoli distinti ma collegati. Il primo modulo interpreta il comando e l’oggetto, mentre il secondo produce la nuova configurazione tridimensionale.
Un corpus composto da 87 milioni di campioni
Uno degli elementi centrali del progetto è il volume dei dati utilizzati per l’addestramento. Tencent dichiara di aver costruito un corpus multimodale composto da circa 87 milioni di campioni.
La raccolta comprende circa 25 milioni di esempi dedicati alla comprensione 3D, 50 milioni di coppie formate da descrizioni testuali e oggetti tridimensionali e 12 milioni di esempi destinati all’editing e alla generazione delle parti.
I dati di comprensione combinano testo, immagini e nuvole di punti. Le attività comprendono descrizione degli oggetti, risposta a domande, localizzazione delle componenti e formulazione di istruzioni di modifica.
Per la sezione text-to-3D, Tencent ha sviluppato una procedura automatizzata che costruisce descrizioni appartenenti a categorie differenti, genera gli asset, produce viste multiple e valuta la qualità geometrica.
Le categorie considerate includono persone, animali, veicoli, architettura, arredamento, vegetazione e alimenti. A ogni soggetto possono essere aggiunti attributi riguardanti stile, materiale, posa, condizioni e composizione.
Le geometrie vengono valutate per individuare difetti come parti duplicate, componenti sospese, proporzioni poco credibili, superfici incomplete o topologie danneggiate. Solo gli esempi che superano i criteri stabiliti entrano nelle sezioni più selettive del corpus.
Il ruolo di Google Gemini nella preparazione dei dati
Nella costruzione del corpus text-to-3D, Tencent dichiara di aver impiegato anche Gemini, il modello multimodale sviluppato da Google.
Gemini viene utilizzato per analizzare le viste renderizzate degli asset, produrre descrizioni con diversi livelli di dettaglio e assegnare una valutazione alla qualità geometrica. Le descrizioni vanno da testi articolati a versioni sintetiche e insiemi di parole chiave.
Il punteggio geometrico tiene conto della completezza del modello, della presenza di componenti mancanti o duplicate, della correttezza delle proporzioni e della continuità della struttura osservata da più punti di vista.
L’utilizzo di Gemini riguarda quindi la preparazione e il controllo dei dati, mentre l’architettura finale di Hunyuan3D-Buffalo 1.0 resta basata sui moduli sviluppati da Tencent e sulla componente Qwen-VL di Alibaba Cloud.
Nano3D-v2 costruisce gli esempi di modifica
Per ottenere milioni di coppie composte da un modello originale, un’istruzione e un modello modificato, Tencent ha sviluppato Nano3D-v2.
La procedura parte dalla produzione di otto viste dell’oggetto. Un modello visione-linguaggio seleziona l’inquadratura che mostra in maniera più chiara la regione da modificare. Qwen-Image, sviluppato da Alibaba Cloud, applica poi l’operazione richiesta alla vista scelta.
Il sistema determina la posizione tridimensionale della modifica, esegue un intervento a livello voxel e applica una fase di rifinitura dedicata alla geometria e all’aspetto superficiale. Le versioni originali e modificate vengono infine confrontate per verificare che le aree esterne alla regione selezionata non siano cambiate in modo indesiderato.
Nano3D-v2 viene utilizzato come motore per costruire dati di addestramento coerenti su larga scala. Questa fase è necessaria perché le coppie di oggetti 3D modificate e correttamente allineate sono più difficili da raccogliere rispetto alle comuni coppie testo-immagine.
I risultati dichiarati da Tencent
Tencent ha valutato Hunyuan3D-Buffalo 1.0 su Edit3D-Bench, un insieme di test dedicato alle operazioni di aggiunta e rimozione di componenti geometriche.
Il confronto comprende sistemi come ShapeLLM-Omni, Steer3D, 3DEditFormer, Tailor3D e Omni123. Le metriche utilizzate misurano la distanza tra la geometria generata e quella di riferimento, oltre alla corrispondenza complessiva delle superfici.
Nella configurazione basata su Hunyuan3D-VLM, Tencent riporta una Chamfer Distance media pari a 0,0091 e un punteggio F1 medio di 0,6515. La versione condizionata con CLIP ottiene una distanza media di 0,0158 e un F1 di 0,6336.
Secondo gli autori, la componente 3D-VLM migliora soprattutto la localizzazione delle trasformazioni e la conservazione delle parti non coinvolte. I risultati sono contenuti in un documento tecnico pubblicato come preprint e rappresentano valutazioni fornite dal gruppo di ricerca di Tencent. Saranno quindi utili test indipendenti per verificare prestazioni, stabilità e capacità di generalizzazione in flussi produttivi diversi.
Le possibili applicazioni professionali
Un sistema capace di intervenire su componenti specifiche potrebbe trovare applicazione nella produzione di videogiochi, effetti visivi, animazione, realtà virtuale e realtà aumentata.
Un artista potrebbe generare un oggetto iniziale e creare varianti modificando accessori, parti meccaniche o elementi decorativi. Nei cataloghi digitali, la stessa base geometrica potrebbe essere adattata a configurazioni differenti senza ricostruire ogni modello da zero.
Nel design industriale, una tecnologia di questo tipo potrebbe essere utilizzata per esplorare forme alternative durante le prime fasi di ideazione. Il risultato dovrebbe comunque essere trasferito in strumenti CAD e controllato da un progettista prima dell’utilizzo ingegneristico.
Anche il settore della stampa 3D potrebbe beneficiare della modifica guidata dal testo, ma un modello generato dall’intelligenza artificiale non deve essere considerato automaticamente stampabile. La mesh deve essere verificata per rilevare superfici aperte, intersezioni, spessori insufficienti, parti sospese e problemi di orientamento.
Per la produzione fisica restano quindi necessari software di riparazione, strumenti di slicing e controlli dimensionali.
I limiti indicati dal gruppo Tencent
Hunyuan3D-Buffalo 1.0 si concentra soprattutto sulla modifica della geometria. L’editing completo delle texture non è ancora gestito allo stesso livello, anche a causa della disponibilità limitata di dati adatti all’addestramento congiunto di forma e aspetto.
Tencent segnala inoltre che la procedura Nano3D-v2 non garantisce una conservazione perfetta delle aree interne alla maschera di modifica. Una regione selezionata può contenere elementi che dovrebbero restare invariati, ma che rischiano di essere alterati durante la generazione.
Il gruppo di ricerca considera ancora aperto anche il problema della quantità e della qualità dei dati 3D. Rispetto ai dati testuali e alle immagini bidimensionali, gli asset tridimensionali richiedono procedure più complesse di raccolta, normalizzazione, rendering, annotazione e controllo.
La pagina del progetto non mette ancora a disposizione il codice operativo e indica che la pubblicazione avverrà in seguito. Non sono inoltre documentati in maniera completa i requisiti hardware, i tempi di elaborazione, le condizioni di licenza, i formati di esportazione supportati e l’integrazione con software professionali.
Queste informazioni saranno determinanti per capire se Hunyuan3D-Buffalo 1.0 potrà essere utilizzato localmente, attraverso servizi cloud di Tencent oppure soltanto in contesti di ricerca.
Un passaggio dalla generazione alla modifica controllata
Il contributo principale di Hunyuan3D-Buffalo 1.0 non consiste soltanto nella possibilità di creare un oggetto da una frase. Tencent sta cercando di trasformare il modello generativo in uno strumento capace di comprendere la struttura dell’asset e di accompagnarne le successive modifiche.
La distinzione è rilevante per i flussi professionali. Un oggetto 3D destinato a un videogioco, a un’animazione o a una visualizzazione commerciale viene sottoposto a numerose revisioni. La possibilità di chiedere una trasformazione localizzata senza perdere il lavoro già eseguito potrebbe rendere gli strumenti generativi più adatti a processi iterativi.
Il progetto resta però in una fase di ricerca. La qualità mostrata negli esempi e nei benchmark dovrà essere verificata su mesh complesse, modelli con topologie differenti, oggetti composti da numerose parti e istruzioni che richiedono modifiche geometriche precise.
Hunyuan3D-Buffalo 1.0 indica comunque la direzione scelta da Tencent: un sistema 3D multimodale che non si limita a produrre una forma, ma cerca di riconoscerne le parti, comprenderne la funzione e modificarle attraverso il linguaggio.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)
