OpenAI ha recentemente lanciato Shap-E, un innovativo modello generativo condizionale per la creazione di risorse 3D. A differenza di altri modelli generativi 3D che producono una singola rappresentazione in output, Shap-E è in grado di generare direttamente i parametri delle funzioni implicite, che possono essere visualizzati come mesh testurizzate e campi di radianza neurale (NeRF) a partire da semplici prompt di testo.
Shap-E è uno dei pochi progetti open source di OpenAI e viene fornito con i pesi del modello, il codice di inferenza e gli esempi su GitHub.
Il processo di addestramento di Shap-E avviene in due fasi. Inizialmente, un codificatore viene addestrato per mappare le risorse 3D in modo deterministico nei parametri di una funzione implicita. Successivamente, viene addestrato un modello di diffusione condizionale sulle uscite del codificatore.
Shap-E può generare risorse 3D complesse e diversificate in pochi secondi se addestrato su un ampio set di dati di dati 3D e testo accoppiati. Nonostante la modellazione di uno spazio di output multidimensionale e multi-rappresentazione, Shap-E converge più rapidamente e produce una qualità del campione comparabile o migliore rispetto a Point-E.
Tuttavia, gli oggetti 3D creati possono apparire pixelati e ruvidi, e attualmente Shap-E riesce a generare soltanto oggetti con prompt singoli e attributi semplici. La modellazione di oggetti con più attributi complessi rimane una sfida.
OpenAI ha recentemente lanciato anche Point-E, conosciuto come 3D DALL-E 2. La tecnica di diffusione utilizzata in DALL-E e Point-E è applicata anche in Shap-E. Con Shap-E, gli utenti possono ora generare mesh testurizzate compatibili con NeRF, oltre alle nuvole di punti offerte da Point-E.
