GANverse3D, NVIDIA presenta uno strumento in grado di realizzare modelli 3D a partire da una foto usando l’intelligenza artificiale

• di Kevin H. Fumusa
• 16 Aprile 2021

Durante il GTC, la conferenza annuale in cui vengono mostrate le più recenti novità ed innovazioni sviluppate dal produttore americano stesso o dai suoi partner, NVIDIA ha presentato GANverse3D, uno strumento sviluppato dai ricercatori del NVIDIA AI Research Lab di Toronto in grado di creare un modello 3D di un oggetto a partire da una foto (ovviamente 2D) dello stesso.

Come il nome stesso fa intendere, GANverse3D è basato su un meccanismo di deep learning allenato utilizzando una rete neurale GAN (generative adversarial network) a cui sono state fornite immagini da multiple posizioni di vari oggetti, quindi -come anticipato in apertura- una volta completato il training utilizza i concetti che ha sintetizzato per poter sviluppare un modello tridimensionale di un oggetto a partire da una sua singola foto, ipotizzando dunque come dovrebbero svilupparsi le parti di cui non ha visione in base a quello che ha osservato durante l’allenamento. Avevamo già visto lo scorso anno un esempio di applicativo delle GAN, quando i ricercatori di NVIDIA presentarono GamerGAN, uno strumento tramite cui era possibile riprodurre giochi giocabili in esecuzione all’interno dell’intelligenza artificiale, li troverete un approfondimento sulle nozioni alla loro base.

Al momento i ricercatori hanno effettuato il training di GANverse3D principalmente utilizzando 55.000 foto di automobili ricreate dalla rete GAN, riuscendo oggi ad ottenere una volta fornita la foto di un veicolo un modello tridimensionale che gli somiglia ed in cui sono ben distinte sia le ruote che i fari. Per presentare al pubblico i risultati del loro lavoro, i ricercatori di NVIDIA hanno dato in pasto al loro strumento una foto di KITT – la celebre Pontiac Firebird Trans Am protagonista negli anni ’80 insieme a David Hasselhoff della serie televisiva Supercar (o Knight Rider) – ed una volta ottenuta la “predizione” del modello tridimensionale hanno proseguito la lavorazione con altri strumenti della casa americana, come NVIDIA Omnivers Kit e NVIDIA PhysX, per renderizzarlo con materiali più realistici ed animarlo, inserendolo all’interno di una sequenza dinamica con altri veicoli.

Va da sé, come si vede dal video stesso, che allo stato attuale i modelli ottenuti sono ancora lontani dal rappresentare perfettamente l’oggetto reale, ma come tutti gli strumenti basati sul deep learning sarà possibile migliorare la qualità dei modelli ottenuti oltre che renderlo in grado di riprodurne altri con ulteriori cicli di allenamento. Il nuovo strumento, che sarà reso disponibile come estensione della piattaforma Omniverse di NVIDIA, secondo il produttore americano una volta maturo aiuterà architetti, artisti, game developer e designer nella creazione di modelli 3D, semplificando il loro lavoro. I ricercatori presenteranno il loro lavoro di ricerca in occasione dell’ International Conference on Learning Representations a maggio e della Conference on Computer Vision and Pattern Recognition, a giugno, per chi volesse approfondire ulteriormente sono disponibili sia un articolo dettagliato sul blog di NVIDIA sia il paper che presenteranno all’ICLR

Cos’è NVIDIA Omniverse? Omniverse è una piattaforma collaborativa dedicata alla gestione del flusso di lavorazione di produzioni 3D, che offre l’integrazione con i più diffusi strumenti di modellazione, oltre che un set di strumenti per il rendering in tempo reale che sfrutta le tecnologie RTX di NVIDIA stessa. Nel corso della GTC è stato annunciata la sua versione Enterprise che verrà utilizzata da grandi brand nel campo del design e della modellazione, come ad esempio BMW che ha iniziato ad utilizzare Omniverse per realizzare una copia digitale delle proprie fabbriche, essendo così in grado di simulare il processo produttivo, inclusa l’interazione dei vari macchinari e robot, in modo da poter così sia semplificare il processo di pianificazione delle lavorazioni, sia di effettuare analisi sul loro funzionamento e predizione delle manutenzioni.