GET3D

GET3D génère des maillages 3D texturés prêts pour la production à partir de collections d’images 2D. Développé par le laboratoire d’IA de NVIDIA à Toronto et présenté à NeurIPS 2022, ce modèle génératif combine une géométrie de maillage explicite et des textures physiquement réalistes au sein d’un processus unique de bout en bout.

Points forts

• Génère des maillages 3D complets avec des propriétés distinctes pour la géométrie et les matériaux
• Prend en charge des catégories d’objets variées, des véhicules aux personnages en passant par les bâtiments
• Permet la génération conditionnée par du texte grâce aux représentations vectorielles de CLIP
• Crée des effets d’éclairage dépendant du point de vue sans conception manuelle des matériaux
• Produit des espaces latents interpolables pour obtenir des transitions fluides entre les formes

Le modèle est open source et disponible sur GitHub pour la recherche et le prototypage. Son déploiement commercial et l’obtention d’une licence nécessitent une inscription officielle auprès de NVIDIA. GET3D convient aux développeurs de jeux 3D, aux créateurs de ressources numériques, aux studios d’effets visuels et aux équipes de recherche qui souhaitent automatiser la génération de ressources 3D à partir de données d’entraînement 2D.