NEURAL RENDERING FOR INVERSE GRAPHICS GENERATION

Approaches are presented for training an inverse graphics network. An image synthesis network can generate training data for an inverse graphics network. In turn, the inverse graphics network can teach the synthesis network about the physical three-dimensional (3D) controls. Such an approach can provide for accurate 3D reconstruction of objects from 2D images using the trained inverse graphics network, while requiring little annotation of the provided training data. Such an approach can extract and disentangle 3D knowledge learned by generative models by utilizing differentiable renderers, enabling a disentangled generative model to function as a controllable 3D "neural renderer," complementing traditional graphics renderers. La présente invention se rapporte à des approches permettant de former un réseau graphique inverse. Un réseau de synthèse d'image peut générer des données de formation d'un réseau graphique inverse. À son tour, le réseau graphique inverse peut apprendre, au réseau de synthèse, les commandes physiques tridimensionnelles (3D). Une telle approche peut permettre une reconstruction 3D précise d'objets à partir d'images 2D à l'aide du réseau graphique inverse formé, tout en exigeant peu d'annotations des données de formation fournies. Une telle approche peut extraire et démêler la connaissance 3D apprise par des modèles génératifs au moyen de moteurs de rendu différenciables, ce qui permet à un modèle génératif démêlé de servir de " moteur de rendu neuronal " 3D pouvant être commandé, complétant les moteurs de rendu graphique classiques.