REAL-TIME 3D FACIAL ANIMATION FROM BINOCULAR VIDEO

A method for providing real-time three-dimensional facial animation from video is provided. The method includes collecting images of a subject, and forming a three-dimensional mesh for the subject based on a facial expression factor and a head pose of the subject extracted from the images of the subject. The method also includes forming a texture transformation based on an illumination parameter associated with an illumination configuration for the images from the subject, forming a three-dimensional model for the subject based on the three-dimensional mesh and the texture transformation, determining a loss factor based on selected points in a test image from the subject and a rendition of the test image by the three-dimensional model, and updating the three-dimensional model according to the loss factor. A system and a non-transitory, computer-readable medium storing instructions to perform the above method are also provided. L'invention concerne un procédé de fourniture d'une animation faciale tridimensionnelle en temps réel à partir d'une vidéo. Le procédé comprend la collecte d'images d'un sujet et la formation d'un maillage tridimensionnel pour le sujet sur la base d'un facteur d'expression faciale et d'une pose de tête du sujet extraite des images du sujet. Le procédé comprend également la formation d'une transformation de texture sur la base d'un paramètre d'éclairage associé à une configuration d'éclairage pour les images provenant du sujet, la formation d'un modèle tridimensionnel pour le sujet sur la base du maillage tridimensionnel et de la transformation de texture, la détermination d'un facteur de perte sur la base de points sélectionnés dans une image de test provenant du sujet et d'un rendu de l'image de test par le modèle tridimensionnel, ainsi que la mise à jour du modèle tridimensionnel en fonction du facteur de perte. La présente invention concerne également un système et un support lisible par ordinateur non transitoire stockant des instructions pour réaliser le procédé ci-dessus.