MULTI-MODAL THREE-DIMENSIONAL FACE MODELING AND TRACKING FOR GENERATING EXPRESSIVE AVATARS

Examples are disclosed that relate to generating expressive avatars using multi-modal three-dimensional face modeling and tracking. One example includes a computer system comprising a processor coupled to a storage system that stores instructions. Upon execution by the processor, the instructions cause the processor to receive initialization data describing an initial state of a facial model. The instructions further cause the processor to receive a plurality of multi-modal data signals. The instructions further cause the processor to perform a fitting process using the initialization data and the plurality of multi-modal data signals. The instructions further cause the processor to determine a set of parameters based on the fitting process, wherein the determined set of parameters describes an updated state of the facial model. Conformément à des exemples, la présente invention concerne la génération d'avatars expressifs à l'aide d'une modélisation et d'un suivi de visage tridimensionnels multimodaux. Un exemple comprend un système informatique comprenant un processeur couplé à un système de stockage qui stocke des instructions. Lors de l'exécution par le processeur, les instructions amènent le processeur à recevoir des données d'initialisation décrivant un état initial d'un modèle facial. Les instructions amènent en outre le processeur à recevoir une pluralité de signaux de données multimodaux. Les instructions amènent en outre le processeur à effectuer un processus d'ajustement à l'aide des données d'initialisation et de la pluralité de signaux de données multimodaux. Les instructions amènent en outre le processeur à déterminer un ensemble de paramètres sur la base du processus d'ajustement, l'ensemble déterminé de paramètres décrivant un état mis à jour du modèle facial.