FACIAL PERFORMANCE SYNTHESIS USING DEFORMATION DRIVEN POLYNOMIAL DISPLACEMENT MAPS

Acquisition, modeling, compression, and synthesis of realistic facial deformations using polynomial displacement maps are described. An analysis phase can be included where the relationship between motion capture markers and detailed facial geometry is inferred. A synthesis phase can be included where detailed animated facial geometry is driven by a sparse set of motion capture markers. For analysis, an actor can be recorded wearing facial markers while performing a set of training expression clips. Real-time high-resolution facial deformations are captured, including dynamic wrinkle and pore detail, using interleaved structured light 3D scanning and photometric stereo. Next, displacements are calculated between a neutral mesh driven by the motion capture markers and the high-resolution captured expressions. These geometric displacements are stored in one or more polynomial displacement maps parameterized according to the local deformations of the motion capture dots. For synthesis, the polynomial displacement maps can be driven with new motion capture data. Cette invention se rapporte à l'acquisition, la modélisation, la compression, et la synthèse de déformations faciales réalistes à l'aide de cartes de déplacement polynomiales. Il est possible d'inclure une phase d'analyse dans laquelle est inférée une relation entre des marqueurs de saisie de mouvement et une géométrie faciale détaillée. Il est possible d'inclure une phase de synthèse dans laquelle une géométrie faciale animée détaillée est pilotée par un ensemble clairsemé de marqueurs de saisie de mouvement. Pour une analyse, un acteur qui porte des marqueurs faciaux peut être enregistré, tout en exécutant un ensemble de clips d'expression de formation. Les déformations faciales à haute résolution en temps réel sont saisies, notamment les rides dynamiques et les détails des pores la peau, à l'aide d'un balayage 3D entrelacé à lumière structurée et d'une stéréo photométrique. Ensuite, des déplacements sont calculés entre une maille neutre pilotée par les marqueurs de saisie de mouvement et les expressions haute résolution saisies. Ces déplacements géométriques sont enregistrés dans une ou dans plusieurs cartes de déplacement polynomiales paramétrées selon les déformations locales des points de saisie de mouvement. Pour une synthèse, les cartes de déplacement polynomiales peuvent être pilotées avec de nouvelles données de saisie de mouvement.