Deep Face Analysis for Aesthetic Augmented Reality Applications

La détection précise et robuste des composants faciaux est d’une grande importance pour la bonne expérience utilisateur dans les applications de réalité augmentée à destination de l’industrie esthétique telles que le maquillage virtuel et la coloration virtuelle des cheveux. Dans ce contexte, cette thèse aborde le problème de la détection des composants faciaux via la détection des repères faciaux et la segmentation des composantes faciales. Cette thèse se concentre sur les modèles basés sur l’apprentissage profond.La première partie de cette thèse aborde le problème de la détection des repères faciaux. Nous proposons trois contributions. Pour la première contribution de cette partie, nous visons à améliorer la précision de la détection. Afin d’améliorer la précision au niveau des pixels, nous proposons un framework grossier à fin qui exploite les informations détaillées sur les feature maps de bas niveau dans le modèle. Nous formons différentes étapes avec différentes fonctions de coût, parmi lesquelles nous proposons une fonction sensible aux contours qui force les points de repère estimés à rester sur le contour de composants faciaux. Dans la deuxième contribution de cette partie, nous améliorons la robustesse de la détection des repères faciaux. Nous proposons une fonction de coût, basée sur la distance Wasserstein, pour intégrer des informations géométriques supplémentaires lors de l’apprentissage. De plus, nous proposons plusieurs modifications aux métriques d’évaluation conventionnelles pour mieux appréhender la robustesse du modèle.Pour fournir une nouvelle perspective sur la détection des repères faciaux, nous présentons une troisième contribution sur l’exploration d’un nouvel outil pour illustrer la relation entre les repères faciaux. Nous étudions l’analyse canonique de corrélation (CCA) des coordonnées du point de repère. Deux applications sont introduites avec cet outil: (1) l’interprétation de différents modèles pour la détection de points de repère (2) une nouvelle méthode d’apprentissage faiblement supervisé qui permet de réduire considérablement l’effort manuel pour l’annotation dense de points de repère.La deuxième partie de cette thèse aborde le problème de la segmentation des composantes faciales. Nous proposons deux contributions. Dans la première contribution dans cette partie, nous présentons un framework pour la segmentation des cheveux, afin d’améliorer la robustesse sur les arrière-plans complexes. De plus, un module d’attention s