Analyse automatique des comportements multimodaux lors d’entretiens vidéo différés pour le recrutement

Le développement des nouvelles technologies influence tous les secteurs d’activités, y compris celui des ressources humaines et notamment le processus de recrutement. L’émergence des entretiens vidéo différés permet d’organiser en asynchrone des entretiens avec des candidats et de les évaluer. Les candidats se connectent à une plateforme et se filment pendant qu’ils répondent à des questions définies en amont par les recruteurs. La plateforme permet ensuite à plusieurs recruteurs d’évaluer le candidat, de partager des notes et d’inviter éventuellement le candidat à un entretien en face-à-face. Le nombre de telles candidatures vidéo devient cependant de plus en plus volumineux et difficile à traiter « manuellement » par un ou deux recruteurs. Il devient donc nécessaire d’envisager une aide pour le recruteur qui doit traiter parfois plusieurs centaines d’entretiens vidéo. De plus, le développement d'une telle aide pourra aussi permettre aux candidats de s'entraîner à l'exercice de l'entretien vidéo différé grâce à une évaluation automatique. Dans le cadre d'un projet avec un partenaire industriel, nous avons recueilli deux corpus de plus de 5000 entretiens d'embauche vidéo asynchrones pour des postes réels. Cette thèse étudie la tâche consistant à prédire les performances des candidats lors d'entretiens vidéo asynchrones en utilisant trois modalités (contenu verbal, prosodie et expressions faciales) grâce à des données provenant d'entretiens réels qui se déroulent dans des conditions hors laboratoires. Nous proposons un nouveau modèle multimodal d'attention hiérarchique appelé HireNet qui vise à prédire l’employabilité des candidats tels qu'ils sont évalués par les recruteurs. Dans HireNet, un entretien est considéré comme une séquence de questions et de réponses contenant des signaux sociaux saillants. Dans un second temps, nous abordons la question de l’influence du comportement non verbal dans une décision d'embauche. Il est important d'étudier cette question car elle pourrait permettre de mieux comprendre comment former les candidats aux entretiens d'embauche et sensibiliser les recruteurs à ces comportements influents. Par la suite, nous nous concentrons sur l'étude des signaux sociaux influents dans les entretiens vidéo d'embauche asynchrones qui sont découverts par les méthodes d'apprentissage profond. Une particularité de HireNet est l'utilisation de mécanismes d'attention qui visent à identifier les parties les plus pertinentes d'une réponse. Ainsi,