Régles d’associations temporelles de signaux sociaux pour la synthése d’agents conversationnels animés. Application aux attitudes sociales

Afin d’améliorer l’interaction entre des humains et des agents conversationnels animés (ACA), l’un des enjeux majeurs du domaine est de générer des agents crédibles socialement. Dans cet article, nous présentons une méthode, intitulée SMART (social multimodal association rules with timing), capable de trouver automatiquement des associations temporelles entre l’utilisation de signaux sociaux (mouvements de tête, expressions faciales, prosodie...) issues de vidéos d’interactions d’humains exprimant différents états affectifs (comportement, attitude, émotions,...). Notre système est basé sur un algorithme de fouille de séquences qui lui permet de trouver des règles d’associations temporelles entre des signaux sociaux extraits automatiquement de flux audio-vidéo. SMART va également analyser le lien de ces règles avec chaque état affectif pour ne conserver que celles qui sont pertinentes. Finalement, SMART va les enrichir afin d’assurer une animation facile d’un ACA pour qu’il exprime l’état voulu. Dans ce papier, nous formalisons l’implémentation de SMART et nous justifions son intérêt par plusieurs études. Dans un premier temps, nous montrons que les règles calculées sont en accord avec la littérature en psychologie et sociologie. Ensuite, nous présentons les résultats d’évaluations perceptives que nous avons conduites suite à des études de corpus proposant l’expression d’attitudes sociales marquées. In the field of Embodied Conversational Agent (ECA) one of the main challenges is to generate socially believable agents. The long run objective of the present study is to infer rules for the multimodal generation of agents’ socio-emotional behaviour. In this paper, we intro- duce the Social Multimodal Association Rules with Timing (SMART) algorithm. It proposes to learn the rules from the analysis of a multimodal corpus composed by audio-video recordings of human-human interactions. The proposed methodology consists in applying a Sequence Mi- ning algorithm using automatically extracted Social Signals such as prosody, head movements and facial muscles activation as an input. This allows us to infer Temporal Association Rules for the behaviour generation. We show that this method can automatically compute Temporal Association Rules coherent with prior results found in the literature especially in the psychology and sociology fields. The results of a perceptive evaluation confirms the ability of a Temporal Association Rules based agent to express a specific stanc