Modeling and predicting affect in audio signals : perspectives from acoustics and chaotic dynamics

La présente thèse décrit un projet de recherche multidisciplinaire qui porte sur la reconnaissance de l’émotion dans les sons, couvrant les théories psychologiques, l’analyse du signal acoustique,l’apprentissage automatique et la dynamique chaotique.Dans nos interactions et nos relations sociales, nous dépendons considérablement de la communication de l’information et de notre perception des messages transmis. En fait, la communication se produit lorsque les signaux transmettent des informations entre une source et une destination. Le signal peut être verbal, et l’information est ensuite portée par des motifs sonores, tels que des mots. Dans la communication vocale non verbale, cependant,l’information peut être des modèles perceptifs qui véhiculent des indices affectifs, que nous percevons et évaluons sous la forme d’intentions, d’attitudes, d’humeurs et d’émotions.La prévalence de la composante affective peut être observée dans les interactions informatiques humaines (HCI) où le développement d’applications automatisées qui comprennent et expriment les émotions est devenu crucial. De tels systèmes doivent être significatifs et faciles à utiliser pour l’utilisateur final, de sorte que notre interaction avec eux devient une expérience positive. Bien que la reconnaissance automatique des émotions dans les sons ait reçu une attention accrue au cours des dernières années, il s’agit encore d’un jeune domaine de recherche.Non seulement cela contribue à l’informatique affective en général, mais il fournit également une compréhension approfondie de la signification des sons dans notre vie quotidienne.Dans cette thèse, le problème de la reconnaissance des affects est abordé à partir d’une double perspective: nous commençons par adopter une approche standard de l’analyse acoustique du signal, où nous examinons et expérimentons les fonctionnalités existantes pour déterminer leur rôle dans la communication émotionnelle. Ensuite, nous nous tournons vers la dynamique chaotique et la symbolisation des séries temporelles, pour comprendre le rôle de la dynamique inhérente des sons dans l’expressivité affective. Nous menons nos études dans le contexte des sons non verbaux, à savoir les sons vocaux, musicaux et environnementaux.D’un point de vue de l’écoute humaine, une tâche d’annotation est menée pour construire un ground-truth de voix de chant non verbales, marquées par des descriptions catégoriques du modèle bidimensionnel d’émotions. Deux types de sons sont inclus dans