AUTOMATIC BODY MOVEMENT RECOGNITION AND ASSOCIATION SYSTEM

An automatic body movement recognition and association system that includes a preprocessing component and a "live testing" engine component. The system further includes a transition posture detector module and a recording module. The system uses three dimensional (3D) skeletal joint information from a stand-alone depth-sensing capture device that detects the body movements of a user. The transition posture detector module detects the occurrence of a transition posture and the recording module stores a segment of body movement data between occurrences of the transition posture. The preprocessing component processes the segments into a preprocessed movement that is used by a classifier component in the engine component to produce text or speech associated with the preprocessed movement. An "off-line" training system that includes a preprocessing component, a training data set, and a learning system also processes 3D information, off-line from the training data set or from the depth-sensing camera, to continually update the training data set and improve a learning system that sends updated information to the classifier component in the engine component when the updated information is shown to improve accuracy. Un système automatique de reconnaissance et d'association de mouvements du corps comprend un composant de prétraitement et un composant de moteur de "test en direct". Le système comprend en outre un module détecteur de position de transition et un module d'enregistrement. Le système utilise des informations d'articulation squelettique tridimensionnelle (3D) à partir d'un dispositif de saisie de détection de profondeur autonome qui détecte les mouvements du corps d'un utilisateur. Le module de détection de position de transition détecte l'apparition d'une position de transition et le module d'enregistrement stocke un segment de données de mouvement corporel entre les occurrences de la position de transition. Le composant de prétraitement traite les segments en un mouvement prétraité qui est utilisé par un composant de classification dans le composant de moteur pour produire du texte ou de la parole associé au mouvement prétraité. Un système d'entraînement "hors ligne" comprend un composant de prétraitement, un ensemble de données d'apprentissage, et un système d'apprentissage traite également des informations 3D, hors ligne à partir de l'ensemble de données d'entraînement ou à partir de la caméra de détection de profondeur, afin de mettre à jour en conti