NEURAL NETWORK ARCHITECTURE FOR MOVEMENT ANALYSIS

A video is segmented into a plurality of sequences corresponding to different facial states performed by a patient in the video. For each sequence, displacement of a plurality of groups of landmarks of a face of the patient is tracked, to obtain, for each group of the plurality of groups, one or mor...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: GUAN, Lei, LU, Xiaoguang, FENG, Shaolei, CHRISTIE, Richard, DESAI, Deshana
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:A video is segmented into a plurality of sequences corresponding to different facial states performed by a patient in the video. For each sequence, displacement of a plurality of groups of landmarks of a face of the patient is tracked, to obtain, for each group of the plurality of groups, one or more displacement measures characterizing positions of the landmarks of the group. The one or more displacement measures corresponding to each group are provided into a corresponding neural network, to obtain a landmark feature. The neural networks corresponding to each group are different from one another. A sequence score for the sequence is determined based on a plurality of landmark features corresponding to the groups. A plurality of sequence scores are provided into a machine learning component, to obtain a patient score. A disease state of the patient is determined based on the patient score. Une vidéo est segmentée en une pluralité de séquences correspondant à différents états faciaux adoptés par un patient dans la vidéo. Pour chaque séquence, le déplacement d'une pluralité de groupes de points de repère d'un visage du patient est suivi, pour obtenir, pour chaque groupe de la pluralité de groupes, une ou plusieurs mesures de déplacement caractérisant des positions des points de repère du groupe. La ou les mesures de déplacement correspondant à chaque groupe sont fournies dans un réseau neuronal correspondant, pour obtenir une caractéristique de point de repère. Les réseaux neuronaux correspondant à chaque groupe sont différents les uns des autres. Un score de séquence pour la séquence est déterminé sur la base d'une pluralité de caractéristiques de point de repère correspondant aux groupes. Une pluralité de scores de séquence sont fournis dans un composant d'apprentissage automatique, pour obtenir un score de patient. Un état pathologique du patient est déterminé sur la base du score de patient.