BODY POSE ESTIMATION USING SELF-TRACKED CONTROLLERS

In one embodiment, a computing system may determine a pose of a controller held by a user based on sensor data captured by the controller. The system may determine positions of a first set of keypoints associated with a first portion of a body of the user based on images captured by the controller cameras and (2) the controller pose. The system may determine a pose of a headset worn by the user based on sensor data captured by the headset. The system may determine positions of a second set of keypoints associated with a second portion of the body of the user based on images captured by the headset cameras and (2) the pose of the headset. The system may determine a full body pose of the user based at least on the positions of the first set and the second set of keypoints. Conformément à un mode de réalisation, la présente invention concerne un système informatique qui peut déterminer une pose d'un dispositif de commande tenu par un utilisateur sur la base de données de capteur capturées par le dispositif de commande. Le système peut déterminer des positions d'un premier ensemble de points clés associés à une première partie d'un corps de l'utilisateur sur la base d'images capturées par les caméras de dispositif de commande et (2) de la pose de dispositif de commande. Le système peut déterminer une pose d'un casque d'écoute porté par l'utilisateur sur la base de données de capteur capturées par le casque d'écoute. Le système peut déterminer des positions d'un second ensemble de points clés associés à une seconde partie du corps de l'utilisateur sur la base d'images capturées par les caméras de casque d'écoute et (2) de la pose du casque d'écoute. Le système peut déterminer une pose du corps entier de l'utilisateur sur la base au moins des positions du premier ensemble et du second ensemble de points clés.