METHODS AND SYSTEMS TO TRACK A MOVING SPORTS OBJECT TRAJECTORY IN 3D USING MULTIPLE CAMERAS

Systems and methods are described for generating a three-dimensional track of a ball in a gaming environment from multiple cameras. In some examples, at least two input videos, each including frames of a ball moving in a gaming environment recorded by a camera, may be obtained, along with a camera projection matrix that maps a two-dimensional pixel space representation to a three-dimensional representation of the gaming environment. Candidate two-dimensional image locations of the ball across the plurality of frames of the at least two input videos may be identified using neural network or computer vision techniques. An optimization algorithm may be performed that uses a 3D ball physics model, the camera projection matrix and a subset of the candidate two-dimensional image locations of the ball from the at least two input videos to generate a three-dimensional track of the ball in the gaming environment. L'invention concerne des systèmes et des procédés pour générer une piste tridimensionnelle d'une balle dans un environnement de jeu à partir de multiples caméras. Dans certains exemples, au moins deux vidéos d'entrée, comprenant chacune des images d'une balle en mouvement dans un environnement de jeu enregistrées par une caméra, peuvent être obtenues, ainsi qu'une matrice de projection de caméra qui fait correspondre une représentation bidimensionnelle de l'espace des pixels à une représentation tridimensionnelle de l'environnement de jeu. Les emplacements d'images bidimensionnelles candidats de la balle dans la pluralité d'images des au moins deux vidéos d'entrée peuvent être identifiés à l'aide de techniques de réseau neuronal ou de vision artificielle. Un algorithme d'optimisation peut être exécuté qui utilise un modèle physique de balle en 3D, la matrice de projection de la caméra et un sous-ensemble des emplacements d'image bidimensionnels candidats de la balle à partir des au moins deux vidéos d'entrée pour générer une piste tridimensionnelle de la balle dans l'environnement de jeu.