VIDEO BACKGROUND SUBTRACTION USING DEPTH

Implementations described herein relate to methods, systems, and computer-readable media to render a foreground video. In some implementations, a method includes receiving a plurality of video frames that include depth data and color data. The method further includes downsampling the frames of the video. The method further includes, for each frame, generating an initial segmentation mask that categorizes each pixel of the frame as foreground pixel or background pixel. The method further includes determining a trimap that classifies each pixel of the frame as known background, known foreground, or unknown. The method further includes, for each pixel that is classified as unknown, calculating and storing a weight in a weight map. The method further includes performing fine segmentation to obtain a binary mask for each frame. The method further includes upsampling the plurality of frames based on the binary mask for each frame to obtain a foreground video. La présente invention concerne, selon des modes de réalisation, des procédés, des systèmes et des supports lisibles par ordinateur servant à effectuer un rendu d'une vidéo d'avant-plan. Selon certains modes de réalisation, un procédé comprend l'étape consistant à recevoir une pluralité de trames vidéo qui comprennent des données de profondeur et des données de couleur. Le procédé comprend en outre l'étape consistant à sous-échantillonner les trames de la vidéo. Le procédé comprend en outre, l'étape consistant à générer, pour chaque trame, un masque de segmentation initiale qui classe chaque pixel de la trame comme pixel d'avant-plan ou pixel d'arrière-plan. Le procédé comprend en outre l'étape consistant à déterminer une carte en 3D qui classe chaque pixel de la trame comme arrière-plan connu, avant-plan connu, ou inconnu. Le procédé comprend en outre l'étape consistant, pour chaque pixel qui est classé comme inconnu, à calculer et stocker une pondération dans une carte de pondération. Le procédé comprend en outre l'étape consistant à réaliser une segmentation fine pour obtenir un masque binaire pour chaque trame. Le procédé comprend en outre l'étape consistant à suréchantillonner la pluralité de trames sur la base du masque binaire pour chaque trame afin d'obtenir une vidéo d'avant-plan.