MASK GENERATION WITH OBJECT AND SCENE SEGMENTATION FOR PASSTHROUGH EXTENDED REALITY (XR)

A method includes obtaining first and second image frames of a scene. The method also includes providing the first image frame as input to an object segmentation model, where the object segmentation model is trained to generate first object segmentation predictions for objects in the scene and a depth or disparity map based on the first image frame. The method further includes generating second object segmentation predictions for the objects in the scene based on the second image frame. The method also includes determining boundaries of the objects in the scene based on the first and second object segmentation predictions. In addition, the method includes generating a virtual view for presentation on a display of an extended reality (XR) device based on the boundaries of the objects in the scene. Un procédé consiste à obtenir des première et seconde trames d'image d'une scène. Le procédé consiste également à fournir la première trame d'image en tant qu'entrée à un modèle de segmentation d'objet, où le modèle de segmentation d'objet est entraîné pour générer des premières prédictions de segmentation d'objet pour des objets dans la scène, et une carte de profondeur ou de disparité, sur la base de la première trame d'image. Le procédé consiste en outre à générer des secondes prédictions de segmentation d'objet pour les objets dans la scène, sur la base de la seconde trame d'image. Le procédé consiste également à déterminer des limites des objets dans la scène, sur la base des premières et secondes prédictions de segmentation d'objet. De plus, le procédé consiste à générer une vue virtuelle pour une présentation sur une unité d'affichage d'un dispositif de réalité étendue (XR), sur la base des limites des objets dans la scène.