IMAGE SEGMENTATION AND FEATURE EXTRACTION USING NEURAL NETWORKS AND A SPATIO-TEMPORAL FILTER

Methods and systems for image-segmentation are described. Given an input sequence of video pictures, a feature extraction neural network generates from early layers a preliminary set of feature maps at full resolution. The output of the feature extraction network is down-sampled before being fed to a segmentation neural network which generates a source-segmentation map at a lower resolution. After upsampling the source-segmentation map at the full resolution, given filtering kernels that are based on the preliminary set of feature maps, a spatiotemporal trilateral filter is applied to the upsampled source-segmentation map to generate an output segmentation map. L'invention concerne des procédés et des systèmes de segmentation d'image. Compte tenu d'une séquence d'entrée d'images vidéo, un réseau neuronal d'extraction de caractéristiques génère, à partir de premières couches, un ensemble préliminaire de cartes de caractéristiques à pleine résolution. La sortie du réseau d'extraction de caractéristiques est sous-échantillonnée avant d'être fournie à un réseau neuronal de segmentation qui génère une carte de segmentation de source à une résolution inférieure. Après suréchantillonnage de la carte de segmentation de source à pleine résolution, compte tenu des noyaux de filtrage qui sont basés sur l'ensemble préliminaire de cartes de caractéristiques, un filtre trilatéral spatio-temporel est appliqué à la carte de segmentation de source suréchantillonnée afin de générer une carte de segmentation de sortie.