Polarization based urban scenes understanding

Les êtres humains possèdent une capacité innée à interpréter des scènes dans n'importe quelle condition. La vision par ordinateur tend à imiter ces capacités en mettant en œuvre des algorithmes intelligents pour résoudre des problèmes de compréhension complexes. À cet égard, nous nous intéressons à la compréhension de scènes urbaines extérieures dans diverses conditions météorologiques. Cette thèse aborde spécifiquement les problèmes découlant de la présence de la spécularité dans les scènes. À cette fin, nous voulons tirer parti des indices de polarisation pour définir de telles surfaces en plus des objets traditionnels. En termes de compréhension, nous visons à introduire la polarisation dans les domaines de la vision par ordinateur et de l'apprentissage profond.Cette thèse se concentre sur les défis sous-jacents suivants. Premièrement, l'estimation d'une segmentation sémantique au niveau du pixel est étudiée. Nous exploitons les indices de polarisation pour définir des contraintes en amont du réseau convolutif et injecter ainsi la compréhension de la spécularité dans le modèle. Comme les DCNNs sont gourmands en données, nous proposons l'acquisition d'un jeu de données multimodal permettant de comparer la méthode proposée avec des méthodes centrées sur le RVB. De plus, pour contrer le besoin massif de données, nous établissons une procédure pour augmenter les informations polarimétriques tout en maintenant l'intégrité physique de l'information.Dans une deuxième ligne de recherche, nous abordons le problème de l'estimation de la carte de profondeur avec une image monoculaire. Puisque les algorithmes nécessitent une information colorimétrique, nous adaptons les processus à un autre type d'imagerie. Il en résulte de nouveaux termes de régularisation qui permettent d'inférer avec précision une carte de profondeur à partir d'une image polarimétrique unique en utilisant l'apprentissage profond. Contraints par l'aspect avide de l'apprentissage profond, nous construisons une fonction de perte en accord avec le principe d'auto-supervision. De cette manière, nous démontrons la possibilité de régulariser le processus d'inférence de profondeur en utilisant des termes contraignant les normales en s'appuyant sur la polarisation. Cette approche nous permet de reconstruire plus précisément des surfaces observant un comportement spéculaire ou des phénomènes de transparence.En définitive, nos deux axes de recherche montrent des avancées vers une utilisation plus conventio