APPARATUS, SYSTEM AND METHOD FOR FUSING SENSOR DATA TO DO SENSOR TRANSLATION

Technologies and techniques for operating a sensor system including an image sensor and a light detection and ranging (LiDAR) sensor. Image data associated with an image scene of a landscape is received from the image sensor, and LiDAR data associated with a LiDAR scene of the landscape is received from the LiDAR sensor, wherein the LiDAR scene and image scene of the landscape substantially overlap. A machine-learning model is applied to (i) the image data to identify image points of interest in the image data, and (ii) the LiDAR data to identify LiDAR features of interest in the LiDAR data. The LiDAR features of interest and the image points of interest are fused, utilizing an attention mechanism, and generating an output, wherein new LiDAR data is produced, based on the fusing output. L'invention concerne des technologies et des techniques pour faire fonctionner un système de capteurs comprenant un capteur d'image et un capteur de détection et de télémétrie par la lumière (LiDAR). Des données d'image associées à une scène d'image d'un paysage sont reçues en provenance du capteur d'image, et des données LiDAR associées à une scène LiDAR du paysage sont reçues en provenance du capteur LiDAR, la scène LiDAR et la scène d'image du paysage se chevauchant sensiblement. Un modèle d'apprentissage machine est appliqué (i) aux données d'image pour identifier des points d'intérêt d'image dans les données d'image, et (ii) aux données LiDAR pour identifier des caractéristiques d'intérêt LiDAR dans les données LiDAR. Les caractéristiques d'intérêt LiDAR et les points d'intérêt d'image sont fusionnés, en utilisant un mécanisme d'attention, et en générant une sortie, de nouvelles données LiDAR étant produites, sur la base de la sortie de fusion.