OBJECT DETECTION AND CLASSIFICATION USING LIDAR RANGE IMAGES FOR AUTONOMOUS MACHINE APPLICATIONS

In various examples, a deep neural network (DNN) may be used to detect and classify animate objects and/or parts of an environment. The DNN may be trained using camera-to-LiDAR cross injection to generate reliable ground truth data for LiDAR range images. For example, annotations generated in the image domain may be propagated to the LiDAR domain to increase the accuracy of the ground truth data in the LiDAR domain - e.g., without requiring manual annotation in the LiDAR domain. Once trained, the DNN may output instance segmentation masks, class segmentation masks, and/or bounding shape proposals corresponding to two-dimensional (2D) LiDAR range images, and the outputs may be fused together to project the outputs into three-dimensional (3D) LiDAR point clouds. This 2D and/or 3D information output by the DNN may be provided to an autonomous vehicle drive stack to enable safe planning and control of the autonomous vehicle. Dans divers exemples, un réseau de neurones profond (RNP) peut être utilisé pour détecter et classifier des objets animés et/ou des parties d'un environnement. Le RNP peut être entraîné à l'aide d'une injection croisée de caméras vers un LiDAR pour générer des données de réalité de terrain fiables pour des images de télémétrie LiDAR. Par exemple, des annotations générées dans le domaine des images peuvent être propagées dans le domaine du LiDAR afin d'augmenter la précision des données de réalité de terrain dans le domaine du LiDAR, par exemple, sans nécessiter d'annotation manuelle dans le domaine du LiDAR. Une fois entraîné, le RNP peut délivrer des masques de segmentation d'instance, des masques de segmentation de classe et/ou des propositions de forme de délimitation correspondant à des images de télémétrie LiDAR en deux dimensions (2D), et les sorties peuvent être fusionnées ensemble afin de projeter les sorties dans des nuages de points LiDAR en trois dimensions (3D). Ces informations en 2D et/ou en 3D délivrées par le RNP peuvent être fournies à un empilement de logiciels assurant la conduite d'un véhicule autonome afin de permettre une planification et une commande sans danger du véhicule autonome.