OBJECT TRACKING FOR AUTONOMOUS VEHICLES USING LONG-RANGE ACOUSTIC BEAMFORMING COMBINED WITH RGB VISUAL DATA

An autonomous vehicle including a network of sensors including a plurality of acoustic sensors and a plurality of visual sensors, at least one processor, and at least one memory storing instructions is disclosed. The instructions, when executed by the at least one processor, cause the at least one processor to: (i) generate spatial beamforming maps locating a sound source based upon acoustic signals received at the plurality of acoustic sensors; (ii) identify a type of an object generating the acoustic signals received at the plurality of acoustic sensors based upon comparison of the acoustic signals with a plurality of acoustic signals and respective objects stored in a dataset; and (iii) generate feature maps for an application in an autonomous vehicle driving by enhancing visualization maps generated based upon visual signals received by the plurality of visual sensors. L'invention concerne un véhicule autonome comprenant un réseau de capteurs comprenant une pluralité de capteurs acoustiques et une pluralité de capteurs visuels, au moins un processeur et au moins une mémoire stockant des instructions. Les instructions, lorsqu'elles sont exécutées par le ou les processeurs, amènent le ou les processeurs à : (i) générer des cartes de formation de faisceau spatiales localisant une source sonore sur la base de signaux acoustiques reçus au niveau de la pluralité de capteurs acoustiques ; (ii) identifier un type d'un objet générant les signaux acoustiques reçus au niveau de la pluralité de capteurs acoustiques sur la base d'une comparaison des signaux acoustiques avec une pluralité de signaux acoustiques et des objets respectifs stockés dans un ensemble de données ; et (iii) générer des cartes de caractéristiques pour une application dans un entraînement de véhicule autonome en améliorant des cartes de visualisation générées sur la base de signaux visuels reçus par la pluralité de capteurs visuels.