METHOD OF PEDESTRIAN ACTIVITY RECOGNITION USING LIMITED DATA AND META-LEARNING

Pedestrian activity recognition is embodied in a method, system, non-transitory computer- readable and vehicle. A Siamese neural network is trained to recognize a plurality of pedestrian activities by training it recordings of the same pedestrian activity from two or more separate training image capture devices. The Siamese neural network is deployed with continual data collection from an additional image capture device to create a dataset of clusters of similar activities in an unsupervised manner. A spatio-temporal intent prediction model is then trained that can be deployed to recognize and predict pedestrian activity. Based on the likelihood of a particular pedestrian activity occurring or currently being underway, an automatic vehicle maneuver can be executed to navigate the situation. Un mode de réalisation de reconnaissance d'activités de piétons comprend un procédé, un système, un élément non transitoire lisible par ordinateur et un véhicule. Un réseau de neurones artificiels siamois est entraîné à reconnaître une pluralité d'activités de piétons en l'entraînant avec des enregistrements de la même activité de piéton en provenance d'au moins deux dispositifs de capture d'images d'entraînement distincts. Le réseau de neurones artificiels siamois est déployé avec une collecte en continu de données en provenance d'un dispositif de capture d'images supplémentaire afin de créer un ensemble de données de groupes d'activités similaires d'une manière non supervisée. Un modèle de prédiction d'intention spatio-temporelle est ensuite entraîné, lequel modèle peut être déployé pour reconnaître et prédire l'activité d'un piéton. Sur la base de la probabilité qu'une activité de piéton particulière se produise ou soit actuellement en cours, une manœuvre automatique de véhicule peut être exécutée afin de se sortir de la situation.