JOINT DETECTION AND PREDICTION TRANSFORMER

Joint detection and prediction transformer includes functionality to perform operations that include obtaining a sensor data encoding of sensor data acquired from a sensor, initializing a spatiotemporal object structure, and obtaining a map encoding of a geographic region corresponding to the sensor data. The operations further include iteratively revising, by a transformer model, the spatiotemporal object structure using the sensor data encoding and the map encoding to generate a revised spatiotemporal object structure, decoding, by a decoder model, the spatiotemporal object structure to obtain location information and path information of at least one object in the geographic region, and outputting the location information and the path information. L'invention concerne un transformateur de détection et de prédiction conjointes, comprenant une fonctionnalité pour effectuer des opérations qui comprennent l'obtention d'un codage de données de capteur de données de capteur acquises à partir d'un capteur, l'initialisation d'une structure d'objet spatio-temporel, et l'obtention d'un codage de carte d'une région géographique correspondant aux données de capteur. Les opérations comprennent en outre la révision itérative, par un modèle de transformateur, de la structure d'objet spatio-temporel à l'aide du codage de données de capteur et du codage de carte pour générer une structure d'objet spatio-temporel révisée, le décodage, par un modèle de décodeur, de la structure d'objet spatio-temporel pour obtenir des informations d'emplacement et des informations de trajet d'au moins un objet dans la région géographique, et la délivrance en sortie des informations d'emplacement et des informations de trajet.