END-TO-END TRANSFORMER-BASED BOUNDING BOX TRACKING

A perception system may be used to generate bounding boxes for objects in a vehicle scene. The perception system may receive images and feature maps corresponding to the received images. The perception system may link bounding boxes to bounding boxes from a previous time steps and identify false pos...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: MENG, Xiaoli, ZHOU, Lubing
Format: Patent
Sprache:eng ; fre
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:A perception system may be used to generate bounding boxes for objects in a vehicle scene. The perception system may receive images and feature maps corresponding to the received images. The perception system may link bounding boxes to bounding boxes from a previous time steps and identify false positive bounding boxes. The system can link 3D boxes of the same object from the different frames, by taking the 3D boxes in a time step as input. The system can sue transformer self-attention to exchange information between 3D boxes to learn global-informative box embeddings. Similarity between these learned embeddings can be used to link the boxes of the same object. L'invention concerne un système de perception qui peut être utilisé pour générer des cadres de délimitation pour des objets dans une scène de véhicule. Le système de perception peut recevoir des images et des cartes de caractéristiques correspondant aux images reçues. Le système de perception peut relier des cadres de délimitation à des cadres de délimitation à partir de précédentes étapes temporelles et identifier des cadres de délimitation faux positifs. Le système peut relier des cadres 3D du même objet à partir des différentes trames, en prenant les cadres 3D dans une étape temporelle comme entrée. Le système peut effectuer une auto-attention de transformateur pour échanger des informations entre des cadres 3D pour apprendre des intégrations de cadre d'informations globales. Une similarité entre ces incorporations apprises peut être utilisée pour relier les cadres du même objet.