ANNOTATION OF 3D MODELS WITH SIGNS OF USE VISIBLE IN 2D IMAGES

Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for annotation of 3D models with signs of use that are visible in 2D images. In one aspect, methods are performed by data processing apparatus. The methods can include projecting signs of use in a relatively larger field of view image of an instance of an object onto a 3D model of the object based on a pose of the instance in the relatively larger field of view image, and estimating a relative pose of the instance of the object in a relatively smaller field of view image based on matches between the signs of use in the relatively larger field of view image and the same signs of use in the relatively smaller field of view image. L'invention concerne des procédés, des systèmes et un appareil, y compris des programmes informatiques codés sur un support de stockage informatique, pour l'annotation de modèles 3D avec des signes d'utilisation qui sont visibles dans des images 2D. Selon un aspect, des procédés sont réalisés par un appareil de traitement de données. Les procédés peuvent comprendre la projection de signes d'utilisation dans un champ de vision relativement plus grand d'une instance d'un objet sur un modèle 3D de l'objet sur la base d'une pose de l'instance dans le champ de vision relativement plus grand, et l'estimation d'une pose relative de l'instance de l'objet dans un champ de vision relativement plus petit sur la base des correspondances entre les signes d'utilisation dans le champ de vision relativement plus grand et les mêmes signes d'utilisation dans le champ d'image de vision relativement plus petit.