SEMANTICALLY TAGGED VIRTUAL AND PHYSICAL OBJECTS

A head mounted display device is provided that includes a display device, a camera device, an input device, and a processor. The processor is configured to store a database of physical objects and virtual objects that have been associated with one or more semantic tags. The processor is further configured to receive a natural language input from a user via the input device and perform semantic processing on the natural language input to determine a user specified operation and identify one or more semantic tags indicated by the natural language input. The processor is further configured to select a target virtual object and a target physical object based on the identified one or more semantic tags, perform the determined user specified operation on the target virtual object based on the target physical object, and display the target virtual object at a physical location associated with the target physical object. L'invention concerne un visiocasque qui comprend un dispositif d'affichage, un dispositif caméra, un dispositif d'entrée et un processeur. Le processeur est configuré de sorte à stocker une base de données d'objets physiques et d'objets virtuels qui ont été associés à une ou à plusieurs étiquettes sémantiques. Le processeur est en outre configuré de sorte à recevoir une entrée en langage naturel provenant d'un utilisateur par l'intermédiaire du dispositif d'entrée et à effectuer un traitement sémantique sur l'entrée en langage naturel afin de déterminer une opération spécifiée par l'utilisateur et d'identifier une ou plusieurs étiquettes sémantiques indiquées par l'entrée en langage naturel. Le processeur est en outre configuré de sorte à sélectionner un objet virtuel cible et un objet physique cible en fonction desdites étiquettes sémantiques identifiées, à effectuer l'opération déterminée comme étant spécifiée par l'utilisateur sur l'objet virtuel cible en fonction de l'objet physique cible, et à afficher l'objet virtuel cible à un emplacement physique associé à l'objet physique cible.