METHOD AND SYSTEM FOR REAL-TIME DATA COLLECTION FOR A MIXED REALITY DEVICE

The present technical solution relates to the field of digital data processing, and more particularly to a method and system for real-time data collection for a mixed reality device. The technical result consists in providing more accurate display of mixed reality. A method for real-time data collection for a mixed reality device consists in carrying out the following steps using a computing device: capturing real-world images in a wide range of angles using at least one camera; scanning a real-world space in order to determine the dimensions and arrangement of real-world objects; determining data pertaining to the position and orientation of a mixed reality device in said space; carrying out real-time tracking and 3D recognition of hand gestures in order to determine the specific location of objects in the space in relation to the hand being tracked; saving in a memory unit of the mixed reality device the data pertaining to the captured real-world images, the data pertaining to the dimensions and arrangement of the real-world objects, the data pertaining to the position and orientation of a data collection unit, and the data pertaining to the tracking and recognition of hand gestures; processing the saved data and using built-in mini projectors to project onto a holographic screen of the mixed reality device, said screen merging virtual and augmented reality to produce mixed reality. La présente solution technique se rapporte au domaine du traitement des données numériques, et concerne notamment un procédé et un système de collecte d'informations pour un dispositif de réalité mixte en temps réel. Le résultat technique consiste en la possibilité d'augmenter la précision d'une représentation en réalité mixte. L'invention concerne un procédé de collecte d'informations pour dispositif de réalité mixte en temps réel, qui consiste à exécuter les étapes, à l'aide d'un dispositif informatique, consistant à: capturer avec au moins une caméra une image du monde réel dans une plage d'angles étendue; scanner l'espace du monde réel afin de déterminer les dimensions et la disposition des objets du monde réel; déterminer des données sur l'emplacement et l'orientation du dispositif de réalité mixte dans l'espace; effectuer un suivi et une reconnaissance tridimensionnelle des gestes des mains en temps réel afin de déterminer l'endroit même où les objets se trouvent dans l'espace par rapport aux mains suivies; sauvegarder les données des images capturées du monde réel, les