METHOD AND SYSTEM FOR COLLECTING INFORMATION FOR A COMBINED REALITY DEVICE IN REAL TIME

FIELD: computer equipment.SUBSTANCE: method of collecting information for a real-time combined reality device, comprising steps of using a computing device, on which a real-world image is captured by a camera in a wide range of angles; scanning real-world space to determine dimensions and location of real-world objects; determining location and orientation data of the combined reality device in space; tracking and three-dimensional recognition of hand gestures in real time to determine exactly where objects are in space relative to monitored hand; storing the obtained data in the combined reality device memory unit; processing the stored information and projecting by means of built-in mini-projectors onto the holographic screen of the combined reality device, which merges the virtual and augmented realities to obtain a combined reality.EFFECT: high accuracy of displaying combined reality.8 cl, 3 dwg Изобретение относится к вычислительной технике. Технический результат − повышение точности отображения совмещенной реальности. Способ сбора информации для устройства совмещенной реальности в режиме реального времени, заключающийся в выполнении этапов с помощью вычислительного устройства, на которых захватывают с помощью камеры изображения реального мира в широком диапазоне углов; сканируют пространство реального мира для определения габаритов и расположения объектов реального мира; определяют данные о местоположении и ориентации устройства совмещенной реальности в пространстве; осуществляют отслеживание и трехмерное распознавание жестов рук в реальном времени для определения, где именно объекты находятся в пространстве относительно отслеживаемой руки; сохраняют полученные данные в блоке памяти устройства совмещенной реальности; обрабатывают сохраненную информацию и проецируют посредством встроенных мини-проекторов на голографический экран устройства совмещённой реальности, который осуществляет слияние виртуальной и дополненной реальностей для получения совмещенной реальности. 2 н. и 6 з.п. ф-лы, 3 ил.