Method for entering characters at high speed in metaverse environment

The present invention relates to a method for inputting characters at high speed in a metaverse environment in which hand motion and finger movement are tracked using a camera mounted on a head mounted display (HMD) device even when a user's field of view is blocked by wearing the HMD device and a position of a virtual keyboard on a metaverse is redefined to allow a high speed character input in the metaverse, and various tasks such as document writing, programming, and multi-party discussion can be performed quickly in the metaverse, and an area of use of the metaverse can be greatly expanded. According to the present invention, a method for recognizing, by the HMD device, a user's input behavior while the user is wearing the HMD device and accessing the metaverse comprises: a step (a) of tracking an outline of the user's hand by recognizing user's hand motion and finger movement captured with a camera; a step (b) of tracking coordinates of a finger's keying point using Hough transform; a step (c) of generating a virtual keyboard on the metaverse; a step (d) of generating a graphic image of a user's virtual hand using the step (a) and the step (b) and synthesizing the graphic image of the virtual hand by overlay rendering on the virtual keyboard; a step (e) of requesting the user to input a predetermined string; and a step (f) of redefining an area of the virtual keyboard based on the coordinates of the keying point generated in the step (b). 본 발명은 HMD(Head Mounted Display) 장치를 착용하여 사용자의 시야가 차단된 상태에서도 HMD 장치에 장착된 카메라를 이용하여 손의 동작과 손가락의 움직임을 추적하고 메타버스 상에서 가상 키보드의 위치를 재정의함으로써 메타버스에서 고속으로 문자를 입력할 수 있도록 하며, 메타버스에서의 문서 작성, 프로그래밍, 다자간 토의 등 다양한 작업을 빠르게 수행할 수 있고 메타버스의 활용 영역을 크게 넓힐 수 있는 메타버스 환경에서 고속으로 문자를 입력하는 방법에 관한 것으로서, 사용자가 HMD 장치를 착용하고 메타버스에 접속한 상태에서 상기 HMD 장치가 사용자의 입력 행위를 인식하기 위한 방법에 있어서, (a) 카메라로 촬영된 사용자 손의 동작과 손가락의 움직임을 인식하여 사용자 손의 윤곽을 추적하는 단계; (b) 허프 트랜스폼을 이용하여 사용자 손가락의 타건 지점 좌표를 추적하는 단계; (c) 메타버스 상에 가상 키보드를 생성하는 단계; (d) 상기 단계(a) 및 단계(b)를 이용하여 사용자의 가상 손 그래픽 이미지를 생성하고 상기 가상 키보드에 오버레이 렌더링하여 상기 가상 손 그래픽 이미지를 합성하는 단계; (e) 사용자에게 미리 정해진 문자열 입력을 요청하는 단계; 및 (d) 상기 단계(b)에 의해 생성된 타건 지점 좌표를 중심으로 상기 가상 키보드의 영역을 재정의하는 단계를 포함한다.