GESTURE RECOGNITION METHOD AND SYSTEM FOR USER INTERACTION

The present invention relates to a gesture recognition method for user interaction, capable of being effectively applied to various platforms, and a system thereof. According to the present invention, the gesture recognition method for user interaction comprises: a step (1) of acquiring gesture data from a three-dimensional (3D) sensor; a step (2) of compensating data lost in the acquired gesture data through interpolation; a step (3) of projecting the interpolated gesture data on a plane to acquire 2D image data; a step (4) of transmitting the 2D image data to a server in real-time during execution of an application to input the 2D image data to a gesture recognition model; and a step (5) of receiving a result produced by the gesture recognition model from the server to apply the result to the executed application to execute the application. Moreover, a gesture recognition system for user interaction comprises: a client, wherein the application executing the user interaction is executed by gesture recognition; and the server to perform computation of the gesture recognition module by a deep learning algorithm. 본 발명은 사용자 인터랙션을 위한 제스처 인식 방법에 관한 것으로서, 보다 구체적으로는 클라이언트가, (1) 3차원 센서로부터 제스처 데이터를 획득하는 단계; (2) 보간을 통해 상기 획득한 제스처 데이터에서 손실된 데이터를 보완하는 단계; (3) 상기 단계 (2)에서 보간된 제스처 데이터를 평면에 투영하여 2차원 이미지 데이터를 획득하는 단계; (4) 실시간으로 애플리케이션 실행 중, 상기 단계 (3)에서 획득한 2차원 이미지 데이터를 서버에 전송하여 제스처 인식 모델에 입력하는 단계; 및 (5) 상기 서버로부터 상기 제스처 인식 모델에 의해 도출된 결과를 전달받아, 상기 실행 중인 애플리케이션에 적용하여 실행하는 단계를 포함하는 것을 그 구성상의 특징으로 한다. 본 발명은 사용자 인터랙션을 위한 제스처 인식 시스템에 관한 것으로서, 보다 구체적으로는 제스처 인식에 의해 사용자 인터랙션이 수행되는 애플리케이션을 실행하는 클라이언트; 및 딥 러닝 알고리즘에 의한 제스처 인식 모델의 연산을 수행하는 서버를 포함하며, 상기 클라이언트는, 3차원 센서로부터 제스처 데이터를 획득하는 데이터 획득 모듈; 보간을 통해 상기 획득한 제스처 데이터에서 손실된 데이터를 보완하는 데이터 보간 모듈; 상기 데이터 보간 모듈에서 보간된 제스처 데이터를 평면에 투영하여 2차원 이미지 데이터를 획득하는 데이터 변환 모듈; 실시간으로 애플리케이션 실행 중, 상기 데이터 변환 모듈에서 획득한 2차원 이미지 데이터를 서버에 전송하여 상기 제스처 인식 모델에 입력하는 데이터 전송 모듈; 및 상기 서버로부터 상기 제스처 인식 모델에 의해 도출된 결과를 전달받아, 상기 실행 중인 애플리케이션에 적용하여 실행하는 결과 적용 모듈을 포함하는 것을 그 구성상의 특징으로 한다. 본 발명에서 제안하고 있는 사용자 인터랙션을 위한 제스처 인식 방법 및 시스템에 따르면, 딥 러닝 알고리즘인 제스처 인식 모델을 활용해서 제스처의 인식률을 효과적으로 높이되, 네트워크 통신을 통해 딥 러닝이 연산하는 부분을 서버에서 전담하여 처리함으로써, 가상현실과 같이 GPU를 실시간으로 사용하는 애플리케이션이 제스처 인식 결과를 서버로부터 수신하여 적용할 수 있으므로, 다양한 플랫폼에 효과적으로 적용할 수 있다.