AR Unity Plug-in for Image and Voice Recognition and Patient Information Processing for Surgery Using AR Glass and Deep Learning

The present invention relates to a unity plug-in for recognizing an image and voice and processing patient information prior to a surgical procedure using an AR glass and deep learning. The unity plug-in of the present invention comprises: a medical information support unit for collecting and storing medical information on a subject, and providing the collected medical information; a head-mounted display unit mounted on the head of an examiner, displaying the medical information on the subject provided from the medical information support unit on an augmented screen in both eyes of the examiner, and transmitting image and voice information data acquired from the examiner during the examination of the subject; a learning unit for inquiring and confirming, from the medical information support unit, recognition information analyzed and classified through a deep learning method from image and voice information source data transmitted from the head-mounted display unit; and a medical information communication module for requesting the medical information support unit for inquiry and confirmation of the recognition information classified through the learning unit, and transmitting the recognition information and analysis information transmitted from the medical information support unit to the head-mounted display unit. Accordingly, a success rate for command recognition increases through deep learning on a contaminated image and a modulated voice in a surgical environment. Also, a medical history and a diagnosis result of a patient can be checked through a real-time inquiry without relying on a medical chart even in a state of being in direct contact with the patient, such that a medical environment without the medical chart can be created and the convenience of medical treatment can be enhanced. 본 발명은 AR 글라스 및 딥러닝을 이용한 외과 수술용 영상·음성 인식 및 환자 정보 처리 유니티 플러그인에 관한 것으로서, 더욱 상세하게는 피검사자의 의료정보를 수집 및 저장하고, 수집된 의료정보를 제공하기 위한 의료정보지원유닛; 검사자의 두부에 장착되고, 상기 의료정보지원유닛으로부터 제공되는 피검사의 의료정보를 검사자의 양안에 증강 화면으로 디스플레이하고, 피검사자의 검사 시 검사자로부터 취득한 영상 및 음성정보데이터를 송출하는 헤드마운트 디스플레이유닛; 상기 헤드마운트 디스플레이유닛으로부터 전송된 영상 및 음성정보 소스데이터를 딥러닝 학습방법을 통해 분석 및 분류된 인식정보를 상기 의료정보지원유닛으로부터 조회 및 확인하기 위한 학습유닛; 및 상기 학습유닛을 통해 분류된 인식정보를 상기 의료정보지원유닛으로 조회 및 확인을 요청하고, 상기 의료정보지원유닛으로부터 전송된 인식정보 및 분석정보를 상기 헤드마운트 디스플레이유닛으로 전송하기 위한 의료정보통신모듈;을 포함하여 이루어진다. 즉 본 발명은 외과 수술 환경에서 오염된 영상과 변조된 음성을 딥러닝 학습을 통해 명령 인식에 대한 성공률을 높이고, 환자와 직접 대면한 상태에서도 환자의 진료 이력, 진단 결과 등을 의료차트에 의존하지 않고 실시간 조회를 통해 확인함으로써 의료차트가 없는 의료 환경 조성 및 진료행위의 편리성을 증진시킬 수 있는 AR