CNN AR CNN and AR-based Spatial attribute detection method using smartphone camera and device thereof

The present invention relates to a convolutional neural network (CNN) and augmented reality (AR)-based spatial attribute detection method using a smartphone camera, and a device thereof. According to the present invention, the CNN and AR-based spatial attribute detection method using a smartphone camera comprises: a step (a) of allowing an indoor spatial data elaboration module to elaborate indoor spatial data including location information; a step (b) of allowing a smartphone camera to acquire an indoor scene picture and estimate a photo where the picture was taken on the basis of AR; a step (c) of allowing a semantic information extraction module to use the indoor scene photos as input data to extract semantic information (including point of interest (POI) names) of the indoor scene photo through a CNN; and a step (d) of allowing an indoor POI data update module to update and additionally construct properties of indoor POI data by position-based matching of the semantic information to the elaborated indoor spatial data. Accordingly, updating the properties of the POI data can be used for general purpose, is close to practical use, does not require additional equipment installation to be economical, and elaborates the indoor space data when polygons on the indoor space data actually include various spaces of various characteristics. 본 발명은 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법 및 그 장치에 관한 것으로, (a) 실내공간 데이터 정교화모듈이 위치정보를 포함하고 있는 실내공간 데이터를 정교화하는 단계와; (b) 스마트폰 카메라가 실내장면 사진을 취득하고 해당 사진이 촬영된 위치를 AR 기반으로 추정하는 단계와; (c) 시맨틱 정보 추출모듈이 상기 실내장면 사진을 입력 데이터로 하여 합성곱신경망(CNN)을 통해 상기 실내장면 사진의 시맨틱 정보(POI명 포함)를 추출하는 단계 및, (d) 실내 POI 데이터 업데이트모듈이 상기 정교화한 실내공간 데이터에 상기 시맨틱 정보를 위치 기준 매칭하여 실내 POI 데이터의 속성을 업데이트하고 추가 구축하는 단계로 이루어짐으로써, 이러한 POI 데이터의 속성의 업데이트는 범용적이고 실용화에 가까우며 추가적인 장비 설치가 필요없어 경제적인 효과가 있고, 실내공간 데이터 상의 폴리곤이 실제로는 여러가지 성격의 다양한 공간을 포함하는 경우 실내공간 데이터를 정교화할 수 있다.