Method for detecting sinkhole using deep learning and data association and sinkhole detecting system using it

The present invention relates to a method for detecting a sinkhole. To solve the problems of an existing sinkhole detection method which can apply only a sinkhole detection algorithm, such as a light convolutional neural network (CNN) algorithm, of lower performance having limits incapable of fully securing correctness and reliability in a detection result and tracking a correct location of a sinkhole to issue a warning, the method of the present invention performs a series of processing steps of: performing binary segmentation in a thermal image collected through a thermal image camera based on a temperature difference to extract candidate sinkhole areas; applying CNN transfer learning to classify a real sinkhole from the candidate sinkhole areas; and performing data association to track the classified sinkhole. Accordingly, the sinkhole can quickly and correctly be detected from the image photographed by the thermal image camera and an occurrence probability of a sinkhole can be expected, such that a warning is generated, thereby preventing various kinds of accidents caused by the sinkhole. 본 발명은 싱크홀을 탐지하기 위한 방법에 관한 것으로, 본 발명에 따르면, 예를 들면, light CNN 알고리즘과 같이, 상대적으로 성능이 낮은 싱크홀 탐지 알고리즘만이 적용 가능함으로 인해 탐지결과의 정확도 및 신뢰도가 충분히 보장되지 못하고 싱크홀의 정확한 위치를 추적하여 경고를 할 수 없는 한계가 있었던 종래기술의 싱크홀 탐지방법들의 문제점을 해결하기 위해, 열화상 카메라를 통해 수집된 열 영상에 온도편차에 의한 이진 분할(binary segmentation)을 수행하여 후보 싱크홀 영역을 추출하고, CNN 전이학습(transfer learning)을 적용하여 후보 싱크홀 영역들로부터 실제 싱크홀을 분류하며, 데이터 결합(data association)을 수행하여 분류된 싱크홀을 추적(sinkhole tracking) 하는 일련의 처리단계가 수행되도록 구성됨으로써, 열화상 카메라로 촬영된 영상으로부터 실시간으로 신속하고 정확하게 싱크홀의 탐지가 이루어질 수 있는 데 더하여, 싱크홀 발생 가능성을 미리 예측하여 경보를 발생하는 것에 의해 싱크홀로 인한 각종 사고를 미연에 방지할 수 있도록 구성되는 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템이 제공된다.