3 2 3D LiDAR and 2D image fusion AI signal processing detection apparatus

The present invention relates to a three-dimensional LiDAR and two-dimensional image fusion-type AI signal processing detection apparatus. The three-dimensional LiDAR and two-dimensional image fusion-type AI signal processing detection apparatus comprises: a LiDAR scanner which acquires data for acquiring a three-dimensional image of an obstacle located on a railroad crossing by performing irradiation of a laser and scanning; a camera which acquires a two-dimensional image of the obstacle; a deep learning accelerator which extracts the obstacle by deep learning processing for the data acquired from the LiDAR scanner and the two-dimensional image acquired from the camera; and a detection control unit which receives data for the obstacle extracted from the deep learning accelerator and delivers a control signal to a railroad crossing controller. According to the present invention, it is possible to synchronize LiDAR scanning data capable of being stable and scanning overall sections of a crossing detection area with camera images and then output the synchronized data into AI-based augmented reality as a light emission unit and a light reception unit are integrated, thereby increasing the accuracy of detecting an obstacle on the railroad crossing and recognizing safety. In addition, the present invention may provide the size and shape of the obstacle including accurate distance information with a clear image together, thereby securing the reliability of detection information and then providing intelligent crossing safety. 본 발명은 레이저를 조사하여 스캔함으로써, 철도 건널목 상에 위치하는 장애물에 대한 3차원 영상을 획득하기 위한 데이터를 획득하는 라이다스캐너; 상기 장애물에 대한 2차원 영상을 획득하는 카메라; 상기 라이다스캐너로부터 획득되는 데이터와 상기 카메라로부터 획득되는 2차원 영상에 대한 딥러닝 처리에 의해 장애물을 추출하는 딥러닝가속기; 및 상기 딥러닝가속기로부터 추출되는 장애물에 대한 데이터를 수신받아 철도 건널목 제어기 측으로 제어신호를 전달하는 검지제어부;를 포함하도록 한 3D 라이다와 2D 영상 융합형 AI 신호처리 검지장치에 관한 것이다. 본 발명에 따르면, 발광부와 수광부가 일체화되어 안정적이면서 건널목 검지영역 전 구간을 스캐닝할 수 있는 라이다(LiDAR) 스캐닝 데이터와 카메라 영상을 동기화 후 AI 기반 증강현실로 출력할 수 있고, 이로 인해, 철도 건널목에 대한 장애물의 검지 및 안전 파악의 정확성을 높일 수 있으며, 정확한 거리 정보를 포함한 장애물의 크기 및 형태를 선명한 영상과 함께 제공할 수 있고, 이로 인해 검지 정보의 신뢰성을 확보하여 지능적인 건널목 안전성을 제공하는 효과를 가진다.