DEEP LEARNING-BASED RADAR SENSOR FAILURE CLASSIFICATION DEVICE AND METHOD USING CAMERA AND RADAR SENSOR

본 발명은 카메라와 레이더 센서를 이용한 딥러닝 기반 레이더 센서 고장 분류 장치에 관한 것으로, 카메라로부터 객체 박스가 표시된 이미지 프레임을 입력 받고, 레이더 센서로부터 레이더 정보를 입력 받는 입력부; 상기 객체 박스가 표시된 이미지에 상기 레이더 정보를 매칭하여 상기 객체 박스에 레이더 포인트를 표시하는 교정부; 상기 이미지에 존재하는 상기 객체 박스 중 어느 하나의 객체 박스를 선택하여 상기 객체의 특징을 추출하고, 상기 객체 박스에 표시된 레이더 포인트의 레이더 정보를 전처리하는 특징 추출부; 및 상기 객체의 특징 및 상기 레이더 정보를 인공신경망 모델에 입력하여 상기 레이더 포인트의 정상 여부를 출력하는 출력부;를 포함한다. 이를 통해, 이미지 프레임에 표시된 레이더 포인트의 정상 여부를 판단하여 해당 레이더 센서가 정상 인지 고장 인지 분류가 가능하다. The present invention relates to an apparatus for classifying faults of a radar sensor on the basis of deep learning by using a camera and a radar sensor, wherein the apparatus comprises: an input unit that receives, from a camera, an input of an image frame in which object boxes are displayed and receives radar information from a radar sensor; a correction unit that matches the radar information to an image in which the object boxes are displayed and displays radar points in the object boxes; a feature extraction unit that selects any one object box from among the object boxes present in the image, extracts features of an object, and preprocesses radar information of a radar point displayed in the object box; and an output unit that inputs the features of the object and the radar information into an artificial neural network model and outputs whether the radar point is normal. Accordingly, it may be classified whether a corresponding radar sensor is normal or faulty, by determining whether a radar point displayed in an image frame is normal.