Image Processing Apparatus and Method for Improving Sensitivity

The present invention relates to a device and a method to process an RGB IR image, capable of improving resolution by removing IR information existing in an RGB pixel. According to the present invention, the RGBIR image processing device includes: an IR interpolation part estimating an IR value of each pixel of an RGBIR image; a G pixel estimating part estimating a G value of each IR pixel of the RGBIR image based on values of G pixels around each IR pixel of the RGBIR image, and generating a first RGB image including R, G, B, and Gr pixels; and an IR removing part generating a second RGB image by removing IR components included in values of the R, G, B, and Gr pixels of the first RGB image. RGBIR 이미지 센서를 이용하여 획득한 영상 이미지에서 G 픽셀을 대체한 IR 픽셀에서의 G값을 추정하고, RGB 픽셀에 존재하는 IR 정보를 제거하여 해상도를 향상시키는 RGBIR 영상처리 장치 및 방법에 관한 것으로, 본 발명에 따른 RGBIR 영상 처리 장치는 RGBIR 영상 이미지의 IR 픽셀들을 바탕으로 상기 RGBIR 영상 이미지의 각 픽셀의 IR 값을 추정하는 IR 보간부, 상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 G 픽셀들의 값을 바탕으로 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정하고, R, G, B, 및 Gr 픽셀을 포함하는 제1 RGB 영상 이미지를 생성하는 G 픽셀 추정부, 상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거한 제2 RGB 영상 이미지를 생성하는 IR 제거부, 상기 제2 RGB 영상 이미지의 각 픽셀의 IR 성분이 제거된 R, G, B 또는 Gr 값을 바탕으로 각 픽셀 별 R, G, 및 B 값을 생성하는 디모자이킹부, 상기 디모자이킹부에서 생성한 각 픽셀 별 R, G, 및 B 값을 바탕으로 화이트 밸런싱(white balancing)을 맞추거나 또는 다양한 색 효과를 생성하기 위하여 상기 각 픽셀 별 R, G, 및 B 값을 보정하여 각 픽셀 별 보정된 R, G, 및 B 값을 생성하는 컬러보정부, 상기 컬러보정부에서 생성한 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성하는 YC생성부, 및 상기 YC생성부에서 생성한 상기 각 픽셀 별 Y, Cb, 및 Cr 값에 상기 IR 보간부에서 생성한 각 픽셀 별 IR 값을 더하여 각 픽셀 별 감도 개선된 Y, Cb, 및 Cr 값을 생성하는 YC개선부를 포함할 수 있다.