DEVICE AND METHOD FOR TEXTURE-AWARE SELF-SUPERVISED BLIND DENOISING USING SELF-RESIDUAL LEARNING

To provide a denoising device and method that is capable of noise learning only using a noisy image to eliminate noise, without a PD process, in a testing step, so that texture information of an original image is kept.SOLUTION: A denoising device 100 includes: a PD unit for performing Pixel-shuffle Downsampling on an original noisy image to produce one or more downsampled images; a predicted image producing unit for eliminating the noise from the original image and the downsampled images to produce one or more predicted images having restored shape of the original image; and a learning unit for performing optimized learning for the predicted image producing unit, on the basis of one or more loss functions based on the predicted images and the original image. The device can perform denoising model learning only using a noisy image, restore high-frequency characteristics such as texture more effectively than the recent method, and eliminate spatially correlated noise as well as pixel-unit noise.SELECTED DRAWING: Figure 1 【課題】原画像のテクスチャー情報を保持するようにテスト段階においてＰＤプロセスなしにノイズを除去するためにノイズ画像だけでノイズ学習及び除去を行うノイズの除去装置及び方法を提供する。【解決手段】ノイズの除去装置１００は、ノイズを含む原画像にピクセルシャッフルダウンサンプリングを行って、少なくとも１枚以上のダウンサンプリングされた画像を生成するＰＤ部と、原画像とダウンサンプリングされた画像から夫々ノイズを除去し、原画像の形状を復元した少なくとも１枚以上の予測画像を生成する予測画像生成部と、予測画像と原画像を基にした少なくとも１つ以上の損失関数に基づいて、予測画像生成部を最適化学習させる学習部と、を備え、ノイズ画像だけでノイズ除去モデルを学習し、最新の方法に比べてテクスチャーのような高周波領域の特性を効果的に修復し、ピクセル単位のノイズのみならず、空間相関があるノイズまでも除去する。【選択図】図１