利用局部二值模型及空間注意力進行街景圖像修復

利用局部二值模型及空間注意力進行街景圖像修復

基於現有的圖像修復方法，如傳統暗房技術以及Photoshop修復技術等，皆較需費時的人工修補，而若使用自動修補功能，亦經常造成預測修補結構不完整，導致修補效果不理想。為了有效解決上述的問題，我們的專題先讓使用者透過筆刷進行簡單的塗抹覆蓋，模擬照片破損之區域(mask區域)。再利用Local Binary Pattern(LBP) Learning Network經由Unet++架構生成預測區域修補結構，並透過門控卷積(Gated Convolution)學習圖像及空間資訊，搭配Spatial Attention機制，最後利用Coarse-to-Fine方法進行Image Inpainting...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Veröffentlicht in:International Journal of Science and Engineering 2023-10, Vol.13 (2), p.047-066
Hauptverfasser: 劉佾雲(Yi-Yun Liu), 許雅婷(Ya-Ting Hsu), 林朝興(Chow-Sing Lin)
Format: Artikel
Sprache:chi ; eng
Schlagworte:
Deep Learning
Gated Convolution
Image Inpainting
Local Binary Pattern
Spatial Attention
Unet
圖像繪製
局部二值模式
深度學習
空間注意力
門控卷積
Online-Zugang:Volltext
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:基於現有的圖像修復方法，如傳統暗房技術以及Photoshop修復技術等，皆較需費時的人工修補，而若使用自動修補功能，亦經常造成預測修補結構不完整，導致修補效果不理想。為了有效解決上述的問題，我們的專題先讓使用者透過筆刷進行簡單的塗抹覆蓋，模擬照片破損之區域(mask區域)。再利用Local Binary Pattern(LBP) Learning Network經由Unet++架構生成預測區域修補結構，並透過門控卷積(Gated Convolution)學習圖像及空間資訊，搭配Spatial Attention機制，最後利用Coarse-to-Fine方法進行Image Inpainting Network修補，產生mask區域之修補重繪結果。與本專題的研發成果相比，Photoshop及原論文的預測結果皆較無法準確修補應有結構，且後者修補結果有明顯的色差。此外，在SSIM和PSNR兩項指標上，本專題的修補成果與原論文相比，分別提升2.4%及14.6%，達到0.9848與38.82
ISSN:2223-4489
2223-4489
DOI:10.53106/222344892023101302005