기존 디블러링 연구는 주로 최적화 기반 방식에 의존하였다. [35]는 패치 기반 커널 추정 전략을 도입하여 이미지의 가장자리 및 모서리를 모델링할 수 있는 사전 정보를 활용해 블러 커널을 추정하고 디블러링을 수행하였다. [36]은 정규화된 컬러 라인 사전 정보를 사용하여 블러 커널 추정을 위한 알고리즘을 제안하였으며, 이를 통해 노이즈를 억제하면서 선명한 엣지를 복원하였다.

[37]은 흐린 이미지의 어두운 픽셀 희소성을 이용하여 어두운 채널의 희소성을 강제하는 방식으로 블러 커널을 추정하였다. 또한, [38]은 빛줄기를 활용하여 흐림 커널을 최적화 프레임워크 내에서 추정하고 디블러링을 수행하는 방식을 제안하였다. 그러나 이러한 최적화 기반 방법들은 정규화 항목 선정, 가중치 설정, 최적화 알고리즘 선택 등 다양한 하이퍼파라미터 설정이 요구되며, 수렴 속도가 느리고 최적해를 찾기 어려운 한계를 가지고 있다.

최적화 기반 방법의 한계를 극복하기 위해 딥러닝 기반 디블러링 방법이 제안되었으며, 현재까지 빠르게 발전하고 있다. [23]은 패치 계층적 어텐션 구조 [31]-[33]를 사용하여 입력 이미지에서 공간적 블러 변화를 암시적으로 발견하고, 전역 및 로컬 정보를 조절하는 픽셀 적응형 및 피처 어텐션 설계를 제안하였다. 이를 통해 공간 위치에 따른 큰 블러 변화를 처리하고, 각 테스트 이미지를 적응적으로 복원할 수 있었다. [39]는 흐린 이미지 패치를 입력으로 받아 선명한 이미지 패치를 복원하는 신경망을 설계하였으며, 이를 통해 초기 선명한 이미지 추정값과 관측 이미지 사이에서 단일 전역 블러 커널을 명시적으로 추정할 수 있었다. 또한, [34]는 U-Net 기반 Multi-scale 특징 cross-fusion 전략과 self-mechanism을 결합하여 비균일 블러 이미지를 복원하였으며, wavelet transform을 depth residual network에 통합하여 세부 texture 정보를 복원하였다.

본 논문에서 제안하는 LABA-Net은 디블러링에 사용하는 DNN의 고질적인 문제인 공간 정보 손실 문제를 해결하고자 제안되었다. 이미지를 디블러링 하여 우수하게 복원하기 위해서는, 블러의 공간 정보를 손실시키지 않고 학습하는 것이 중요하다. 기존에 사용되었던 방식들은 공간 정보를 학습하는 데에는 한계가 존재했다. LABA-Net은 이러한 문제를 해결하고자, 공간 정보에 집중하기 위해 제안한 새로운 구조의 네트워크이다. 그림 1에 제시된 것처럼, LABA-Net은 앞 뒤의 convolution 레이어들과 여러 개 쌓인 SSM들로 이루어져 있다. SSM은 SSA과 SSDO이 병렬로 구성되어 있다. Input 이미지는 convolution을 통과하면서 채널 개수를 늘리고, 특징맵의 크기는 줄어든다. 이는 SSM을 모두 통과한 뒤, Transposed convolution을 통해 원래의 크기로 원상복구한다. Input은 SSM들을 통과하면서 블러들의 저수준부터 고수준의 공간 정보를 포착하고 복원하는 역할을 한다.

Fig. 1. 
Overview of LABA-Net

SSA는 그림 2 와 같은 구조로 이루어져 있다. Convolution layer들을 통과한 input feature는 먼저 1×1 convolution을 통해 특징을 추출하고 차원 수를 조절한다. 이를 식으로 표현하면 식 (1)과 같다.

Fig. 2. 
Architecture of SSA

여기서 F_in은 convolution layer들을 통과한 input feature를 의미하며, W₁는 1×1 convolution을 통해 생성된 가중치를 의미한다. 이후, F₁은 max pooling을 통과하여 중요한 공간적 특징을 추출한다. 이후 sigmoid를 사용하여 특징의 중요도에 따라 가중치를 부여하도록 하는 어텐션 기능을 수행하도록 한다. 이를 수식으로 표현하면 식 (2)와 같다.

여기서 W₂는 stride = 2인 convolution을 통과한 가중치이고, P_max는 max pooling을 의미한다. 여기서의 kernel size는 7이다. W_g는 convolution group을 통과한 가중치이며, convolution group은 conv-ReLU-conv-ReLU-conv 형태로 구성되어 있다. UP은 업샘플링을 의미하며, 이 구조에서는 보간법을 사용한다. 이후로는 sigmoid 함수인 σ_s를 적용하여 중요한 공간 정보를 강조하고 skip connection을 추가하여 저수준에서 잃을 수 있는 정보를 보충한다. 이를 통한 결과물은 식 (3)과 같이 표현할 수 있다:

여기서 W₃과 σ_sig는 각각 1×1 convolution의 가중치, sigmoid 함수를 의미한다. 이 과정은 SSA의 전/후에 추가되어 지역적 공간 정보를 더욱 집중할 수 있도록 한다.

이를 통과한 특징맵들은 ASP(Adaptive Square Pooling)을 수행한다. Adaptive Square Pooling은 특징맵들을 N×N×C (N=1,3,5,7) 로 각각 풀링을 진행한 후 Depth-wise Overparameterized convolution을 통과시킨 뒤, 이를 concatenate 하는 구조로 이루어져 있다. 기존의 풀링 방식은 kernel 사이즈가 고정값이기 때문에, 다양한 크기로 발생한 블러들을 모두 고려할 수 없었다. 하지만 ASP를 수행함으로써 다양한 사이즈에서 풀링을 진행하며 크고 작은 특징들까지 세밀하게 학습할 수 있다. 이후 Depth-wise Overparameterized convolution을 사용하여 receptive field를 확장시켜 더 많은 정보를 학습할 수 있도록 한다. 이후 이 결과물들을 H×W×C로 만들도록 보간법을 수행하고, 이를 concatenation 하며 각 픽셀간의 상관관계를 알아낼 수 있다. 이는 이미지를 디블러링 할 때에 블러의 수평/수직 정보만 고려할 수 있던 기존의 방법에 비해, 정사각형 모양으로 결과물이 나오게 Adaptive Average Pooling을 진행하여 다양한 방향으로 흩어져 있는 블러들의 방향들을 학습하여 블러들을 복원할 수 있다.

이후에는, convolution layer와 ReLU activation function σ_r를 통과시켜 픽셀간의 상관관계를 표현하는 어텐션 마스크를 생성한다. 이를 통해 중요한 부분에 대한 특징만을 강조할 수 있다. 이를 수식으로 표현하면 식 (4)와 같다.

여기서 M_ASP은 ASP로 생성된 어텐션 마스크를 의미한다. 이를 통해 중요한 전역적 및 지역적 정보와 특징 간의 상관관계를 포착한 이 모델은, 이후 Attention Refinement를 진행하여 비선형성을 강조시킨다. Attention Refinement의 구조를 수식으로 표현하면 식 (5)와 같다.

여기에 F_out과 M_ASP를 Element-wise multiplication 한 결과물을 x~라 할 때, Attention Refinement를 통과한 결과물은 식 (6)과 같다.

여기서 ⊗는 element-wise multiplication을 의미한다.

SSDO는 기존의 convolution보다 receptive field를 더욱 넓혀, 특징 정보를 폭넓게 추출하기 위해 그림 3과 같은 구조로 제안한다. 이를 위해, 앞서 언급된 식 (1), (2), (3)을 SSDO의 앞 뒤로 통과시킨다. 이를 통해서 본 네트워크는 중요한 공간적 특징 정보를 우선적으로 강조하고, 추출된 이후 다시 한 번 강조하여 공간 정보의 손실을 최소화하고 블러 복원 능력을 향상시키는데 기여한다. 이후 Depth-wise overparameterized convolution을 통해 dilation값을 사용하여 receptive field를 넓힌다. 이러한 방법으로 제안하는 방법은 보다 넓게 특징들을 포착하여 디블러링 성능을 향상시킬 수 있도록 하였다. SSDO에서는 이러한 구조를 바탕으로 Dilation 비율을 여러가지로 설정하여, 결과물을 concatenation 하여 block을 두 번 반복하도록 구성하였다. 하지만 이러한 구조를 사용한다면 channel 개수가 기존에 비해 과도하게 증가하기 때문에 이러한 문제를 해결하고자, 두 block 사이에 Dilation 값이 1인 3×3 convolution을 추가하였다. 이를 통해 SSDO는 디블러링에 필요한 중요한 정보들을 효율적으로 추출하여 결합할 수 있다.

Fig. 3. 
Architecture of SSDO

본 논문에서 제안하는 LABA-Net은 다음과 같은 Loss Function을 사용한다. 수식은 식 (7)과 같다.

λ값은 0.01로 설정하였으며, L_char의 수식은 식 (8)과 같다.

수식에서 R와 Y는 각각 복원된 이미지와 Ground Truth를 의미하며, 이다. L_FFT은 FFT Loss[15]를 의미하며 수식은 식 (9)와 같다.

여기서 F는 Fourier Transform Function을 의미한다.

본 논문에서 제안한 네트워크는 파이토치를 사용하여 구현되었다. 모델의 사전 학습은 2개의 NVIDIA GeForce RTX 3090 GPU에서 수행되었으며, 총 3,000 epoch 동안 학습하였다. 이후, 모델의 성능을 더욱 향상시키기 위해 파인튜닝을 진행하였다. 파인튜닝은 4개의 NVIDIA GeForce RTX 3090 GPU에서 수행되었으며, 총 1,000 epoch 동안 학습하였다. 모든 실험에서 배치 크기는 8로 설정되었으며, 초기 학습률은 0.001로 시작하여, 학습이 진행됨에 따라 0.000001씩 점진적으로 감소시켰다. 모델의 최적화를 위해 Adam 옵티마이저를 활용하였다. 제안된 방법의 성능을 비교하기 위해 다음 벤치마크 모델들을 사용하였다: DeepDeblur[8], DeblurGAN[12], SRN[9], PSS-NSC[11], DMPHN[10], MTRNN[29], DBGAN[40], MSCAN[16], MIMO-UNet[15], XYDeblur[17], BANet[18], LACA-SSN[30], MRDNet[34]. 성능 평가는 다음의 5가지 성능 지표를 사용하여 수행되었다: PSNR(Peak Signal-to-Noise Ratio)[24], SSIM(Structural Similarity)[24], MS-SSIM(Multi-Scale Structural Similarity[25], VIF(Visual Information Fidelity)[26], MSE(Mean Square Error)[27].

본 섹션에서는 제안한 방법이 기존 방법들보다 디블러링 성능의 우수함을 입증하기 위해, 13가지 벤치마크 방법들과 제안한 방법의 디블러링 성능을 비교하였다. 벤치마크로 사용한 방법들과 제안한 방법의 성능을 GoPro dataset에서 정량적으로 평가한 결과는 Table 1에 제시되어 있다. 표 1에 나타난 바와 같이, 제안된 LABA-Net은 최신 기법인 [34]보다 PSNR 1.17dB와 SSIM 0.096 더 높은 성능을 보였다. 또한, 벤치마크 중 가장 성능이 높은 모델보다도 PSNR 0.42dB, SSIM 0.033 더 높은 성능을 달성하였다. 이러한 성능 개선은 그림 4의 시각적 비교를 통해 보다 명확하게 확인할 수 있다.

Fig. 4. 
Qualitative comparisons on GoPro dataset[8]

(a) Blur patch, (b) Ground truth, (c) DeepDeblur (PSNR : 18.24dB, SSIM : 0.7642), (d) DeblurGAN (18.04dB, 0.7354), (e) XYDeblur (20.64dB, 0.8236), (f) DMPHN (22.40dB, 0.8615), (g) PSS-NSC (24.58dB, 0.8665), (h) MIMO-UNet (24.54dB, 0.8705), (i) MSCAN [(24.39, 0.8688), (j) MTRNN (25.56dB, 0.8860), (k) SRN (24.35dB, 0.8630), (l) LACA-SSN (23.41dB, 0.8607), (m) BANet (20.68dB, 0.8420), (n) LABA-Net (27.84dB, 0.9207)