방향성 라플라시안을 사용한 공간 적응적 정칙화 영상복원

Ⅰ. 서 론

일상에서 스마트폰과 카메라 등으로 사진 촬영하일상에서 스마트폰과 카메라 등으로 사진 촬영하면서 흔하게 발생하는 문제는 손떨림에 의한 움직임 열화(Motion blur)와 카메라 렌즈 시스템에 의한 초점 열화가 대표적일 것이다. 이러한 영상의 화질 저하는 영상복원 기술로 해결할 수 있다[1]. 영상복원 기술은 불완전한 영상 시스템에서 영상이 열화되고 잡음이 추가되어 화질이 저하된 영상을 보정하여 원래 영상의 화질로 추정하는 기술이다.

영상 복원의 문제에서 만약 사전에 열화와 잡음에 대한 정보를 가지고 있다면 영상 열화 과정의 역변환을 통해 원영상을 추정할 수 있다. 그러나 영상복원의 문제는 잘 정의되지 않은 문제(Ill-posed problem)으로 역변환을 통해 원영상 추정치를 구하기 어렵다. 따라서 정칙화를 사용하는 반복적인 해결법으로 해를 구할 수 있다[2].

위너필터링(Wiener filtering)과 리차드슨-루시(Richardson-Lucy) 방법은 현재까지도 매우 대표적인 고전적인 영상 복원 방법으로 인기를 얻고 있다[3][4]. 그러나 이들 방법은 편리하고 간단히 영상복원에 적용할 수 있지만 엣지 주변의 부드러운 영역에 엣지에 평행한 형태의 주기적 잡음 현상을 발생하는 링잉(Ringing) 현상과 잡음 증폭 등의 문제를 유발한다. 이러한 문제를 해결하기 위한 방법으로 정칙화 기반의 영상복원에 대한 연구가 수행되었다. 총변이(Total variation) 노름을 이용하여 영상을 복원하는 방법[5]이 제안되었고, 이를 확장하여 적응적 정칙화를 사용하여 주파수 영역에서 그래디언트 기반의 복원 방법[6]을 개발했다. 이 방법은 선험적 제약 조건으로 하이퍼 라플라시안을 가정하여 해의 수렴을 위해 많은 계산이 필요한 교차 최소화(Alternating minimization)방법을 사용한다. 또한 정칙화를 위한 조건이 볼록(Convex)하고 이차함수가 아니므로 최적화(Optimization)를 위해서는 많은 계산이 필요하다.

본 논문에서는 방향성 적응적 정칙화 영상복원에 대한 일반화를 통해서 기존에 개발된 다양한 적응적 영상복원 기술과의 관계를 정리하여 제시한다. 또한 제안한 l₂ 노름 기반의 적응적 정칙화 영상복원을 공간 영역에서 적용하기 때문에 방향성 라플라시안을 사용하는 적응적 방법을 반복적으로 구현할 수 있다. 그러므로 원영상에 존재하는 방향성 고주파 성분을 충분히 보존할 수 있으며 링잉 현상을 감소하는 특징을 가진다. 마지막으로 방향성 라플라시안의 적응적 정칙화 방법의 수렴성을 분석한다.

본 논문의 구성은 다음과 같다. 2절에서는 일반화된 적응적 정칙화 영상복원을 위한 목적함수를 제시하고 기존의 적응적 정칙화 방법과의 관계를 간단히 소개한다. 3절에서는 적응적 정칙화 영상복원 기술을 확장하여 방향성 라플라시안을 사용하는 공간적응적 영상복원 기술을 제시하고 수렴성을 분석한다. 4절에서는 실험결과를 제시하며 마지막으로 5절에서 결론을 맺는다.

Ⅱ. 적응적 정칙화 영상복원

본 절에서는 적응적 정칙화 영상복원에 관한 일반적인 수식을 제시하고 기존의 적응적 정칙화 방법도 일반화된 수식으로 표현이 가능함을 제시한다.

일반적으로 영상의 화질이 나빠지는 문제는 다음 식과 같이 선형식으로 모델링할 수 있다.

여기에서 y와 η는 저해상도 영상과 잡음을 나타내는 벡터이며, x는 원영상 벡터이다. H는 점확산함수(PSF, Point Spread Function)로 열화 행렬을 나타낸다.영상복원은 식 (1)에서 열화가 발생한 영상 y로부터 원영상 x를 추정하는 과정이다.

영상복원 문제를 정칙화하기 위해서 선험적 평활도(a priori smoothness) 제약조건을 적용하여 정칙화 방식으로 해를 구하기 위해서

와 같은 함수를 최소화시킴으로써 구할 수 있다. 여기에서 ∥y-Hx∥²와 ∥Cx∥²는 각각 원영상에 근사하도록 하는 제약조건과 복원영상에서 고주파 에너지를 제한하기 위한 평활화 제약조건이다. C는 고주파 통과필터를 나타내며 일반적으로 라플라시안 연산자를 사용하고, ∥Cx∥를 최소화시키는 과정은 주로 증폭된 잡음에 의한 고주파 성분을 억제하여 복원된 신호의 에너지를 제한하는 역할을 한다. 또한 λ는 평활도 제약조건의 양을 조절하는 정칙화 매개변수(Regularization parameter)를 나타낸다. 정칙화 접근 방식에 의한 식 (2)의 해는 정칙화 매개변수를 조절하여 잡음이 증폭된 신호와 평활한 신호 사이의 적절한 값을 결정한다. 식 (2)를 만족하는 해를 구하기 위해서 반복적 방법을 사용하면 다음과 같이 해를 구할 수 있다.

여기에서 k는 반복 횟수를 나타내고, β는 반복적 결과의 수렴 속도를 조절하는 상수이다.

식 (2)에서는 정칙화 과정에 동일한 평활화 제약조건을 사용하기 때문에 영상 전체가 동일하게 부드럽게 처리된다. 식 (2)에 적응적 영상복원 기술을 도입하기 위해서 다음과 같이 변형한다.

위 식에서 우변의 첫 번째 항은 가능도(Likelihood) 함수이고 우변은 정칙화 항을 나타낸다. 식 (4)의 우변은 가중치 노름으로 목적 함수(object function)를 전개하면 다음과 같다.

여기에서 왼쪽 항은 가중치 최소제곱법(Weighted least square) 제약 조건을 의미하며 W_L은 가능도의 가중치로 잡음과 링잉 현상을 감소시키는 역할을 담당한다. 오른쪽 항은 정칙화를 수행하며 각 화소에서의 잡음 증폭을 제한한다. W_R은 화소마다 적응적으로 선택되어 에지를 보존하거나 평탄한 영역에서 잡음 증폭 기능을 확대하는 역할을 수행한다.

식 (4)는 영상복원을 위한 일반화된 적응적 정칙화 목적함수이다. 예를 들어 식 (5)에서 대각 행렬인 W_L과 W_R이 모두 1이고 오른쪽 항의 노름을 l₁과 l₂ 노름이라고 가정한다면 각각 총변이(TV) 정칙화와 Tikhonov 정칙화의 목적함수가 될 수 있다. 또한 W_R을 적응적으로 변화시키면서 총변이 방법을 적용하면 BTV(Bilateral Total Variation) 정칙화가 된다[7]. 한편 W_L과 W_R이 적응적으로 사용되는 경우에는 적응적 커널회귀 총변이(Adaptive kernel regresssion TV) 방법의 목적함수가 된다[8]-[10].

Ⅲ. 방향성 라플라시안을 사용한 정칙화 영상복원

앞 절에서 제시한 적응적 정칙화 영상복원을 확장하여 공간 적응적으로 영상의 고주파 성분을 효과적으로 보존하는 동시에 링잉 현상을 감소시키기 위한 방법을 제시한다. 또한 방향성 라플라시안을 사용하는 반복적 영상복원 알고리즘의 수렴성을 분석한다.

Ⅳ. 실험 결과

본 논문에서 제안한 방향성 라플라시안 기반 정칙화 영상복원 기술의 성능을 평가하기 위해서 실험을 수행하였다. 본 실험에 사용한 입력 영상을 그림 1에 제시하였다. 그림 1의 (a)~(c) 영상은 256×256 크기이고 (d)~(f) 영상은 512×512 크기이다. 화질이 저하된 영상을 얻기 위해서 원영상을 7×7 균일 평균 필터로 열화시키고 BSNR(Blurred Signal –to-Noise Ratio) 35dB의 가우시안 잡음을 추가하여 화질이 손상된 영상을 생성했다.

Fig. 1.

Test images

그림 2(a)는 그림 1(a)의 레나(Lena) 영상의 해상도를 낮추고 잡음을 첨가하여 생성한 열화영상이다. 그림 2(b)는 방향성 라플라시안을 적용하기 위해서 화소별 영역의 엣지 방향을 수직, 수평, 양 대각, 평평한 영역의 5개의 색상으로 다르게 나타냈다. 엣지 방향의 계산은 영상을 복원하기 위한 반복 단계 중 20회마다 수행했다. 이어서 그림 2(c)와 (d)에서는 비적응적 복원영상, 방향성 라플라시안을 사용한 복원영상을 차례로 제시했다. 그림 3에서는 그림 2의 (c)와 (d)에서 제시한 영상을 확대하여 주관적으로 복원 성능을 비교한다. 본 논문에서 제시한 모든 실험결과는 식 (3)의 비적응적 방법과 식 (8)의 적응적 방법으로 반복하여 해를 추정했으며 공정한 비교를 위해서 반복회수는 300회로 동일하게 사용했다.

Fig. 2

Result images

Fig. 3.

Magnified images

그림 3(a)는 비적응적 영상복원 결과이고 그림 3(b)는 방향성 라플라시안을 사용한 적응적 영상복원의 결과이다. 위 영상의 모자 주변의 배경과 아래 영상의 어깨 부위를 비교하면 영상의 부드러운 영역에 엣지의 형태를 따라서 고주파 성분이 반복적으로 발생하는 링잉 현상이 상당히 감소되었다는 것을 주관적인 평가를 통해 확인할 수 있다.

본 실험에서 사용한 매개변수들은 공정한 비교와 최적의 성능을 낼 수 있도록 실험적으로 최적의 값을 구하여 다음과 같이 적용했다. 비적응적 영상복원에서 사용한 매개변수들은 β = 1.0, λ = 0.0001를 적용했다. 한편 방향성 정칙화 영상복원에서는 β = 1.0, λ_mono = 0.1, λ_directional = 0.001의 값을 적용하여 실험을 수행했다.

표 1에는 몇 가지 다른 표준 영상에 대한 PSNR(Peak Signal-to-Noise Ratio)을 비교하여 제시하였다. PSNR 값은 큰 경우 원영상과 유사하다는 의미로써 화질 개선이 잘 되었다는 의미이다. 전체적인 결과를 보면 방향성 영상복원의 결과가 비적응적 정칙화 영상복원 결과보다 우수한 성능을 나타내고 있는 것을 확인할 수 있다. 그러나 그림 1(f)의 mandril 영상을 사용한 경우 얼굴 영상에서 털과 같은 고주파 성분을 억제하기 떄문에 적응적 결과가 비적응적 결과에 비하여 낮은 PSNR을 보여준다.

Table 1.

PSNR of result images (dB)

Ⅴ. 결 론

본 논문에서는 방향성 라플라시안 고주파 필터를 정칙화 과정에 사용하여 공간적응적으로 영상을 복원하는 기술을 제안했다. 제안된 공간 적응적 정칙화 영상복원 알고리즘의 수렴성을 비적응적 정칙화 알고리즘과 비교하여 분석하였다. 또한, 적응적 정칙화 영상복원에 대한 일반화된 수식을 정의하고 기존에 제안되었던 적응적 영상복원 기술과의 관계를 정리했다. 실험 결과를 통해서 제안된 방향성 라플라시안 정칙화 영상복원 알고리듬이 기존의 비적응적 영상복원에 비교하여 개선된 화질을 보장할 수 있다는 결론을 얻을 수 있었다. 특히 영상에 잡음이 포함된 경우 평탄한 영역에서 고주파 잡음 성분을 효과적으로 억제하면서 에지와 같은 고주파 성분은 방향성 라플라시안 정칙화를 통해 보존할 수 있다는 것을 확인했다.

향후 일반화된 적응적 정칙화 영상복원 이론의 연장선에서 l_p 노름으로 정의된 정칙화 항으로 확장하여 적응적 정칙화 영상복원 기술의 비교 분석을 수행하고, 제안된 알고리즘을 컬러 채널에서 적용하기 위해서 적합한 컬러 모델에서의 알고리즘 개발로 연구 분야를 확장할 수 있을 것으로 기대한다.

References

• H. C. Andrew and B. R. Hunt, "Digital Image Restoration", Prentice-Hall, 1977.
• A. K. Katsaggelos, "Iterative image restoration algorithms", Optical Engineering, Vol. 28, pp. 735-748, 1989. [https://doi.org/10.1117/12.7977030]
• N. Wiener, "Extrapolation, interpolation and smoothing of stationary time series", MIT Press, 1964.
• L. Lucy, "An iterative technique for the rectification of observed distributions", Astronomical Journal, Vol. 79, No. 6, pp. 745-754, Jun. 1974. [https://doi.org/10.1086/111605]
• Y. Wang, J. Yang, W. Yin, and Y. Zhang, "A new alternating minimization algorithm for total variation image reconstruction", SIAM J. Imaging Sciences, Vol. 1, No. 3, pp. 248-272, Aug. 2008. [https://doi.org/10.1137/080724265]
• J. H. Lee and Y. S. Ho, "High-quality non-blind image deconvolution with adaptive regularization", J. Vis. Commu. Image R., Vol. 22, No. 7, pp. 653-663, Oct. 2011. [https://doi.org/10.1016/j.jvcir.2011.07.010]
• J. Shen, F. Xu, M. Xu, Y. Yang, R. Wang, and L. Zhang, "Super-resolution reconstruction based on tukey norm and adaptive bilateral total variation", International Journal of Signal Processing, Image Processing and Pattern Recognition, Vol. 9, No. 5, pp. 399-416, May 2016. [https://doi.org/10.14257/ijsip.2016.9.5.36]
• H. Takeda, S. Farsiu, and P. Milanfar, "Deblurring Using Regularized Locally Adaptive Kernel Regression", IEEE Transaction Image Processing, Vol. 17, No. 4, pp. 550-563, Apr. 2008. [https://doi.org/10.1109/TIP.2007.918028]
• R. D. Kongskov, Y. Dong, and K. Knudsen, "Directional total generalized variation regularization", BIT Numerical Mathematics, Vol. 59, pp. 903–928, May 2019. [https://doi.org/10.1007/s10543-019-00755-6]
• D. Ghosh, N. Kaabouch, and W. C. Hu, "A robust iterative super-resolution mosaicking algorithm using an adaptive and directional Huber-Markov regularization", J. Vis. Commu. Image R., Vol. 40, pp. 98-110, Oct. 2016. [https://doi.org/10.1016/j.jvcir.2016.06.008]