원격탐사 영상의 안개제거 알고리즘을 위한 안개 합성 영상 생성 방법

Ⅰ. 서 론

최근 카메라와 같은 관측 장비와 컴퓨터의 급격한 발달로 인공위성, 항공기, 드론 등을 이용한 원격탐사(Remote sensing) 응용 기술도 발전하고 있다[1][2]. 원격탐사는 지표를 원격으로 탐사하는 기술로 국토, 재해, 해양 수산 관리 등에 활용할 수 있고, 최근에는 드론을 이용하여 사람이 접근하기 어려운 지역의 실종자 수색, 산불 탐지, 해상 구조 등 여러 사회적 문제를 해결하고 있다. 하지만 상공 또는 우주에서 카메라를 사용하는 만큼 안개나 구름 등의 기상 상태에 많은 영향을 받아 영상의 화질이 저하될 수 있고, 이러한 문제점을 보완하기 위해 머신러닝, 딥러닝을 이용한 안개 및 구름 제거 연구가 이루어지고 있다[3]-[5]. 머신러닝과 딥러닝은 다수의 입력 데이터를 분석하여 규칙을 학습하는 방식으로 학습 종류에 따라 정답 데이터도 함께 제공한다. 따라서 학습 기반 안개제거 알고리즘을 개발하기 위해서는 동일한 장소에서 촬영한 안개 없는 깨끗한 영상(Ground-truth)과 안개로 인해 왜곡된 영상이 필요하다. 하지만 실제 동일한 장소에서 두 종류의 영상을 모두 얻는 것은 안개 외의 모든 조건이 동일해야 하므로 매우 어렵다. 따라서 많은 연구자는 학습을 위한 데이터 세트로 안개 합성 영상을 사용한다[6][7].

일반적으로 실제 안개 영상은 촬영 지점에 따라 안개 밀도와 안개 분포 범위가 다르게 나타난다. 우선 지상에서 촬영한 영상은 안개가 근거리에 있어 대체로 안개 밀도가 낮고 넓게 퍼져있다. 하지만 상공 또는 우주에서 촬영한 영상은 안개가 원거리에 존재하므로 안개 밀도가 높고 안개 분포가 지역적인 경우가 많다. 따라서 안개 합성 영상을 생성할 때 촬영 지점을 고려할 필요가 있다.

지상의 근거리 안개 합성 영상은 대기 산란 모델을 기반으로 깊이 맵과 대기 강도를 결정하여 합성하는 방법이 많이 사용된다. Zhu는 픽셀값 범위가 (0,1)인 표준 균일 분포의 랜덤 깊이 맵과 0.85~1 사이의 랜덤 대기 강도를 이용하여 500장의 안개 합성 영상을 생성하였고[8], Ngo는 균일 분포 (0,1)의 모든 픽셀값의 빈도수가 같지 않다는 문제를 해결하기 위해 등분포로 랜덤 깊이 맵을 생성하였다[9]. 하지만 이 방법은 자연스러운 안개가 아닌 인위적인 노이즈 형태로 나타난다는 문제가 있다.

반면 상공 또는 우주에서 촬영한 원거리 안개 합성 영상은 관련 연구가 많이 이루어지고 있음에도 불구하고 사용할 수 있는 데이터 세트가 부족하며 일반적으로 사용되는 Public 데이터 세트가 거의 없다. 따라서 많은 연구자는 대기 산란 모델과 Google earth나 Landsat-8 등과 같은 위성 영상을 이용하여 안개를 합성한다[5]-[7].

본 논문에서는 원거리 안개 영상의 데이터 세트 부족에 대한 문제를 해결하기 위해 원격탐사 영상의 안개 합성 영상 생성 알고리즘을 제안한다. 제안하는 방법은 Zhu와 Ngo의 대기 강도 및 전달량 결정 방법을 참고하였지만, 기존보다 자연스러운 안개를 표현하기 위해 새로운 전달량 생성 방법을 개발하였다. 이는 LPF를 통해 랜덤 가우시안 노이즈의 고주파를 제거하는 방식으로 사용하는 영상에 따라 원하는 안개 밀도 및 안개 분포 범위를 설정할 수 있다.

본 논문의 구성은 다음과 같다. 2장에서 대기 산란 모델과 기존의 안개 합성 방법에 대해 설명하고, 3장에서 제안하는 알고리즘에 대해 설명한다. 4장에서는 알고리즘 구현 결과를 제시하고, 5장에서 결론을 서술하였다.

Ⅱ. 배경 이론

2.1 대기 산란 모델

그림 1과 같이 안개 영상은 물체로부터 반사된 빛이 안개로 인해 산란되어 카메라로 전달되지 못하거나 안개로 인해 반사된 외부 빛이 카메라로 전달되어 원래의 물체가 왜곡된 형태로 생성된다. 식 (1)의 대기 산란 모델(Atmospheric scattering model)은 이러한 안개 영상을 모델링한 식으로 안개 제거 또는 합성 알고리즘에 사용할 수 있다[10].

$\[ I\left(x,y\right)=J\left(x,y\right)t\left(x,y\right)+A\left(1-t\left(x,y\right)\right) \]$

(1)

Fig. 1.

Haze image generation

식 (1)에서 I는 안개로 인해 왜곡된 영상, J는 안개가 없는 깨끗한 영상, x와 y는 각각 영상의 픽셀 좌표이다. 그리고 t는 전달량, A는 대기 강도이고 모든 요소의 범위는 0~1이다.

또한, 그림 1과 같이 J(x,y)t(x,y)는 안개로 인해 산란되지 않은 물체 빛의 비율이고, A(1 - t(x,y)는 전달되는 대기 강도의 비율이다. 따라서 전달량 t가 1에 가까울수록 왜곡이 없는 깨끗한 영상이 나오고, 대기 강도 A는 일반적으로 1에 가까운 값을 가진다.

Ⅲ. 제안하는 알고리즘

앞서 설명한 Zhu와 Ngo의 안개 생성 방식은 랜덤 깊이 맵을 통해 전달량을 생성하므로 실제 안개와 같이 자연스러운 형태가 아닌 인위적인 노이즈 형태로 나타난다. 또한 모든 실제 안개 영상은 일반적으로 촬영 지점에 따라 안개 밀도와 안개 분포 범위가 다르게 나타난다. 이에 따라 제안하는 알고리즘에서는 실제 안개와 유사한 형태의 안개 합성 영상을 생성할 수 있고, 사용하는 영상에 따라 원하는 안개 밀도와 안개 분포 범위를 선택할 수 있는 전달량 생성 방법을 개발하였다.

우선 제안하는 알고리즘의 전체 흐름은 그림 2와 같다. Google earth나 Landsat 등을 이용하여 안개가 없는 위성 영상을 수집하고, 식 (1)의 대기 산란 모델에서 대기 강도 A와 전달량 t를 결정한다.

Fig. 2.

Block diagram of the proposed algorithm

대기 강도는 일반적으로 1에 가까운 값을 가지므로 0.8에서 1 사이의 랜덤 값을 사용하고, 전달량은 0에서 1 사이의 랜덤 가우시안 노이즈와 LPF를 이용하여 생성한다. 대기 강도와 전달량이 결정되면 대기 산란 모델에 적용하여 안개 합성 영상을 생성한다.

전달량은 LPF를 이용해 랜덤 가우시안 노이즈의 고주파를 제거하는 방식으로 생성하고, 이는 단순히 노이즈만 사용하는 것보다 자연스러운 안개 형태를 가진다. 또한 필터의 주파수 통과 범위를 설정하여 안개 분포 범위를 선택할 수 있고, 전달량 밀도를 설정하여 안개 밀도에 따른 안개 없는 영상(Haze-free), 옅은 안개 영상(Thin haze), 적당한 안개 영상(Moderate haze), 짙은 안개 영상(Dense haze)을 생성할 수 있다. 자세한 방법은 그림 3과 같다[11].

Fig. 3.

Method to create new transmission

첫 번째로 평균이 0이고 분산이 1인 표준 정규 분포의 랜덤 가우시안 노이즈를 생성한다. 생성한 노이즈는 그림과 같이 주변 픽셀과 값의 차이가 큰 고주파 부분과 값의 차이가 작은 저주파 부분이 고루 분포한다. 두 번째로 생성한 노이즈를 FFT를 통해 주파수 영역으로 변환한다. 필터 적용 시, 공간 영역의 컨볼루션 연산보다 주파수 영역의 단순 곱셈 연산이 더 간단하므로 주파수 영역에서 계산하였다. 변환한 영상은 중심에서 외각으로 갈수록 주파수가 높아지므로 가우시안 노이즈는 대부분의 주파수를 가지고 있음을 알 수 있다. 세 번째로 저역 통과 필터 LPF(Low Pass Filter)를 통해 노이즈의 고주파를 제거한다.

LPF는 식 (3)-(5)와 같이 설계하였다. 가우시안 노이즈의 너비가 W이고, 높이가 H일 때, LPF의 크기도 동일하고, x는 1~W, y는 1~H의 범위를 가진다. 그림 3에서는 W=600, H=600인 영상을 사용하였다. 또한 Factor는 LPF의 주파수 통과 범위를 결정하는 변수로, 안개 분포 범위를 결정할 수 있는 값이다. 이에 대한 자세한 내용 및 결과는 4장에서 설명한다. 네 번째로 IFFT를 통해 필터링 결과를 공간 영역으로 변환한다. 이러한 과정을 통해 픽셀값의 차이가 큰 고주파 부분이 사라져 부분적으로 밀도가 다른 자연스러운 전달량을 생성할 수 있다. 또한 전달량은 그림 2와 같이 흰색에 가까울수록 깨끗한 원본 영상의 전달률이 높다.

마지막으로 식 (6)과 같이 전달량의 밀도를 결정한다. 전달량 t(x,y)는 0에서 1 사이의 값이므로 변수 Density가 높아질수록 전달량은 작아지고 안개의 밀도는 높아진다. 이에 대한 자세한 내용 및 결과도 4장에서 설명한다.

Ⅳ. 실험 및 결과

Ⅲ장에서 설명한 것과 같이 제안하는 알고리즘은 원격탐사 영상에서 자연스러운 안개를 합성할 수 있고, 필터의 주파수 통과 범위 및 전달량 밀도 조정을 통해 안개 분포 범위 및 안개 밀도를 직접 선택할 수 있다. 알고리즘은 MATLAB 2019a를 통해 구현 및 테스트하였고, 입력 영상은 Google earth에서 직접 캡처한 위성 영상을 사용하였다.

그림 4는 식 (3) LPF의 주파수 통과 범위에 따른 안개 분포이다. (a)는 입력 영상, (b)는 Factor가 0일 때, (c)는 Factor가 1일 때, (d)는 Factor가 2일 때의 안개 분포이다. 이에 따라 Factor의 값이 클수록 주파수 통과 범위가 좁아져 고주파 부분이 많이 제거되고 안개 분포가 좁아지는 것을 알 수 있다.

Fig. 4.

Haze distribution range according to the frequency pass range

다음으로 그림 5는 전달량 밀도에 따른 안개 밀도이고, 최근 Ngo가 제안한 안개 밀도 정량화 방법인 HDE(Haziness Degree Evaluator)를 사용하여 안개 밀도 변화를 평가하였다[12][13]. HDE의 범위는 0에서 1 사이고, 안개 밀도가 증가할수록 1에 가까운 값을 가진다. 또한 Ngo는 HDE를 통해 안개 밀도를 분류하였는데, HDE가 0.8811보다 낮으면 안개 없음(Haze-free), 0.8811~0.9078이면 옅은 안개(Thin haze), 0.9078~0.9344이면 적당한 안개(Moderate haze), 0.9344 보다 높으면 짙은 안개(Dense haze)라고 분류하였다[13]. 이에 따라 그림 5(b)는 Density가 0.0이므로 HDE가 입력 영상이랑 동일한 0.7704이고, 안개 없는 영상으로 분류할 수 있다. (c)는 density가 0.9일 때 HDE가 0.8896인 옅은 안개 영상이고, (d)는 density가 1.5일 때, HDE가 0.9149인 적당한 안개 영상이다. 마지막으로 (e)는 density가 2.4일 때, HDE가 0.9366인 짙은 안개 영상이다. 따라서 그림 4와 그림 5의 결과를 통해 제안하는 알고리즘은 사용자가 원하는 다양한 형태의 안개 생성이 가능함을 알 수 있다.

Fig. 5.

Haze density according to transmission density

Ⅴ. 결 론

최근 원격탐사 응용 기술이 발전하면서 화질 개선을 위한 머신러닝, 딥러닝 기반 안개제거 알고리즘 연구도 증가하고 있다. 하지만 알고리즘의 학습을 위한 데이터 세트는 여전히 부족하다. 본 논문에서는 이러한 문제를 해결할 수 있는 안개 합성 영상 생성 알고리즘을 제안한다.

제안하는 알고리즘은 대기 산란 모델을 기반으로 대기 강도와 전달량을 결정하는 방식이고, 전달량을 결정하기 위해 랜덤 가우시안 노이즈와 LPF를 사용하였다. 전달량은 랜덤 가우시안 노이즈의 고주파를 제거하여 부분적으로 밀도가 다른 구름 형태의 자연스러운 안개를 생성하는 방식이고, 필터의 주파수 통과 범위 및 전달량 밀도 설정을 통해 사용자가 원하는 안개 분포 범위 및 안개 밀도를 선택할 수 있도록 개발하였다. 또한 Ngo가 제안한 HDE를 통해 전달량 밀도 변화에 따른 안개 밀도 변화를 검토하였고, 이에 따라 제안하는 알고리즘은 원격탐사 영상의 안개제거 알고리즘에서 사용되는 데이터 세트를 생성하기 위해 사용할 수 있다.

Acknowledgments

This paper was supported by research funds form Dong-A University

References

• X. Wang, W. Jiang, J. Li, J. Wu, Y. Chen, A. Gong, H. Tang, and J. Yue, "Using Remote Sensing to Monitor the Water Change of Xiong'an New Area", IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium, pp. 4415-4418, Jul. 2019. [https://doi.org/10.1109/IGARSS.2019.8897994]
• L. Yang, J. Song, L. Han, X. Zhu, and X. Wang, "Monitoring and Risk Assessment of High-Temperature Heat Damage for Summer Maize Based on Remote Sensing Data", IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium, pp. 2909-2912, Sep. 2020. [https://doi.org/10.1109/IGARSS39084.2020.9323336]
• J. Long, Z. Shi, W. Tang, and C. Zhang, "Single Remote Sensing Image Dehazing", IEEE Geoscience and Remote Sensing Letters, Vol. 11, No. 1, pp. 59-63, Jan. 2014. [https://doi.org/10.1109/LGRS.2013.2245857]
• J. Long, Z. Shi, and W. Tang, "Fast haze removal for a single remote sensing image using dark channel prior", 2012 International Conference on Computer Vision in Remote Sensing, pp. 132-135, Dec. 2012.
• J. Guo, J. Yang, H. Yue, H. Tan, C. Hou, and K. Li, "RSDehazeNet: Dehazing Network With Channel Refinement for Multispectral Remote Sensing Images", IEEE Transactions on Geoscience and Remote Sensing, Vol. 59, No. 3, pp. 2535-2549, Jul. 2020. [https://doi.org/10.1109/TGRS.2020.3004556]
• X. Pan, F. Xie, Z. Jiang, Z. Shi, and X. Luo, "No-reference assessment on haze for remote-sensing images", IEEE Geoscience and Remote Sensing Letters, Vol. 13, No. 12, pp. 1855-1859, Oct. 2016. [https://doi.org/10.1109/LGRS.2016.2614890]
• D. Lin, G. Xu, X. Wang, Y. Wang, X. Sun, and K. Fu, "A remote sensing image dataset for cloud removal", Computer Vision and Pattern Recognition, pp. 1-4, Jan. 2019.
• Q. Zhu, J. Mai, and L. Shao, "A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior", IEEE Transactions on Image Processing, Vol. 24, No. 11, pp. 3522-3533, Jun. 2015. [https://doi.org/10.1109/TIP.2015.2446191]
• D. Ngo, G. D. Lee, and B. Kang, "Improved Color Attenuation Prior for Single-Image Haze Removal", Applied Sciences, Vol. 9, No. 19, pp. 4011-4032, Sep. 2019. [https://doi.org/10.3390/app9194011]
• Z. Lee and S. Shang, "Visibility: How Applicable is the Century-Old Koschmieder Model?", J. Atmos. Sci., pp. 4573-4581, Nov. 2016. [https://doi.org/10.1175/JAS-D-16-0102.1]
• S. Lee, D. Ngo, and B. Kang, "Design of an FPGA-Based High-Quality Real-Time Autonomous Dehazing System", Remote Sensing, Vol. 14, No. 8, pp. 1852-1879, Apr. 2022. [https://doi.org/10.3390/rs14081852]
• D. Ngo, G.-D. Lee, and B. Kang, "Haziness Degree Evaluator: A Knowledge-Driven Approach for Haze Density Estimation", Sensors, Vol. 21, No. 11, pp. 3896-3927, Jun. 2021. [https://doi.org/10.3390/s21113896]
• D. Ngo, S. Lee, G.-D. Lee, and B. Kang, "Automating a Dehazing System by Self-Calibrating on Haze Conditions", Sensors, Vol. 21, No. 19, pp. 6373-6398, Sep. 2021. [https://doi.org/10.3390/s21196373]