랜덤 노이즈를 이용한 안개 합성 영상 생성 방법

Ⅰ. 서 론

인간의 시각적 인식 능력을 모방하는 비전 인식 기술의 발전은 기계가 인간을 대신하여 다양한 분야에서 수많은 일을 수행할 수 있게 하였다. 예를 들어, 카메라 등을 이용해 지구의 표면을 관측하고 이를 통해 지구의 자원 분포, 기후 변화 등의 정보를 수집하고 분석하는 위성 탐사 분야에 비전 인식 기술이 활용된다. 또한 무인 항공기에도 적용되어 인간 대신 다양한 일을 수행하며, 산불 탐지, 지능형 CCTV, 산업용 로봇 등 다양한 분야에서 비전 인식 기술이 활용된다. 비전 인식 기술은 카메라, 라이더, 레이더 등의 센서를 이용하여 물체나 장면을 포착한 후, 인공 지능 기술 기반으로 물체를 인식한다. 특히, 카메라 센서는 다른 센서 대비 가격 경쟁력이 우수하고 물체의 질감, 색상, 대비 정보를 확보할 수 있어 산업에서의 시장성이 뛰어나다. 그러나 구름, 안개 등과 같은 악천후 조건에서는 물체가 흐릿하게 보이는 등 화질이 저하되어 인식률이 떨어진다[1]. 따라서 이를 위해 구름이나 안개를 제거해 주는 안개 제거 알고리즘이 사용된다. 안개 제거 알고리즘은 주로 머신러닝이나 딥러닝 등을 이용해 안개 영상(Hazy image)과 그에 대응하는 안개 없는 영상(Ground truth)의 데이터 세트를 학습시켜 개발된다[2]-[5]. 이때 안개는 촬영하는 지역의 특성과 기온에 따라 밀도와 분포가 상이하다. 안개는 밀도에 따라 무 안개, 옅은 안개, 보통 안개, 짙은 안개로 구분할 수 있다. 또한 안개의 분포가 전체적으로 골고루 퍼져 있는 HG(Homogeneous) 안개와 지역적인 NHG(Non-Homogeneous) 안개로 구분할 수 있다. HG 분포는 주로 근거리(지상)에서 촬영한 영상에서 관찰되며, NHG 분포는 위성 영상과 같이 원거리에서 촬영한 영상에서 관찰된다. 이처럼 다양한 안개의 특성을 반영하는 데이터 세트를 촬영을 통해 얻는 것은 현실적으로 어려우므로, 대부분의 연구자들은 안개 없는 영상에 임의의 안개를 합성한 안개 합성 영상을 생성하여 사용한다[4]-[6].

Q. Zhu et al.[4]는 (0,1) 범위의 랜덤 표준 균일(Standard uniform) 분포를 이용해 안개 합성 영상을 생성하였고, Y. Jiang et al.[5]은 [0.01,3] 범위의 랜덤 값을 이용해 층(Layer)을 생성하여 안개 합성 영상을 생성하였다. 이러한 방식들은 실제 안개 분포를 고려하지 않기에 부자연스러운 안개를 생성하여 학습 데이터 세트로 사용하기에 적절하지 않다. U. J. Kang and B. Kang[6]은 랜덤 가우시안(Gaussian) 분포에 저역 통과 필터링(LPF, Low-Pass Filtering)을 수행하여 사용자가 원하는 안개 밀도 및 분포 범위를 가지는 안개 합성 영상 생성 방법을 제안하였다. 해당 방식은 안개의 밀도와 분포를 고려하였지만, HG로 안개의 분포가 가까워질수록 잡음처럼 보이는 문제가 있다.

본 논문에서는 사용자가 원하는 밀도 및 분포를 가지는 안개 합성 영상을 생성하는 방법을 제안한다. 제안하는 방법은 안개 분포 종류에 따라 다른 방법을 적용한다. 먼저 HG 안개의 경우, 랜덤 노이즈를 생성한 후, 정규화와 LPF를 이용하여 생성한다. NHG 안개의 경우, Kang이 제안한 방식에 후처리 과정을 추가함으로써 기존 방식에서 발생한 잡음처럼 보이는 문제를 해결하고, 이를 통해 보다 자연스러운 안개를 생성한다. 또한, 하나의 랜덤 분포만을 사용한 선행 연구와 달리, 가우시안 분포와 표준 균일 분포 두 가지의 랜덤 분포를 활용해 안개를 생성한 후, 그 결과를 비교 분석한다.

Ⅱ. 관련 연구

2.2 기존 안개 생성 방법

그림 1은 U. J. Kang and B. Kang[6]이 제안한 안개 합성 영상 생성 방법으로, 식 (1)의 안개 전달량 맵을 구하는 과정을 나타낸 것이다. 먼저 평균이 0이고 표준편차가 1인 랜덤 가우시안 노이즈를 생성한 후, 고속 푸리에 변환(FFT, Fast Fourier Transform)을 수행하여 주파수 영역으로 도메인을 변환해 준다. 그런 다음 LPF를 수행하여 고주파 영역을 제거해 준다.

$\[ {\mathrm{L}\mathrm{P}\mathrm{F}}_{-}1=\frac{1}{{\left(W_{LPF}^2+H_{LPF}^2\right)}^{BW}} \]$

(2)

$\[ W_{LPF}=-\frac{W}{2}+\left(x-1\right) \]$

(3)

$\[ H_{LPF}=-\frac{H}{2}+\left(y-1\right) \]$

(4)

Fig. 1.

Kang’s proposed haze generation method

식 (2)∼(4)[6]는 LPF에 사용되는 저역 통과 필터인 LPF_1를 생성하는 수식으로, 주파수 영역에서의 필터링이기에 필터의 크기는 가우시안 노이즈의 크기와 동일하다. W, H는 각각 가우시안 노이즈의 너비와 높이를 나타낸 것이고, x = 1,2,⋯,W, y = 1,2,⋯,H 이다. BW는 주파수 통과 범위를 설정하는 사용자 정의 파라미터로, 값이 커질수록 LPF_1의 주파수 통과 범위가 좁아진다. LPF_1을 통과한 잡음을 다시 고속 푸리에 역변환(IFFT, Inverse Fast Fourier Transform)을 수행하여 공간 도메인으로 변환해 준 후, 식 (5)[6]을 통해 안개 전달량 맵의 밀도를 조절한다.

$\[ t_D\left(x\right)=t_I{\left(x\right)}^D \]$

(5)

식 (5)에서 t_I는 IFFT를 통과한 안개 전달량 맵, t_D는 밀도가 변경된 안개 전달량 맵이다. D는 사용자 정의 파라미터로, t_I의 범위가 [0,1] 이기에 값이 클수록 t_D의 값은 작아져 안개 밀도가 높아진다. 최종 생성된 안개 전달량 맵과 0.8∼1 사이의 랜덤 값을 대기 강도로 사용하여 식 (1)에 대입하면, 안개 합성 영상을 생성할 수 있다.

그림 2는 Google earth[8]에서 직접 얻은 위성 영상 사진을 입력 영상으로 사용하여, BW를 0.3, 1.3, 2.3으로 설정했을 때 생성된 안개 합성 영상을 나타낸 것이다. 먼저 BW가 0.3인 경우 주파수 통과 영역을 넓게 가져가고, HG 분포의 안개를 생성할 수 있다. 하지만 노이즈의 고주파 성분을 대부분 가져가기 때문에 생성된 결과가 잡음처럼 보이게 된다. BW가 1.3인 경우도 마찬가지로, 생성된 결과가 0.3 일 때 보다는 덜하지만, 여전히 잡음처럼 보이는 것을 확인할 수 있다. 반면 BW가 2.3인 경우는 주파수 통과 영역을 좁게 가져가는 것으로, NHG 분포의 안개를 생성할 수 있다. 또한 주파수 통과 영역을 좁게 가져가 노이즈의 고주파 성분이 대부분 제거되어 자연스러운 안개를 생성할 수 있다.

Fig. 2.

Haze synthetic images according to frequency pass range (a) Input image, (b) BW=0.3, (c) BW=1.3, (d) BW=2.3

Ⅲ. 제안하는 방법

3.1 Homogeneous 안개 전달량 맵 생성

앞에서 설명한 Kang이 제안하는 방식은 HG 분포에 가까운 안개 생성 시 안개가 잡음처럼 보이는 문제가 있다. 따라서 본 논문에서는 HG 안개 생성 시 정규화와 LPF를 통해 자연스러운 안개 합성 영상을 생성하는 새로운 방법을 제안한다. HG 안개의 특징은 안개의 분포가 전체적으로 고르게 퍼져 있는 것이다. 따라서 식 (1)의 안개 전달량 맵의 값의 분포가 하나의 값에 모여 있을수록 HG 안개를 생성할 수 있다. 먼저 가우시안 또는 표준 균일 분포를 가지는 랜덤 노이즈를 생성한다. 노이즈를 생성한 후, 식 (6)의 정규화 수식을 이용해 식 (1)의 안개 전달량 맵의 범위인 [0,1]로 변경해 준다.

$\[ t_N\left(x\right)=\frac{n\left(x\right)-N_{\text{min}}}{N_{\text{max}}-N_{\text{min}}} \]$

(6)

식 (6)에서 n은 생성된 노이즈를 의미하며 N_max, N_min은 각각 정규화 최댓값, 최솟값이고 t_N은 정규화 된 안개 전달량 맵이다. 본 논문에서는 평균이 0이고 표준편차가 1인 랜덤 가우시안 분포의 최솟값, 최댓값인 [–5,5]를 기준으로 N_min= –5, N_max= 5로 설정해 주었다. 이에 따라 노이즈의 범위는 정규화 범위를 벗어나지 않도록 생성해 주어야 한다. 이때 정규화 된 안개 전달량 맵의 값이 0에 가까울수록 식 (1)에 의해 안개의 밀도가 짙어지므로, 생성하는 노이즈 값의 분포가 –5에 몰려 있을수록 안개의 밀도가 짙어진다. 마지막으로 정규화를 거친 안개 전달량 맵에 5×5 크기의 평균값 필터를 이용해 LPF를 수행하면, 최종 HG 분포를 가지는 안개 전달량 맵을 생성할 수 있다. 그림 3은 HG 안개 전달량 맵의 생성 단계 및 각 단계 별 히스토그램을 나타낸 것이다. 임의로 [–1,1] 범위를 가지는 가우시안 분포와 표준 균일 분포를 이용해 랜덤 노이즈를 생성하였으며, 마지막 단계인 LPF를 통과하면 안개 전달량 맵의 분포가 하나의 값에 모여 있는 것을 확인할 수 있다.

Fig. 3.

HG haze generation process and histogram by step

3.2 Non-homogeneous 안개 전달량 맵 생성

그림 4는 NHG 안개 생성 과정을 나타낸 것이다. 그림 1의 Kang이 제안하는 방법을 사용하되, 주파수 통과 범위가 넓어질 때의 생성된 결과가 잡음처럼 보이는 단점을 보완하기 위해 후처리 과정으로 공간 영역에서의 LPF 과정인 LPF_2를 추가 해 주었다.

Fig. 4.

NHG haze generation process

또한 가우시안 분포만을 사용하는 Kang과는 달리 표준균일분포를 추가로 사용하여 안개를 생성하였으며, 분포 차이에 따른 생성 결과는 4장에서 설명 된다. NHG 안개를 생성하는 방법은 먼저 가우시안 분포 또는 표준 균일 분포를 가지는 랜덤 노이즈를 생성한 후, FFT를 수행하여 주파수 영역에서의 필터링인 LPF_1을 수행해 준다. LPF_1을 수행 후, IFFT를 통해 공간 영역으로 다시 변환하여 [0,1] 범위로 식 (6)을 이용해 정규화를 진행해 준다. 이때 정규화 최댓값, 최솟값은 IFFT 결과 픽셀의 최댓값, 최솟값을 이용한다. 마지막으로 5×5 평균값 필터를 사용하여 LPF_2를 수행한다. 그림 4에서 알 수 있듯이, LPF_2 과정을 거친 결과, 잡음처럼 보이던 안개 전달량 맵이 부드러워져, LPF_2 과정을 수행하기 전보다 자연스러운 안개 전달량 맵이 생성된 것을 확인할 수 있다. 최종으로 생성된 안개 전달량 맵에 식 (5)를 적용하면, 원하는 밀도를 가지는 안개 전달량 맵을 얻을 수 있다.

Ⅳ. 실험 및 결과

3장에서 생성한 HG 및 NHG 분포의 안개 전달량 맵을 식 (1)에 적용하면 안개 합성 영상을 생성할 수 있다. 이때 대기 강도는 Kang과 동일하게 0.8에서 1 사이의 랜덤 값을 사용하였다[6].

그림 5는 랜덤 가우시안 노이즈의 표준편차를 0.1로 하고 평균을 –2, 0, 2로 변화시켰을 때 HG 안개의 밀도 변화를 나타낸 것이다. 입력 영상은 Flickr[9]에서 수집한 영상을 사용하였다. 안개 밀도 측정은 Ngo가 제안한 흐릿함 농도 평가기(HDE, Haziness Degree Evaluator)를 이용하였으며, 1에 가까울수록 안개의 밀도가 높음을 의미한다[10]. HDE 측정을 통해, 가우시안 노이즈의 평균이 정규화 최솟값인 –5에 가까워질수록 안개의 밀도가 높아지는 것을 확인할 수 있다. 이를 통해 표준 정규 분포를 이용해 생성한 랜덤 노이즈 또한 –5에 가까운 분포를 생성할수록 밀도가 높은 안개 영상을 생성할 수 있는 것을 알 수 있다.

Fig. 5.

HG haze density according to changes in mean of gaussian distribution (a) Input image, (b) Mean=2, (c) Mean=0, (d) Mean=-2

그림 6은 Kang과 동일하게 평균이 0, 표준 편차가 1인 랜덤 가우시안 노이즈를 생성하여, 주파수 통과 범위의 변화에 따른 안개 분포 변화에 대해 나타낸 것이다. 주파수 통과 범위 조절 파라미터인 BW가 커질수록 지역적인 분포를 가지는 안개가 생성되는 것을 확인할 수 있다. 또한 후처리 과정으로 LPF_2를 수행해 주었기에 그림 6의 (b), (c) 결과가, Kang이 제안하는 결과인 그림 2의 (b), (c)보다 실제 안개 분포에 가까운 자연스러운 안개가 생성된 것을 확인할 수 있다.

Fig. 6.

Haze distribution changes according to BW changes (a) Input image, (b) BW=0.3, (c) BW=1.3, (d) BW=2.3

또한, (b)와 같은 HG 분포의 경우, 본 논문의 3장 1절에서 새로 제안하는 방법을 사용하면, FFT 같은 비교적 복잡한 수식을 사용하지 않고도 그림 5와 같이 HG 분포를 가지는 안개를 간단히 생성할 수 있다.

식 (5)의 D 변화에 따른 안개 밀도 변화는 그림 7을 통해 확인할 수 있다. D의 값을 0.5, 1.5로 하여 안개 밀도를 관찰했을 때, 1.5로 값을 설정한 경우 더 짙은 안개를 생성한 것을 확인할 수 있다.

Fig. 7.

Change in haze density according to D (BW=2.3) (a) D=0.5, (b) D=1.5

아래 그림 8은 NHG 안개 생성 시 사용한 랜덤 노이즈를 가우시안 분포와 표준 균일 분포로 사용했을 때, 최종 생성된 안개 전달량 맵의 히스토그램을 나타낸 것이다. 분포의 종류 외에 나머지 조건을 모두 동일하게 설정하였다. 생성된 안개 전달량 맵의 히스토그램은 가우시안 분포를 사용 시 0에 가까운 분포가 더 많은 것을 관찰할 수 있다. 따라서 가우시안 분포 사용 시, 동일한 조건으로 표준 균일 분포 보다 더 짙은 안개를 생성할 수 있다.

Fig. 8.

Comparison of histogram distributions of NHG transmission maps according to types of random noise

그림 9는 그림 8의 BW=2.3인 경우 생성된 안개 합성 영상을 나타낸 것이다. HDE를 이용해 안개 밀도 측정 시, 가우시안 분포를 사용한 결과가 더 짙은 안개를 생성하는 것을 확인할 수 있다. 따라서 사용자가 원하는 밀도의 안개를 더 효과적으로 생성할 수 있는 분포를 선택해 안개 합성 영상을 생성할 수 있다.

Fig. 9.

Comparison of NHG haze density according to types of random noise at BW=2.3 (a) Gaussian distribution, (b) Standard uniform distribution

4장을 통해, 본 논문에서 제안하는 방법은 HG 안개의 경우 간단한 연산을 통해 쉽게 생성할 수 있는 것을 보였다. NHG 안개 또한 Kang이 제안하는 방법보다 더 자연스러운 안개를 생성할 수 있는 것을 보였다. 또한 HG의 경우 노이즈 생성 범위 조절을 통해 안개 밀도를 조절할 수 있으며, NHG의 경우 식 (5)를 통해 안개 밀도를 조절할 수 있다. 이때, NHG를 생성하는 랜덤 노이즈를 가우시안 분포로 사용한 경우, 표준 정규 분포를 사용했을 때 보다 더 짙은 안개를 생성할 수 있는 것을 실험을 통해 확인하였다.

Ⅳ. 결 론

본 논문에서는 랜덤 노이즈를 이용한 안개 합성 영상 생성 방법을 제안하였다. 제안하는 방법은 대기 산란 모델을 기반으로, 안개 전달량 맵을 생성하여 안개 합성 영상을 생성한다. 먼저 안개의 분포가 HG인 경우, 랜덤 가우시안 분포 또는 랜덤 표준 균일 분포를 생성한 후, 정규화와 LPF를 이용하여 생성한다.

또한, 노이즈의 분포 값을 조절함으로써, 원하는 밀도의 HG 안개를 생성할 수 있다. NHG 안개는 Kang이 제안하는 방법을 사용하여 생성한다. 이 방법은 주파수 통과 범위를 조절하여 원하는 안개 분포를 생성하는 것이다. 이때, 주파수 통과 범위가 넓어질수록 잡음처럼 보이는 문제가 있기에 후처리 과정으로 LPF를 추가해 주었다. 따라서 Kang이 제안하는 방법보다 더 자연스러운 안개를 생성할 수 있다. 또한, 생성하는 랜덤 노이즈의 종류에 따른 안개 전달량 맵의 히스토그램 비교를 통해, 가우시안 분포를 사용할 때 표준 균일 분포보다 더 짙은 안개를 생성할 수 있다는 것을 보였다. 제안한 방법은 실험을 통해 원하는 안개 분포와 밀도를 가지는 영상을 생성할 수 있는 것을 확인했으며, 이를 통해 다양한 안개 조건에 대한 대응력을 높일 수 있다. 하지만, 안개 분포가 전체적으로 균일한 경우, 영상에 따라 거리감이 있는 장면에서는 멀리 있는 지점과 가까이 있는 지점의 안개 밀도가 동일하게 나타나므로 다소 어색하게 보일 수 있는 단점이 존재한다. 따라서 이를 보완하기 위해서는 추가적인 연구가 필요하며, 이를 통해 보다 자연스러운 안개 합성 영상을 생성할 수 있을 것으로 기대된다.

Acknowledgments

이 논문은 2024학년도 동아대학교 연구년 지원에 의하여 연구되었음. 또한, 이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF-2023R1A2C1004592)

References

• S. Lee, D. Ngo, and B. Kang, "Design of an FPGA-Based High-Quality Real-Time Autonomous Dehazing System", Remote Sensing, Vol. 14, No. 8, pp. 1852, Apr. 2022. [https://doi.org/10.3390/rs14081852]
• B. Cai, X. Xu, K. Jia, C. Qing, and D. Tao, "DehazeNet: An End-to-End System for Single Image Haze Removal", IEEE Transactions on Image Processing, Vol. 25, No. 11, pp. 5187-5198, Nov. 2016. [https://doi.org/10.1109/TIP.2016.2598681]
• D. Ngo, G.-D. Lee, and B. Kang, "Improved Color Attenuation Prior for Single-Image Haze Removal", Applied Sciences, Vol. 9, No. 19, pp. 4011, Sep. 2019. [https://doi.org/10.3390/app9194011]
• Q. Zhu, J. Mai, and L. Shao, "A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior", IEEE Transactions on Image Processing, Vol. 24, No. 11, pp. 3522-3533, Nov. 2015. [https://doi.org/10.1109/TIP.2015.2446191]
• Y. Jiang, C. Sun, Y. Zhao, and L. Yang, "Fog Density Estimation and Image Defogging Based on Surrogate Modeling for Optical Depth", IEEE Transactions on Image Processing, Vol. 26, No. 7, pp. 3397-3409, Jul. 2017. [https://doi.org/10.1109/TIP.2017.2700720]
• U. J. Kang and B. Kang, "A Method to Create Haze Synthetic Image for Dehazing Algorithm of Remote Sensing Image", Journal of KIIT, Vol. 20, No. 7, pp. 123-129, Jul. 2022. [https://doi.org/10.14801/jkiit.2022.20.7.123]
• S. G. Narasimhan and S. K. Nayar, "Vision and the atmosphere", International Journal of Computer Vision, Vol. 48, No. 3, pp. 233-254, Jul. 2002. [https://doi.org/10.1023/A:1016328200723]
• Google Earth, https://earth.google.com/web/@0,0,0a,22251752.77375655d,35y,0h,0t,0r, [accessed: Mar. 25, 2024]
• Flickr, https://www.flickr.com/photos/pedrosz/5823614462, . [accessed: May 7, 2024]
• D. Ngo, G.-D. Lee, and B. Kang, "Haziness Degree Evaluator: A Knowledge-Driven Approach for Haze Density Estimation", Sensors, Vol. 21, No. 11, pp. 3896, Jun. 2021. [https://doi.org/10.3390/s21113896]