Journal Archive

최근 자율주행에 대해 대중들의 관심이 커지면서, 영상처리의 중요성이 강조된다. 특히 자율주행은 안개와 같은 외부 조건에 취약하여 상황을 해석하는 과정에서 다양한 문제가 발생한다. 안개로 인한 가시성 감소는 색상정보 및 명암을 왜곡시켜 자율 주행의 차선 인식, 사물 인식 등 중요한 정보들을 정확히 포착하지 못하여 다양한 사고를 유발할 수 있다. 이러한 문제점을 해결하기 위해 안개제거 알고리즘에 관련한 연구가 필요하다. 안개제거 알고리즘은 크게 두 가지로 컴퓨터 비전 기반의 알고리즘과 데이터 기반의 알고리즘으로 나뉜다. 컴퓨터 비전 기반의 알고리즘은 카메라로 촬영된 영상을 분석하여 정보를 추출하는 것이고, 데이터 기반의 알고리즘은 딥러닝 및 머신러닝에 기반을 둔 알고리즘을 의미한다. 최근에는 이러한 알고리즘을 이용한 안개 제거 기술도 활발히 연구가 진행되고 있다[1]-[4].

첫 번째로 컴퓨터 비전 알고리즘은 안개제거 기술에서 널리 사용되고 있는 방법이다[4]. 하지만 컴퓨터 비전 알고리즘 성능은 날씨에 영향을 받아서 악천후 상황에서 성능 저하가 발생한다. 두 번째로 딥러닝에 기반한 알고리즘은 오픈소스를 제공하여 학습데이터의 준비시간이 줄어들지만, hidden layer가 복잡하기 때문에 큰 계산량이 요구되고 학습시간이 많이 소요된다. 세 번째로 머신러닝에 기반한 알고리즘은 사용자가 학습 데이터를 직접 준비해야 하지만 딥러닝에 비해 큰 계산량이 요구되지 않고 학습시간을 줄일 수 있다[5]. 딥러닝 및 머신러닝의 알고리즘은 데이터를 기반으로 알고리즘을 처리하기 때문에 기존의 컴퓨터 비전에 기반한 방법에 비해 성능이 우수하다[1]-[4].

본 논문에서는 Zhu가 제안한 영상의 밝기(Value)와 채도(Saturation)의 차이가 안개영상의 깊이(Depth)에 따라 선형적으로 증가한다는 가정에 기반하여 영상의 깊이를 구하기 위한 선형 모델의 머신러닝 기반 CAP(color attenuation prior) 알고리즘을 이용한다[6]. 머신러닝 기반의 안개제거 모델을 통한 깊이 추정은 안개 제거 성능은 탁월하나, 머신러닝에 기반한 알고리즘들은 정확도가 높은 결과를 얻기 위해서 hyper parameter인 learning rate값을 적합한 값으로 조절하는 작업이 필요하다. 기존에는 learning rate의 조절작업을 할 때 수동으로 작업해서 시간이 오래 걸리고 어렵다는 단점이 머신러닝의 문제점으로 지적되어 왔다[7].

본 논문에서는 기존의 머신러닝 알고리즘의 learning rate를 조절할 때 걸리는 시간을 줄이기 위해 adaptive learning rate를 사용하여 머신러닝에 기반한 알고리즘의 학습 효율성을 개선하는 방법을 제안한다. 또한 학습모델에 adaptive learning rate가 과도하게 적용되어 learning rate값이 너무 작은 값으로 설정되면 global maximum을 향해 너무 천천히 올라가거나 likelihood 값이 local maximum으로 추정되는 문제가 발생할 수 있다[8]. 이러한 문제를 보완하기 위하여 본 논문에서는 learning rate에 minimum value를 설정하고 제안한 방법과 머신러닝 기반의 대표적인 안개제거 방법들과 정량적 수치평가를 통해 동등 이상의 결과를 보이며 우수한 성능을 증명한다.

본 논문의 구성은 다음과 같다. 2장은 관련 연구로 머신러닝에 기반한 안개제거 알고리즘에서 사용되는 학습데이터 생성 방법과 머신러닝 학습모델에 대해서 살펴본다. 3장에서는 본 논문에서 제안하는 adaptive learning rate에 대해 자세하게 기술한다. 4장에서는 머신러닝 기반의 대표적인 안개제거 알고리즘과 제안한 방법을 재학습시키고 이를 기반으로 실행한 정량적 수치평가에 대해 논한다. 5장에서는 본 논문의 결론에 관해 기술한다.

Atmospheric scattering model은 안개 제거 알고리즘에서 널리 사용되고 식 (1)과 같이 표현한다. I(x)는 안개가 낀 입력 영상, J(x)은 안개가 없는 영상, A는 대기강도를 의미한다. t(x)은 안개 전달량으로 식 (2)와 같이 표현하며, β는 대기의 산란계수로써 상수로 고정되고, d(x)은 대상과 관찰자와의 깊이이다.

안개영상의 이미지 가시성을 복원하기 위해서는 A와 t(x)를 추정해야 한다. t(x)를 추정하기 위해서는 깊이 d(x)의 정보가 중요하다. 이미지의 밝기및 채도로부터 영상의 깊이 d(x)를 추정하기 위하여 식 (3)에 나타난 선형모델을 사용한다[6]. 모델의 θ₀, θ₁, θ₂은 선형모델의 매개변수이다. v(x,y)은 영상의 밝기, s(x,y)은 영상의 채도, d(x,y)은 영상의 깊이를 의미한다. 그리고 ε(x)은 선형모델의 랜덤 오차이고 매우 작은 값이기 때문에 무시할 수 있다.

본 논문에서는 식 (3)의 선형 모델의 매개변수를 추정하기 위해 머신러닝 기반의 MLE(Maximum Likelihood Estimates) 방식을 이용한다. 학습데이터를 생성할 때 Zhu et al.‘s 논문에서 제안한 방법을 이용한다[6]. 안개가 없는 이미지를 인터넷에서 수집하고, (0, 1)의 안개 강도와 (0.8, 1)의 랜덤 A 값을 사용하여 합성 깊이를 생성한다. 하지만 깊이를 생성할 때 사용한 pseudo random number generators의 표준 균일 분포는 균일성을 보장하지 못한다. 그래서 Ngo가 제안한 ICAP 방법에서 균일 분포를 보장할 수 있는 enhanced equidistribution을 사용하여 깊이를 생성했다[9].

본 논문에서는 500×400의 동일한 크기의 안개가 없는 이미지 500장과 합성 깊이를 이용하여 식 (1), 식 (2)을 통해 안개영상을 생성한다. 학습모델에 대하여 그림 1에 나타냈고 ICAP에 기반한 방법의 합성 안개영상 및 학습데이터 생성과정에 대하여 그림 2에 나타나있다. 최종적으로 생성된 안개영상을 사용하여 선형 모델의 매개변수들을 학습하기 위해 안개 영상의 밝기와 채도를 추출한다.

Fig. 1. 
Training model

Fig. 2. 
Training data generation

기존의 머신러닝은 사용자가 학습모델에 대하여 learning rate조절작업을 통해 설정한 고정된 learning rate가 사용된다. 사용자가 직접 수동으로 값을 조절하여 학습을 진행하면 적합한 learning rate의 값을 찾는데 시간이 많이 소요되기 때문에 컴퓨터가 자동으로 조절하는 것이 더 작은 반복 횟수로 학습의 정확도를 향상할 수 있다[8]. 따라서 최근에는 머신러닝/딥러닝과 관련한 연구에서 adaptive learning rate를 이용한 방법, 적응적인 학습방법에 대한 연구가 활발히 이루어지고 있다[10]-[11].

그림 3과 같이 user learning rate를 사용했을 때 학습모델에 적합한 값이 아니면 사용자가 수동으로 조절하는 작업이 필요하고 시간이 많이 소요되는 단점이 있다. 하지만 adaptive learning rate를 사용하면 학습모델이 자동으로 learning rate를 조절하기 때문에 적합한 값을 빠르고 정확하게 설정할 수 있고, global maximum을 향해 빠르게 수렴하여 머신러닝 학습의 효율성을 증가시킨다[10].

Fig. 3. 
Adaptive learning rate

그림 4는 본 논문에서 제안하는 방법의 간략화 된 코드를 나타낸다.

Fig. 4. 
Code of the proposed method

MLE 방법으로 학습을 할 때 likelihood값이 업데이트된다. likelihood값은 업데이트되기 전을 MLE_old, 업데이트된 후를 MLE_new라고 한다.

데이트된 후 likelihood값의 차이를 식 (4)을 통해 계산하고 MLE_diff가 양의 값을 갖게 되면 MLE값이 감소하는 것을 의미하고 이때 adaptive learning rate가 적용되어 점차적으로 작은 값으로 줄이며 자동으로 조절한다. adaptive learning rate가 과다하게 적용되면 learning rate값이 너무 작은 값으로 줄어들 수 있다. learning rate의 값이 너무 작으면 첫 번째로 global maximum을 향해 너무 조금씩 올라가기 때문에 학습에 걸리는 시간이 너무 오래 걸리거나, 두 번째로 학습모델의 출발 지점에 따라 local maximum에 빠져 학습이 정상적으로 이루어지지 않는 문제가 발생할 수 있다[7]. 이러한 문제를 보완하기 위해 learning rate에 minimum value를 설정한다. adaptive learning rate에 의해 새롭게 업데이트된 learning rate값이 minimum value보다 작은 값을 갖게 되면 learning rate는 minimum value로 값이 설정된다.

제안하는 방법의 성능을 검증하기 위해 기존의 Zhu et al.‘s에서 제안된 선형 모델을 이용하여 우리가 생성한 학습 데이터를 사용하여 재학습을 진행한다[5]. learning rate 10⁻⁸, minimum value 10⁻¹², stop condition 10⁻⁵로 설정한다. 제안한 방법을 통하여 얻은 bias, value, saturation의 매개변수의 값은 θ₀ = 0.3029, θ₁ = 0.4943, θ₂ = −0.7245이다. 학습을 통해 얻은 매개변수는 기존의 머신러닝 논문에서 제안한 매개변수 값을 대체하여 안개제거 알고리즘 정량적 수치 평가 및 가시적 평가를 한다[9].

모든 실험은 Core i7-6700 CPU(4.00GHz), 32GB RAM의 환경에서 MATLAB R2019a로 구현하였다. 그림 5의 (a)는 기존의 user learning rate로 학습시킨 MLE 그래프를 나타내며 반복 횟수는 3,766회이고, (b)는 adaptive learning rate를 적용시켜 학습시킨 MLE 그래프를 나타내며 반복 횟수는 361회이다. adaptive learning rate를 사용하였을 때 학습의 반복 횟수가 90.41% 감소하였다.

Fig. 5. 
Graph of user and adaptive learning rate

표 1은 학습의 실행시간을 측정한 표이다. 표 1에서 User lr은 user learning rate, Adaptive lr은 adaptive learning rate를 의미한다. Adaptive lr을 사용한 경우는 User lr보다 실행 시간이 91.06% 감소하였다. User lr은 사용자가 learning rate를 조절하는데 추가적인 시간이 소요될 수 있다.

성능 평가는 머신러닝에 기반한 대표적인 알고리즘 Zhu et al.‘s와 Ngo et al.‘s의 정량적 수치 성능과 비교한다. Ngo et al.‘s의 정량적 수치는 Ngo 논문에서 제공한 매개변수 값을 사용하여 본 논문에서 이용한 알고리즘으로 테스트를 진행한다. 알고리즘 성능 평가와 관련하여 O-HAZE의 45개의 실외 안개 이미지와 I-HAZE의 30개의 실내 안개 이미지가 테스트 세트로 사용된다.

표 2는 O-HAZE 영상, 표 3은 I-HAZE 영상에 대해 정량적 수치 평가 결과를 나타낸 표이다.

평가 기준으로는 안개제거 영상 품질 평가에 쓰이는 구조적 유사성 지수(SSIM), 톤 맵핑된 이미지 품질 지수(TMQI), 특징 유사성 지수(FSIMc)를 사용하였다. SSIM, TMQI, FSIMc는 값이 높을수록 좋으며, 제안하는 방법이 대표적 머신러닝에 기반한 안개제거 모델과의 비교에서 제안하는 방법은 O-HAZE영상에 대한 정량적 수치 3가지(SSIM, TMQI, FSIMc)의 평균이 Zhu[6]의 7.42%, Ngo[9]의 2.56% 개선되었다.

I-HAZE영상에 대한 정량적 수치 3가지의 평균은 Zhu[6]의 6.45%, Ngo[9]의 2.10% 개선되어 동등이상의 결과를 보였다. 결과 영상은 그림 5와 같다.

Fig. 5. 
Result images, (a) Hazy image, (b) Haze-free image, (c) Zhu[6], (d) Ngo[9], (e) Proposed

본 논문에서는 머신러닝에 기반한 알고리즘의 학습 효율성을 개선하기 위하여 adaptive learning rate를 제안했고, 사용자가 learning rate를 조절하여 고정된 값을 사용하는 방법과 학습에 드는 시간을 비교했다. 그리고 adaptive learning rate를 적용해 머신러닝 기반의 MLE 방식을 이용하여 선형모델의 매개변수들을 학습했다.

학습을 통해 얻은 매개변수들을 사용하여 안개제거 알고리즘 테스트를 진행했다. 제안하는 방법은 기존의 고정된 learning rate를 사용하는 머신러닝에 기반한 알고리즘 방법보다 학습시간이 감소했다. 또한, 정량적 수치 평가를 통해 동등 이상의 결과를 보여주고, 안개제거가 된 결과 영상에서 우수한 가시성을 나타낸다.