빗줄기 방향과 강도를 고려한 심층 합성곱 신경망 기반의 빗줄기 제거 기법

2.1 사전 학습 기반의 빗줄기 제거 기법

이 기법은 빗줄기가 포함된 패치와 빗줄기가 없는 일반 패치를 각각 수집한 후, 빗줄기 사전과 빗줄기가 아닌 사전을 학습한다[2].

여기서 Y는 빗줄기 패치들 또는 빗줄기 없는 원본 패치들을 담고 있다. 다시 말하면, Y는 각 패치를 벡터로 변환해서 열 방향으로 저장하고 있다. D는 학습될 사전을 의미하며 A는 D에 대응하는 스팔스 코드를 열 방향으로 포함한다. 그리고 수식 1의 두 번째 항목은 D의 열벡터에 대응하는 스팔스 코드가 l₀ - 놈을 만족해야 된다는 제약 조건을 의미한다. 즉, 대부분의 값이 0이어야 한다. 수식 (1)을 만족하는 빗줄기 사전과 빗줄기가 아닌 사전을 학습한 후, 입력 테스트 패치로부터 빗줄기를 제거한다. 빗줄기 제거 수식은 아래와 같이 표현된다.

여기서 R은 입력 영상 x로부터 i번째의 패치를 추출하기 위한 연산자이다. 그리고 추출된 패치 R_ix는 사전 D와 스팔스 코드 α_i의 곱 즉, Dα_i로 표현된다. D는 빗줄기 사전과 빗줄기가 아닌 사전 즉, D^r와 Dⁿ으로 다시 분해가 되고, 빗줄기를 제거하기 위해서는 빗줄기 사전 D^r에 해당하는 스팔스 코드(α^r)의 값을 영으로 설정하면 된다. 이는 입력 패치(Dα_i)에서 빗줄기 사전에 의해서 만들어지는 빗줄기 패치 즉, D^rα^r을 뺀 것을 의미한다. 수식 (2)는 학습된 두 종류의 사전을 가지고 빗줄기를 제거하는 기법이지만 두 종류의 사전이 상관성을 가질 수 있기 때문에 대비가 떨어지고 경계면 결함이 발생할 수 있다.

2.2 스팔스 수축 기반의 빗줄기 제거 기법

기존의 세로 방향의 빗줄기 패턴에 최적화된 사전 학습 기반의 빗줄기 제거 기법을 보완하기 위해 스팔스 코드의 수축 모델링에 기반한 빗줄기 제거 기법이 제안되었다[4]. 이 기법은 입력 영상에서 빗줄기 영역을 확률 값으로 수치화해서 그 값을 사용해서 빗줄기 사전과 빗줄기가 아닌 사전에 대응하는 스팔스 코드의 값을 선형적으로 바꾸어 준다. 제안된 스팔스 코드의 수축 모델은 아래와 같다.

식 (2)와 달리, 식 (3)에서는 스팔스 코드(α^r)의 값에 $$ s_i^r$$와 $$ s_i^n$$을 곱해준다. 이때 기본적인 스팔스 코드의 수축 방식은 빗줄기 영역에서는 빗줄기 사전에 대응하는 스팔스 코드 $$ s_i^r$$ 값을 영에 가깝도록 설정하고, 빗줄기가 없는 영역에서는 빗줄기 사전과 빗줄기가 없는 사전에 대응하는 $$ s_i^r$$와 $$ s_i^n$$ 값을 1에 가깝도록 설정해준다. 참고로 $$ s_i^r$$와 $$ s_i^n$$는 [0-1] 사이에 존재한다. 이렇게 스팔스 코드 수축 모델링을 적용함으로써 빗줄기 영역에서는 빗줄기를 제거하고, 객체 영역에서는 객체의 에지나 디테일 성분을 유지할 수 있게 된다.

그러나 이러한 빗줄기 사전 학습 기반의 빗줄기 검출 기법은 저주파 영역에서 빗줄기와 객체의 에지 성분을 잘 분류하지 못한다. 이로 인해 빗줄기 제거 과정 동안에 객체 내부의 저주파 성분이 제거되는 문제가 발생한다. 이를 보완하기 위해, 최근에는 심층 합성곱 신경망이 사전 학습 대신에 스팔스 코드의 수축 값을 추정하기 위해 사용되었다[8]. 즉, 빗줄기 영역만 심층 합성곱 신경망으로 추정하고 빗줄기 제거 과정은 여전히 사전 학습 기반으로 수행된다. 따라서 패치 기반의 사전 학습 기법은 다양한 빗줄기의 강도나 방향에 대해서 빗줄기 제거 성능에서 한계를 가질 수 있다.

2.3 기존의 잔차 네트워크 기반의 빗줄기 제거

기존의 심층 합성곱 신경망 기법은 출력 영상이 취할 수 있는 값의 범위가 넓기 때문에 학습 시간이 오래 걸리거나 학습 성능이 떨어질 수 있다. 이러한 문제를 극복하기 위해 잔차 네트워크가 제안되었다[6]. 이 네트워크는 빗줄기 영상과 빗줄기 영상에서 원본 영상을 뺀 차 영상을 훈련 영상으로 사용한다. 따라서 손실 계층의 목적 함수는 다음과 같이 정의될 수 있다.

여기서 X와 Y는 각각 빗줄기 영상과 원본 영상을 나타낸다. 그리고 h는 잔차 네트워크이고, F는 프로베니우스 놈(Frobenius Norm)에 해당된다. 수식 (4)에서 보듯이 잔차 네트워크는 빗줄기 영상에서 원본 영상을 뺀 차 영상을 학습한다. 따라서 잔차 네트워크는 출력 계층에서의 값의 범위가 상대적으로 좁기 때문에 기존의 심층 합성곱 신경망보다 학습의 정확도를 좀 더 개선할 수 있다. 이러한 잔차 네트워크 기반의 빗줄기 제거 기법은 빗줄기 제거나 객체의 디테일 보존 측면에서 상당한 개선을 달성하였다. 그러나 잔차 네트워크 기반의 빗줄기 제거 기법도 빗줄기의 방향과 굵기가 다양하게 가변될 때 빗줄기 제거의 성능이 떨어지게 된다.

2.4 기여도

기존의 심층 학습 기법이나 잔차 네크워크와는 달리 이 논문에서는 빗줄기의 강도와 방향을 고려한 심층 합성곱 신경망 기반의 빗줄기 제거 기법을 제안한다. 특히 빗줄기의 강도와 방향을 분류하기 위해 기존의 VGG 신경망 모델[9]을 미세 튜닝하는 과정과, 빗줄기 강도와 방향에 따른 잔차 네트워크 기반의 빗줄기 제거 기법을 새롭게 소개하고자 한다. 또한 제안한 두 개의 서브 네트워크로 구성된 심층 학습 기반의 빗줄기 제거 기법은 기존의 신경망 기법보다도 빗줄기 제거 측면이나 객체의 디테일 보존 능력 측면에서 만족할만한 성과를 달성하였다. 더 나아가 제안한 빗줄기 제거 기법이 객체 검출 인식률을 얼마나 제고할 수 있는지 그 효과성도 검증해 보았다. 그리고 제안한 두 종류의 서브 네트워크 기반의 심층 합성곱 신경망은 비단 빗줄기 제거뿐만 아니라 눈 제거(Snow Removal)와 같은 분야에도 응용될 수 있을 것으로 보인다.

3.1 제안한 접근 방법

제안한 빗줄기 제거 기법은 두 종류의 서브 네트워크로 구성되어 있다. 하나는 빗줄기의 강도와 방향을 분류하기 위한 서브 네트워크이고, 다른 하나는 빗줄기의 강도와 방향에 따른 빗줄기 제거를 위한 서브 네트워크이다. 첫째, 본 연구에서는 빗줄기 분류를 위해 기존의 심층 합성곱 신경망 모델인 VGG-16을 사용하고자 한다. 이 모델은 일반화 된 분류 능력이 있음을 이미 입증된 상태이다[9]. 그리고 빗줄기 제거를 위해서는 잔차 네트워크 기반의 심층 합성곱 신경망 구조를 사용한다. 그 이유는 잔차 네트워크는 잡음 제거와 같은 영상 복원에 효과적인 성능을 보이고 있기 때문이다.

3.2 신경망 기반의 빗줄기 강도와 방향 분류

빗줄기의 강도와 방향에 따라 입력 영상의 빗줄기 패턴을 분류하기 위해 본 연구에서는 미리 학습된 VGG-16 심층 합성곱 신경망을 사용하고자 한다. 본 연구에서는 총 5종류의 빗줄기 타입에 대해 분류하고자 한다. 이를 위해 미리 학습된 VGG-16 모델을 미세튜닝 하였다. 다시 말하면, 기존의 VGG-16 모델의 맨 마지막 계층의 1000개의 노드 수를 5개의 노드 수로 변경한 후 VGG-16 신경망을 재학습하였다.

그림 1은 VGG-16 신경망의 아키텍처를 보여주고 있다. VGG-16 신경망은 입력 계층, 합성곱 계층(Convolution Layer)과 풀링 계층(Pooling Layer), 정류 선형 유닛 계층(Rectified Linear Unit Layer: ReLU Layer), 완전연결계층(Fully-Connected Layer), 소프트맥스 계층(Softmax Layer), 로그 손실 계층(Log Loss Layer)으로 구성되어 있다.

Fig. 1.

VGG-16 model for classifying rain streak patterns

입력 계층은 224×224로 고정된 크기의 입력 영상을 받는다. 합성곱 계층에서는 입력 영상에 3×3의 작은 필터를 씌운 후 합성곱 연산을 수행한다. 이후 풀링 계층에서는 각각의 특징 맵에 2×2 윈도우 창을 씌운 후 최대값을 취하는 연산을 적용한다. 그리고 정류 선형 유닛 계층에서는 특징 맵에 비선형 함수를 픽셀 단위로 적용한다. 즉, 특징 맵에서 픽셀의 값이 음수이면 0의 값으로 만들고 양수이면 변경 없이 그대로 둔다. 완전연결 계층은 기존의 다층 신경망 학습과 동일하고 소프트맥스 계층은 완전연결 계층의 각각의 출력 값에 지수 함수를 통과한 후 그 출력 값의 총합으로 나눈다. 따라서 소프트맥스 계층은 0에서 1로 정규화 된 값을 출력하여 확률 값으로 해석할 수 있다. 즉 확률 값이 가장 큰 노드가 미리 정해진 특정한 부류로 분류된다. 로그 손실 계층에서는 소프트맥스 출력 값에 로그 함수를 적용해서 예측 확률에 따른 손실 정도를 추정한다. 참고로 그림 1의 상단에 입력 계층에서 맨 마지막 계층까지 입력 영상의 크기가 어떻게 변화되는지를 보여주고 있다.

그림 2는 본 연구에서 사용된 총 5종류의 빗줄기 타입의 예시를 보여주고 있다. 그림에서 보듯이 빗줄기의 방향과 강도가 다른 것을 확인할 수 있다. 본 논문에서 총 5종류의 빗줄기 타입을 가진 데이터베이스를 확보하기 위해 기존의 잔차 네트워크 기반의 빗줄기 제거 기법에서 공개된 오픈 데이터베이스를 사용하였다. 본 논문에서는 5종류의 빗줄기 타입에 대해서 학습하기 때문에 소프트맥스 계층은 총 5개의 노드로 구성된다. 보다 자세한 VGG-16 모델에 대한 설명은 참고 문헌을 보시기 바란다[9].

Fig. 2.

Rain streak types; (a) Rain streak type 1, (b) Rain streak type 2, (c) Rain streak type 3, (d) Rain streak type 4, and (e) Rain streak type 5

3.3 빗줄기 제거를 위한 훈련 패치 추출

빗줄기를 제거하기 위해 본 논문에서는 잔차 네트워크 기반의 심층 합성곱 신경망 기법을 사용한다. 이를 위해 기존의 잔차 네트워크 기반의 빗줄기 논문에서 공개한 데이터베이스 영상에서 빗줄기 패치와 빗줄기가 없는 패치를 각각 수집하여 훈련 패치들을 확보한다. 공개 데이터베이스 영상에는 빗줄기 타입 별로 총 1000장의 영상이 있으며 이 중에서 700장을 훈련 영상 집합으로, 나머지는 테스트 영상 집합으로 사용하였다.

그림 3의 빨간색 박스에서 보듯이 왼쪽에서 오른쪽으로, 위에서 아래로 40칸씩 이동하면서 패치를 추출하였다. 또한 객체의 스케일에 불변한 성능을 확보하기 위해 입력 영상의 스케일을 1.0, 0.9, 0.8, 0.7배로 변환하면서 패치를 추출하였다. 본 논문에서 추출된 패치는 64×64이며 학습에 사용된 총 패치의 수는 191,553개이다. 또한 빗줄기가 없는 원본 패치들도 동일한 방식으로 추출하였다. 따라서 총 학습에 사용된 빗줄기 및 원본 패치의 수는 383,106개이다.

Fig. 3.

Training patch extraction

3.4 빗줄기 타입 별 잔차 네트워크 학습

본 논문에서 사용된 잔차 네트워크 기반의 심층 합성곱 신경망 구조는 합성곱 계층, 배치 정규화 계층(Batch Normalization Layer: BN Layer), 정류 선형 유닛 계층, 손실 계층으로 구성되어 있다. 사용된 총 계층의 수는 28개이다.

잔차 네트워크는 기존의 심층 합성곱 신경망과는 달리 입력 계층에서는 기존과 동일하게 빗줄기 패치를 입력으로 받지만, 손실 계층에서는 빗줄기 패치에서 원본 패치를 뺀 차 영상을 입력으로 받는다. 따라서 입력 계층에 인가된 빗줄기 패치는 잔차 네트워크의 합성곱 계층, 배치 정규화 계층, 정류 선형 유닛 계층 등을 통과하면서 차 영상으로 변환하게 된다.

그림 4는 잔차 네트워크의 아키텍처를 보여주고 있다. 그림에서 손실 계층에 잔차 패치가 입력되는 것을 볼 수 있다.

Fig. 4.

Residual networks for rain removal

3.5 빗줄기 타입 별 빗줄기 제거

앞 절에서 설명한 잔차 네트워크가 빗줄기 타입 별로 학습된 후에는 입력 빗줄기 영상에서 빗줄기를 제거할 수 있다. 그림 5는 빗줄기 방향과 강도에 따른 빗줄기 타입 별 잔차 네트워크 기반의 빗줄기 제거 과정을 보여준다. 먼저, VGG-16 심층 합성곱 신경망을 사용해서 입력 빗줄기 영상의 강도와 방향을 분류한다. 그리고 잔차 영상을 추정하기 위해 빗줄기 타입 별로 미리 학습된 잔차 네트워크를 통과한다. 마지막으로 이 차 영상을 입력 빗줄기 영상에 더함으로써 빗줄기가 제거된 결과 영상을 획득하게 된다.

Fig. 5.

Proposed rain removal considering orientations and strengths of rain streaks

4.1 실험 환경

본 논문에서는 빗줄기 방향과 강도를 분류하기 위해 총 5,000장의 영상 중에서 3,500장을 훈련 영상으로 사용하였고, 나머지 1,500장을 테스트 영상으로 사용하였다. 그리고 빗줄기 타입 별 잔차 네트워크를 학습하기 위해 각 타입 별 1,000장의 영상 중에서 700장은 훈련 영상으로 나머지 300장은 테스트 영상으로 사용하였다. 학습에 사용된 언어는 매트랩이고, GPU 사용은 Quadro M5000을 사용하였다. 그리고 매트랩 기반의 딥 러닝 라이브러리 툴인 MatConvNet[10]을 사용하였다. 제안한 기법의 성능을 테스트하기 위해 최근에 발표된 최첨단 기법인 가우시안 혼합 모델 기반의 빗줄기 제거 기법[5], 잔차 네트워크 기반의 빗줄기 제거 기법[6]을 비교하였다. 정량적 성능 평가를 위해 최대 신호 대 잡음비(Peak Signal-to-Noise Ratio)와 구조적 유사성(Structural Similarity)[11] 척도를 사용하였다.

4.2 실험 결과

그림 6, 7, 8, 9, 10은 기존의 기법과 제안한 기법을 사용해서 빗줄기가 제거된 영상을 보여주고 있다.

Fig. 6.

Resulting images; (a) Rain image, (b) Original image, (c) Gaussian mixture model[5], (d) Residual networks[6], and (e) Proposed method

Fig. 7.

Resulting images; (a) Rain image, (b) Original image, (c) Gaussian mixture model[5], (d) Residual networks[6], and (e) Proposed method

Fig. 8.

Resulting images; (a) Rain image, (b) Original image, (c) Gaussian mixture model[5], (d) Residual networks[6], and (e) Proposed method

Fig. 9.

Resulting images; (a) Rain image, (b) Original image, (c) Gaussian mixture model[5], (d) Residual networks[6], and (e) Proposed method

Fig. 10.

Resulting images; (a) Rain image, (b) Original image, (c) Gaussian mixture model[5], (d) Residual networks[6], and (e) Proposed method

Fig. 11.

Test images for quantitative evaluation

그림 6의 노란색 박스에 보듯이, 기존의 기법을 적용했을 때 결과 영상에서 빗줄기가 덜 제거되거나 선명도가 떨어지는 것을 볼 수 있다. 반면에 제안한 기법을 적용했을 때 결과 영상에서 기존의 기법보다 빗줄기를 더 깨끗하게 제거하면서도 더 선명한 영상을 복원한 것을 볼 수 있다. 그림 7의 노란색 박스에서도 기존의 기법을 사용했을 때에는 빗줄기가 여전히 남아 있지만 제안한 기법을 사용했을 때에 더 선명한 영상을 획득한 것을 볼 수 있다. 나머지 결과 영상에서도 유사한 시각적 효과를 볼 수 있다. 따라서 제안한 기법이 적용했을 때, 객체의 디테일을 가장 잘 보존하면서도 빗줄기 패턴을 잘 제거한 것을 볼 수 있다. 이는 제안한 기법이 기존의 기법과는 달리 빗줄기 타입 즉, 빗줄기 방향과 강도에 따라 빗줄기를 분류하고 빗줄기 타입 별로 빗줄기를 제거했기 때문이다. 즉, 두 개의 서브 네트워크를 사용했기 때문에 가능하다.

그림 12는 제안한 빗줄기 제거 기법을 적용했을 때 객체 검출 인식률을 얼마나 제고할 수 있는지 그 효과성을 보여주고 있다.

Fig. 12.

Experimental results for pedestrian detection: rain image (first column), rain removal via residual network (second column) [6], proposed rain removal (third column)

제안한 빗줄기 제거 기법을 보행자 검출 과정에 적용해 보았다. 그리고 보행자 검출 기법은 실시간 검출이 가능하면서 수작업 특징 추출 기법에서는 최고의 성능을 소유한 ACF(Aggregated Channel Feature) 특징 추출 기반의 보행자 검출 기법[12]을 채택하였다. 결과 영상에서 박스위에 출력된 숫자는 보행자로 인식된 점수에 해당한다. 빗줄기 영상에서는 빗줄기 때문에 보행자 검출의 성능이 낮은 것을 볼 수 있다. 또한 빗줄기 제거 기법을 적용했을 때 보행자 검출의 성능이 올라가는 것을 볼 수 있다. 특히 기존의 잔차 네트워크 기반의 빗줄기 제거 기법보다 제안한 기법을 적용했을 때 보행자 검출 성능이 더 증가하는 것을 볼 수 있다. 예를 들어 다섯 번째 그림에서 기존의 잔차 네트워크 기반의 빗줄기 제거 기법에서는 보행자를 검출하는데 실패한 것을 볼 수 있다.

표 1과 표 2는 최대 신호 대 잡음비와 구조적 유사성 평가 결과를 보여 주고 있다. 이때 최대 신호 대 잡음비란 원본 영상과 결과 영상의 픽셀 값의 차이가 얼마나 나는지를 인간 시각 시스템이 인지하는 값으로 표현한 값이다. 즉 로그 변환 함수를 통과한 수치이다. 그리고 구조적 유사성 척도란 원본 영상과 결과 영상간의 에지나 텍스처 등과 같은 영상 구조가 얼마나 유사한지를 수치적으로 표현해 주는 방법이다. 보다 자세한 사항은 참고 문헌 [11]을 보시기 바란다. 정량적 평가를 사용된 영상은 그림 11에 있다. 빗줄기 타입 별로 테스트한 결과, 표에서 보듯이 제안한 기법이 평균치 측면에서 기존의 기법들보다 더 우수한 결과를 획득할 수 있었다.

Table 1.

Peak signal-to-noise ratio wvaluation

Table 2.

Structural similarity evaluation