Home

직접 매핑 네트워크(Direct mapping networks)는 심층 합성곱 신경망을 학습할 때, 입력 빗줄기 영상을 출력 원본 영상으로 매핑하는 방식을 말한다. 이는 심층 합성곱 신경망의 출력 값의 범위가 원본 영상의 픽셀 값의 범위로 매핑 된다는 것을 말한다. 일반적인 신경망 학습 방식에 해당한다. 직접 매핑 네트워크를 수식으로 표현하면 아래와 같다.

여기서 X_i와 Y_i는 i번째 훈련 영상인 빗줄기 영상과 원본 영상을 가리킨다. h는 심층 합성곱 신경망을 의미하고 L은 총 손실(Loss)이다. 심층 합성곱 신경망은 L의 값이 작아지도록 신경망의 파라미터가 갱신된다. 다시 말하면, h를 통과한 추정치, 즉 빗줄기가 제거된 영상인 h(X_i)가 원본 영상인 Y_i와 같아지도록 학습이 된다.

직접 매핑 네트워크와는 달리, 잔차 네트워크(Residual networks)는 심층 합성곱 신경망을 학습할 때, 입력 빗줄기 영상을 원본 영상에서 빗줄기 영상을 뺀 잔차 영상(Residual image)으로 매핑하는 방식을 말한다[10,11]. 기존의 직접 매핑 네트워크는 출력 영상의 값의 범위가 상대적으로 넓게 분포하기 때문에 신경망의 정확도가 떨어질 수 있다. 잔차 네트워크는 이러한 직접 매핑 네트워크가 지닌 문제를 해결하기 위해, 최종 신경망의 출력 값의 범위를 좁혀서 학습을 진행한다. 출력 값의 범위를 좁히기 위해, 원본 영상을 그대로 사용하는 것이 아니라 원본 영상에서 빗줄기 영상을 뺀 잔차 영상을 사용한다. 잔차 네트워크의 수식은 다음과 같이 표현된다.

학습 단계에서는 손실 L을 최소화하기 위해 신경망의 출력 값인 h(X_i)와 잔차 영상인 Y_i - X_i를 같아지도록 학습을 한다. 테스트 단계에서는 빗줄기가 제거된 영상을 얻기 위해, 신경망을 통과한 잔차 영상 h(X_i)에 입력 빗줄기 영상 X_i를 더해줌으로써 최종 결과 영상을 만들어 낸다. 잔차 네트워크는 출력 값의 분포를 좁혀줌으로써, 최종 신경망이 추정해야 될 값을 좀 더 수월하게 찾을 수 있도록 해준다. 이를 통해 학습의 정확도를 높이는 효과를 유도할 수 있다.

디테일 네트워크(Detail networks)는 잔차 네트워크의 변종으로서, 신경망의 입력으로 빗줄기 영상을 그대로 사용하는 것이 아니라 빗줄기 영상의 디테일 레이어를 사용한다[11]. 출력 영상은 잔차 네트워크와 동일하게 원본 영상에서 빗줄기 영상을 뺀 잔차 영상을 사용한다. 즉, 디테일 네트워크는 빗줄기 영상의 디테일 레이어와 잔차 영상을 학습 영상으로 사용한다. 디테일 네트워크에 관한 수식은 다음과 같이 표현된다.

여기서 X_D,i와 X_B,i는 입력 빗줄기 영상 X_i의 디테일 레이어와 베이스 레이어를 각각 의미한다. 여기서 베이스 레이어 X_B,i는 입력 빗줄기 영상 X_i에 스무딩 필터를 적용해서 만든 영상으로써, 밝기의 변화가 거의 없는 평탄 영역으로 구성된다. 반면에 디테일 레이어 X_D,i는 X_i에서 X_B,i를 뺀 영상으로써, 객체의 에지, 윤곽선, 그리고 빗줄기 패턴을 포함한 디테일 성분에 해당한다.

수식 (4)에서 보듯이, 디테일 네트워크는 신경망의 입력으로 디테일 레이어 X_D,i를 받아서 출력으로 잔차 영상 Y_i - X_i를 내보낸다. 잔차 네트워크와의 차이점은 신경망의 입력으로 디테일 레이어를 사용한다는 점이다. 잔차 네트워크는 입력과 출력 영상이 모두 배경이 제거된 디테일 성분으로 구성된다는 것을 알 수 있다. 또한 디테일 레이어는 대부분의 값이 ‘0’으로 채워지기 때문에 스팔스(Sparse)한 특징을 지니게 된다. 이렇게 배경이 제거된 입출력 영상의 특성과 스팔스한 특징은 신경망의 성능을 한 층 더 개선할 수 있는 것으로 보고되고 있다.

본 논문에서는 기존의 심층 합성곱 신경망 기반의 빗줄기 제거 기법에서 나타나는 디테일 정보 소실과 평탄 영역에서의 빗줄기 잔존 문제를 동시에 해결할 수 있는 "구조 인식 잔차 네트워크"를 제안하고자 한다. 기존의 잔차 및 디테일 네트워크는 출력 영상으로 잔차 영상을 활용함으로써, 출력 값의 범위를 좁게 만들어 복원 영상의 화질을 개선할 수 있었다. 하지만 여전히 디테일 선명도 저하와 빗줄기 잔재 문제에서 벗어날 수 없다. 왜냐하면 빗줄기 패턴으로 인해 객체가 지닌 디테일 정보가 손실된 상태에서, 평탄 영역에 원치 않는 빗줄기 패턴으로 인해 원본 영상의 디테일을 선명하게 복구하고 평탄 영역에서 빗줄기를 제거하기가 쉽지 않기 때문이다. 이러한 문제를 해결하기 위해, 제안한 기법에서는 라플라시안 서브네트워크를 새롭게 도입하여 객체의 디테일 정보와 평탄 영역의 정보를 추정하여, 추후 영상 복원을 담당하는 구조 인식 잔차 복원 서브네트워크가 영상 구조에 적응적으로 학습될 수 있는 네트워크를 설계하고자 한다.

따라서 제안한 구조 인식 잔차 네트워크는 두 종류의 서브네트워크로 구성된다. 첫 번째 서브네트워크는 "라플라시안 네트워크"로써, 입력 빗줄기 영상으로부터 원본 영상에 라플라시안 필터를 통과시킨 에지 맵을 추정한다. 두 번째 서브네트워크는 "구조 인식 잔차 복원 네트워크"로써, 입력 빗줄기 영상과 추정된 에지 맵을 입력으로 받아서 최종 빗줄기가 제거된 영상을 복원한다. 특히 라플라시안 서브네트워크를 통해 원본 영상의 에지를 추정함으로써, 구조 인식 잔차 복원 서브네트워크가 빗줄기 영상에서 원본 영상의 에지와 평탄 영역의 정보를 활용할 수 있게 된다. 이로 인해, 평탄 영역에서 빗줄기 패턴을 제거하고 디테일 영역에서는 에지의 선명도를 보존할 수 있는 효과를 유도할 수 있다. 다시 말하면, 영상 구조(Image structure)에 적응적인 구조 인식 잔차 네트워크를 실현할 수 있다.

제안한 라플라시안 서브네트워크와 구조 인식 잔차 복원 서브네트워크를 학습하기 위해서는 총 3종류의 훈련 영상 셋이 필요하다. 즉, 빗줄기 영상, 빗줄기가 없는 원본 영상, 그리고 원본 영상에 라플라시안 필터를 적용한 에지 영상이다. 원본 영상은 객체 검출 분야에 많이 사용되는 PASCAL VOC(PASCAL Visual Object Classes)[15] 데이터 셋을 사용했다. 그리고 라플라시안 필터를 PASCAL VOC의 원본 영상에 각각 적용하여 에지 영상을 생성하였다. 빗줄기 영상은 원본 영상에 빗줄기 패턴을 추가함으로써, 생성이 가능하다. 빗줄기 영상 생성 과정은 다음과 같이 모델링 된다[5,6].

여기서 X_i, Y_i, S_i는 i번째 빗줄기 영상, 빗줄기가 없는 원본 영상, 그리고 빗줄기 패턴만 포함한 영상을 가리킨다. 수식 (5)에서 보듯이, 최종 빗줄기 영상은 원본 영상과 빗줄기 패턴만 포함한 영상을 더함으로써 모델링된다. 여기서 빗줄기 패턴만을 포함한 영상 S_i는 랜덤 잡음을 생성한 후, 모션 블러링(Motion Blurring)을 적용하여 빗줄기 패턴을 만들어 낼 수 있다. 이 과정은 포토샵과 같은 영상 편집 툴을 사용할 수 있고 아니면 프로그래밍으로도 구현 가능하다.

본 연구에서는 학습될 네트워크가 영상 스케일에 강인한 특성을 보유하기 위해, 수집된 훈련 영상들에 데이터 확충(Data augmentation) 과정을 수행하였다. 다시 말하면, 수집된 훈련 영상 각각에 대해 1.0, 0.9, 0.8, 0.7, 0.6배의 비율로 영상의 크기를 가변하면서 데이터 확충 작업을 완료하였다.

일반적으로 신경망 학습에 사용될 훈련 영상은 수집된 영상 그 자체가 아닌, 영상에서 랜덤하게 추출된 패치들을 사용한다. 그러한 이유는 원본 영상의 차원이 너무 크기 때문에 학습 속도와 메모리 용량 문제가 발생하기 때문이다. 빗줄기 제거 기법에서 사용되는 패치의 크기는 대략 64×64 픽셀 정도에 해당한다.

그림 1은 제안한 라플라시안 서브네트워크의 아키텍처를 보여주고 있다. 라플라시안 필터를 통과한 에지 맵을 빗줄기 영상에서 바로 추정할 수 있지만, 제안한 기법에서는 전이 학습(Transfer learning)을 도입하였다. 그러한 이유는 빗줄기가 제거된 초기 영상에서 에지 맵을 찾는 것이 파라미터의 초기화를 쉽게 설정할 수 있고 학습 효과를 높일 수 있기 때문이다. 실제로 라플라시안 필터는 3×3과 같은 하나의 필터로 구현된다. 이는 빗줄기가 제거된 초기 영상이 주어진 경우, 소수의 합성곱 신경망으로 추정이 가능하다는 뜻이다.

Fig 1. 
Architecture of the proposed Laplacian subnetwork

제안한 라플라시안 서브네트워크는 그림 1에서 보듯이, 사전 학습된 모델(Pretrained model)에서 손실 레이어를 제거한 뒤, (합성곱, 배치 정규화) 또는 (합성곱, 배치 정규화, 정류선형유닛)으로 구성된 합성곱 블록(Convolution Block: Conv Block) 3개를 연속해서 쌓은 구조로 되어 있다. 그리고 맨 마지막에는 손실 레이어가 달려 있다. 손실 레이어는 추정된 에지 맵과 원본 라플라시안 에지 맵의 오차를 계산한다. 본 연구에서는 사용된 오차의 종류는 평균제곱오차(Mean squared errors)이다.

사전 학습된 모델은 ResNet 구조 형태를 취하고 있으며 총 26개의 합성곱 블록과 12개의 스킵 연결로 구현되었다. 참고로 사전 학습된 모델은 라플라시안 서브네트워크가 학습이 진행되는 동안 그 파라미터의 값이 변경된다. 즉 사전 학습된 모델의 초기 영상은 추후 공정한 평가를 위해 영상 복원을 위해 사용되지 않는다. 사전 학습된 모델은 오직 라플라시안 에지 맵을 효과적으로 추정하기 위해서만 사용되었다는 뜻이다.

그림 2는 제안한 구조 인식 잔차 복원 서브네트워크의 아키텍처를 보여주고 있다. 제안한 구조 인식 잔차 복원 네트워크는 ResNet처럼 합성곱 블록을 연속해서 쌓고 스킵 연결로 구성한 형태를 취하고 있다. 하지만 기존의 잔차 네트워크와는 달리, 제안한 구조 인식 잔차 복원 서브네트워크는 두 종류의 입력을 사용한다. 즉 라플라시안 서브네트워크에서 추정한 라플라시안 에지 맵과 입력 빗줄기 영상을 함께 사용한다. 기존의 잔차 네트워크는 빗줄기 영상만을 입력으로 사용하기 때문에 학습하는 동안 어떤 부분이 객체의 디테일 영역인지 어떤 부분이 빗줄기가 없는 평탄한 영역인지를 자기 스스로 학습하기가 어렵다. 따라서 제안한 구조 인식 잔차 복원 서브네트워크에서는 이러한 문제를 해소하기 위해, 라플라시안 서브네트워크에서 제공한 에지 맵을 추가적인 정보로 활용한다. 이를 통해, 평탄 영역에서 빗줄기 패턴을 제거하고 디테일 영역에서는 에지의 선명도를 강화할 수 있는 학습 효과를 유도할 수 있다. 즉, 영상 구조에 적응적인 구조 인식 네트워크를 달성할 수 있다. 제안한 기법은 최근에 개발되고 있는 주의집중모델(Attention Models)[16,17]의 한 종류로 볼 수 있다. 즉, 선명도 강화를 위해 입력 영상에서 어떤 부분을 주의 깊게 봐야 되는지를 학습하기 위해, 라플라시안 서브네트워크를 도입해서 그 목적을 효과적으로 달성한 경우라 볼 수 있다.

Fig. 2. 
Architecture of the proposed structure-aware residual reconstruction subnetwork

앞서 말한 두 종류의 서브네트워크가 학습이 완료된 후, 입력 빗줄기 영상에서 빗줄기 패턴을 제거하는 과정은 그림 3과 같다. 먼저, 빗줄기 영상을 라플라시안 서브네트워크에 통과시켜 라플라시안 에지 맵을 추정한 뒤, 입력 빗줄기 영상과 라플라시안 에지 맵을 스택으로 쌓은 후, 구조 인식 잔차 복원 서브네트워크에 통과시킨다. 이때 구조 인식 잔차 복원 서브네트워크의 출력은 잔차 영상이다. 따라서 최종 빗줄기가 제거된 복원 영상을 생성하기 위해서는 입력 빗줄기 영상과 잔차 영상을 더해줘야 된다.

Fig. 3. 
Process of the proposed rain streaks removal

정량적 성능 평가를 위해, 본 연구에서는 Pascal VOC2007 오픈 데이터를 사용했다. Pascal VOC2007 영상중에서 총 2,000장을 무작위로 선택했다. 그리고 훈련 영상과 테스트 영상 집합의 비율을 3:1로 설정했다. 그림 4는 테스트 영상으로써, 총 500장으로 구성된 테스트 집합의 일부 영상에 해당한다. 그림에서 보듯이 테스트 영상이 다양한 영상 구조, 예를 들어 라인, 곡선 등을 포함하고 있는 것을 볼 수 있다. 그리고 테스트 영상을 구분하기 위해 영상 하단에 인덱스 번호를 붙어 놓았다. 비교 대상으로 최첨단 성능을 보유한 잔차 네트워크[10], 생성적 적대 신경망의 한 종류인 Pix2Pix[12], 디테일 네트워크[11] 기법을 선택했다.

Fig. 4. 
Examples of test images used for quantitative evaluation

공평한 실험을 위해 기존의 잔차 네트워크, 디테일 네트워크, 그리고 제안의 방법에서 사용된 신경망의 최적화 기법은 모두 확률적 경사 하강법(Stochastic Gradient Descent)을 사용했다. 또한 배치 크기, 학습률, 총 에폭의 수도 동일하게 설정했다. 즉, 배치 크기는 64, 총 에폭(Epochs)은 100회이고 학습률(Learning rate)은 10⁻⁵에서 시작해서 10⁻⁶까지 가변하도록 설정되었다. 그리고 제안한 합성곱 블록에 사용된 필터의 크기는 3×3, 필터 개수는 64개로 설정되었다.

제안한 방법과 기존 방법의 성능을 평가하기 위해, 영상 복원 분야에서 널리 사용되는 최대 신호 대 잡음비(PSNR, Peak Signal-to-Noise Ratio)와 구조적 유사성(SSIM, Structural Similarity) [18]을 평가척도로 사용하였다. 최대 신호 대 잡음비는 원본 영상과 복원 영상 간의 픽셀 값의 오차가 얼마나 나는지를 판별하는 척도이며 반면에 구조 유사성은 두 영상 간의 라인, 곡선, 패턴의 모양이 얼마나 유사한지를 반영할 수 있는 척도이다. 두 척도 모두 수치가 높을수록 복원 영상과 원본 영상이 유사하다는 것을 의미한다. 제안한 기법은 MatConvNet 매트랩 딥 러닝 툴로 구현되었고 2080Ti GPU 2개로 구성된 워크스테이션에서 실행되었다.

그림 5는 기존의 잔차 네트워크, 디테일 네트워크, 그리고 제안한 구조 인식 잔차 네트워크 기법에 대한 총 손실 추이를 보여준 그래프이다. 그림에서 보듯이, 제안한 구조 인식 잔차 네트워크 기법이 동일한 에폭 수에 대해 훈련 집합(Training loss)과 검증 집합(Validation loss)에 대해 총 손실을 가장 빠르게 감소시키는 것을 볼 수 있다. 이는 라플라시안 서브네트워크를 통해 추정된 라플라시안 에지 맵을 활용하면 총 오차를 더 빨리 감소할 수 있음을 의미한다. 또한 구조 인식 잔차 복원 서브네트워크에 입력 빗줄기 영상에서 객체의 에지가 어디에 존재하는지에 관한 정보를 제공함으로써, 영상 구조에 적응적인 학습 효과를 얻을 수 있음을 보여 준다.

Fig. 5. 
Comparison of the total loss change between the existing methods and the proposed method, according to the number of epochs

그림 6-9는 기존의 잔차 네트워크, Pix2Pix, 디테일 네트워크, 그리고 제안한 기법을 적용한 결과 영상을 보여주고 있다. 먼저 그림 6의 빨간색 박스 영역에서 보면, 기존의 잔차 네트워크, Pix2Pix, 디테일 네트워크는 벽면과 같은 평탄한 영역에서 빗줄기의 잔재가 남아 있는 것을 볼 수 있다. 반면 제안한 구조 인식 잔차 네트워크는 평탄 영역의 빗줄기 잘 제거한 것을 볼 수 있고 또한 텍스처의 선명도나 형태의 복원 정도가 기존의 방법보다 더 나은 것을 확인할 수 있다. 그림 7에서는 제안한 기법이 선박 하단부의 라인과 텍스처를 가장 잘 표현한 것을 볼 수 있다. 또한 빗줄기가 말끔히 잘 제거된 것을 볼 수 있다. 그림 8과 9에서도 나무의 텍스처, 버스 외벽 및 타이어의 선명도를 개선하고 빗줄기 잔재 문제를 잘 해결한 것을 볼 수 있다.

Fig. 6. 
Resulting images; (a) Rain image, (b) Original image, (c) Residual network[10], (d) Detail network[11], (e) Pix2Pix[12], and (f) Proposed method

Fig. 7. 
Resulting images; (a) Rain image, (b) Original image, (c) Residual network[10], (d) Detail network[11], (e) Pix2Pix[12], and (f) Proposed method

Fig. 8. 
Resulting images; (a) Rain image, (b) Original image, (c) Residual network[10], (d) Detail network[11], (e) Pix2Pix[12], and (f) Proposed method

Fig. 9. 
Resulting images; (a) Rain image, (b) Original image, (c) Residual network[10], (d) Detail network[11], (e) Pix2Pix[12], and (f) Proposed method

그림 10은 라플라시안 서브네트워크로 추정된 에지 맵을 보여 주고 있다. 원본 라플라시안 에지 맵과 비교했을 때 거의 유사한 것을 볼 수 있다. 즉, 라플라시안 서브네트워크는 입력 빗줄기 영상으로부터 원본 영상의 에지 영역과 평탄 영역을 구분할 수 있는 에지 맵을 생성할 수 있음을 확인해 준다.

Fig. 10. 
Original Laplacian edge maps (left column), estimated Laplacian edge map (right column)

표 1은 테스트 집합에 대한 최대 신호 대 잡음비와 구조적 유사성에 대한 정량적 평가 결과를 보여주고 있다. 정량적 평가에 사용된 영상은 총 500장이다. 표 1에 기입된 값은 총 500장 영상에 대한 PSNR과 SSIM의 평균치를 나타낸다.

표 2는 그림 4에 제시된 테스트 영상 샘플 각각에 대한 PSNR과 SSIM 결과치를 보여준다. 표 1에서 보듯이 제안한 기법이 기존의 방법보다 PSNR 평가에서 약 0.29dB 더 개선된 결과를 얻었으며, SSIM 평가에서도 약 0.0125 더 개선된 점수를 획득하였다. 이는 제안한 기법이 기존의 방법에 비해, 원본 영상과의 오차가 더 작으면서도 라인이나 텍스처와 같은 영상구조는 더 가깝게 표현했음을 의미한다.

제안한 구조 인식 잔차 네트워크가 기존의 잔차 네트워크와 디테일 네트워크보다 우수한 성능을 달성할 수 있었던 이유는 영상 구조에 적응적인, 즉 입력 빗줄기 영상에서 원본 에지의 형상과 평탄 영역에 대한 정보를 활용함으로써, 라플라시안 에지 맵 기반의 주의집중 네트워크를 구현했기 때문이다. 이로 인해, 평탄 영역에서 빗줄기 잔재를 말끔히 해결하고 디테일 영역에서는 에지의 선명도를 강화할 수 있는 학습 효과를 유도할 수 있었다. 그 결과로써, 정량적 평가 부분에서 더 우수한 성능을 얻게 되었고 시각적 측면에서도 화질의 선명도를 더 개선할 수 있었다.