Home

최근 주목 받고 있는 생산적 적대 신경망(Generative adversarial network)은 영상을 다른 성격의 새로운 영상으로 생성하는 기능을 제공하여 다양한 산업 분야에서 주목 받고 있다[1].

생산적 적대 신경망을 이용하여 영상의 해상도를 높이거나 사람의 얼굴을 바꾸는 어플리케이션도 등장 하고 있고, 대표적으로 생산적 적대 신경망 학습기반의 pix2pix는 입력 영상과 목표 영상을 변환 학습하는 방식으로 새로운 영상을 생성하는 방법을 보여 주었다[2][3].

예를 들어 경계 영상을 원 영상으로 복원하거나 그림 1과 같은 낮 영상을 밤 영상으로 변환 시키는 방법에 적용될 수 있다. 그러나 pix2pix로 학습시키기 위해서는 학습 영상과 목표 영상이 동일한 장소와 위치에서 촬영이 되어야하기 때문에 현실적으로 다양한 학습 데이터 셋을 취득하기 어렵다. 또한 결과 영상에서 색상을 왜곡 하는 등의 단점을 보여준다. 생산적 적대 신경망으로 생성된 영상은 의도하지 않은 잡음 및 경계 왜곡과 같은 문제가 발생한다[4]. 또한 학습 할 때 많은 양의 학습 데이터와 시간이 필요하다. 본 논문에서는 결과를 도출하는 데 필요한 학습 데이터의 수가 17283에서 270으로 줄어들었다.

Fig. 1. 
Result of conversion from day image to night image[3]

이러한 특징을 가지고 있는 생산적 적대 신경망을 이용하여 밤 영상을 낮 영상으로 바꾸거나 극히 어두운 영상의 시인성을 개선 한다면 실제 산업 현장에서 손실된 정보를 복구하거나, 보안, 감시의 CCTV 분야에 야간의 어두운 영상이나 실내의 조명 밝기가 어두운 곳을 밝은 영상으로 바꾸는 등에 응용을 할 수 있을 것으로 전망된다.

본 논문은 생산적 적대 신경망을 기반으로 어두운 영상을 밝은 영상으로 변환하는 알고리즘을 제안하였다. 첫 번째로 pix2pix의 단점을 보완하기 위해 낮과 밤 영상에서 태양과 같은 외광위치에 따른 색상 정보의 손실 및 실제 해당 데이터 셋을 습득하기 어려운 점을 고려하여 영상의 노출 값(EV)에 변화를 주어 데이터 셋을 구성하였다. 다음으로 학습 시 많은 시간과 데이터를 필요로 하는 단점을 개선하고 생성된 영상에서 발생하는 색상 왜곡 문제를 해결하기 위해 은닉 유닛(Hidden unit)의 구조를 최적화 하였다. 이로부터 적은 양의 데이터 셋과 학습량으로 좋은 성능의 결과를 도출 할 수 있다. 마지막으로 생산적 적대 신경망의 잡음 문제를 해결하기 위해 결과 영상에 라플시안(Laplacian) 필터를 사용하여 영상 경계를 강조 하고 바이래터럴(Bilateral) 필터로 국부적 영상 잡음을 제거하였다.

결과적으로 270쌍의 데이터로 학습한 제안된 모듈과 기존의 알고리즘인 Cycle GAN 그리고 pix2pix의 비교 결과에서 PSNR(Peak Signal-to-Noise Ratio)과 MOS(Mean Opinion Score)의 평균값은 각각 Cycle GAN에서 73%와 36%의 더 좋은 효율을 보여주며 pix2pix에서 52%와 75%의 더 좋은 효율을 보여준다.

본 논문에서는 어두운 촬영 환경의 영상을 밝은 환경의 영상으로 변환하는 알고리즘을 제안한다. 그림 2는 제안하는 알고리즘의 구성을 나타낸다. pix2pix에서 실제 데이터를 얻기가 매우 힘들기 때문에 그림 2의 입력 층(Input layer)에서와 같이 노출 값을 변경한 가상의 데이터 셋을 사용하였다. 전체적인 흐름은 생산적 적대 신경망을 기반으로 된 pix2pix와 유사하지만 은닉 유닛에서 계층의 최적화를 통해 기존 방식의 문제점인 기울기 소실(Gradient vanishing) 문제로 인한 색상 왜곡을 해결하고 생성된 영상에서 발생하는 잡음과 경계 왜곡을 개선하기 위한 후처리 알고리즘을 추가 하였다.

Fig. 2. 
Flowchart of proposed method

3.1 가상 학습 데이터 셋 구성

기존 데이터 셋 구성은 시간에 따른 밤 영상과 낮 영상으로 구성 되어있다. 실제로 이와 같은 데이터를 획득하기는 매우 어렵기 때문에 가상의 학습 데이터 셋을 구성하였다. 어두운 영상을 밝은 영상으로 변환 하는 학습을 위한 데이터 셋 구성은 그림 3과 같다. 밝은 영상과 가상의 어두운 영상의 쌍으로 구성되며 어두운 영상은 다양한 상황을 구현하기 위해 밝은 영상의 EV(노출 값)를 -3, -4, -5로 낮추어 생성되었다[8]. 기존 방식에서의 어두운 영상은 색 정보가 없거나 태양(혹은 조명)의 위치에 따라 색 정보가 변하는 반면 제안된 데이터 셋은 낮은 EV에서도 색 정보의 변화가 기존 방식보다 적다. 이러한 데이터 셋 생성은 실제 실험을 통해 실제 밤 영상을 쓰는 것보다 더 효율적임이 확인된다. 특히 태양과 같은 외광의 영향을 적게 받는 실내 영상에서 차이가 두드러진다. 생성된 영상에서 기존 방식은 실내사진에서 밝기만 조금만 증가 할 뿐이지만 제안 방법은 조명을 켰을 때와 유사한 결과를 보였다.

Fig. 3. 
Learning data sets

3.2 학습 계층의 최적화 및 후처리

기존의 학습 방법은 7개의 고정된 은닉 유닛의 계층으로 구성 되어 있다. 그러나 많은 은닉 유닛의 계층은 계산량을 증가시키고 기울기 소실 현상이 일어나기 때문에 학습의 최적화를 위해서 학습 계층을 최적화 할 필요가 있다. 이를 위해 학습 계층을 정할 때는 식 (1)의 연산시간 조건을 고려하였다.

TLc=NF×NP×TF

(1)

NPH=H-2P-FHS+1

(2)

NPW=W-2P-FWS+1

(3)

여기서 TL_c은 각 계층에서 연산 시간, NF는 전체 특징 맵(Feature map)의 수, NP는 출력 픽셀의 수이며 TF는 각 필터의 연산 시간이다. 첨자 H와 W는 각 높이와 너비를 나타낸다. F는 필터의 크기를 나타낸다. P와 S는 각각 패딩(Padding)과 스트라이드(Stride)의 크기이다.

Pix2pix에서는 생성기 손실 값이 최저가 되는 때가 학습이 종료되는 시점이다. 그러나 손실 값이 최저가 되어도 pix2pix의 결과 영상은 색이 왜곡되는 현상이 관찰된다. 이는 기울기 소실 문제로 데이터 량과 계층의 양에 의한 학습량이 너무 과도한 것이 원인이다. 문제를 해결하기 위해서는 학습량을 줄이는 방법으로 NF = 64를 NF = 32로 수정하였다. TF∝NF 이므로 TL_c가 줄어들어 기울기 소실 문제가 완화되며, 이는 연산 조건식 (1)~(3)에 맞게 S = 2에서 S = 4로 조절하여야 한다.

표 1은 식 (1)~(3)의 주요 수치들을 나타낸다. 기존은 NP가 마지막 은닉 유닛을 통과할 때의 과정에서 1×1이며 이 때 NF = 512 이므로 총 특징의 매개 변수는 512이다. 또한 제안 방법의 마지막 은닉 유닛을 통과 할 때는 NP가 2×2에 NF가 128이므로 마지막 총 특징의 매개 변수는 기존 방법의 값과 동일하게 유지 된다.

Table 1. 
Optimal output pixel values ​​and specific values ​​for the learning layer

Learning layer	pix2pix NP	pix2pix NF	Proposed NP	Proposed NF
1	256×256	64	256×256	32
2	125×125	128	125×125	64
3	60×60	256	14×14	128
4	27×27	512	2×2	128
5	11×11	512	N/A	N/A
6	3×3	512	N/A	N/A
7	1×1	512	N/A	N/A

그림 4는 실험영상 조건 256×256에서 은닉 유닛의 계층 수에 따른 결과를 보여준다. 5개의 계층과 6개의 계층으로 생성된 영상을 보면 계층의 수가 결과 성능에 비례한 관계가 아님을 알 수 있다. 영상 사이즈로부터 계층을 줄이기 위해서는 조건식을 만족해야하며 시스템 매개 변수(NP×NF)가 기존 방식과 대략적으로 일치해야한다.

Fig. 4. 
Input and result images of experiments: (a) Input image(left) and ground truth(right), (b) result images for different numbers of hidden units

조건식으로부터 일치한 7계층으로 구성된 이전 방식은 4계층으로 구성 할 수 있다. 이로 인하여 결과를 도출하는데 필요한 학습 데이터의 수가 17283에서 270로 줄어든다. 또한 결과 성능에서도 4개의 계층을 사용한 결과가 기존 7개의 계층을 사용한 결과보다 테이블, 바닥, 옷장 등에서 색상 왜곡 현상이 개선됨이 확인된다.

영상 변환 후 잡음 개선을 위해 경계 강화와 잡음 블러링(Blurring)을 연결하여 적용하였다. 잡음 왜곡을 줄이기 위하여 먼저 라플라시안 필터를 이용하여 영상의 경계를 강조하고 다음 바이래터럴 필터를 사용하여 강한 경계를 유지하면서 잡음을 제거하였다[9][10].

바이래터럴 필터는 화소 사이의 공간에서의 근사성과 명암도의 차이를 이용한 비선형 필터로써 경계를 보존하고 잡음을 줄여주어 부드러운 영상이 만들어지게 되며 식 (4)와 같이 정의된다.

BF=1W∑xi∈ωfIxi-Ixgxi-xIxi

(4)

W=∑xi∈ωfIxi-Ixgxi-x

(5)

여기서 BF는 필터링 된 결과 영상이고, ω는 필터의 크기를 나타낸다. 함수 f와 g는 각각 레벨 영역 가우시안(Gaussian) 함수와 공간영역 가우시안 함수를 의미한다. W는 BF를 정규화하기 위해 나누어 주었다.

구현과 결과 비교를 위한 실험에 사용된 데이터 셋은 관련 논문에서 제공하는 밤낮 데이터 셋 17823쌍 중 낮 영상 90장을 선택하여 EV 데이터와 함께 270쌍을 사용 하였다[3]. 그림 5~10는 제안 방법, 기존 방법인 pix2pix와 Cycle GAN을 300 에포크(Epoch)와 데이터 셋으로 훈련한 결과이다. 여기서 그림 5~8은 EV을 낮춘 가상의 밤 영상에 대한 결과이며 그림 9~11은 실제 밤 영상에 대한 결과이다.

그림 5(c)와 5(d)는 기존 Cycle GAN 방법과 pix2pix 방법이며 그림5(e)는 제안된 방법으로 기존방법에서는 컬러 체크의 색이 왜곡되는 반면 제안 영상은 색이 정답 영상과 유사하게 보존 된다. 지역적 대비(Local contrast) 또한 이전 방식보다 성능이 뛰어남을 보여준다. 그리고 제안한 방법에서는 기존 방법에서 발생한 잡음이 제거되고 영상 경계 성분 또한 강조 되었다.

Fig. 5. 
Indoor scene 1

그림 6에서는 제안 방법과 비교하여 pix2pix가 테이블이나 옷장에 객체 경계를 넘어서 관련 없는 색을 생성 했고 Cycle GAN은 옷장이나 바닥의 색을 왜곡 시켰다. 그림 7의 하늘영역에서 강한 잡음이 Cycle GAN과 pix2pix의 영상들에서 관찰 되어 진다. 그러나 제안한 방법은 기존 방법보다 색상 왜곡과 잡음이 줄었고 어두운 영역은 더 잘 개선되었다.

Fig. 6. 
Indoor scene 2

Fig. 7. 
Outdoor scene 1

그림 8과 9에서는 pix2pix의 밝기의 변화가 제안 방법에 보다 적고 Cycle GAN은 밝기가 개선되었지만 제안 방법에 비해 어둡고 하늘과 잔디의 색상을 왜곡시켰다.

Fig. 8. 
Outdoor scene 2

Fig. 9. 
Outdoor scene 3

그림 10에서는 제안 방법이 기존 방법들보다 채도 복원 성능이 더 우수하며 정답 영상과 유사하게 복원되었다. 그림 11에서 pix2pix는 전체 영상의 색상을 왜곡 시켰고 Cycle GAN의 영상 밝기는 정답 영상과 제안 방법에 비해 많이 어둡다. 또한 원본 일부 영역에서 원본색상을 유지 하지 못하였다.

Fig. 10. 
Outdoor scene 4

Fig. 11. 
Outdoor scene 5

실험 결과는 제안된 방법이 기존 방법보다 색상 왜곡이 적고 잡음 또한 개선되었다. 어두운 영역에 대한 밝기 복원 성능도 기존 방법보다 잘 개선되어 정답 영상에 유사하게 복원되어진다.

추가적으로 정량적 평가를 위해서 PSNR(Peak Signal-to-Noise Ratio)과 MOS(Mean Opinion Score)를 사용하였다[11]. PSNR은 영상에서 화질 손실 정보를 평가할 때 사용하고 단위는 데시벨(dB)이며 값이 클수록 성능이 좋음을 의미한다. 생성 영상과 정답영상 간의 PSNR의 수치를 통해 얼마나 유사한지를 알아 볼 수 있지만 GAN은 새로운 픽셀을 생성하기 때문에 이 평가 방법으로는 판단하기 어려울 수 있으므로 결과 성능에 확실히 납득 할 수 있는 방법으로 MOS를 사용하였다[11].

MOS는 정답 영상과 비교하여 1(bad quality) ~ 5(Excellent quality) 사이의 값을 가지며 5에 가까울수록 높은 품질을 나타낸다. 그림 12~13은 그림 5~11의 정량적 평가를 PSNR과 MOS의 결과 그래프로 표시한 것이다. PSNR의 차이는 평균적으로 Cycle GAN 보다 13.62 dB 차이를 보이고, pix2pix 보다 6.22 dB 차이를 보여 더 좋은 성능을 보인다. 또한 MOS의 경우 Cycle GAN은 평균 2.71점, pix2pix는 평균 2.14점을 보이며 제안 방법은 3.71점을 보여 복원 영상과 정답 영상의 사이의 유사도 또한 제안 방법이 더 가깝게 복원됨을 알 수 있다. 이는 그림 12~13에서 확인할 수 있다.

Fig. 12. 
Evaluation of PSNR performance

Fig. 13. 
Evaluation of MOS performance

본 논문에서는 실제 CCTV 등과 같이 보안, 감시 활용을 위해서 생산적 적대 신경망 재구성 하여 밤 영상을 낮 영상으로 바꾸는 방법에 대해서 제안하였다.

Pix2pix의 문제점인 학습 영상과 목표 영상의 공간적 일치성에 대한 제한 상황과 영상 포화에 따른 색 정보 손실 문제를 해결하기 위해 목표 영상의 노출 값을 다르게 하여 학습 영상을 생성하였다. 다음으로 기울기 소실 문제를 해결하기 위해 은닉 유닛을 재구성 하였다.

그 결과 색상 왜곡의 문제를 해결하고 기존 방식보다 적은 양의 학습으로도 성능이 개선됨을 확인 하였다. 그리고 결과 영상에서 발생하는 잡음 및 영상 경계의 왜곡을 개선하기 위해 라플라시안 필터와 바이래터럴 필터를 사용하였다.

실험에서 기존 방법과 제안한 방법의 비교 결과 색상 왜곡과 잡음 문제에 대해 제안한 방법이 기존 방식보다 우수한 성능을 보인다. 그리고 추가적인 PSNR과 MOS 지표를 이용한 각각의 정량적 평가에서 제안한 방법이 Cycle GAN 보다 PSNR 73%, MOS 36% 각각 개선되었고, pix2pix 보다 PSNR 52%, MOS 75% 정도 개선된 결과를 보여준다.