Current Issue

인지 주도 초해상화 방법은 픽셀 주도 초해상화 방법과 비교했을 때 더 선명한 텍스처 영상을 복원할 수 있다. 이것이 가능하게 된 주된 이유는 크게 2가지이다. 하나는 적대적 생성망때문이고 또 다른 하나는 인지 손실함수[15] 때문이다. 최초의 인지 주도 초해상화 방법인 SRGAN[5]은 적대적 생성망에서 인지 손실와 적대적 손실을 신경망의 손실로 활용한다. EnhanceNet[10]는 원본 이미지의 텍스처 정보를 복원하기 위해 텍스처 정합 손실(Texture matching loss)함수를 인지손실과 함께 사용한다. 그리고 ESRGAN[11]은 SRGAN의 기본 블록인 잔차 블록(Residual block)을 RRDB로 대체하고 일반적인 판별자 대신 상대 평균 판별자(Relativistic average discriminator)를 활용하여 성능 향상을 유도했다. 최근에는 신뢰도 높은 텍스처 복원을 위해 의미론적 분할(Semantic segmentation)을 사용하는 SFTGAN(Spatial Feature Transform Generative Adversarial Network)[12]과 자연 다양체(Natural manifold)을 활용하는 NatSR(Natural and realistic Super Resolution)[13] 모델이 제안되었다. 마지막으로 텍스처 이미지의 구조적 보존력을 향상시키기 위해 생성기에 그라디언트 부신경망과 그라디언트 손실함수를 추가하여 모델링하는 SPSR [14]이 제안되었다.

채널과 공간의 중요도에 따라 특징을 추출하는 주의집중은 초해상화 방법들의 성능 향상을 위해 많이 활용된다. 특히, 픽셀 주도 초해상화 방법에서 채널 주의집중(Channel attention) 모듈을 다양한 방식으로 발전시켜 사용되어왔다. 주의집중 기법을 초해상화에 적용한 최초의 모델은 RCAN(Residual Channel Attention Network)[6]으로 잔차 밀집 블록(Residual dense block)마다 채널 주의집중 모듈을 사용한다. 강력한 특징 표현과 특징 관계성 학습을 위해 2차 채널 주의집중(SOCA, Second-Order Channel Attention) 모듈을 활용하는 SAN(Second-order Attention Network)[7]이 후속으로 제안되었다. 이를 더 발전시켜 레이어별, 채널별, 위치들 사이에서 전역적인 상호의존성을 모델링하기 위해 층 주의집중 모듈(LAM, Layer Attention Module)과 채널 공간 주의집중 모듈(CSAM, Channel-Spatial Attention Module)을 활용하는 HAN(Holistic Attention Network)[8]이 제안되었다.

주의집중 기법은 적대적 생성망 기반의 기법에도 적용되고 있다. 예를 들어, SAGAN(Self-Attention GAN)[16] 모델은 특징벡터 간의 전역적인 상호의존성을 모델링할 수 있는 자가주의집중 모듈을 새롭게 제안함으로써 적대적 생성망 모델의 성능을 개선하였다.

DenseNet(Dense Network) [17]에서 활용하는 밀집 연결은 경사 소멸(Gradient vanishing) 문제를 완화할 뿐 아니라 모델의 복잡도를 높여 오버피팅(Overfitting)에 빠지지 않게 하고 높은 정확도를 달성할 수 있게 한다. 그러나 밀집 연결 구조 속 특징맵의 재사용은 많은 계산량을 요구한다. 따라서 경량화된 특징맵 재사용을 위해 CondenseNet[18]은 학습된 그룹 합성곱 신경망을 사용하여 층간 중복 연결을 부분적으로 끊어낸다. 더불어 SPSAGAN(Segmentation-Prior Self-Attention GAN)[19]에서는 비유사성 측정(Dissimilarity measure) 방법을 기반으로 기본 블록의 밀집 연결을 부분적으로 끊어내어 계산 비용을 감소시키고 중복되는 특징맵의 반복학습을 회피한다. 이때 생성한 블록을 RRSB(Residual-in-Residual Sparse Block)라 명명한다.

웨이블릿 변환은 해상도에 따라 공간과 주파수 분석을 제공하기 때문에 잡음 제거, 특징 추출, 영상 압축 분야를 비롯한 많은 곳에서 많이 사용된다. 또한, 본 연구의 목적인 초해상화 분야에서도 선명한 텍스처 영상 복원을 위해 활용되고 있다. 예를 들어 과도하게 부드럽고 섬세한 텍스처를 놓치는 문제를 개선하기 위해 Wavelet-SRNet[20] 모델이 제안되었다. 해당 모델은 얼굴 이미지 데이터 셋에 웨이블릿 변환을 활용하여 사람 얼굴의 전역적인 위상 정보와 국부 영역의 텍스처 정보를 파악한다. 더 나아가 저해상도 웨이블릿 계수의 서브밴드 모두를 입력영상으로 활용함으로써 텍스처 이미지의 복원력을 향상시키는 모델도 제안되었다[21].

한편, 인지 주도 초해상화 모델인 SRGAN[5]에 웨이블릿을 결합한 모델[22]이 제안되었다. 이를 통해 생성된 이미지의 텍스처가 원본에 가깝게 복원하도록 유도한다.

그림 2(a)는 제안한 SGAGAN-W의 신경망 구조이며 기존의 SPSR[14]의 확장판이다. SPSR은 두 종류의 부신경망으로 구성된다[14]. 첫 번째 부신경망는 “초해상화 부신경망”로써, 23개의 RRDB로 이뤄진다. 두 번째 부신경망는 “그라디언트 부신경망”로써, 1개의 RRDB과 1개의 합성곱 신경망으로 구성되는 그라디언트 블록(Gradient block)들로 구성된다. 이때 각각의 그라디언트 블록은 5, 10, 15, 20번째 초해상화 블록(SR block) 특징맵과 연결되어 활용된다. 두 종류의 부신경망을 동시에 사용함으로써 SPSR은 텍스처 구조적 복원력을 개선한다.

Fig. 2. 
Overall architecture of the proposed network, (a) SGAGAN-W, (b) Dense block, (c) Sparse block, (d) Modified sparse block, (e) GSA

그림 2(a)의 제안한 SGAGAN-W 구조는 기존의 SPSR에 3가지 주요한 변경점이 있다. 첫째, 그라디언트 부신경망의 기본 블록을 MRRSB로 대체한 것이다. 그라디언트 부신경망의 입력으로 활용하는 그라디언트 이미지는 윤곽선 정보만을 가지기 때문에 저해상도 이미지와 비교했을 때 상대적으로 적은 픽셀 정보를 갖는다.

이로 인해 그라디언트 부신경망을 학습시킬 때 중복된 특징맵을 반복학습할 가능성이 존재한다. 따라서 그라디언트의 불필요한 반복학습을 회피하고 계산량을 감소시키기 위해서 RRDB 대신 MRRSB를 그라디언트 부신경망의 기본 블록으로 사용한다. 둘째, 텍스처의 구조적 강조를 기반으로 전역적 상호의존성을 고려하기 위해 GSA 모듈을 새로이 고안한다. 제안한 자가주의집중 모듈은 텍스처의 전반적인 정보를 포함하는 마지막 초해상화 블록 특징맵과 텍스처의 구조적 정보를 포함하는 마지막 그라디언트 블록의 특징맵을 입력으로 받는다.

두 종류의 특징맵을 입력으로 활용함으로써 텍스처 구조적 왜곡을 감소시키고 선명한 이미지의 복원력을 개선한다. 셋째, 텍스처 왜곡을 완화하고 선명한 초해상화 영상을 생성하기 위한 웨이블릿 손실함수를 제시한다. 제안한 3가지 변경점을 모두 적용한 신경망 구조에서 생성기 Gen의 최종 목표는 손실함수 L에 관하여 최적화된 생성기 파라미터 θ^*를 찾는 것이다. 이때 LR과 HR은 저해상도 이미지와 고해상도 이미지를 나타낸다.

그림 2(b)에서 밀집 블록은 5개의 합성곱 신경망이 밀집 연결인 상태로 구성되어 있다. 이를 통해 신경망의 용량을 증가시키고 전체적인 성능을 향상시키지만 높은 계산량과 중복되는 특징맵을 재사용하는 문제점이 존재한다. 적대적 생성망 기반 초해상화 연구에서 해당 문제를 해결하기 위해 SPSAGAN[19]은 RRSB를 제안한다. 그림 2(c)에서 보이는 바와 같이 희소 블록(Sparse block)은 비유사성 측정 방법에 근거하여 밀집 블록에 있는 중복된 연결을 부분적으로 끊어낸다.

본 신경망에서 중복되는 그라디언트 특징맵의 반복학습을 회피하고 요구되는 계산량을 감소시키기 위해 그라디언트 부신경망에 MRRSB를 기본 블록으로 활용한다. 그림 2(c)와 2(d)에서 확인할 수 있듯 해당 블록을 구성하기 위해 밀집 블록의 밀집 연결을 부분적으로 끊어내고 활성화 함수로 정류선형유닛(ReLU, Rectified Linear Unit) 대신 누수 정류선형유닛(Leaky ReLU)을 사용한다.

RRDB와 MRRSB의 훈련 가능한 파라미터의 숫자는 각각 71.9k와 52.5k이다. 제안한 MRRSB 한 개를 교체하는 것만으로 19.4k 정도의 계산량을 감소시킨다는 것을 확인할 수 있다.

그림 2(e)는 GSA 모듈의 구조를 보여준다. 해당 모듈은 입력이 2개로 하나는 마지막 초해상화 블록의 특징맵이고 또 다른 하나는 마지막 그라디언트 블록의 특징맵이다. 우선 제안한 모듈을 실행하기 위해 입력으로 받은 마지막 그라디언트 블록의 특징맵을 y∈R^C×N와 같이 재구성한다. 이때 C는 채널을 의미하고 N은 채널을 제외한 특징맵의 모든 픽셀 숫자를 의미한다. 그런 다음 재구성한 그라디언트 특징맵(y)은 주의집중 맵(Attention map)을 계산하기 위해 1x1 합성곱 신경망을 사용해서 2개의 특징 공간(Feature space)인 f^grad와 g^grad로 변환된다. 계산 과정은 다음과 같다.

변환 이후 SAGAN[16]과 동일한 규격의 구성과 제안한 모듈의 메모리 효율성을 위해 f^grad와 g^grad의 채널의 수를 8로 나눈다. 그라디언트(Gradient) 주의집중 맵인 β^grad는 si,jgrad=fgradyiTggrad(yi) 출력 값에 소프트맥스(Softmax)를 적용해서 획득한다. 이를 통해 그라디언트 이미지에 대한 j번째와 i 번째 특징 벡터 간의 중요도를 학습한다.

초해상화 블록의 특징맵(x)도 상기에서 언급된 과정과 유사하게 2개의 특징 공간으로 변환한다. 그리고 특징 주의집중 맵인 β^fea는 그라디언트 주의집중 맵과 동일한 방식으로 계산한다.

SPSAGAN[19]은 본 논문에서 제안한 GSA 모듈과 마찬가지로 두 가지의 특징맵을 입력으로 사용하는 자기주의집중 모듈을 제안한다. 하나는 의미론적 분할(Semantic segmentation) 이미지이고 또 다른 하나는 저해상도 특징맵이다. 이때 분할 주의집중 맵(Segmentation attention map)에 우선순위를 할당하기 위해 주의집중 맵마다 다른 가중치를 적용하여 통합한다. 하지만 본 연구에서는 특징 주의집중 맵과 그라디언트 주의집중 맵을 별다른 가중치 없이 통합한다. 왜냐하면 특징 주의집중 맵이 가지는 보편적인 텍스처 정보만큼 그라디언트 주의집중 맵이 가지는 텍스처의 구조적 정보를 활용하는 것이 텍스처 구조적 왜곡을 감소시키는데 중요하기 때문이다. 따라서 위에서 구한 식 (3)과 식 (4)를 가리키는 두 개의 주의집중 맵을 식 (5)와 같이 픽셀별로 더한 후 소프트맥스를 사용한다. 이때 자가주의집중 모듈에서 사용하는 최종 주의집중 맵과 동일한 픽셀 범주를 획득하기 위해 통합된 주의집중 맵(Combined attention map)에 소프트맥스로 다시 적용한다.

최종 주의집중 층(Attention layer)의 결과는 o=(o₁,⋯o_j,⋯o_N)∈R^C×N로 각각의 주의집중 층은 oj=∑i=1Nβj,icombhfeaxi와 같이 정의할 수 있다. 이때 hfea=Whfeaxi는 초해상화 블록 특징맵(x)로부터 구할 수 있다. 마지막으로 최종 주의집중 층과 학습가능한 감마(Gamma)를 곱하고 원래 입력인 초해상화 특징맵(x)을 더한다. 이로써 GSA 모듈의 결과를 얻을 수 있다.

본 연구에서는 텍스처 구조 왜곡을 억제하기 위해 웨이블릿 변환 기반의 손실함수를 제안한다. 그림 3에서 확인할 수 있듯이, 2차원 이미지에 대한 웨이블릿 변환은 이산 웨이블릿 변환(DWT, Discrete Wavelet Transform)을 사용하고 이때 가장 간단한 Haar 웨이블릿 변환을 사용한다. 이를 위해 저역 통과 필터(Low-pass filter)와 고역 통과 필터(High-pass filter)를 행과 열의 순서에 맞게 실행하여 4개의 서브밴드를 획득할 수 있다. 획득한 4개의 서브밴드는 LL(근사, Approximation), HL(수직, Vertical), LH(수평, Horizontal) 그리고 HH(대각, Diagonal)와 같이 표기한다.

Fig. 3. 
Procedure of 2D-DWT decomposition

그림 4는 영상처리에서 널리 사용되는 ‘개코원숭이’(‘Baboon’) 테스트 이미지에 웨이블릿 변환을 적용해 얻은 서브밴드를 보여준다. 그림 4에서 확인할 수 있듯 전방향 이산 웨이블릿 변환(Forward DWT)을 적용하면 4개의 서브밴드를 각각 얻을 수 있다. 역방향 이산 웨이블릿(Inverse DWT)을 적용하면 4개의 서브밴드로부터 원본 이미지로 재복원할 수 있다.

Fig. 4. 
‘Baboon’ Image and 2D wavelet transform result

그림 5는 본 연구에서 제안한 웨이블릿 변환 기반의 웨이블릿 손실을 계산하는 과정을 보여준다. 웨이블릿 손실을 구하기 위해서 우선 원본 이미지와 초해상화 이미지의 레벨 1 그리고 레벨 2의 이산 웨이블릿 변환 서브밴드를 구한다.

Fig. 5. 
Wavelet loss based on 2D DWT

여기서 말하는 레벨은 이산 웨이블릿 변환을 시행하는 숫자, 즉 해상도 레벨을 의미한다. 이때 원본 이미지와 초해상화 이미지에 따른 레벨별 이산 웨이블릿 변환 서브밴드의 표기는 고해상도 웨이블릿 서브밴드(HRSB, HR wavelet Subband)와 초해상화 웨이블릿 서브밴드(SRSB, SR wavelet Subband)로 표기한다.

여기서 HA, HV, HH, HD는 고해상도 이미지의 근사, 수직, 수평, 대각의 웨이블릿 계수(Wavelet coefficients) 서브밴드를 나타낸다. 그리고 SA, SV, SH, SD는 초해상화 이미지의 근사, 수직, 수평, 대각의 웨이블릿 계수 서브밴드들을 나타낸다. 이때 윗첨자 i는 레벨 즉, 해상도 레벨을 나타낸다.

제안한 웨이블릿 변환 손실함수는 레벨 1과 레벨 2에 대한 고해상도 서브밴드와 상응하는 초해상화 서브밴드간의 픽셀 차이를 모두 더함으로써 모델링된다.

여기서 ∥∥₁는 L1-norm(놈)을 의미한다.

여기서 L_SPSR과 L_Wavelet은 각각 SPSR에서 활용하는 모든 손실함수 그리고 제안한 웨이블릿 손실함수을 의미하고 λ는 가중치를 의미한다. 본 연구에서는 가중치 값을 10^-1, 10^-2, 5×10^-3로 설정하여 실험을 진행했고 경험적으로 10^-2가 가장 적절한 결과임을 획득하였다. 서두에서도 언급한 것처럼, 웨이블릿 손실함수는 해상도에 따라 공간과 주파수 분석이 가능하기 때문에 인지주도 초해상화 신경망 구조에서 텍스처 구조 왜곡을 억제할 수 있게 한다.

본 연구에서 제안한 신경망 모델 구조는 SPSR[14]을 바탕으로 진행하고 4배 규모에 대한 초해상화만을 진행한다. 원본 고해상도 훈련 데이터로 DIV2K(DIVerse 2K resolution high quality images) 데이터 셋을 활용한다. DIV2K 데이터 셋는 2K 해상도를 가지는 800개 이미지 데이터 셋을 의미한다. 저해상도 데이터 셋은 MATLAB의 Bicubic 보간법을 통해 구성한다. 고해상도와 저해상도의 패치 사이즈는 각각 192x192, 48x48을 사용한다. 그리고 데이터를 불러올 때마다 무작위 좌우 반전, 90도마다 회전을 통해 데이터를 증가시킨다. 제안한 방법의 성능을 비교평가하기 위해 본 연구에서는 5개의 테스트 벤치마크 데이터 셋 즉, Set5, Set14, BSD100, General100 그리고 Urban100를 활용한다.

또한, 평가 척도를 위해서 최대 신호 대 잡음 비(PSNR, Peak Signal-to-Noise Ratio)와 구조적 유사성 지수 측정(SSIM, Structural Similarity Index Measure)[23], 인지 지수(PI, Perceptual Index)[24], 학습된 인지 이미지 패치 유사성(LPIPS, Learned Perceptual Image Patch Similarity)[25] 총 4개의 평가 지표를 활용한다. 이때 PSNR과 SSIM은 YCbCr 색 공간에서 밝기 채널에 의해 계산된다. LPIPS는 사전 학습된 VGG[26] 신경망의 특징맵을 기반으로 패치 유사성을 계산하여 인지 평가를 진행한다. PI와 LPIPS는 낮을수록 텍스처의 인지적 품질이 좋음을 나타내고 PSNR과 SSIM은 높을수록 복원된 텍스처 전반의 신호 품질이 좋음을 나타낸다. 일반적으로 적대적 생성망 기반 초해상화 모델들은 2단계에 걸친 학습을 진행한다.

첫 단계에서는 픽셀의 절대값 차이를 기반으로 최적화를 진행하는 순방향 신경망을 학습한다. 두 번째 단계에서는 첫 번째 단계에서 학습한 파라미터를 생성기에 초기화한 후 인지 손실함수를 비롯한 다수의 손실함수를 기반으로 적대적 생성망의 최적화를 진행한다.

다만 본 실험에서는 미리 학습된 픽셀 주도 방법 기반 ESRGAN 모델 파라미터가 존재했기 때문에 첫 번째 단계를 생략한다. 이 때문에 본 신경망는 적대적 생성망을 다수의 손실함수와 함께 학습시키는 단계만을 진행한다. 생성기와 분류기의 학습률(Learning rate)은 모두 1×10^-4이고 [50k, 100k, 200k, 150k] 이터레이션(Iteration)마다 학습률이 절반으로 가변한다. 신경망 최적화 기법으로는 아담(Adam)을 사용했으며 일차 모멘텀 계수인 β₁, 이차 모멘텀 계수인 β₂를 0.9, 0.999로 설정했다. 배치 크기는 기저 모델 SPSR과 동일하게 16으로 설정한다. NVIDIA RTX 2080 Ti GPU 여러 대에서 PyTorch 1.6 버전으로 제안한 모델을 실행한다.

그림 6은 제안된 기법과 최신 초해상화 기법들을 사용해서 복원된 결과 영상이다. 그림에서 볼 수 있듯이, 제안된 최종 모델인 SGAGAN-W 모델이 최신 초해상화 기법 즉, EnhanceNet, SRGAN, ESRGAN, SFTGAN, NatSR, SPSR보다 텍스처 구조 왜곡을 완화하고 더 선명한 고품질의 영상을 생성할 수 있음을 알 수 있다. 특히, 그림 6(a)와 6(b)에서 확인할 수 있듯 ‘img_016’과 ‘img_073’ 이미지에 대해, 제안된 모델이 빌딩 건물의 텍스처 왜곡을 보정하는 것을 보여준다. 또한, 그림 6(c)는 ‘108005’ 이미지에 대해서도 부드러운 질감과 자연스러운 패턴을 선명하게 생성함을 보여준다.

Fig. 6. 
Visual comparison with state-of-the-art GAN-based SR methods, (a) ‘img_016’ from Urban100, (b) ‘img_073’ from Urban100, (c) ‘108005’ from BSD100

표 1은 테스트 벤치마크 데이터 셋에 대한 각 모델의 4가지 평가 지표 즉, PI, LPIPS, PSNR, SSIM를 활용한 정량적 평가 결과를 보인다. 표에서 빨간색과 파란색 굵은 숫자는 각각 가장 좋은 지표와 2번째로 좋은 지표를 의미한다. 표에서 제안된 최종 모델 SGAGAN-W이 대부분의 평가 지표에서 높은 순위를 달성한 것을 볼 수 있다.

좀 더 자세히 말하면, 제안된 모델이 모든 테스트 벤치마크 데이터 셋에 대해서 PSNR과 SSIM 평가 부분에서는 1등을 차지하였고 LPIPS 지표에 대해서는 3개의 데이터 셋에서 1등, 나머지 2개 데이터 셋에서 2등을 달성하였다. 다만 인지적 화질 평가 척도를 측정하는 PI 지표에 대해서는 상당폭 하락되었다.

제안된 모델 즉, SGAGAN-W에서 적용한 방법들의 효과를 검증하기 위해, 기존 모델인 SPSR에 제안된 모듈들을 하나씩 추가함에 따라 획득한 정성적, 정량적 결과를 분석하였다.

그림 7은 애블레이션 연구를 진행한 테스트 데이터 셋 속 이미지 일부를 나타낸다. 각 열은 원본 이미지, SPSR, SPSR에 자가주의집중 모듈을 추가한 것(SPSR+SA), SPSR에 GSA 모듈을 추가한 것(SPSR+GSA), SPSR에 GSA 모듈과 MRRSB를 모두 추가한 희소 그라디언트 가이드 주의집중 기반 적대적 생성망(SGAGAN, Sparse Gradient-guided Attention GAN)[28], 마지막으로 SGAGAN에 웨이블릿 손실을 같이 사용한 최종 제안한 초해상화 기법 SGAGAN-W를 나타낸다.

Fig. 7. 
Visual effects depending on applying the proposed modules, (a) ‘img_061’ from Urban100, (b) ‘img_062’ from Urban100, (c) ‘img_063’ from Urban100

그림 7에서 기존 모델인 SPSR에 모듈을 추가함에 따라 텍스처의 화질이 점진적으로 향상됨을 알 수 있다. 특히, 그림에서 볼 수 있듯이, 본 연구에서 제안한 방법을 통해 가로와 세로 방향의 텍스처가 잘 복원되고 텍스처 왜곡도 완화됨을 알 수 있다. 예를 들어, 그림 7(a)의 경우, 제안한 최종 모델이 다른 모델들에 비해 사각형 모양의 창틀을 더 정확하게 생성하였다. 또한, 그림 7(b)의 창문과 그림 7(c)의 벽돌 역시 텍스처 왜곡을 보정하여 원본 이미지와 유사하도록 복원하였다.

표 2는 애블레이션 연구에 따른 정량적 수치를 보여준다. 제안된 자가주의집중, GSA, MRRSB, 웨이블릿 손실을 추가함에 따라 제안된 모델의 성능이 개선되는 것을 볼 수 있다. 제안한 모델이 가장 높은 PSNR과 SSIM을 달성하였으며 LPIPS 부분에서도 2개의 벤치마크 데이터 셋에 대하여 1등을 달성하였다. 결과적으로 제안한 모듈들을 모두 통합한 최종 모델인 SGAGAN-W이 텍스처 왜곡을 바로잡음과 동시에 고품질의 영상을 복원하는 데 효과적임을 확인할 수 있다.

나방 분류 및 계수(MCC, Moth Classification and Counting) 데이터 셋은 공개 나방 데이터 셋이다[27]. 해당 데이터 셋은 총 9종류의 나방에 대해서 각각 250장의 이미지를 제공한다. 각 이미지는 하나의 나방 개체가 존재하고 이미지 해상도는 다양하게 제공한다. 앞서 진행한 DIV2K 데이터 셋과 비교했을 때 해상도는 대략 4~8배 정도로 낮다. 모델 학습을 위해 MCC 데이터 셋의 총 2250장의 이미지에서 2160장은 훈련 데이터 셋으로 나머지 총 90장은 테스트 데이터 셋으로 사용하였다. 제 4장의 실험 환경과 동일하게 고해상도와 저해상도의 패치 사이즈는 각각 192x192, 48x48으로 설정하고 데이터 강화를 위해 데이터를 불러올 때마다 무작위 좌우 반전, 90도 회전을 적용하였다. 평가 지표도 PSNR, SSIM, PI, LPIPS를 활용하였다.

적대적 생성망 기반의 초해상화 기법은 일반적으로 두 단계에 걸쳐 학습을 진행한다. 제 4장의 실험에서는 미리 학습된 픽셀 주도 방법 기반 ESRGAN 모델 파라미터가 존재했기 때문에 첫 번째 단계를 생략했다. 하지만 MCC 데이터 셋에 대해서는 사전 학습된 모델의 파라미터를 구할 수 없으므로 두 단계를 모두 진행한다. 우선 첫 번째 단계에서는 초해상화 부신경망만을 활용해서 픽셀의 절대값 차이를 기반으로 최적화를 진행하는 순방향 학습(Feed-forward training)을 진행한다. 이때의 학습률은 2×10^-4로 시작해서 200k 반복횟수마다 학습률 감소를 진행한다. 두 번째 단계에서는 학습된 파라미터를 토대로 적대적 생성망 학습을 진행한다. 나머지 초매개변수(Hyper-parameter) 설정은 제 4장과 동일하다.

그림 8은 MCC 데이터 셋에 대한 제안한 모델과 기존 초해상화 모델의 결과영상이다. 그림에서 보듯이, 제안한 SGAGAN-W이 기존의 SRGAN 및 ESRGAN보다 더 선명한 영상을 복원함을 알 수 있다. 또한, 그림 8(a) ‘34’ 테스트 이미지의 날개 부분에서도 제안한 SGAGAN-W이 SPSR보다 더 선명한 날개 무늬 텍스처를 복원함을 볼 수 있다.

Fig. 8. 
Qualitative results in ablation study, (a) ‘34’ from ‘Amphipyra pyramidea’, (b) ‘167’ from ‘Noctua pronuba’

표 3은 MCC 데이터 셋의 애블레이션 결과이다.표 3에서 최종 제안한 모델인 SGAGAN-W가 DIV2K 데이터 셋의 결과가 동일하게 PSNR, SSIM, LPIPS 평가에서 가장 우수한 결과를 획득했다. PI 평가는 다소 낮게 나와서 아직 개선 여지가 남아있다. 따라서 향후 연구계획으로 PI의 정량적 평가를 높일 수 있는 방안을 모색하고자 한다.