영상의 구조적 왜곡억제를 위한 희소 그라디언트 가이드 주의집중 및 웨이블릿 손실을 활용한 초해상화

Ⅰ. 서 론

단일 이미지 초해상화(SISR, Single Image Super Resolution)란 저해상도 이미지로부터 고해상도의 이미지를 복원하는 과정을 말한다. 초해상화 기술은 보간법(Interpolation)[1]과 같은 적응적 필터링 기반의 고전적인 접근 방식을 시작으로 얇은 학습인 사전학습(Dictionary learning)[2][3]을 사용하다가 최근에는 딥러닝이 대세를 이루고 있다. 초기 딥러닝 기반의 초해상화 모델은 픽셀의 정확한 복원력을 위해 픽셀 간 평균 제곱 오차(MSE, Mean Square Error)를 신경망의 손실로 사용했다.

이러한 픽셀 주도(Pixel-driven) 초해상화 딥러닝 모델[4]-[8]은 고전적인 초해상화 기법들과 비교했을 때 화질 측면에서 상당한 성능 개선을 이루었지만, 미세한 텍스처와 에지의 정확한 복원은 여전히 현안으로 남아있다. 이를 개선하기 위해 적대적 생성망(GAN, Generative Adversarial Network)[9] 구조를 가지는 인지 주도(Perceptual-driven) 방법이 제안되었다.

인지 주도 방법[5][10]-[14]은 더 선명한 이미지를 얻기 위해 특징 공간(Feature space)에서의 오차를 최소화하는 인지 손실(Perceptual loss)[15]을 사용한다. 하지만 초기 인지 주도 방법은 복원 영상의 텍스처 왜곡 현상이 발생하는 경향이 있다. 이를 해결하기 위해, 최근에는 생성자에 그라디언트 부신경망(Gradient subnetwork)을 붙이는 SPSR(Structure Preserving Super Resolution) 모델[14]이 제안되었다.

그림 1(a)-(d)에서 보듯이, SPSR은 다른 인지 주도 방법인 SRGAN(Super Resolution Generative Adversarial Network)[5], ESRGAN(Enhanced Super Resolution GAN)[11]과 비교했을 때 복원 영상의 텍스처 이미지 복원력을 개선하고 구조적 왜곡을 완화할 수 있지만, 여전히 원본 이미지 화질 수준에는 미치지 못함을 알 수 있다.

Fig. 1.

Deep learning based super resolution images with textural distortions, (a) HR, (b) SRGAN, (c) ESRGAN, (d) SPSR, (e) SPSR+SA, (f) SPSR+GSA, (g) SGAGAN (Ours), (h) SGAGAN-W (Ours)

한편, 종래의 합성곱 신경망(CNN, Convolutional Neural Network)은 국부 수용 영역(Local receptive field) 내의 노드들만 연결해서 커널을 학습하기 때문에 국부 영역의 특징만을 추출하고 활용한다[4]. 따라서 전체 노드를 대상으로 채널과 공간의 중요도에 따라 특징을 추출하기 위해서는 주의집중(Attention) 모듈을 활용할 필요성이 있다. 특히, 적대적 생성망에서 사용하는 자가주의집중(Self-Attention) 모듈[16]은 특징 벡터 간의 전역적인 상호의존성을 고려함으로써, 합성곱 신경망의 특징 구별력을 제고할 수 있다.

더불어, 자가주의집중 모듈을 사용함으로써 초해상화 분야에서 발생하는 텍스처 왜곡 문제를 개선할 수 있다. 그림 1(d)와 1(e)는 기존의 SPSR 기법과 자가주의집중 모듈을 추가한 SPSR-SA(Structure Preserving Super Resolution with Self-Attention) 기법의 결과영상을 보여주고 있다. 그림 1의 파란색 박스에서 볼 수 있듯이, 자가주의집중 모듈을 반영한 SPSR-SA 기법이 기존의 SPSR 기법보다 텍스처 왜곡 현상을 완화한 것을 볼 수 있다. 하지만 자가주의집중 모듈만으로는 텍스처 왜곡 문제를 말끔히 해소할 수 없음을 알 수 있다.

따라서 본 논문에서 초해상화 분야의 텍스처 왜곡 문제를 해결하기 위해 웨이블릿 손실과 희소 그라디언트 가이드 주의집중 기반의 적대적 생성망(SGAGAN-W, Sparse Gradient-guided Attention GAN with Wavelet loss)을 제안하고자 한다. 특히, 제시하는 모델은 생성기에 그라디언트 부신경망이 붙인 기존의 SPSR[14]을 기저 모델로 3가지 간단한 적용을 통해 텍스처 왜곡 문제를 개선한다. 첫째, 그라디언트의 부신경망의 기본 블록을 RRDB(Residual-in-Residual Dense Block)에서 MRRSB(Modified Residual-in-Residual Sparse Block)로 대체함으로써 중복되는 그라디언트 특징맵의 반복학습을 회피하고 계산량을 감소시킨다. 이때, 제안한 MRRSB는 기존의 RRDB의 밀집 연결(Dense connection)을 부분적으로 끊어낸 업데이트된 버전에 해당한다.

둘째, 텍스처 왜곡을 감소하기 위한 일차적 대안으로 전역적 상호의존성을 고려할 수 있는 GSA(Gradient-Guided Self-Attention) 모듈을 새롭게 제시하고자 한다. 기존의 자가주의집중 모듈은 픽셀들간의 전역적인 상호관계, 즉 공간과 채널에 따른 픽셀의 중요도를 전역적으로 반영하기 때문에 텍스처 왜곡을 완화할 수 있다. 제안한 GSA 모듈은 기존의 자가주의집중 모듈의 특징 구별성을 강화하기 위해 그라디언트 부신경망에서 추출된 그라이디언트 특징을 추가적으로 활용한 수정 버전이다. 제안한 자가주의집중 모듈을 적용함으로써 텍스처 왜곡 감소와 선명도 개선 효과를 유도하고자 한다.

셋째, 텍스처 왜곡을 완화하기 위한 이차적 대안으로 웨이블릿 변환 기반의 손실함수를 새롭게 도입하고자 한다. 웨이블릿 변환 기반의 손실함수는 웨이블릿 변환을 적용해서 획득한 입력영상과 복원영상의 서브밴드(Subband)간의 오차를 모델링한다. 제안한 웨이블릿 변환 기반의 손실함수를 적용함으로써, 텍스처 왜곡을 억제하고 더 선명한 영상을 복원하고자 한다. 그림 1(h)는 최종 제안한 초해상화 기법의 결과로써, 기존 초해상화 모델들과 비교했을 때 텍스처 복원력이 상당히 개선됨을 볼 수 있다.

이 논문의 구성은 다음과 같다. 먼저, 제 2장에서 본 연구와 관련된 관련 연구들을 소개한 후, 제 3장에서 제안한 SGAGAN-W에 대해 자세히 설명하고자 한다. 제 4장과 제 5장에서는 다양한 데이터 셋에서 진행한 실험을 토대로 정량적, 정성적 평가를 진행하고 마지막으로 제 6장에서 결론을 맺고자 한다.

Ⅱ. 관련 연구

Ⅲ. 제안한 적대적 생성망의 구조

이 장에서 먼저 제안한 SGAGAN-W 신경망 구조에 대한 전체적인 개요를 설명한다. 그리고 제안한 MRRSB과 GSA 모듈 그리고 웨이블릿 손실함수에 대해 순차적으로 설명하고자 한다.

3.1 개요

그림 2(a)는 제안한 SGAGAN-W의 신경망 구조이며 기존의 SPSR[14]의 확장판이다. SPSR은 두 종류의 부신경망으로 구성된다[14]. 첫 번째 부신경망는 “초해상화 부신경망”로써, 23개의 RRDB로 이뤄진다. 두 번째 부신경망는 “그라디언트 부신경망”로써, 1개의 RRDB과 1개의 합성곱 신경망으로 구성되는 그라디언트 블록(Gradient block)들로 구성된다. 이때 각각의 그라디언트 블록은 5, 10, 15, 20번째 초해상화 블록(SR block) 특징맵과 연결되어 활용된다. 두 종류의 부신경망을 동시에 사용함으로써 SPSR은 텍스처 구조적 복원력을 개선한다.

Fig. 2.

Overall architecture of the proposed network, (a) SGAGAN-W, (b) Dense block, (c) Sparse block, (d) Modified sparse block, (e) GSA

그림 2(a)의 제안한 SGAGAN-W 구조는 기존의 SPSR에 3가지 주요한 변경점이 있다. 첫째, 그라디언트 부신경망의 기본 블록을 MRRSB로 대체한 것이다. 그라디언트 부신경망의 입력으로 활용하는 그라디언트 이미지는 윤곽선 정보만을 가지기 때문에 저해상도 이미지와 비교했을 때 상대적으로 적은 픽셀 정보를 갖는다.

이로 인해 그라디언트 부신경망을 학습시킬 때 중복된 특징맵을 반복학습할 가능성이 존재한다. 따라서 그라디언트의 불필요한 반복학습을 회피하고 계산량을 감소시키기 위해서 RRDB 대신 MRRSB를 그라디언트 부신경망의 기본 블록으로 사용한다. 둘째, 텍스처의 구조적 강조를 기반으로 전역적 상호의존성을 고려하기 위해 GSA 모듈을 새로이 고안한다. 제안한 자가주의집중 모듈은 텍스처의 전반적인 정보를 포함하는 마지막 초해상화 블록 특징맵과 텍스처의 구조적 정보를 포함하는 마지막 그라디언트 블록의 특징맵을 입력으로 받는다.

두 종류의 특징맵을 입력으로 활용함으로써 텍스처 구조적 왜곡을 감소시키고 선명한 이미지의 복원력을 개선한다. 셋째, 텍스처 왜곡을 완화하고 선명한 초해상화 영상을 생성하기 위한 웨이블릿 손실함수를 제시한다. 제안한 3가지 변경점을 모두 적용한 신경망 구조에서 생성기 Gen의 최종 목표는 손실함수 L에 관하여 최적화된 생성기 파라미터 θ^*를 찾는 것이다. 이때 LR과 HR은 저해상도 이미지와 고해상도 이미지를 나타낸다.

$\[ {\theta }^{*}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n} {\rm E}\left[L\left(Gen\left(LR ; {\theta }_G\right), HR\right)\right] \]$

(1)

3.4 웨이블릿 손실

본 연구에서는 텍스처 구조 왜곡을 억제하기 위해 웨이블릿 변환 기반의 손실함수를 제안한다. 그림 3에서 확인할 수 있듯이, 2차원 이미지에 대한 웨이블릿 변환은 이산 웨이블릿 변환(DWT, Discrete Wavelet Transform)을 사용하고 이때 가장 간단한 Haar 웨이블릿 변환을 사용한다. 이를 위해 저역 통과 필터(Low-pass filter)와 고역 통과 필터(High-pass filter)를 행과 열의 순서에 맞게 실행하여 4개의 서브밴드를 획득할 수 있다. 획득한 4개의 서브밴드는 LL(근사, Approximation), HL(수직, Vertical), LH(수평, Horizontal) 그리고 HH(대각, Diagonal)와 같이 표기한다.

Fig. 3.

Procedure of 2D-DWT decomposition

그림 4는 영상처리에서 널리 사용되는 ‘개코원숭이’(‘Baboon’) 테스트 이미지에 웨이블릿 변환을 적용해 얻은 서브밴드를 보여준다. 그림 4에서 확인할 수 있듯 전방향 이산 웨이블릿 변환(Forward DWT)을 적용하면 4개의 서브밴드를 각각 얻을 수 있다. 역방향 이산 웨이블릿(Inverse DWT)을 적용하면 4개의 서브밴드로부터 원본 이미지로 재복원할 수 있다.

Fig. 4.

‘Baboon’ Image and 2D wavelet transform result

그림 5는 본 연구에서 제안한 웨이블릿 변환 기반의 웨이블릿 손실을 계산하는 과정을 보여준다. 웨이블릿 손실을 구하기 위해서 우선 원본 이미지와 초해상화 이미지의 레벨 1 그리고 레벨 2의 이산 웨이블릿 변환 서브밴드를 구한다.

Fig. 5.

Wavelet loss based on 2D DWT

여기서 말하는 레벨은 이산 웨이블릿 변환을 시행하는 숫자, 즉 해상도 레벨을 의미한다. 이때 원본 이미지와 초해상화 이미지에 따른 레벨별 이산 웨이블릿 변환 서브밴드의 표기는 고해상도 웨이블릿 서브밴드(HRSB, HR wavelet Subband)와 초해상화 웨이블릿 서브밴드(SRSB, SR wavelet Subband)로 표기한다.

$\[ {HRSB}^i=\left\{{HA}^i, {HV}^i, {HH}^i, {HD}^i\right\} \]$

(7)

$\[ {SRSB}^i=\left\{{SA}^i, {SV}^i, {SH}^i, {SD}^i\right\} \]$

(8)

여기서 HA, HV, HH, HD는 고해상도 이미지의 근사, 수직, 수평, 대각의 웨이블릿 계수(Wavelet coefficients) 서브밴드를 나타낸다. 그리고 SA, SV, SH, SD는 초해상화 이미지의 근사, 수직, 수평, 대각의 웨이블릿 계수 서브밴드들을 나타낸다. 이때 윗첨자 i는 레벨 즉, 해상도 레벨을 나타낸다.

제안한 웨이블릿 변환 손실함수는 레벨 1과 레벨 2에 대한 고해상도 서브밴드와 상응하는 초해상화 서브밴드간의 픽셀 차이를 모두 더함으로써 모델링된다.

$\[ \begin{array}{l}{L}_{Wavelet}\\ ={‖\left({HRSB}^1-{SRSB}^1\right)+\left({HRSB}^2-{SRSB}^2\right)‖}_1\\ ={‖\begin{array}{c}\left({HA}^1-{SA}^1\right) + \left({HV}^1-{SV}^1\right)\\ +\left({HH}^1-{SH}^1\right) + \left({HD}^1-{SD}^1\right)\\ +\left({HA}^2-{SA}^2\right) + \left({HV}^2-{SV}^2\right)\\ +\left({HH}^2-{SH}^2\right) + \left({HD}^2-{SD}^2\right)\end{array}‖}_1\end{array} \]$

(9)

여기서 ∥∥₁는 L1-norm(놈)을 의미한다.

$\[ L=L_{SPSR}+\mathrm{\lambda }\times L_{Wavelet} \]$

(10)

여기서 L_SPSR과 L_Wavelet은 각각 SPSR에서 활용하는 모든 손실함수 그리고 제안한 웨이블릿 손실함수을 의미하고 λ는 가중치를 의미한다. 본 연구에서는 가중치 값을 10^-1, 10^-2, 5×10^-3로 설정하여 실험을 진행했고 경험적으로 10^-2가 가장 적절한 결과임을 획득하였다. 서두에서도 언급한 것처럼, 웨이블릿 손실함수는 해상도에 따라 공간과 주파수 분석이 가능하기 때문에 인지주도 초해상화 신경망 구조에서 텍스처 구조 왜곡을 억제할 수 있게 한다.

Ⅳ. DIV2K 데이터 셋 실험 및 결과

4.2 성능 비교

그림 6은 제안된 기법과 최신 초해상화 기법들을 사용해서 복원된 결과 영상이다. 그림에서 볼 수 있듯이, 제안된 최종 모델인 SGAGAN-W 모델이 최신 초해상화 기법 즉, EnhanceNet, SRGAN, ESRGAN, SFTGAN, NatSR, SPSR보다 텍스처 구조 왜곡을 완화하고 더 선명한 고품질의 영상을 생성할 수 있음을 알 수 있다. 특히, 그림 6(a)와 6(b)에서 확인할 수 있듯 ‘img_016’과 ‘img_073’ 이미지에 대해, 제안된 모델이 빌딩 건물의 텍스처 왜곡을 보정하는 것을 보여준다. 또한, 그림 6(c)는 ‘108005’ 이미지에 대해서도 부드러운 질감과 자연스러운 패턴을 선명하게 생성함을 보여준다.

Fig. 6.

Visual comparison with state-of-the-art GAN-based SR methods, (a) ‘img_016’ from Urban100, (b) ‘img_073’ from Urban100, (c) ‘108005’ from BSD100

표 1은 테스트 벤치마크 데이터 셋에 대한 각 모델의 4가지 평가 지표 즉, PI, LPIPS, PSNR, SSIM를 활용한 정량적 평가 결과를 보인다. 표에서 빨간색과 파란색 굵은 숫자는 각각 가장 좋은 지표와 2번째로 좋은 지표를 의미한다. 표에서 제안된 최종 모델 SGAGAN-W이 대부분의 평가 지표에서 높은 순위를 달성한 것을 볼 수 있다.

Table 1.

Quantitative image quality evaluation for test set

좀 더 자세히 말하면, 제안된 모델이 모든 테스트 벤치마크 데이터 셋에 대해서 PSNR과 SSIM 평가 부분에서는 1등을 차지하였고 LPIPS 지표에 대해서는 3개의 데이터 셋에서 1등, 나머지 2개 데이터 셋에서 2등을 달성하였다. 다만 인지적 화질 평가 척도를 측정하는 PI 지표에 대해서는 상당폭 하락되었다.

4.3 애블레이션 연구(Ablation study)

제안된 모델 즉, SGAGAN-W에서 적용한 방법들의 효과를 검증하기 위해, 기존 모델인 SPSR에 제안된 모듈들을 하나씩 추가함에 따라 획득한 정성적, 정량적 결과를 분석하였다.

그림 7은 애블레이션 연구를 진행한 테스트 데이터 셋 속 이미지 일부를 나타낸다. 각 열은 원본 이미지, SPSR, SPSR에 자가주의집중 모듈을 추가한 것(SPSR+SA), SPSR에 GSA 모듈을 추가한 것(SPSR+GSA), SPSR에 GSA 모듈과 MRRSB를 모두 추가한 희소 그라디언트 가이드 주의집중 기반 적대적 생성망(SGAGAN, Sparse Gradient-guided Attention GAN)[28], 마지막으로 SGAGAN에 웨이블릿 손실을 같이 사용한 최종 제안한 초해상화 기법 SGAGAN-W를 나타낸다.

Fig. 7.

Visual effects depending on applying the proposed modules, (a) ‘img_061’ from Urban100, (b) ‘img_062’ from Urban100, (c) ‘img_063’ from Urban100

그림 7에서 기존 모델인 SPSR에 모듈을 추가함에 따라 텍스처의 화질이 점진적으로 향상됨을 알 수 있다. 특히, 그림에서 볼 수 있듯이, 본 연구에서 제안한 방법을 통해 가로와 세로 방향의 텍스처가 잘 복원되고 텍스처 왜곡도 완화됨을 알 수 있다. 예를 들어, 그림 7(a)의 경우, 제안한 최종 모델이 다른 모델들에 비해 사각형 모양의 창틀을 더 정확하게 생성하였다. 또한, 그림 7(b)의 창문과 그림 7(c)의 벽돌 역시 텍스처 왜곡을 보정하여 원본 이미지와 유사하도록 복원하였다.

표 2는 애블레이션 연구에 따른 정량적 수치를 보여준다. 제안된 자가주의집중, GSA, MRRSB, 웨이블릿 손실을 추가함에 따라 제안된 모델의 성능이 개선되는 것을 볼 수 있다. 제안한 모델이 가장 높은 PSNR과 SSIM을 달성하였으며 LPIPS 부분에서도 2개의 벤치마크 데이터 셋에 대하여 1등을 달성하였다. 결과적으로 제안한 모듈들을 모두 통합한 최종 모델인 SGAGAN-W이 텍스처 왜곡을 바로잡음과 동시에 고품질의 영상을 복원하는 데 효과적임을 확인할 수 있다.

Table 2.

Ablation study on benchmark datasets

Ⅴ. MCC 해충 데이터 실험 및 결과

5.2 실험 결과

그림 8은 MCC 데이터 셋에 대한 제안한 모델과 기존 초해상화 모델의 결과영상이다. 그림에서 보듯이, 제안한 SGAGAN-W이 기존의 SRGAN 및 ESRGAN보다 더 선명한 영상을 복원함을 알 수 있다. 또한, 그림 8(a) ‘34’ 테스트 이미지의 날개 부분에서도 제안한 SGAGAN-W이 SPSR보다 더 선명한 날개 무늬 텍스처를 복원함을 볼 수 있다.

Fig. 8.

Qualitative results in ablation study, (a) ‘34’ from ‘Amphipyra pyramidea’, (b) ‘167’ from ‘Noctua pronuba’

표 3은 MCC 데이터 셋의 애블레이션 결과이다.표 3에서 최종 제안한 모델인 SGAGAN-W가 DIV2K 데이터 셋의 결과가 동일하게 PSNR, SSIM, LPIPS 평가에서 가장 우수한 결과를 획득했다. PI 평가는 다소 낮게 나와서 아직 개선 여지가 남아있다. 따라서 향후 연구계획으로 PI의 정량적 평가를 높일 수 있는 방안을 모색하고자 한다.

Table 3.

Quantitative results of MCC dataset in ablation study

Ⅵ. 결 론

초해상화 분야의 텍스처 왜곡 문제를 해결하기 위해 본 논문에서는 웨이블릿 손실과 희소 그라디언트 가이드 주의집중 기반의 적대적 생성망(SGAGAN-W)를 제안하였다. 먼저, 높은 계산 비용과 중복되는 그라디언트 특징맵의 반복학습을 회피하기 위해 RRDB의 밀집 연결을 부분적으로 끊어낸 MRRSB를 그라디언트 부신경망의 기본 블록으로 사용하였다. 그리고 텍스처 왜곡 완화와 선명도 개선을 위해 GSA 모듈을 제안하였다. 마지막으로 텍스처 왜곡을 억제할 수 있는 웨이블릿 변환 기반의 손실함수를 모델링하였다. 실험을 통해 제안된 모델이 최신 모델들과 비교했을 때 텍스처 구조 복원력을 개선하여 더 선명한 초해상화 영상을 생성할 수 있음을 확인하였다. 또한, 정량적 평가에서 가장 높은 PSNR과 SSIM 수치를 획득하였고 LPIPS 평가에서도 우수한 성능을 달성하였다. 향후연구로 PI 감소를 위한 통계적인 접근 방식을 신경망 구조의 응용으로 활용해볼 수 있고 이미지 처리 분야에 맞게 트랜스포머 기법을 적용하는 방안과 가시성이 저하된 야외 환경에서의 초고해상화 연구[29] 또한 고려해볼 수 있다.

Acknowledgments

본 성과물은 농촌진흥청 연구사업(과제번호: PJ01630302)과 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. 2020R1A2C1010405)

References

• C. E. Duchon, "Lanczos filtering in one and two dimensions", in Journal of Applied Meteorology, Vol. 18, No. 8, pp. 1016-1022, Aug. 1979. [https://doi.org/10.1175/1520-0450(1979)018<1016:LFIOAT>2.0.CO;2]
• J. Yang, J. Wright, T. S. Huang, and Y. Ma, "Image super-resolution as sparse representation of raw image patch", in IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Anchorage, AK, USA, pp. 1-8, Jun. 2008. [https://doi.org/10.1109/CVPR.2008.4587647]
• J. Yang, J. Wright, T. S. Huang, and Y. Ma, "Image super-resolution via sparse representation", in IEEE Transactions on Image Processing, Vol. 19, No. 11, pp. 2861-2873, May 2010. [https://doi.org/10.1109/TIP.2010.2050625]
• C. Dong, C. C. Loy, K. He, and X. Tang, "Learning a deep convolutional network for image super-resolution", in Proc. European conference on computer vision (ECCV), Zurich, Switzerland, pp. 184-199, Sep. 2014. [https://doi.org/10.1007/978-3-319-10593-2_13]
• C. Ledig et al., "Photo-realistic single image super-resolution a generative adversarial network", in Proc. IEEE conference on computer vision and pattern recognition (CVPR), Honolulu, HI, USA, pp. 4681-4690, Jul. 2017. [https://doi.org/10.1109/CVPR.2017.19]
• Y. Zhang, K. Li, K. Li, L. Wang, B. Zhong, and Y. Fu, "Image super-resolution very deep residual channel attention networks", in Proc. Proc. European conference on computer vision (ECCV), Munich, Germany, pp. 286-301, Sep. 2018. [https://doi.org/10.1007/978-3-030-01234-2_18]
• T. Dai, J. Cai, Y. Zhang, S.T. Xia, and L. Zhang, "Second-order attention network for single image super-resolution", in Proc. Proc. IEEE conference on computer vision and pattern recognition (CVPR), Long Beach, CA, USA, pp. 11065-11074, Jun. 2019. [https://doi.org/10.1109/CVPR.2019.01132]
• B. Niu et al., "Single image super-resolution via a holistic attention network", in Proc. IEEE conference on computer vision and pattern recognition (CVPR), Glasgow, UK, pp. 191-207, Jun. 2020. [https://doi.org/10.1007/978-3-030-58610-2_12]
• I. Goodfellow et al., "Generative adversarial nets", in Proc. Advances in neural information processing systems(NIPS), Montreal Canada, pp. 2672-2680, Dec. 2014. https://dl.acm.org/doi/10.5555/2969033.2969125, .
• M. S. Sajjadi, B. Scholkopf, and M. Hirsch, "Enhancenet: Single image super-resolution through automated texture synthesis", in Proc. IEEE International Conference on Computer Vision (ICCV), Venice, Italy, pp. 4491-4500, Oct. 2017. [https://doi.org/10.1109/ICCV.2017.481]
• X. Wang et al., "Esrgan: Enhanced super-resolution generative adversarial networks", in Proc. European conference on computer vision Workshops (ECCVW), Munich, Germany, pp. 63-79, Sep. 2018. [https://doi.org/10.1007/978-3-030-11021-5_5]
• X. Wang, K. Yu, C. Dong, and C. Change Loy, "Recovering realistic texture in image super-resolution by deep spatial feature transform", in Proc. IEEE conference on computer vision and pattern recognition (CVPR), Salt Lake City, UT, USA, pp. 606-615, Jun. 2018. [https://doi.org/10.1109/CVPR.2018.00070]
• J. W. Soh, G. Y. Park, J. Jo, and N. I. Cho, "Natural and realistic single image super-resolution with explicit natural manifold discrimination", in Proc. IEEE conference on computer vision and pattern recognition (CVPR), Long Beach, CA, USA, pp. 8122-8131, Jun. 2019. [https://doi.org/10.1109/CVPR.2019.00831]
• C. Ma, Y. Rao, Y. Cheng, C. Chen, J. Lu, and J. Zhou, "Structure-preserving super resolution with gradient guidance", in Proc. IEEE conference on computer vision and pattern recognition (CVPR), Seattle, WA, USA, pp. 7769-7778, Jun. 2020. [https://doi.org/10.1109/CVPR42600.2020.00779]
• J. Johnson, A. Alahi, and L. Fei-Fei, "Perceptual losses for real-time style transfer and super-resolution", in Proc. IEEE conference on computer vision and pattern recognition (CVPR), Amsterdam, The Netherlands, pp. 694-711. Oct. 2016. [https://doi.org/10.1007/978-3-319-46475-6_43]
• H. Zhang, I. Goodfellow, D. Metaxas, and A. Odena, "Self-attention generative adversarial networks", in Proc. International conference on machine learning (ICML), Jun. 2019.
• G. Huang, Z. Liu, L. V. D. Maaten and K.Q. Weinberger, "Densely connected convolutional networks", in Proc. IEEE conference on computer vision and pattern recognition (CVPR), Honolulu, HI, USA, pp. 4700-4708, Jul. 2017. [https://doi.org/10.1109/CVPR.2017.243]
• G. Huang, S. Liu, L. V. D. Maaten, and K.Q. Weinberger, "Condensenet: An efficient densenet learned group convolutions", in Proc. IEEE conference on computer vision and pattern recognition (CVPR), Salt Lake City, UT, USA, pp. 2752-2761, Jun. 2018. [https://doi.org/10.1109/CVPR.2018.00291]
• Y. Zhang, Z. Zheng, and R. Hu, "Super resolution segmentation-prior self-attention generative adversarial network", arXiv preprint arXiv:arXiv:2003.03489, , Mar. 2020.
• H. Huang, R. He, Z. Sun, and T. Tan, "Wavelet-srnet: A wavelet-based cnn for multi-scale face super resolution", in Proc. IEEE International Conference on Computer Vision (ICCV), Venice, Italy, pp. 1689-1697, Oct. 2017. [https://doi.org/10.1109/ICCV.2017.187]
• T. Guo, H. S. Mousavi, T. H. Vu, and V. Monga, "Deep wavelet prediction for image super-resolution", in Proc. of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Honolulu, HI, USA, pp. 104-113, Jul. 2017. [https://doi.org/10.1109/CVPRW.2017.148]
• Q. Zhang, H. Wang, T. Du, S. Yang, Wang, Y. et al., "Super-resolution reconstruction algorithms based on fusion of deep learning mechanism and wavelet", in Proc. of the 2nd International Conference on Artificial Intelligence and Pattern Recognition, Beijing China, pp. 102-107, Aug. 2019. [https://doi.org/10.1145/3357254.3358600]
• Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: from error visibility to structural similarity", in IEEE Trans. Image Process., Vol. 13, No. 4, pp. 600-612, Apr. 2004. [https://doi.org/10.1109/TIP.2003.819861]
• Y. Blau, R. Mechrez, R. Timofte, T. Michaeli, and L. Zelnik-Manor, "The 2018 pirm challenge on perceptual image super-resolution", in Proc. European conference on computer vision (ECCV), Munich, Germany, pp. 334–355, Sep. 2018. [https://doi.org/10.1007/978-3-030-11021-5_21]
• R. Zhang, P. Isola, A. A Efros, E. Shechtman, and O. Wang, "The unreasonable effectiveness of deep features as a perceptual metric", in Proc. IEEE conference on computer vision and pattern recognition (CVPR), Salt Lake City, UT, USA, pp. 586-595, Jun. 2018. [https://doi.org/10.1109/CVPR.2018.00068]
• K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition", in International Conference on Learning Representations (ICLR), May 2015.
• K. Bjerge, J. B. Nielsen, M. V. Sepstrup, F. Helsing-Nielsen, and T. T. Høye, "An Automated Light Trap to Monitor Moths (Lepidoptera) Using Computer Vision Based Tracking and Deep Learning", in MDPI Sensors, Vol. 21, No. 2, 343, online, 2021. [https://doi.org/10.3390/s21020343]
• G. Song, T. D. Nguyen, J. Bum, H. Y, C. H. Son, and H. Choo, "Super Resolution with Sparse Gradient-Guided Attention for Suppressing Structural Distortion", in Proc. IEEE conference on machine learning and applications (ICMLA), Pasadena, CA, USA, pp. 885-890, Dec. 2021. [https://doi.org/10.1109/ICMLA52953.2021.00146]
• D. H. Jeong and C. H. Son, "Super Resolution for Face Images Captured in Heavy Rain Conditions", Journal of KIIT, Vol. 19, No. 10, pp. 87-98, Oct 2021. [https://doi.org/10.14801/jkiit.2021.19.10.87]