Home

인지 주도 초해상화 기법은 사전 학습된 신경망을 사용하여 인지 손실을 GAN에 추가한 기법을 말한다[5]. 기존 초해상화 분야에서 널리 사용되는 손실 함수는 평균 제곱 오차(MSE, Mean Squared Error)이다. 하지만 평균 제곱 오차는 픽셀 단위 기반으로 원본 고해상도 영상과 생성된 복원 영상 간의 오차를 계산한다. 이에 반해 인지 손실은 사전 학습된 신경망에서 추출된 시각 특징 간의 오차를 계산한다. 사전 학습된 신경망은 객체 구별에 필요한 고수준의 시각 특징을 추출할 수 있다. 따라서 평균 제곱 오차 손실에 비해 고수준의 시각 특징을 비교함으로써, 생성된 영상에서 영상 구조와 텍스처를 포함한 객체의 사실적인 표현력을 강화할 수 있다. 대표적인 인지 주도 초해상화 모델로는 SRGAN[5], ESRGAN[7], SPSR[8]이 있다.

인지 손실은 사전 학습된 신경망을 사용한다. 일반적으로 대용량의 이미지넷 데이터 셋을 사용하여 VGG16[9]나 ResNet[10]과 같은 백본을 학습한다. 이 사전 학습된 신경망을 사용해서 고수준의 특징을 추출하여 원본 영상과 복원 영상 간의 오차를 계산한다.

즉, 두 영상 간의 유사도를 인지적 관점에서 오차를 평가한다. 사전 학습된 신경망은 객체를 구별하고 인지하기 위한 인간 시각 시스템(Human visual system)을 모델링했다고 볼 수 있다.

그림 1은 인지 손실 계산을 위해 SRGAN에서 사용된 VGG16 네트워크를 보여주고 있다[9]. 그림에서 네트워크의 입력은 HR과 SR 영상이다. HR은 원본 고해상도 영상이고 SR은 SRGAN에서 생성된 고해상도 영상을 말한다. 이 HR과 SR 영상은 각각 사전 학습된 VGG16 네트워크를 통과하여 고수준의 시각 특징으로 변환된다. VGG16 네트워크에서 5번째의 최대 풀링(Max pooling) 레이어에서 특징을 추출한다. 추출된 특징 맵은 다음의 수식을 통해 인지 손실로 변환된다.

Fig. 1. 
Architecture of conventional neural network for perceptual loss evaluation

여기서 ϕ는 함수이고 VGG16 네트워크를 의미한다. 그리고 H와 W는 각각 특징 맵의 가로와 세로 길이를 나타낸다. 따라서 수식 (1)은 원본 영상과 복원 영상에 대응하는 특징 맵 간의 평균 오차를 의미한다. 일반적으로 VGG16 네트워크의 손실 레이어에 가까운 상위 레이어에서 추출된 특징은 고수준에 대응한다. 따라서 식 (1)을 SRGAN에 손실함수로 추가함으로써 인지적 관점에서 두 영상 간의 오차를 평가할 수 있다. 이러한 인지 손실의 추가는 텍스처의 선명도를 높이고 사실적인 표현 능력을 강화하는 것으로 알려져 있다[5]. 하지만 생성된 텍스처의 모양이 원본 영상과 차이가 날 수 있으며 기하학적인 왜곡이 발생하기도 한다[8].

해충 부류별 인지 손실 모델링은 크게 해충 군집화 단계, 군집별 신경망 학습 단계, 부류별 인지 손실 모델링 단계로 나뉜다.

3.1.1. 해충 군집화 단계

해충 군집화 단계는 해충 영상들을 유사한 특징을 갖는 그룹으로 묶는 과정을 말한다. 이 연구에서 사용된 IP102 공개 데이터 셋은 원래 부류 개수가 102개이다[11]. 하지만, 배경만 존재하거나 워터마크가 추가된 불필요한 영상이 존재하여 총 94개의 부류로 정제하였다. 따라서 IP102 데이터 셋의 경우, 용량과 계산 비용 문제로 인해 인지 손실 모델링에 필요한 신경망을 모든 부류에 대해 만들 수 없다. 이러한 이유로 해충 군집화 단계가 필요하다.

그림 2는 해충 군집화 과정을 보여준다. 먼저, 해충 군집화를 위해서는 특징 추출기가 필요하다. SIFT[12]나 HOG[13]와 같은 고전적인 특징 추출기가 있지만, 이 논문에서는 딥러닝 기반의 특징 추출기인 VGG16 모델을 사용하였다. 하지만, 이 모델은 이미지넷에 사전 학습되었기 때문에 파인튜닝 과정이 필요하다. 즉, 해충 영상 간의 특징 구별력을 확보하기 위해, VGG16 모델을 전이학습(Transfer learning)을 통해 재학습할 필요가 있다. 두 번째 단계는 특징 추출 단계로써, 해충 영상을 재학습된 VGG16 모델에 넣어 고수준의 특징 벡터를 출력한다. 이때 적용된 특징 추출 레이어는 VGG16 모델의 5번째 풀링 계층이다. 마지막 단계는 추출된 해충 특징 벡터를 K-평균 군집화(K-means clustering) 알고리즘을 적용해서 K개의 대표 벡터와 그룹을 생성한다. 이 연구에서는 경험적인 실험을 통해 군집의 개수인 K를 5로 설정했다.

Fig. 2. 
Procedure of pest image clustering

그림 3은 해충 군집화의 결과로써, 부류별 해충 영상의 고차원 특징 벡터를 2차원으로 사상해서 시각화한 결과이다. 이를 위해, T-SNE[14] 시각화 기법이 적용되었다. 그림에서 보듯이, 동일한 그룹에 속하는 특징 벡터가 한곳으로 쏠려 있는 것을 볼 수 있다. 또한 서로 다른 부류가 경계면으로 잘 구분되는 것을 볼 수 있다. 이는 해충 군집화가 잘 수행되었다는 것을 말해준다. 그림 4는 각 군집에 속한 해충 영상을 예시로 보여주고 있다. 그림에서 하나의 행은 동일한 군집에 속한 해충 영상이다. 그림에서 보듯이, 시각적으로 유사한 해충들이 모여 있는 것을 확인할 수 있다.

Fig. 3. 
Visualization of class-specific feature vectors

Fig. 4. 
Examples of pest images by clusters

3.1.3. 부류별 인지 손실 모델링

부류별 인지 손실 모델링은 군집별로 학습된 VGG16 모델을 사용해서 최종 부류별 인지 손실(CSPL, Class-Specific Perceptual Loss)을 계산하기 위해 신경망을 구성하는 단계를 말한다. 그림 5는 제안한 CSPL을 계산하기 위한 최종 신경망의 아키텍처를 보여준다. 그림에서 보듯이, 제안한 CSPL 모델은 부류별로 학습된 VGG16 모델의 결과를 가중치를 곱해서 평균화한 것으로 볼 수 있다. 그림에서 ϕ_G와 ϕ_C,k는 인지 손실을 계산하기 위한 함수이고, 각각 전체 영상과 군집별로 학습된 VGG16 모델을 의미한다.

LPg=1HW∑iH∑jWϕGHRi,j-ϕGSRi,j2

(2)

LPc,k=1HW∑iH∑jWϕC,kHRi,j-ϕC,kSRi,j2

(3)

Fig. 5. 
Proposed class-specific perceptual loss function

여기서 L_Pg와 L_Pc,k는 각각 SR과 HR을 VGG 모델인 ϕ_G와 ϕ_C,k에 넣어서 계산된 인지 손실을 의미한다. 군집별 인지 손실이 계산된 후, 최종 CSPL은 다음과 같이 계산된다.

LCSPL=wGLPg+∑k=1KwC,kLPc,k

(4)

여기서 w_G와 w_C,k는 추후 학습될 파라미터로써, 각 군집별 인지손실에 대한 가중치 값을 의미한다. 따라서 식 (4)는 입력 해충 영상에 따라 특정 군집에 속하는 VGG 모델이 인지 손실을 더 잘 추정할 수 있다는 것을 반영하고 있다. 최종 CSPL은 각 군집별 VGG 모델에서 출력된 인지 손실의 값을 학습을 통해 가중치를 추정한다.

기존의 GAN 모델에서는 VGG16이나 ResNet과같은 백본을 특징 추출기로 사용한다. 물론 최근에는 비전 트랜스포머(Vision transformer)[15]와 같이 셀프 어텐션 기능을 갖춘 백본이 개발되고 있지만, 여전히 해충의 관심 영역을 정확히 예측하기란 쉽지 않다. 여기서 관심 영역이란 해충 영상에서 배경 영역을 제외한 해충의 전경 영역(Foreground)을 말한다. 해충 인식에서 큰 영향을 미치는 영역은 배경이 아닌, 해충의 영상 구조와 텍스처를 포함한 전경 영역이다. 따라서 전경 영역을 추출하고 기존의 백본과 융합할 수 있는 관심 영역 기반의 GAN 구조가 필요하다. 최근 관심 영역을 추출하여 잎사귀 질병 진단의 성능을 높인 연구가 소개되었다[16]. 따라서 본 연구에서는 기존의 잎사귀 질병 진단에 활용된 관심 영역 특징 추출 방식을 초해상화 기법에 적용하고자 한다.

그림 6은 제안한 관심 영역 인식 특징 추출기를 포함한 SRGAN 모델이다. 기존의 SRGAN[5]과는 달리, 생성자에 두 개의 특징 추출기가 존재하는 것을 볼 수 있다. 하나는 기존의 SRGAN에서 사용되는 백본이고 다른 하나는 관심 영역 특징 추출기(ROI-FE, ROI Feature Extractor)이다. 즉, 입력 해충 영상으로부터 전경 영역을 예측하기 위한 백본이다. 이 논문에서는 관심 영역을 추출하기 위해, 인코더와 디코더로 구성된 U-net[17] 모델을 사용했다. 참고로 U-net 모델은 입력 영상의 크기와 동일한 크기의 출력 맵을 생성한다. U-net 모델을 사전 학습하기 위해, IP102 데이터 셋에서 4,253장의 해충 영상을 영역 라벨링 작업을 수행하였고 학습 데이터로 활용했다. 손실 함수로는 이진 교차 엔트로피(Binary cross entropy)를 사용했고 최적화를 위해 Adam[18] 기법을 적용했다. 총 에폭은 200, 배치 크기는 10, 학습률은 0.001로 설정했다.

Fig. 6. 
Proposed ROI-aware SRGAN

그림 6에서 사전 학습된 U-net에서 출력된 관심 영역 특징 맵은 SRGAN의 특징 추출기와 융합된다. 융합 방식은 간단하지만 해상도 성능을 제고할 수 있는 연결(Concatenation) 레이어를 적용했다. 이렇게 융합된 특징은 업샘플링 모듈을 통과한 후, 최종 고해상도 영상인 SR을 생성한다. 업샘플링 모듈은 전경 영역에 대한 추가적인 정보를 확보함으로써, 해충 복원 과정에서 전경과 배경 영역에 대한 특징을 구별하여 복원 능력을 강화할 수 있다.

제안한 최종 모델은 부류별 인지 손실을 포함한 관심 영역 인식 SRGAN이다. 즉, 그림 6의 관심 영역 인식 SRGAN에 그림 5의 부류별 인지 손실을 추가한 모델을 말한다. 따라서 기존의 SRGAN과의 차이점은 관심 영역 특징 추출기와 부류별 인지 손실에 있다.

그림 6의 관심 영역 인식 SRGAN을 학습하기 위해, IP102 공개 해충 데이터 셋을 사용했다. IP102 데이터 셋은 총 부류가 102개이지만, 배경만 존재하거나 워터마크가 삽입된 영상을 제외하여 총 94개의 부류로 정제했다. 학습 데이터와 테스트 데이터의 비율은 7:3이고 각각 5,344장과 2,214장의 영상을 포함한다. 데이터 강화(Augmentation)를 위해, 잘림(Cropping)과 뒤집기(Flipping) 변환을 적용했다. 입력저해상도 패치의 크기는 32x32이고, 원본 고해상도 패치의 크기는 128x128이다. 이는 저해상도 변환을 위한 다운샘플링 비율이 4인 것을 의미한다. 배치 크기와 에폭(Epochs)은 각각 10과 200으로 설정했고, Adam[18] 최적화 기법을 사용했다. 학습률은 0.001로 고정했다. 딥러닝 프레임워크는 Pytorch이며 윈도우 운영체제에서 학습과 테스트를 진행했다.

제안한 모델은 기존의 SRGAN[5] 모델을 개선한 버전이다. 특히 부류별 인지 손실 모델과 관심 영역 특징 추출기를 새롭게 추가했다. 따라서 이 두 모듈에 따른 시각적인 효과를 확인할 필요가 있다. 그림 7은 실험 결과로써, SRGAN 결과 대비 제안한 기법의 성능을 비교할 수 있다.

Fig. 7. 
Experimental results; (a) Original HR images(First column), (b) SPSR[8](Second column), (c) SRGAN[5](Third column), (d) Proposed method(SRGAN+ROI-FE)(Fourth column), (e) Proposed method(SRGAN+ROI-FE+CSPL)(Last column)

우선, 그림 7에서 세 번째 열이 SRGAN의 결과 영상이며, 네 번째와 마지막 열이 제안한 기법의 결과 영상이다. 참고로 네 번째 열은 ROI-FE만 추가한 제안한 SRGAN 모델이고 마지막 열은 CSPL까지 추가한 제안한 SRGAN 모델이다. 결과 영상에서 ROI-FE와 CSPL을 추가함에 따라 에지의 선명도가 증가하고 라인의 모양이 뚜렷해지는 것을 볼 수 있다.

특히, 첫 번째와 두 번째 행의 빨간 박스에서 ROI-FE와 CSPL을 추가함에 따라 배경의 라인과 해충의 윤곽이 전체적으로 선명해진 것을 알 수 있다. 이는 ROI-FE는 전경 영역과 배경 영역을 분리해줌으로써 특징의 구별력을 높여 최종 영상 구조 및 텍스처의 향상을 유도한 것으로 분석된다. 그리고 CSPL은 부류별 인지 손실을 계산하기 때문에 부류 간 특징의 구별력을 높일 수 있다. 이를 통해 CSPL은 입력 해충의 특징에 따라 텍스처 복원 성능을 향상할 수 있는 것으로 분석된다. 이 실험 결과로부터 제안한 CSPL과 ROI-FE가 영상 구조나 텍스처의 선명도를 개선하는데 효과적임을 확인할 수 있다.

반면 SPSL[8] 기법은 초해상화 분야에서 SOTA 기법으로 인식되지만, 여전히 텍스처 왜곡 현상이 발생하는 것을 볼 수 있다. 특히, 세 번째 행에서 텍스처의 모양이 원본과는 아주 다른 것을 볼 수 있다. 따라서 SPSL은 텍스처 생성 능력은 좋으나 원본과 유사한 텍스처를 복원하는 능력은 떨어지는 것을 확인할 수 있다.

기존의 기법과 제안한 기법의 성능을 정량적으로 평가하기 위해, 최대 신호 대 잡음비(PSNR, Peak Signal-to-Noise Ratio)와 구조적 유사성(SSIM, Structural Similarity)[19]을 화질 평가 척도로 사용하였다. PSNR은 복원 영상과 원본 영상의 픽셀 값이 얼마나 유사한지를 판별하는 척도이고 SSIM은 복원 영상과 원본 영상 간의 영상 구조 관점에서 유사도를 측정하는 척도이다. 두 척도 모두 값이 클수록 원본에 가깝다는 것을 의미한다.

표 1은 SPSR[8], SRGAN[5] 그리고 제안한 기법에 대한 PSNR과 SSIM 수치를 보여주고 있다. 결과 영상에서 확인했듯이, SPSL은 텍스처 생성 능력은 좋지만 원본과는 다소 차이가 있다. 이런 이유로 PSNR과 SSIM의 수치가 상대적으로 낮게 측정되었다. 그리고 SRGAN은 SPSR보다는 정량적 평가에서 더 우수한 결과를 달성했다. 하지만, 제안한 기법보다는 성능이 떨어지는 것을 볼 수 있다. 특히, SRGAN에 ROI-FE를 추가한 제안한 기법은 PSNR과 SSIM을 동시에 개선한 것을 확인할 수 있다.

또한 CSPL까지 추가했을 때는 PSNR과 SSIM이 더 향상되는 것을 볼 수 있다. 이는 ROI-FE와 CSPL이 전경 영역의 특징을 추출하고 부류별 특징의 구별력을 제고하기 때문에 해상도와 텍스처 복원 능력을 향상한 것으로 분석된다.