Home

블라인드 기반 얼굴 영상 복원이란 영상 열화 모델에서 다운샘플링 비율, 잡음, 블러링 필터, 압축 수준과 같은 파라미터의 값을 고정하지 않고 생성된 저해상도의 얼굴 영상에서 고해상도의 얼굴 영상을 복원하는 과정을 말한다. 블라인드 기반 저해상도 얼굴 영상 생성 과정은 다음과 같다[5].

여기서 I_H와 I_L는 각각 원본 고해상도 얼굴 영상과 생성된 저해상도 얼굴 영상을 의미한다. k_ρ, n_δ, JPEG_q는 각각 블러링 필터, 잡음, JPEG 압축을 의미한다. 그리고 ⊗는 합성곱(Convolution) 연산을, ↓_r는 다운샘플링을 의미한다. 수식 (1)에서 블러링 필터(k_ρ)는 가우시안 필터, 미디언 필터, 평균 필터, 그리고 모션 필터로 설정될 수 있다. 그리고 필터의 크기(ρ)는 가우시안, 평균, 미디언 필터의 경우에는 [3~15]사이에서 랜덤하게 선택하고, 모션 필터의 경우에는 [5~25]에서 샘플링된다. 그리고 가우시안 잡음(n_δ)은 표준편차인 δ 값을 [0~25.5]사이에서 샘플링하여 잡음 강도를 설정한다. 다운샘플링 비율은 [32~256]사이에서, JPEG_q 압축 수준(q)는 [10~65]사이에서 샘플링한다.

그림 1은 PSFRGAN 모델의 구조를 보여준다.

Fig. 1. 
Architecture of the PSFRGAN model[5]

생성자는 크게 합성곱 계층, 누설 정류 선형 유닛 계층(Leaky ReLU), 잔차 블록(Residual block), 인스턴스 정규화 계층(Instance normalization layer), 통계적특징 변환(SFT, Statistical Feature Transformation) 블록으로 구성된다. 특히, SFT 블록은 PSFRGAN 모델의 핵심으로써, 저해상도 얼굴 영상과 파싱된 얼굴 맵에서 평균과 표준편차를 학습하고 통계적 특징 변환을 수행한다. 먼저, 통계적 특징 변환을 위한 평균과 표준편차는 다음과 같이 유도된다.

여기서 Ψ는 SFT 블록에 해당하고 ILi와 IPi는 각각 i번째 계층의 다운샘플링 된 저해상도 얼굴 영상과 파싱된 얼굴 맵을 의미한다. 그리고 ysi,ybi는 Ψ함수로부터 생성된 표준편차와 평균이다. 즉, Ψ는 통계적 특징 변환을 위한 타겟의 표준편차와 평균을 출력한다. Ψ는 그림 1에서 보듯이 합성곱 계층과 누설 정류 선형 유닛 계층으로 구성된다.

둘째, 타겟의 평균과 표준편차가 주어진 경우, 입력 16×16 난수 벡터로부터 최종 고해상도의 얼굴 영상을 복원하기 위한 통계적 특징 변환 과정을 거친다. 수식은 다음과 같다.

여기서 Φ_UP는 업샘플링과 잔차 블록으로 구성되고 이전 계층의 특징 맵(F^i-1)을 업샘플링하고 입력 특징 맵을 생성하는 역할을 한다. 그리고 μ와 σ는 입력 특징 맵의 평균과 표준편차이다. 식 (3)은 입력 특징 맵에서 평균을 빼고 표준편차로 나눈 뒤, SFT 블록에서 주어진 타겟의 표준편차를 곱하고 평균을 더해줌으로써, 입력 특징 맵의 통계 분포를 타겟 영상의 통계 분포로 변환하는 과정을 의미한다. 참고로 식 (3)은 SFT 블록마다 적용된다.

그림 1의 PSFRGAN 모델에서 구별자는 기존의 스타일 변환 모델[10]과 동일하게 학습된 분류기를 사용해서 생성된 고해상도 얼굴 영상의 진위를 판별한다.

기존의 PSFRGAN 모델과는 달리, 제안한 모델에서는 눈, 코, 입과 같은 얼굴 구성 요소의 선명도를 개선하기 위해 얼굴 구성 요소별 SFT 블록을 적용하였다. 그리고 얼굴 구성 요소별 통계적 특징 변환을 수행하고 출력 결과를 퓨전하는 모델을 제시하였다. 이를 통해, 얼굴 구성 요소의 형태 복원 능력을 강화하고 색상과 텍스처 왜곡 현상을 억제하였다.

그림 2는 블라인드 기반 폭우 얼굴 영상 생성 과정을 보여준다. 크게 저해상도 변환 과정과 폭우 효과 렌더링 과정으로 구성된다. 먼저 저해상도 변환 과정은 원본 고해상도 얼굴 영상을 저해상도 얼굴 영상으로 변환하는 과정이다.

Fig. 2. 
Blind heavy rain face image generation

기존의 초해상화(Superresolution)[11][12] 기법과 달리, 다운샘플링 비율과 필터 종류는 고정된 것이 아니라 2절에서 언급한 방식대로 랜덤하게 생성된다. 실제 환경에서 촬영된 얼굴 영상의 해상도는 고정된 값이 아니라 가변한다. 따라서 블라인드 기반의 영상 열화 모델이 실제 환경에 더 적합하다. 그림 2의 중앙은 블라인드 기반으로 생성된 저해상도 얼굴 영상을 보여준다. 영상의 크기, 선명도, 블러링 정도 등이 다른 것을 확인할 수 있다.

둘째, 폭우 효과 렌더링 과정은 저해상도 얼굴 영상(I_L)에 폭우 환경에서 발생하는 시각적 효과를 추가하는 과정이다. 폭우 환경에서의 시각적 효과는 크게 빗줄기와 빗줄기 축적이 있다[4][13].

여기서 I는 생성된 최종 저해상도 폭우 얼굴 영상이다. 그리고 A, T, S_i, ⊙는 각각 대기 산란광(Air light), 투과율 맵(Transmission map), i번째의 빗줄기 패턴을 포함한 빗줄기 단계(Rain streaks layer), 원소별 곱을 의미한다.

그림 2의 우측에 생성된 저해상도 얼굴 폭우 영상이 있다. 저해상도 얼굴 영상에 빗줄기가 추가되고 빗줄기 축적 효과로 안개가 낀 것처럼 가시성이 저하된 것을 확인할 수 있다.

그림 3은 제안한 얼굴 구성 요소별 통계적 특징변환 기반의 BHRFIR 모델을 보여주고 있다. 그림 1에 제시된 기존의 얼굴 영상 복원 기법과 가장 큰 차이점은 얼굴 구성 요소마다 통계적 특징 변환을 적용한다는 것이다. 그림 3에서 눈, 코, 입에 대해 SFT 블록을 따로 적용한 것을 볼 수 있다. 적용 대상은 F² 특징 맵에서 F⁵까지이다.

Fig. 3. 
BHRFIR model based on statistical feature transformation for each face component

그림 3에서 얼굴 파싱 맵은 사전 학습된 네트워크를 사용해서 획득한다[5]. 그리고 다운샘플링 된 저해상도 폭우 얼굴 영상(ILi)과 파싱 맵(IPi)에서 눈, 코, 입에 대한 영역 추출은 학습 데이터의 평균 위치 정보를 활용한다.

식 (2)와 달리, 식 (6)에서는 얼굴 구성 요소를 가리키는 인덱스 j가 추가되었다. 즉, j는 [1~5]사이의 정숫값을 가지며 왼쪽 눈, 오른쪽 눈, 코, 입, 얼굴 전체 영역을 가리킨다. 그리고 ILij, IPij는 각각 i번째 계층에서 다운샘플링 된 저해상도 폭우 얼굴 영상과 파싱된 얼굴 맵에서 추출된 얼굴 구성 요소 패치들을 의미한다. 따라서 yj,si,yj,bi는 얼굴 구성 요소별 표준편차와 평균을 의미한다. 그림 3에서 SFT 블록은 얼굴 구성 요소 패치인 (ILij, IPij)를 Ψ 함수에 통과하여 통계적 특징 변환에 사용할 yj,si,yj,bi 파라미터를 출력한다.

그림 4는 제안한 얼굴 구성 요소 기반 통계적 특징변환 퓨전 (FC-SFTF, Facial Component Based Statistical Feature Transformation Fusion) 블록을 보여주고 있다. FC-SFTF 블록은 이전 계층의 특징 맵(F^i-1)과 얼굴 구성 요소별 통계적 변환 파라미터인 yj,si와 yj,bi를 입력으로 받아 통계적 특징 변환을 수행한다.

Fig. 4. 
Proposed facial component based statistical feature transformation fusion

식 (3)과의 차이는 얼굴 구성 요소별로 통계적 변환을 수행한 후, 연결(Concatenation) 계층을 사용해서 퓨전한다는 점이 다르다. 식 (7)은 그림 3에서와 같이 F² 특징 맵에서 F⁵까지만 적용한다. F⁰와 F¹은 기존의 방식인 얼굴 전체 영역에 SFT를 적용한다. 그림 4에서 각 얼굴 구성 요소별로 통계적 특징 변환이 적용된 결과는 연결 계층을 통해 퓨전된다. 그림 4에서 ⊕는 연결 계층을 의미한다.

그림 4에서 제안한 FC-SFTF 블록은 얼굴 구성 요소마다 타겟 영상의 통계 분포로 변환하기 때문에 얼굴 구성 요소의 선명도를 개선하고 색상 및 텍스처 왜곡을 억제하는 효과를 기대할 수 있다.

학습 데이터는 유명인의 얼굴 영상으로 구성된 CelebA-HQ[14]와 CelebA-HQ의 얼굴 파싱 맵인 CelebAMask-HQ[14]를 사용했다. 총 30,000장으로 구성된 데이터 중에서 18,000장을 훈련 집합으로 100장을 테스트 집합으로 사용했다. 학습에 사용된 배치 크기는 2로, 에폭은 100, 학습률은 0.0002로 설정했다. 사용된 최적화 기법은 아담 옵티마이저(Adam optimizer)[15]이고 딥러닝 프레임워크는 Pytorch를 사용했다. 손실 함수를 위해, PSFRGAN[5] 모델에서 채택된 재복원 손실(Reconstruction loss), 적대 손실(Adversarial loss), 시맨틱 인식 스타일 손실(Semantic-aware style loss)를 그대로 적용했다.

제안한 얼굴 구성 요소별 통계적 특징 변환의 효과를 검증하기 위해, 기존의 PSFRGAN 기법과 성능을 비교했다. 그림 5는 실험 결과 영상이다. 그림에서 첫 번째 열은 원본 고해상도 영상이고 두 번째 열은 입력 저해상도 폭우 얼굴 영상이다. 블라인드 기반 영상 열화 모델을 적용했기 때문에, 해상도 샘플링 비율, 빗줄기 강도, 블러링 필터는 고정하지 않고 입력 저해상도 폭우 얼굴 영상을 생성했다. 세 번째와 마지막 열은 각각 기존 PSFRGAN 모델과 제안한 FC-SFTF 기법을 적용한 결과 영상이다. 기존의 PSFRGAN을 적용한 결과 영상은 얼굴 피부 영역에서 텍스처 왜곡이 발생하거나 색상이 원본과 다소 차이가 나는 것을 볼 수 있다. 그리고 얼굴 구성 요소의 형태가 정확하게 복원되지 못함을 알 수 있다. 예를 들면, 첫 번째 행의 PSFRGAN 결과 영상에서 눈썹이 선명하게 복구되지 않았고 두 번째 행의 결과에서도 텍스처 왜곡이 발생한 것을 볼 수 있다. 또한 피부 색상이 원본과는 달리 빨간색의 계통으로 약간 틀어진 것을 볼 수 있다. 마지막 행에서는 콧등의 모양이 뭉개진 것을 볼 수 있다.

Fig. 5. 
Experimental results (a) Original image, (b) Input heavy rain face image, (c) PSFRGAN[5] and (d) Proposed FC-SFTF method

반면에 제안한 FC-SFTF 기법은 피부와 입술 색상을 원본에 더 가깝게 재현했고 얼굴 텍스처에 발생한 결함을 제거할 수 있었다. 예를 들면, 두 번째와 네 번째 행에서 텍스처 왜곡이 잘 제거된 것을 볼 수 있다. 또한 첫 번째와 마지막 행에서 눈썹과 콧등의 형태를 좀 더 정확하게 복원한 것을 확인할 수 있다. 이 실험 결과를 토대로, 제안한 FC-SFTF 모델은 난수 벡터에서 시작한 특징 맵을 타겟 영상의 통계 분포로 변환하여 최종 얼굴 구성 요소의 선명도를 개선하고 텍스처와 색상 왜곡 현상을 잘 제거할 수 있음을 결론지을 수 있다.

정량적 화질 평가를 위해, 본 논문에서는 최대 신호 대 잡음비(PSNR, Peak Signal-to-Noise Ratio)와 구조적 유사성(SSIM, Structural Similarity)[16]을 사용했다. PSNR은 복원된 영상과 원본 영상 간의 픽셀 단위로 전체적인 화질 복원 능력을 평가하는 척도이고 SSIM은 복원 영상과 원본 영상 간의 영상 구조, 즉 에지나 텍스처 복원 능력을 평가하는 척도이다. 두 척도 모두 값이 클수록 원본과 유사함을 의미한다.

표 1은 테스트 집합에 대한 PSNR과 SSIM 수치 결과를 보여준다. 표에서 보듯이, 제안한 기법이 기존의 PSFRGAN 모델에 비해, PSNR과 SSIM 평가에서 더 우수한 결과를 획득했다. 즉, 제안한 기법이 PSFRGAN 모델에 비해, PSNR 수치가 약 0.6dB 정도가 개선되었고 SSIM 수치는 약 0.06 정도 상향되었다. 이는 제안한 FC-SFTF 기법이 얼굴 구성 요소의 선명도를 개선할 수 있을 뿐만 아니라 얼굴 구성 요소의 모양을 좀 더 정확하게 복원하고 텍스처와 색상 왜곡 현상을 동시에 제거할 수 있음을 의미한다.