얼굴 파싱에서 대부분의 연구는 아키텍처(Architecture) 경량화를 중심으로 진행된다. 실시간 의미론적 분할을 위해 제안된 EHANet[4]은 경량화된 백본을 개발하고 하이브리드 주의 메커니즘을 통해 속도와 정확도 사이의 균형을 유지한다. BADANet[9]은 경량화된 네트워크와 확장된 주의 메커니즘을 활용하여 경계영역의 정확한 정보 학습을 통해 모델의 정확도와 효율성을 높인다. FP-LIIF[3]은 구조적으로 일관된 얼굴 특징을 활용해 효율적인 함수 기반 모델을 설계한다. S. Liu et al.[10]은 CNN과 RNN을 결합하여 계산 효율성을 높이면서도 높은 정확도를 유지한다.

지식 증류는 대규모 네트워크(교사 모델)의 학습 지식을 소형 네트워크(학생 모델)로 전달하여 효율적인 모델 압축을 이루는 접근법이다. 특히, 로짓(Logit)과 피처 맵(Feature map) 기반 지식 증류는 각각 교사와 학생 간의 상이한 정보 전달 방식에 중점을 두며, 주요 연구에서 다양한 기법들이 개발되었다.

로짓 기반 지식 증류는 교사 모델의 예측 확률 분포(로짓)를 학생 모델이 학습하는 방식이다. G. Hinton et al.[5]의 초기 연구에서는 소프트맥스 함수의 온도 매개변수를 도입하여, 교사와 학생 모델 간 확률 분포를 유연하게 조정하는 방식을 제안했다. 이후 여러 연구가 로짓 기반 증류의 성능 개선을 시도했다. CTKD[11]는 샘플마다 가변적인 온도를 예측하여 난이도에 따라 증류를 조정하는 방식을 제안하였으며, MLKD[12] 는 다중 로짓 레벨에서 학생 모델이 교사 모델의 정보를 학습하도록 설계되었다. 또한, DKD[13]는 온도 매개변수의 중요성을 강조하며, 학생이 교사의 로짓 분포에서 더 많은 정보를 학습할 수 있도록 했다​. S. Sun et al.[6]은 분류 문제에서 로짓 기반 지식증류가 교사 모델과 학생 모델이 동일한 온도 매개변수를 사용하는 것에 문제를 제기하고 이를 보완한 로짓 표준화를 제안하였다.

피처 맵 기반 증류는 학생 모델이 교사 모델의 내부 표현, 즉 중간 계층의 피처 맵을 학습하도록 유도하는 방법이다. FitNet[14] 은 초기 피처 맵 증류 방법으로, 교사 모델의 중간 피처 맵을 학생 모델이 학습하여 고차원 데이터에 대해 효과적인 특성 학습을 수행하도록 했다. 이후 등장한 다양한 연구들은 피처 맵 기반 증류의 성능을 확장하는 방식을 제안했다. AT[15] 는 피처 맵 간의 유사성을 높이기 위해 어텐션 기법을 사용하였고, CRD[16]는 대조 학습을 통해 피처 맵의 유사성을 증진했다. ReviewKD[17]는 피처 맵을 교사 모델의 리뷰 단계에서 학습함으로써 더 정교한 피처 매칭을 달성했다.

최근 dense prediction 분야에서도 활발한 연구가 진행되고 있다. [7]은 픽셀 별 지식 증류 손실함수를 활용하여 픽셀 주변의 지식 증류의 중요성을 보여주었고, [8]은 채널별로 지식 증류 손실함수를 활용하였다. 얼굴 파싱에서도 [18]은 기존 경량화된 모델의 성능 개선을 목적으로한 일반적인 지식 증류 방식과 달리 자기 증류와 셀프 어텐션을 통해서 최첨단 수준으로 성능을 개선하였다.

그림 1은 로짓기반 지식 증류 방법을 보여준다. 로짓은 분류 문제에서 소프트맥스(Softmax) 이전에 모델이 출력하는 최종 결과값을 의미한다. 이 로짓 값은 지식 증류 과정에서 중요한 역할을 하며, 특히 교사 모델의 로짓 값을 학생 모델이 학습하게 함으로써 학생 모델이 교사 모델의 고유한 지식을 더욱 효과적으로 습득할 수 있도록 한다.

Fig. 1. 
Comparing logit-based knowledge distillation methods (a) Initially proposed basic knowledge distillation method, (b) Knowledge distillation method applying logit standardization, (c) Proposed logit distribution transformation method

Hinton[5]의 지식 증류 방법에서는 로짓을 부드럽게(Smooth) 변환하기 위해 온도(Temperature) 매개변수를 활용하며, 이를 통해 학생 모델이 다양한 클래스 간의 확률 분포를 학습할 수 있게 한다. 온도 값을 높일수록 예측 확률 분포가 평탄해져 교사 모델이 학습한 각 클래스 간의 관계가 더욱 명확히 반영되며, 학생 모델은 정답 외에도 교사 모델의 확률 분포에 대한 정보를 풍부하게 학습할 수 있다.

식 (1)과 (2)는 이러한 지식 증류 과정을 나타내며, 그림 1 (a)처럼 각각 교사 모델의 로짓과 학생 모델의 로짓을 통해 소프트맥스와 온도 매개변수로 변환된 분포가 Kullback-Leibler 발산 손실(KL divergence loss)을 기반으로 학생 모델이 교사 모델의 분포를 모방하도록 돕는다.

최근 연구에 따르면, 교사 모델과 학생 모델이 동일한 온도를 사용하는 방식에 대해 문제점이 제기되었다[6]. 이는 모델 간의 크기와 용량 차이로 인해 학생 모델이 교사 모델처럼 넓은 확률 분포 범위를 생성하기 어려울 수 있기 때문이다[19]. 특히 동일한 온도를 공유하는 경우, 학생 모델의 출력 표준편차가 제한받아 분포가 충분히 넓게 표현 되지 못하는 문제가 발생할 수 있다. 이러한 한계를 극복하기 위해 최근 연구에서는 로짓 표준화(Logit standardization) 기법을 통해 교사 모델과 학생 모델 각각의 표준편차에 맞춘 온도를 설정하는 방식을 제안하며, 이를 통해 지식 증류 과정의 효율성을 높이고자 한다. 로짓 표준화를 통해 학생 모델이 교사 모델의 분포 특성을 보다 정확히 학습할 수 있으며, 지식 증류의 효과도 극대화될 수 있다.

얼굴 파싱 작업에서 교사 모델과 학생 모델의 온도를 공유함으로써 발생하는 문제를 해결하기 위해, 본 연구에서는 로짓 표준화를 적용하여 그 효과를 검토하였다. 로짓 표준화는 그림 1 (b)와 같이 로짓의 평균과 표준편차를 사용해 교사와 학생 모델 각각의 출력 분포를 조정함으로써 온도 공유 문제를 보완한다. 식 (3)과 (4)는 로짓의 평균과 표준편차를, 식 (5)는 이를 통한 표준화 과정을 나타낸다. 여기서 식에서 X는 모델의 최종 출력인 로짓을, τ는 온도를 나타내며, 이를 소프트맥스 함수에 입력하여 지식 증류를 수행한다.

분류 문제에서 처음으로 제안된 로짓 표준화를 얼굴 파싱에 적용하기 위해서는 픽셀 별 모든 로짓에 대해서 평균이 0, 표준편차가 1이 되도록 표준화해 주어야 한다. 서로 다른 픽셀의 로짓은 서로 다른 평균, 표준편차 분포를 가지고 있는데, 이를 동일하게 동일한 평균, 표준편차로 변환하면, 픽셀 간의 정보가 손실되는 문제가 발생한다. 이러한 방식의 문제는 아래 실험을 통해서도 알 수 있다.

ResNet101+FCN을 교사 모델로, MobileNetV4+DeepLabV3를 학생 모델로 설정하여 세 가지 방식으로 실험을 수행하였다: 첫째, 기본 학습 방법, 둘째, 전통적 지식 증류 방법(vanilla -KD), 셋째, 로짓 표준화가 포함된 지식 증류 방법이다. 표 1의 실험 결과는 지식 증류를 적용하지 않은 경우보다 vanilla-KD 방법이 높은 성능을 보였음을 나타낸다. 그러나, 로짓 표준화를 적용했을 때 성능이 오히려 감소하는 현상이 확인되었다. 또한 그림 2와 같이 다양한 모델에서 픽셀별 로짓의 평균과 표준편차를 시각화하였다.

Fig. 2. 
Mean and standard deviation of per-pixel logit across multiple models (a) Input image, (b) Logit mean from the ResNet101 + FCN model, (c) Logit mean from the MobileNetV3 + DeepLabV3 model, (d) Logit mean from the ResNet18 + FCN model, (e) Output labels, (f) Logit standard deviation from the ResNet101 + FCN model, (g) Logit standard deviation from the MobileNetV3 + DeepLabV3 model, (h) Logit standard deviation from the ResNet18 + FCN model

그림 2의 (b)와 (f)에 나타난 바와 같이, ResNet101+FCN과 같은 고성능 모델은 출력 레이블과 유사한 뚜렷한 분포를 보이며, 이는 픽셀별 로짓의 평균과 표준편차가 명확하게 드러남을 보여준다. 반면, 성능이 낮은 ResNet18 + FCN 모델은 분포가 상대적으로 흐릿하게 나타나 로짓의 명확성이 떨어진다. 이는 교사 모델이 픽셀별 로짓 분포뿐만 아니라, 픽셀 간 로짓 분포에서 중요한 정보를 포함하고 있음을 시사한다. 이러한 픽셀 간 정보는 기존 세그먼트 문제에서 시사하는 바와 동일하다[7][8]. 그러나 교사 모델과 학생 모델의 로짓을 동일하게 표준화할 경우, 교사 모델의 픽셀 간 로짓 분포 정보가 학생 모델로 효과적으로 전달되지 않는 문제가 발생한다.

그림 1은 전통적인 지식 증류 방법과 로짓 표준화 지식 증류 방법, 제안된 로짓 분포 변환 지식 증류 방법을 비교한 결과를 보여준다. 그림 1 (a)는 기본적인 지식 증류 방법을, 그림 1 (b)는 3.3장에서 설명한 로짓 표준화가 적용된 지식 증류 방법을 나타낸다. 세 모델의 주요한 차이점은 logit를 처리하는 부분이 전통적인 지식 증류 방식은 로짓에 추가적인 처리를 하지 않고, 로짓 표준화 방식은 교사 모델과 학생모델의 로짓을 표준화해 준다. 제안한 방식은 학생 모델의 로짓만 분포 변환을 진행한다. 로짓 표준화 방식은 교사 모델과 학생 모델 모두에 표준화를 적용하여 모든 픽셀별 로짓이 평균 0, 표준편차 1의 분포를 따르도록 한다. 그러나 이러한 접근법은 교사 모델의 픽셀 간 로짓 분포를 그대로 학생 모델에 전달하기 어렵고, 중요한 분포 정보를 손실하는 문제가 발생한다.

이를 해결하기 위해 본 연구에서는 교사 모델의 픽셀 간 로짓 분포를 유지하고, 그림 1 (C) 와 같이 학생 모델에만 로짓 분포 변환을 적용하여 최적의 온도 값을 조정하는 방식을 제안한다. 여기서 X_s, X_t는 각각 학생 모델과 교사 모델의 로짓을 나타내며, 식 (6)에서는 학생 모델의 로짓을 표준화한 후 이를 교사 모델의 로짓 분포로 변환하는 방식을 보여준다. 이를 통해 학생 모델이 교사 모델의 중요한 분포 정보를 더욱 효과적으로 학습할 수 있다.

제안된 방법은 [2]에서 언급된 로짓 표준화의 장점을 그대로 살리며, 평균 0, 유한 표준편차, 단조성, 경계성 등의 특성을 유지한다. 학생 모델의 분포를 평균 0, 표준편차 1로 표준화한 후 교사 모델의 분포로 변환하여 기존 연구에서와 동일하게 교사와 학생 모델 모두 평균이 0인 상태를 유지할 수 있다. 또한 교사 모델의 표준편차가 무한한 경우에도 학생 모델은 이를 반영하여 변환되므로 유한 표준편차의 장점을 확보할 수 있다. 뿐만 아니라, 이전 연구와 마찬가지로 학생 모델의 로짓 변환이 선형 변환 함수이므로 동일한 순위를 유지하며, 교사 모델의 로짓 분포가 과도하게 커지더라도 학생 모델의 분포는 교사 모델의 표준편차를 곱하여 계산되므로 학생 모델의 분포가 과도하게 커지는 것을 방지할 수 있다. 이러한 특성을 통해 로짓 분포 변환은 경계성 속성을 유지하며, 교사 모델의 픽셀 간 로짓 분포 정보를 효과적으로 전달할 수 있는 장점을 가진다.

본 연구에서는 얼굴 파싱 문제에서 지식 증류의 효과를 검증하기 위해 CelebAMask-HQ 데이터셋[9]을 사용하였다. CelebAMask-HQ 데이터셋은 학습 세트, 검증 세트, 테스트 세트로 나뉘며, 각각 24,183개, 2,993개, 2,824개의 데이터로 구성되어 있다. 이 데이터셋은 다양한 성별과 인종을 포함한 얼굴 이미지를 다루며, 얼굴의 각 부위를 19개의 세부 클래스(눈, 코, 입, 헤어라인 등)로 분할한 마스크 레이블을 제공한다. 이러한 세부 클래스를 통해 얼굴의 각 부위에 대한 파싱 정확도를 측정할 수 있으며, 이는 연구에서 제안한 지식 증류 기법이 다양한 얼굴 속성에 대해 얼마나 효과적으로 작동하는지 평가하는 데 적합한 기준이 된다.

평가 지표로는 정확도(Accuracy)와 F1-score를 사용하여 성능을 측정하였으며, 이를 통해 모델이 얼굴의 각 부위를 얼마나 정밀하게 분할하고 예측하는지 평가하였다. 정확도는 각 클래스의 예측 정확도를 종합한 값으로 모델의 전반적인 성능을 나타내며, F1-score는 정밀도와 재현율의 조화를 반영하여 예측 성능의 균형을 평가하는 지표이다. 이를 통해 다양한 얼굴 부위에서 모델의 예측 정확도를 세부적으로 비교하고 분석할 수 있다.

본 연구에서는 ResNet101+FCN 모델을 교사 모델로 설정하여, 해당 모델의 지식을 학생 모델에 전달하는 지식 증류 과정을 수행하였다. 학생 모델로는 MobileNet-v3+DeepLabV3, ResNet34+FCN, ResNet18 +FCN 세 가지 경량화 모델을 선정하였으며, 다양한 수준의 복잡도와 성능을 갖춘 모델을 활용하여 제안한 지식 증류 기법이 각 모델에서 어떤 성능 향상을 이루는지 비교 분석하였다.

학습 과정에서 모든 모델에 대해 배치 크기(Batch size)는 5, 학습률(Learning rate)은 0.01로 설정하였으며, 최적화 기법으로는 SGD(Stochastic Gradient Descent)를 사용하여 총 100 에폭(Epoch) 동안 학습을 진행하였다. 이러한 설정은 교사 모델과 학생 모델 간의 일관된 학습 환경을 제공하여, 각 지식 증류 방법이 성능 향상에 미치는 영향을 공정하게 비교할 수 있도록 한다.

표 2와 표 3은 지식 증류를 적용하지 않은 기본 방법, 전통적인 지식 증류(vanilla-KD), 로짓 표준화 지식 증류(KD-STD), 그리고 본 연구에서 제안한 방법을 비교한 성능 결과를 보여준다. 실험 결과, 지식 증류를 적용하지 않은 경우, 교사 모델인 ResNet101+FCN이 F1-score, Accuracy 각각 87.1 95.4로 가장 높은 성능을 기록하였으며, 그 뒤를 이어 DeepLabv3+MobileNet, ResNet34+FCN, ResNet18+FCN 순으로 성능 차이를 보였다. 이는 각 모델의 구조적 복잡도가 성능에 직접적으로 영향을 미친다는 점을 확인할 수 있는 결과이다.

전통적인 지식 증류 방법(vanilla-KD)을 적용한 경우, 모든 모델과 평가 지표에서 지식 증류를 적용하지 않은 기본 방법보다 F1-score 각각 DeepLabv3+MobileNet 1.4 ResNet34+FCN 0.78, ResNet18+FCN 1.1 향상되었으며, Accuracy 에서도 비슷한 추세를 보인다. 이는 얼굴 파싱에서 로짓 기반 지식 증류의 효과를 입증한다. vanilla-KD 방식은 학생 모델이 교사 모델의 출력을 학습함으로써 성능을 끌어올릴 수 있음을 확인하게 한다. 그러나 로짓 표준화를 적용한KD-STD 방식의 경우, F1-score에서 DeepLabv3+MobileNet, ResNet34+FCN, ResNet18+FCN 각각 83.51, 66.94, 67.3로 모든 지식 증류 모델보다 성능이 낮았으며, 심지어 지식 증류를 적용하지 않은 모델보다도 낮은 성능을 기록하였다. 이는 2.3장에서 언급된 대로, 교사 모델의 픽셀 간 정보가 학생 모델에 제대로 전달되지 않아 발생한 문제로 판단된다.

본 연구에서 제안한 방법은 vanilla-KD의 공유 온도 문제와 KD-STD 방식의 교사 모델 픽셀 간 정보 손실 문제를 보완하여, F1-score에서 DeepLabv3+MobileNet, ResNet34+FCN, ResNet18+FCN 각각 85.37, 75.42, 75.01, Accuracy에서 각각 94.77, 92.76, 92.56으로 vanilla-KD보다 우수한 성능을 보였다. 제안된 기법은 학생 모델이 교사 모델의 중요한 분포 정보를 더 효과적으로 학습할 수 있도록 하여 지식 증류의 성능을 극대화할 수 있었다. 이를 통해 얼굴 파싱 작업에서 지식 증류 기법이 모델의 경량화와 실시간 성능을 유지하면서도 높은 정확도를 제공할 수 있음을 확인할 수 있었다.