신뢰도 기반 가중치와 레이블 교란을 결합한 지식 증류 학습법

Ⅰ. 서 론

심층 신경망은 모델 규모가 커질수록 성능이 향상되는 경향이 있으나, 대규모 모델은 높은 연산량과 메모리를 요구하여 자원이 제한된 환경에 배포하기 어렵다. 지식 증류[1]-[6]는 대규모 교사 모델이 보유한 지식을 소규모 학생 모델로 전이하는 대표적인 모델 압축 기법으로, 컴퓨터 비전과 자연어 처리를 비롯한 다양한 분야에서 모델 경량화를 위해 사용되고 있다. 교사 모델의 softmax 출력으로부터 소프트 레이블(Soft label)을 생성한다. 소프트 레이블에는 정답 클래스에 대한 정보뿐만 아니라, 오답 클래스들 사이의 상대적 유사도, 이른바 dark knowledge가 내포되어 있다. 학생 모델은 이를 통해 원-핫 레이블만으로는 습득하기 어려운 구조적 정보를 학습할 수 있다.

그런데 교사 모델이 모든 샘플에 대해 동일한 수준의 dark knowledge를 제공하는 것은 아니다. 교사 모델이 거의 확신에 가까운 예측을 내리는 샘플의 경우, 소프트 레이블의 확률 분포가 원-핫 레이블에 수렴하기 때문에 클래스 간 관계 정보가 희박하다. 반대로, 교사 모델조차 판별에 혼란을 보이는 샘플에서는 소프트 레이블 자체가 불안정하여 학생 모델에게 노이즈에 가까운 신호를 전달할 가능성이 있다. 결국 교사 모델의 dark knowledge가 가장 풍부하게 담기는 영역은 교사가 적절한 수준의 불확실성을 보이는 중간 신뢰도 구간의 샘플이라 할 수 있다. 그럼에도 불구하고 기존의 지식 증류 프레임워크는 이러한 샘플 간 정보량의 차이를 고려하지 않고, 모든 샘플에 동일한 비중을 부여한다. 그 결과, dark knowledge가 풍부한 유익한 샘플과 정보가 부족하거나 오히려 학습에 방해가 되는 샘플이 손실 함수에 동등하게 기여한다. 이는 비효율적 구조를 초래한다.

본 연구는 이러한 문제 인식에서 출발하여, 교사 모델의 예측 신뢰도 분포를 통계적으로 분석하고 이에 기반하여 샘플별 학습 기여도를 차등적으로 조절하는 가중 지식 증류 방법(WKD, Weighted Knowledge Distillation)을 제안한다. 구체적으로, 전체 훈련 데이터의 신뢰도 분포에서 중앙값과 사분위 범위(IQR, Interquartile Range)를 추출하고, 이를 파라미터로 하는 가우시안 가중치 함수를 설계하여 중간 신뢰도 구간의 샘플에 높은 가중치를, 극단적 신뢰도 구간의 샘플에 낮은 가중치를 부여한다. 한편, 학습 데이터에 의도적으로 노이즈를 추가하는 것이 일반화 성능을 높인다는 연구[7]-[9]가 있다. 본 연구에서는 이에 착안하여 의도적 레이블 교란을 결합하여, 교사 모델의 신뢰도 분포를 적절히 변화시킴으로써 가중치 전략의 실효성을 높인다. 다양한 교사 모델 아키텍처와 레이블 교란 비율에서 수행한 실험과 소거 실험을 통해, 신뢰도 기반 가중치와 레이블 교란이 각각 독립적으로 효과가 제한적이나 결합 시 상호 보완적으로 작용하여 기존 지식 증류 대비 강건하고 우수한 성능을 달성함을 확인하였다.

본 논문의 구성은 다음과 같다. 2장에서는 지식 증류와 레이블 교란 기반 정규화에 대한 관련 연구를 정리하고, 3장에서는 제안하는 신뢰도 기반 가중 지식 증류의 설계와 레이블 교란의 결합 전략을 상술한다. 4장에서는 실험 환경, 교사 모델의 신뢰도 분포 분석, 주요 결과 및 소거 실험을 제시하며, 5장에서 결론과 향후 과제를 논의한다.

Ⅱ. 관련 연구

2.1 지식 증류

지식 증류는 앙상블 모델의 출력을 소규모 모델로 전이하는 개념을 제안한 데서 비롯되었으며[1], 이후 온도 스케일링을 적용한 소프트 레이블 기반의 학습 프레임워크로 체계화되었다[2]. 이후 교사의 중간층 특징을 전이하는 특징 기반 방법[3], 샘플 간 관계 구조를 전이하는 관계 기반 방법[4] 등 지식의 표현 형태를 다양화하는 방향으로 발전해왔다. 최근에는 로짓 기반 증류의 손실 함수를 정답 클래스와 비정답 클래스로 분리하여 각각의 역할을 분석하거나[5], 강한 교사 모델에서의 증류 시 예측 간 상관관계 보존에 초점을 맞추는 연구[6]가 등장하였으나, 이들 역시 개별 훈련 샘플이 담고 있는 dark knowledge의 양이 균일하지 않다는 점, 그리고 이에 따라 샘플별로 학습 기여도를 조절할 필요가 있다는 점은 상대적으로 주목받지 못하였다. 표 1은 기존 지식 증류 방법론들과 제안 방법을 비교한 것으로, 기존 방법들은 지식의 표현 형태 다양화에 집중하여 개별 샘플의 정보량 차이를 고려하지 못한다는 공통적 한계를 지닌다. 본 연구는 이 공백에 주목하여, 교사 모델의 예측 신뢰도를 기준으로 샘플의 정보량을 평가하고 학습 비중을 차등화하는 접근을 취한다.

Table 1.

Comparison of previous knowledge distillation methods and the proposed method

Ⅲ. 제안 방법

3.1 개요

본 연구에서 제안하는 가중 지식 증류는 교사 모델이 각 훈련 샘플에 대해 보유한 dark knowledge의 양이 균일하지 않다는 관찰에서 출발한다. 교사 모델의 예측 신뢰도를 dark knowledge의 간접 지표로 활용하고, 전체 데이터셋의 신뢰도 분포를 통계적으로 분석하여 샘플별 학습 기여도를 차등 부여하는 것이 핵심 아이디어이다. 나아가 레이블 교란을 결합함[10]으로써 교사 모델의 신뢰도 분포 변화를 유도하고, 이러한 분포 변화가 신뢰도 기반 가중치 전략의 효과에 미치는 영향을 분석한다.

제안 방법의 전체 구조는 그림 1과 같으며, 구체적인 절차는 다음과 같다. 먼저 훈련 데이터에 레이블 교란을 적용한 후 교사 모델을 훈련(⓵)한다. 훈련된 교사 모델로부터 온도 스케일링된 softmax를 통해 소프트 레이블을 생성한다. 여기서 온도 스케일링이란, 모델의 출력 로짓을 1보다 큰 온도 매개변수 (τ)로 나누어 출력 확률 분포를 부드럽게 만듦으로써, 정답 외의 클래스들에 대한 교사 모델의 dark knowledge를 더 잘 반영하도록 하는 기법이다. 이와 함께 기본 softmax 출력의 최대 확률값으로 샘플별 예측 신뢰도를 산출한다. 다음으로, 전체 데이터의 신뢰도 분포에 대해 IQR 분석(⓶)을 수행하고, 이를 기반으로 한 가우시안 가중치 함수에 입력하여 샘플별 가중치를 계산한다. 마지막으로 학생 모델의 훈련 단계(⓷)에서는 소프트 레이블과의 쿨백-라이블러(KL, Kullback–Leibler) 발산 및 교란된 레이블과의 크로스 엔트로피 손실 모두에 앞서 도출한 가중치를 적용하여 학습을 진행한다.

Fig. 1.

Overall pipeline of confidence-based weighted knowledge distillation with label perturbation

전체 절차는 다음과 같다. 먼저 훈련 데이터에 레이블 교란을 적용한 후 교사 모델을 훈련한다. 훈련된 교사 모델로부터 온도 스케일링된 softmax를 통해 소프트 레이블을 생성하고, 기본 softmax 출력의 최대 확률값으로 샘플별 예측 신뢰도를 산출한다. 이 신뢰도를 IQR 기반 가우시안 가중치 함수에 입력하여 샘플별 가중치를 계산한다. 학생 모델의 훈련 단계에서는 소프트 레이블과의 KL 발산 및 교란된 레이블과의 크로스 엔트로피 손실 모두에 이 가중치를 적용한다. 제안 방법의 전체 구조는 그림 1과 같다.

3.3 레이블 교란의 적용

신뢰도 기반 가중치의 효과를 극대화하기 위한 보조 전략으로 레이블 교란을 결합한다. 전체 훈련 샘플 중 비율 η에 해당하는 샘플을 무작위로 선정하여, 해당 샘플의 정답 레이블 $$ \widehat{y}$$를 다음의 조건부 확률에 따라 교란된 레이블 y로 변경한다.

$\[ P\left(\widehat{y}=k|y=j\right)=\left\{\begin{array}{cc}1-\eta \hfill & \text{if} k=j\hfill \\ \frac{\eta }{K-1}\hfill & \text{if} k\ne j\hfill \end{array}\right. \]$

(3)

식 (3)에서 K는 총 클래스의 수이며, 선택된 샘플은 원래 클래스를 제외한 K - 1개의 클래스 중 하나로 균등 확률에 의해 재할당된다. 레이블 교란은 교사 모델의 학습 과정에 노이즈를 도입하여 과적합을 억제하는 정규화 효과를 가진다. 그림 2는 ConvNeXt-Tiny[11] 교사 모델에 대해 레이블 교란별 신뢰도 분포를 시각화한 것이다. 교란이 없는 경우 신뢰도가 1.0 부근에 극단적으로 편중되어 있으나, 교란 비율이 증가할수록 분포가 분산되는 경향을 보인다. 이러한 분포 변화는 3.2절의 가우시안 가중치가 유효하게 작동할 수 있는 환경을 조성하며, 구체적인 통계량과 분석은 4.2절에서 상술한다.

Fig. 2.

Confidence distribution by noise rate

Ⅳ. 실험 및 결과

4.2 교사 모델의 신뢰도 분포 분석

제안 방법의 핵심 전제, 즉 레이블 교란이 교사 모델의 신뢰도 분포를 변화시킨다는 가설을 검증하기 위해, ConvNeXt-Tiny 교사 모델에 대해 레이블 교란 비율별 신뢰도 분포를 분석하였다. 전체 훈련 데이터에 대해 교사 모델의 softmax 출력에서 최대 클래스 확률을 추출하고, 그 분포를 그림 2에 시각화 하였다. 각 조건에서의 통계량을 표 2에 정리하였다.

Table 2.

Confidence statistics of ConvNeXt-Tiny

교란이 없는 경우(0%) 교사 모델의 신뢰도는 중앙값 0.8683로 대다수 샘플이 고신뢰도 영역에 극단적으로 편중되어 있다. 이는 소프트 레이블이 원-핫 레이블에 가까워 dark knowledge가 희박한 상태임을 의미한다. 10% 교란 환경에서는 중앙값이 0.6634로 이동하고 IQR이 0.4201에서 0.5155로 확대되어, 중간 신뢰도 구간에 분포하는 샘플이 증가하였다. 이는 3.2절에서 설계한 가우시안 가중치가 유효하게 적용할 수 있는 조건이 형성되었음을 의미한다. 반면 20% 환경에서는 중앙값이 0.5157까지 하락하여 교사 모델의 판별력 자체가 저하된 양상을 보인다.

4.3 주요 결과

표 3는 레이블 교란 비율 0%, 10%, 20%에서 제안 방법(WKD)과 기존 지식 증류(KD)의 성능을 비교한 결과이다. 4개의 교사 모델에 대해 Acc@1, Acc@5, F1-Score, Precision, Recall의 5가지 지표를 측정하였으며, 동일한 교사 모델과 교란 비율에서 두 방법을 비교하여 제안 방법의 효과를 확인할 수 있다.

Table 3.

Performance comparison of weighted knowledge distillation and knowledge distillation by label perturbation rate

레이블 교란이 없는 환경(0%)에서는 지식 증류와 가중 지식 증류가 전반적으로 유사한 성능을 보였다. 이는 4.2절에서 분석한 바와 같이 교란이 없는 교사 모델의 신뢰도가 1.0 근처에 극단적으로 편중되어, 가우시안 가중치를 적용하더라도 샘플 간 차별화가 이루어지기 어려운 분포 특성에 기인한다.

10% 교란 환경에서는 제안 방법이 네 개의 교사 모델 전반에서 대부분의 평가 지표에 대해 기존 지식 증류를 상회하는 결과를 보였다. Acc@1 기준으로 ConvNeXt-Tiny, EfficientNet-B0, ViT-B/16, ResNeXt-50 모두에서 제안 방법이 기존 지식 증류보다 우수하였으며, 특히 EfficientNet-B0와 ResNeXt-50에서는 5개 지표 전반에서 일관된 성능 향상이 나타났다. 이러한 결과는 제안 방법이 특정 아키텍처에 종속되지 않고 CNN 및 Transformer 기반 교사 모델 모두에 적용 가능함을 보여준다.

20% 교란 환경에서는 교사 모델에 따라 우열이 혼재하여 일관된 경향이 관찰되지 않았다. 이는 4.2절에서 확인한 바와 같이 20% 교란 시 교사 모델의 신뢰도 중앙값이 0.52까지 하락하여 판별력 자체가 저하되었기 때문으로, 과도한 레이블 교란은 오히려 가중치 전략의 효과를 저해함을 시사한다.

4.4 구성 요소별 소거 실험

4.3절에서 제안 방법이 10% 교란 환경에서 가장 효과적으로 작동함을 확인하였다. 본 절에서는 이러한 성능 개선이 레이블 교란과 신뢰도 가중치의 결합에서 비롯된 것인지, 혹은 개별 요소만으로도 달성 가능한 것인지를 검증한다. 10% 환경에서 성능 개선이 가장 안정적으로 나타난 EfficientNet-B0를 대표 교사 모델로 선정하고, 레이블 교란 유무와 신뢰도 가중치 유무에 따른 네 가지 조합을 비교하여 결과를 표 4에 정리하였다.

Table 4.

Ablation study on the effects of confidence-based weighting and label perturbation

레이블 교란 없이 신뢰도 가중치만 적용한 경우는 기존 지식 증류 대비 오히려 소폭 하락하는 결과를 보였다. 4.2절에서 확인한 바와 같이 교란이 없는 교사 모델의 신뢰도는 1.0 부근에 극단적으로 편중되어 있어, 가우시안 가중치가 대다수 샘플에 낮은 가중치를 부여하게 되며 이로 인해 유효한 학습 신호까지 억제되는 부작용이 발생한 것으로 판단된다.

신뢰도 가중치 없이 레이블 교란만 적용한 경우도 기존 대비 뚜렷한 개선을 보이지 않았다. 이는 레이블 교란이 신뢰도 분포를 중간 구간으로 분산시키는 효과를 가지지만, 모든 샘플에 동일한 비중을 부여하는 기존 지식 증류 프레임워크에서는 분산된 분포의 이점을 활용하지 못하기 때문으로 판단된다.

반면, 두 요소를 결합한 제안 방법에서는 대부분의 평가 지표에 걸쳐 가장 우수한 결과가 나타났다. 이 결과는 4.2절의 신뢰도 분포 분석과 종합하여 다음과 같이 해석할 수 있다. 레이블 교란은 교사 모델의 신뢰도 분포를 고신뢰도 편중 상태에서 중간 신뢰도 구간이 확대된 형태로 변화시킨다. 이렇게 분산된 분포 위에서 가우시안 가중치가 적용되면, dark knowledge가 풍부한 중간 신뢰도 샘플의 기여는 강화되고 극단적 샘플의 영향은 억제되는 선별 효과가 발생한다. 즉, 레이블 교란은 가중치 전략이 작동할 수 있는 분포적 환경을 조성하고, 가중치 전략은 교란 환경에서 발생하는 노이즈의 부정적 영향을 억제하는 상호 보완적 관계에 있다.

Ⅴ. 결론 및 향후 과제

본 연구에서는 지식 증류 과정에서 교사 모델이 각 훈련 샘플에 대해 제공하는 dark knowledge의 양이 균일하지 않다는 점에 착안하였다. 이를 바탕으로 샘플별 학습 기여도를 차등 조절하는 가중 지식 증류를 제안하였다. 교사 모델의 예측 신뢰도 분포를 IQR로 분석하여 가우시안 가중치 함수를 설계하고, 레이블 교란을 결합하였다.

교사 모델의 신뢰도 분포를 시각화한 결과, 레이블 교란이 없는 교사 모델은 신뢰도가 1.0 부근에 극단적으로 편중되어 dark knowledge가 희박하였다. 반면, 10% 교란 환경에서는 중간 신뢰도 구간이 확대되어 가우시안 가중치가 유효하게 작용할 수 있는 분포가 형성됨을 확인하였다. 네 가지 교사 아키텍처에서의 실험 결과, 10% 레이블 교란 조건에서 제안 방법이 기존 지식 증류 대비 전반적으로 우수한 성능을 달성하였으며, 이러한 경향은 CNN 및 Transformer 기반 교사 모델 모두에서 공통적으로 관찰되었다. 소거 실험을 통해 신뢰도 가중치와 레이블 교란이 개별적으로는 성능 개선에 기여하지 못하거나 오히려 하락을 유발하나, 결합 시 상호 보완적 시너지를 발생시킴을 확인하였다. 이는 레이블 교란이 가중치 전략에 적합한 분포적 환경을 조성하고, 가중치 전략이 교란 환경의 노이즈를 억제하는 구조적 상보성을 형성하기 때문으로 해석된다.

향후에는 다양한 도메인과 규모의 데이터셋, 상이한 용량의 학생 모델로 실험을 확대하고, 훈련 에포크에 따라 가중치를 적응적으로 조절하는 동적 전략을 탐구할 계획이다. 나아가, 본 연구에서 제안한 신뢰도 기반 가중치 프레임워크는 교사 모델의 신뢰도 분포를 변화시킬 수 있는 다양한 정규화 기법과의 결합과 로짓 기반 증류 외에 특징 기반 증류로의 확장도 검토할 수 있을 것이다.

Acknowledgments

This work was supported by Kyonggi University’s Graduate Research Assistantship 2026, Institute of Information & Communications Technology Planning & Evaluation(IITP)-ICAN(ICT Challenge and Advanced Network of HRD) grant funded by the Korea government(Ministry of Science and ICT)(IITP-2024-00436954), MSIT(Ministry of Science and ICT), Korea, under the National Program for Excellence in SW supervised by the IITP(Institute of Information & communications Technology Planning & Evaluation)(2021-0-01393), and National Research Foundation of Korea(NRF) grant funded by the Korea government(MSIT)(RS-2026-25489409)

References

• C. Buciluǎ, R. Caruana, and A. Niculescu-Mizil, "Model compression", Proc. of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, New York, USA, pp. 535-541, Aug. 2006. [https://doi.org/10.1145/1150402.1150464]
• G. Hinton, O. Vinyals, and J. Dean, "Distilling the knowledge in a neural network", arXiv preprint arXiv:1503.02531, , Mar. 2015. [https://doi.org/10.48550/arXiv.1503.02531]
• A. Romero, N. Ballas, S. E. Kahou, A. Chassang, C. Gatta, and Y. Bengio, "FitNets: Hints for Thin Deep Nets", Proc. of the 3rd International Conference on Learning Representations (ICLR), San Diego, CA, USA, May 2015. [https://doi.org/10.48550/arXiv.1412.6550]
• W. Park, D. Kim, Y. Lu, and M. Cho, "Relational Knowledge Distillation", Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, pp. 3962-3971, Jun. 2019. [https://doi.org/10.1109/cvpr.2019.00409]
• B. Zhao, Q. Cui, R. Song, Y. Qiu, and J. Liang, "Decoupled Knowledge Distillation", Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, pp. 11953-11962, Jun. 2022. [https://doi.org/10.1109/cvpr52688.2022.01165]
• T. Huang, S. You, F. Wang, C. Qian, and C. Xu, "Knowledge Distillation from A Stronger Teacher", Proc. of the Advances in Neural Information Processing Systems (NeurIPS), New Orleans, Louisiana, USA, Vol. 35, pp. 33716-33727, Dec. 2022. [https://doi.org/10.48550/arXiv.2205.10536]
• C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna, "Rethinking the Inception Architecture for Computer Vision", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, pp. 2818-2826, Jun. 2016. [https://doi.org/10.1109/cvpr.2016.308]
• L. Xie, J. Wang, Z. Wei, M. Wang, and Q. Tian, "DisturbLabel: Regularizing CNN on the Loss Layer", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, Nevada, USA, pp. 4753-4762, Jun. 2016. [https://doi.org/10.48550/arXiv.1605.00055]
• Y. Kim, H. Lukashonak, P. Tarepakdee, K. Zavalich, and M. Arif, "Disturbing Target Values for Neural Network Regularization", arXiv preprint arXiv:2110.05003, , Oct. 2021. [https://doi.org/10.48550/arXiv.2110.05003]
• D. Koh, T. Kim, S. Lee, and N. Kim, "Weighted Knowledge Distillation with DisturbLabel for Robust Learning", Proc. of the 17th International Conference on Ubiquitous and Future Networks (ICUFN), Milan, Italy, Jul. 2026.
• Z. Liu, H. Mao, C.-Y. Wu, C. Feichtenhofer, T. Darrell, and S. Xie, "A ConvNet for the 2020s", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, pp. 11976-11986, Jun. 2022. [https://doi.org/10.1109/cvpr52688.2022.01167]
• L. Bossard, M. Guillaumin, and L. Van Gool, "Food-101 – Mining Discriminative Components with Random Forests", Proc. of the European Conference on Computer Vision (ECCV), Cham, Switzerland, pp. 446-461, Sep. 2014. [https://doi.org/10.1007/978-3-319-10599-4_29]
• M. Tan and Q. Le, "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks", Proc. of the 36th International Conference on Machine Learning (ICML), Long Beach, CA, USA, Vol. 97, pp. 6105-6114, Jun. 2019. [https://doi.org/10.48550/arXiv.1905.11946]
• S. Xie, R. Girshick, P. Dollár, Z. Tu, and K. He, "Aggregated Residual Transformations for Deep Neural Networks", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, pp. 1492-1500, Jul. 2017. [https://doi.org/10.1109/cvpr.2017.634]
• A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale", Proc. of the 9th International Conference on Learning Representations (ICLR), Online, May 2021. [https://doi.org/10.48550/arXiv.2010.11929]
• F. N. Iandola, S. Han, M. W. Moskewicz, K. Ashraf, W. J. Dally, and K. Keutzer, "SqueezeNet: AlexNet-Level Accuracy with 50x Fewer Parameters and <0.5MB Model Size", arXiv preprint arXiv:1602.07360, , Feb. 2016. [https://doi.org/10.48550/arXiv.1602.07360]
• J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei, "ImageNet: A Large-Scale Hierarchical Image Database", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Miami, FL, USA, pp. 248-255, Jun. 2009. [https://doi.org/10.1109/CVPR.2009.5206848]
• I. Loshchilov and F. Hutter, "Decoupled Weight Decay Regularization", Proc. of the 7th International Conference on Learning Representations (ICLR), New Orleans, LA, USA, May 2019. [https://doi.org/10.48550/arXiv.1711.05101]