롤러 베어링 내륜 데이터에서 강인한 이상 탐지를 위한 다중 작업 학습 기반 인코더 미세조정 기법

2.1 합성곱 신경망 기반 이상 탐지 기법

이상 탐지 수행을 위해 합성곱 신경망 기반의 EN_pre를 활용하는 모델은 대표적으로 PaDiM(Patch Distribution Modeling)[12]과 PatchCore[13]가 있다. 두 모델 모두 ImageNet[14]과 같은 대규모 데이터 세트로 학습된 ResNet[15] 계열 모델인 Wide ResNet-50-2[16]를 활용하며 각 모델의 특징은 다음과 같다.

PaDiM은 사전학습된 합성곱 신경망의 중간 특징 맵으로부터 위치별 임베딩 분포를 모델링하는 방법으로 각 공간 위치에 대해 다변량 가우시안 분포를 추정하여 이상 점수를 계산한다. PatchCore의 경우 합성곱 신경망 기반 특징을 패치 단위로 추출한 후 정상 데이터로부터 구성된 메모리 뱅크를 기반으로 최근접 이웃 탐색을 통해 이상 탐지를 수행한다. 이러한 합성곱 신경망 기반 이상 탐지 기법들은 사전학습된 모델의 국소적 특징 표현을 효과적으로 활용함으로써 높은 이상 탐지 성능을 달성하였다.

그러나 합성곱 신경망의 구조적 특성에 따라 전역적인 문맥 정보를 충분히 반영하는 데에는 한계가 있다. 또한, EN_pre의 일반화 성능에 대한 의존도가 높기에 사전학습 데이터와 산업 도메인 데이터의 분포가 큰 차이를 보이는 경우 특징 추출 능력이 저하될 수 있으며, 이로 인해 이상 탐지 성능의 감소가 발생할 가능성을 가진다.

2.2 트랜스포머 기반 이상 탐지 기법

트랜스포머 기반의 EN_pre를 활용하여 이상 탐지를 수행하는 모델은 대표적으로 ViTAD[17]와 Dinomaly[18]가 있으며 MVTec AD, VisA, Real-IAD와 같은 산업 이상 탐지 벤치마크에서 합성곱 신경망 기반 접근법 대비 우수한 성능을 달성하였다. 두 모델 모두 DINO(Self-distillation with no labels)[19] 기반 자기지도 학습을 통해 사전학습된 비전 트랜스포머(Vision transformer)[20] 인코더를 활용하며, 인코더의 특징맵을 입력으로 하는 디코더(DE)를 통해 이상 탐지를 수행한다. 디코더는 정상 데이터에 대해 인코더의 특징맵을 복원하도록 학습되며, 테스트 단계에서는 비정상 데이터 입력 시 인코더 특징과 디코더의 특징 간의 코사인 유사도 기반 거리를 이상 점수로 활용한다.

ViTAD의 경우, 인코더의 특정 레이어에서 추출된 특징 맵에 대응하여 디코더의 개별 레이어가 각각 복원을 수행하는 구조를 가지며 Dinomaly는 인코더의 여러 레이어에서 추출된 특징 맵을 평균하여 하나의 통합된 표현을 구성하고, 이에 대응되는 디코더 특징 맵 또한 평균하여 이상 탐지를 수행한다. 그러나 이러한 트랜스포머 기반 이상 탐지 기법들 또한 EN_pre의 표현 능력에 크게 의존한다는 특징을 가진다. 더 나아가 트랜스포머 기반 모델의 구조적 특성상 전역적 문맥 정보를 효과적인 모델링에 강점을 가지지만 국소적이고 미세한 이상 패턴에 대한 표현 능력이 제한될 수 있다.

2.3 제안 기법의 차별성

본 연구에서는 기존 이상 탐지 기법들의 한계를 극복하기 위해, 다중 작업 학습 기반 EN_pre 미세조정 방법론을 제안한다는 점에서 차별성을 가진다. 기존 기법들은 EN_pre의 표현을 고정하거나 제한적으로 활용함으로써 일반화 성능을 유지하고자 하였으나, 이로 인해 산업 도메인 특유의 세밀한 정상 패턴을 충분히 반영하는 데에는 한계가 존재하였다.

반면, 정상 데이터의 세밀한 특징 학습을 위해 인코더를 직접 미세조정하는 경우, 데이터가 제한적인 산업 환경에서는 사전학습을 통해 확보된 일반화 성능이 저하되는 문제가 발생할 수 있다. 본 연구에서는 이러한 문제를 완화하기 위해, 다중 작업 학습 구조를 통해 정상 데이터의 세밀한 표현 학습과 EN_pre의 일반화 성능 유지를 동시에 달성하고자 한다. 이를 통해 기존 단일 작업 기반 이상 탐지 기법 대비, 제한된 데이터 환경에서도 안정적이고 강인한 이상 탐지를 가능하게 한다.

3.1 컴퓨터 비전 기반 전처리 파이프라인

본 절에서는 롤러 베어링 내륜의 대단면, 소단면, 외경 영상으로부터 관심 영역을 특정하고 이외의 영역을 제거하기 위한 컴퓨터 비전 기반 전처리 파이프라인을 제안한다. 그림 2의 제안된 파이프라인은 영상의 각기 다른 구조적 특성을 반영하여 관심 영역 검출의 정밀도를 향상시키는 CGMP(Contrast-Guided Morphological Preprocessing) 모듈, 원형 관심 영역을 탐지하고 크롭 및 마스킹을 수행하는 CGCM(Circle-Guided Cropping & Masking) 모듈, 타원형 관심 영역을 기반으로 크롭을 진행하는 EGGCC(Ellipse-Guided Global Center Cropping) 모듈로 구성된다.

Fig. 2.

Computer vision-based preprocessing pipeline

CGMP 모듈의 경우 모든 클래스의 전처리 단계에서 공통적으로 적용되는 과정으로 관심 영역의 경계가 다른 영역 대비 상대적으로 높은 대비를 갖는다는 구조적 특성을 활용하여 CLAHE(Contrast Limited Adaptive Histogram Equalization)를 적용하여 대비를 강화한다. 이후 Gaussian Blur를 통해 노이즈를 억제하고 Otsu 기준에 따른 이진화(Binarization)를 적용하여 전경과 배경을 분리한다. 이후 형태학적 닫힘 연산(Morphological closing)을 적용하여 이진화 과정에서 발생하는 경계 소실 및 미세 공극을 보완한다.

CGCM 모듈은 대단면 및 소단면 영상의 관심 영역이 원형 구조를 갖는다는 특성에 기인하여 그림 3에서 확인할 수 있는 CGMP 모듈의 결과를 입력으로 기하학적 원 후보를 생성한다. 생성된 후보군에 대해 최소 면적 기준을 적용하여 노이즈를 제거한 후 전체 대단면, 소단면 데이터 세트로부터 추정된 원의 평균 반지름 r_mean을 중심으로 허용 오차 δ를 갖는 구간 $$ \left[r_{mean}-{\delta }_r,{ r}_{mean}+{\delta }_r\right]$$을 만족하는 경우 유효 후보로 간주한다.

Fig. 3.

Visualization of the CGMP module results

이후 크기 기준으로 후보 순서를 내림차순 정렬하고 상위 k개의 후보군 중 입력 영상의 중심 픽셀과 가장 근접한 후보군을 최종 관심 영역으로 채택한다. 이후 선택된 원의 중심(c_x,c_y)과 반지름 c_r을 기준으로 내부 경계 c_inner와 외부 경계　c_outer를 다음과 같이 정의한다.

식 (1)과 식 (2)를 통해 이중 원 구조를 생성하고 c_inner 및 c_outer의 내·외부 영역을 마스킹한다. 최종적으로 관심 영역은 원의 중심 (c_x,c_y)에서 상하좌우 방향으로 c_inner픽셀만큼 확장된 사각 영역이며 해당 픽셀 인덱스 범위를 슬라이싱하여 그림 4와 같이 최종 관심 영역을 추출한다.

Fig. 4.

Visualization of the CGCM module results

외경 영상의 관심 영역 추출을 위한 EGGCC 모듈은 외경 데이터가 세로 방향으로 길게 분포한 타원형 구조를 갖는다는 특성을 반영하여 CGMP 모듈의 결과에 대해 타원 검출을 수행한다. 검출된 타원 후보들은 면적 기준 내림차순 정렬되며 각 후보에 대해 타원 경계를 균일한 각도 간격으로 샘플링하여 생성된 모든 경계점이 영상의 너비 W와 높이 H로 정의된 범위 내에 포함되는 경우 해당 타원을 관심 영역으로 간주한다. 위 절차는 전체 외경 이미지 집합에 동일하게 적용되며 각 영상에서 추정된 타원 중심 좌표의 평균을 계산하여 기준 중심으로 사용한다. 이후 모든 영상을 수동 검증하여 기준 중심을 기준으로 상하좌우 방향의 크롭 오프셋 파라미터를 설정하고 해당 파라미터를 전체 데이터 세트에 동일하게 적용하여 그림 5와 같이 최종 크롭 영상을 생성한다.

Fig. 5.

Visualization of the EGGCC module results

롤러 베어링 내륜 데이터 세트는 그림 6과 같이 세 가지 밝기 조건으로 구성되어있다. 모든 구성 요소의 세 가지 밝기 조건 중 관심 영역과 배경 간의 명도 대비가 가장 뚜렷하게 나타나는 0번째 밝기(Brightness Level 0) 영상을 선택하여 전처리를 진행하였다. 소단면 데이터의 경우 CGMP 모듈 적용 후에 영상 반전과 원형 경계 성분을 명확히 강조하기 위한 Canny 에지 검출을 추가로 진행한 후 CGCM 모듈을 적용하였다. 또한 외경 데이터는 동일한 밝기 조건 하에서도 샘플 간 히스토그램 분포의 편차가 크기에 기하학적 구조 검출의 성능 저하를 고려하여 좌우 및 상하 영역에 대해 사전에 정의된 크기대로 크롭을 수행한 뒤 전처리를 적용하여 관심 영역 검출의 신뢰도와 공간적 일관성을 확보한다.

Fig. 6.

Examples of images under different brightness levels

이후 모델 학습에 사용되는 전처리된 이미지는 서로 다른 밝기의 이미지를 결합(Concatenation)하여 모델 학습 및 추론 시 입력으로 활용한다. 이러한 밝기 기반 입력 구성은 동일한 이상이라 하더라도 조명 조건에 따라 표현되는 시각적 특성이 달라질 수 있다는 점을 반영하기 위한 것이다. 그림 6의 예시와 같이 대단면 및 소단면 데이터의 경우 밝기 2 이미지는 촬영된 객체를 거의 확인할 수 없기에 밝기 0과 밝기 1 이미지 간의 중간 밝기 이미지를 생성하여 두 밝기 이미지와 함께 결합하였다. 반면, 외경 데이터의 경우 세 가지 밝기 조건에서 충분한 시각적 특징을 확인할 수 있어, 각 밝기 조건의 이미지를 모두 결합하여 입력으로 활용하였다.

3.2 다중 작업 학습 기반 인코더 미세조정 기법

그림 7과 같이 다중 작업 학습 기반 인코더는 재구성 작업과 패치 분류 작업을 통해 EN_pre 미세조정을 진행하였다. 재구성 작업의 경우 정상 데이터를 입력으로 학습 가능한 사전학습 인코더 $$ E{N}_{pre }^{train}$$를 통해 특징맵을 추출하고 다시 입력 데이터와 동일하게 출력하는 과정을 통해 재구성 데이터의 픽셀 수준 특성을 학습할 수 있다. 패치 분류 작업의 경우 비정상 데이터를 입력으로 비전 트랜스포머 모델의 특성에 따라 각 패치 단위로 정상과 비정상 패치 분류를 진행한다. 이 과정을 통해 $$ E{N}_{pre }^{train}$$은 정상 패치와 비정상 패치의 의미적 특징을 특징맵 단위에서 구분할 수 있는 능력을 학습할 수 있다.

Fig. 7.

Architecture of multi-task learning-based encoder fine-tuning method

다중 작업 학습의 근본적인 목적은 한 개 이상의 작업을 동시에 학습하여 각 작업이 상보적으로 작용하는 표현을 인코더가 학습하는 데 있다. 즉, 재구성 작업을 통해 정상 데이터의 전역적이고 세밀한 픽셀 수준 특성을 학습하는 동시에, 패치 분류 작업을 통해 국소적인 이상 패턴의 의미적 특징을 명시적으로 반영함으로써 보다 강인한 정상 데이터 특징 표현 획득을 목표로 한다. 그러나 두 가지 이상의 작업을 동일한 인코더에서 동시에 학습하는 경우, 각 작업의 최적화 방향이 상충할 수 있으며 이로 인해 각 작업의 전역 최소점 탐색이 어려울 수 있다[21]. 특히 재구성 작업은 정상 데이터의 픽셀 단위에서 입력 특징을 동일하게 재구성하는 방향으로 학습되는 반면, 패치 분류 작업은 패치 단위에서 정상 패치와 비정상 패치 간의 판별 경계를 강조하는 방향으로 학습되기에 인코더 파라미터 업데이트 과정에서 불안정성이 증가할 수 있다. 이를 해결하기 위해 본 연구에서는 작업 간 간섭을 완화하고 안정적인 인코더 미세조정을 달성하기 위한 학습 방식을 적용하였다.

다중 작업 학습 기반 인코더 미세조정 기법의 목적은 정상 데이터의 세밀한 표현 학습과 $$ E{N}_{pre }^{train}$$의 일반화 성능 유지에 있다. 이 중 정상 데이터의 분포와 구조적 특성을 안정적으로 학습하는 측면에서 입력 데이터를 복원하는 재구성 작업이 패치 분류 작업보다 적합한 학습 신호를 제공한다. 이에 본 연구에서는 재구성 작업을 다중 작업 학습의 주된 학습 목표로 설정하고, 패치 분류 작업은 국소적 이상 특징을 보완적으로 강화하기 위한 보조 작업으로 활용하였다. 세부적인 다중 작업 학습 전략은 다음과 같다.

먼저 재구성 작업의 안정적인 성능 확보를 위해 정상 데이터 x_normal만을 이용한 재구성 학습을 진행한다. 초기 20 에폭(Epoch) 동안 $$ E{N}_{pre }^{train}$$과 재구성 헤드 H_recon은 SSIM(Structural Similarity Index Measure) 기반 지각 손실(L_P, Perceptual Loss)과 입력과 출력 간 픽셀 차이를 측정하는 최소 제곱 오차(MSE, Mean Squared Error) 기반 손실 L_MSE의 합으로 구성된 손실 함수 L_RC를 최적화하도록 학습된다. 여기서, L_P는 EN_pre와 $$ E{N}_{pre }^{train}$$에서 추출된 특징맵 간의 구조적 유사도를 계산함으로써 정의된다. 이를 통해 입력 데이터의 구조적 특성을 반영함과 동시에 EN_pre의 표현이 $$ E{N}_{pre }^{train}$$의 특징맵과 정렬되도록 유도한다. L_P는 다음과 같이 정의된다.

F_l(x)는 인코더의 l번째 레이어에서 추출된 특징맵을 의미하며 L은 L_P계산에 활용한 레이어 집합이다. L_P의 목적은 재구성 결과가 입력 이미지와 특징 표현 관점에서 구조적으로 정렬되도록 유도함으로써 재구성 품질을 향상시키는데 있다. 비전 트랜스포머는 패치 간 상관관계 학습을 진행하면서 레이어가 깊어질수록 각 패치의 지역 정보가 통합되어 전역적인 구조 및 문맥 정보를 내포한 고수준 특징 표현을 형성한다. 이와 같은 특성은 재구성 결과와 입력 이미지 간의 전역적 구조 및 문맥 정렬을 목표로 하는 L_P의 목적과 자연스럽게 부합하기에 본 연구에서는 L = {11,12}로 설정하였다. L_MSE의 경우 $$ E{N}_{pre }^{train}$$이 추출한 특징맵을 입력으로 하여 재구성 헤드 H_RC가 출력한 재구성 결과 $$ \widehat{x}$$과 입력 x_normal간의 픽셀 단위 차이를 측정하며 다음과 같이 정의된다.

최종적으로 L_RC는 L_P와 L_MSE의 합으로 정의된다.

이와 같은 재구성 기반 학습은 정상 데이터의 구조적 특성과 사전학습 인코더의 일반화 표현을 동시에 반영하는 특징 공간을 형성하는 데 기여한다. 그러나 재구성 작업만으로는 이상 영역에 대한 명시적인 판별 기준을 학습하는 데 한계가 존재한다. 특히 국소적으로 발생하는 미세한 이상 패턴의 경우 정상 데이터 중심의 재구성 학습만으로는 정상과 비정상 간의 경계를 충분히 분리하기 어렵다.

이를 보완하기 위해 재구성 학습을 통해 안정화된 인코더를 기반으로 패치 단위의 이상 판별을 수행하는 패치 분류 작업을 단계적으로 도입한다. 패치 분류 작업은 비정상 데이터 x_normal을 입력으로 각 패치 단위에서 정상 및 비정상 여부를 예측하도록 학습되며 이를 통해 인코더가 국소적인 이상 특징을 보다 명시적으로 반영할 수 있도록 유도한다. 구체적으로 입력 데이터 $$ x\in {\mathbb{R}}^{3\times H\times W}$$는 비전 트랜스포머의 특성에 따라 패치 단위로 분할되며 패치 크기를 P × P 라고 할 때 총 N = HW/P²개의 패치로 구성된다. 각 패치는 $$ E{N}_{pre }^{train}$$을 통해 $$ {\mathbb{R}}^{N\times hidden}$$ 크기의 특징맵으로 변환되며 패치 분류 헤드 H_patch는 각 패치에 대해 정상 또는 비정상 여부를 예측한다. 패치 분류 작업에서는 각 패치 i에 대해 예측된 확률 $$ \widehat{y_i}$$과 대응되는 정답 $$ y_i^{patch}$$간의 크로스 엔트로피(CE, Cross Entropy) 손실을 계산하며 전체 패치에 대한 평균 손실을 패치 분류 손실로 다음과 같이 정의한다.

이와 같은 패치 단위의 분류 학습을 통해 인코더는 이미지 전체의 전역적인 정상 패턴뿐만 아니라, 국소적으로 발생하는 미세한 이상 영역에 대해서도 민감하게 반응하는 특징 표현을 학습할 수 있다.

이후 재구성 작업과 패치 분류 작업을 5 에폭 단위로 교대로 수행하며, 각 단계에서 동일한 인코더 파라미터를 공유하여 업데이트한다. 이러한 교대 학습 전략을 통해 인코더는 정상 데이터의 세밀한 구조적 특성을 보존하는 동시에, 정상 패치와 비정상 패치를 효과적으로 구분할 수 있는 판별적 표현을 동시에 학습한다.

4.1 실험 환경 설정

모든 실험은 PyTorch 2.9.1(CUDA 12.8) 환경에서 수행되었으며, NVIDIA RTX A6000 GPU 4개로 구성된 서버에서 진행하였다. 학습 및 테스트 결과의 재현성을 위하여 모든 실험 결과는 동일한 랜덤 시드에서 수행하였다.

실험에 활용한 데이터 세트의 분포는 표 1에서 제시한다. 해당 데이터는 실제 롤러 베어링 이상 탐지 산업 공정에서 획득한 이미지 데이터로 LC는 롤러 베어링 상부를, SC는 롤러 베어링 하부를, OD는 베어링 측면을 60도 간격으로 균일하게 촬영된 영상으로 구성된다. 각 클래스의 이미지는 서로 다른 세 가지 밝기 조건에서 촬영되었으며 본 연구에서는 세 장의 밝기 이미지를 하나의 샘플로 정의하였다. 위 과정을 통해 구축된 학습 데이터에는 부위별 이상 발생 빈도 차이로 인해 정상 및 비정상 데이터 수에 불균형이 나타난다. 정상 및 비정상 데이터의 분류는 각 영상 내 발생하는 국소적 표면 찍힘의 존재 여부에 따라 정상, 비정상으로 분류하였다. 학습 데이터는 제안한 인코더 미세조정 학습과 ViTAD 및 Dinomaly 모델 학습에 사용하였으며, 테스트 데이터는 제안 기법의 효과성을 검증하기 위한 모델 성능 평가에 활용하였다. 구체적으로, 학습 데이터 중 정상 데이터는 인코더 미세조정 과정에서의 재구성 작업 학습과 ViTAD 및 Dinomaly의 학습에 사용하였으며, 비정상 데이터는 다중 작업 학습 중 패치 분류 작업 학습에 활용하였다.

Table 1.

Dataset distribution

각 모델 학습을 위한 하이퍼파라미터 설정은 다음과 같다. ViTAD와 Dinomaly 모델 학습에 사용한 하이퍼파라미터는 이미지 해상도를 제외하고 동일하게 설정하였다. 두 모델 모두 최적화기(Optimizer)는 StableAdamW를 사용하였으며 학습률은 2×10^-3, β값은 (0.9, 0.999), weight decay는 1×10^-4, ϵ는 1×10^-10으로 설정하였다. 학습률 스케줄러는 Warm-up이 포함된 Cosine Annealing 기반의 WarmCosineScheduler를 적용하였으며, 초기 학습률 2×10^-3, 최종 학습률 2×10^-4, warm-up iteration은 100으로 설정하였다. 전체 학습 iteration 수는 두 모델 모두 1,750으로 동일하게 적용하였다.

입력 이미지 해상도는 Dinomaly의 경우 448×448, VITAD의 경우 256×256이며 배치 크기는 모두 16으로 설정하였다. 데이터 증강은 학습 과정에서 대단면 및 소단면 데이터에 대해 최대 ±15도의 랜덤 회전 증강을 배치 단위로 무작위 적용하였다.

이미지 단위(I-)와 픽셀 단위(P-)에서 제안 기법의 공정한 정량적 평가를 위해 본 연구에서 설정한 평가지표는 다음과 같다. 이미지와 픽셀 단위에서 공통적으로 AUROC(Area Under the Receiver Operating Characteristic Curve), AP(Average Precision), F1-score로 선정하였으며 픽셀 단위에서는 AUPRO(Area Under the Per-Region Overlap)를 추가로 선정하였다.

AUROC는 다음 식 (7)을 통해 계산된다.

식 (7)과 같이 AUROC는 전체 범위에 걸친 참 양성 비율(TPR)과 거짓 양성 비율 (FPR)의 관계를 반영하므로, 모델의 전반적인 이미지 단위 및 픽셀 단위 분류 성능을 신뢰성 있게 평가할 수 있는 지표이다.

AP의 경우 식 (8)과 같이 정밀도(P, Precision)와 재현율(R, Recall) 곡선(PRCurve)의 면적으로 계산된다.

식 (8)에서 R_n과 P_n은 PRCurve에서 재현율과 정밀도의 지점을 의미한다. 이를 통해 정상과 비정상 데이터가 불균형한 상황에서도 모델의 이상 탐지 성능을 신뢰성 있게 평가할 수 있다.

F1-score의 경우 정밀도와 재현율의 조화평균을 통해 계산되며 본 연구에서는 모델이 예측한 이상 점수를 기반으로 가장 높은 F1-score를 가지는 임계값을 통해 계산하였다.

AUPRO의 경우 정상 영역에서의 과도한 오탐지를 억제하면서 분할 성능을 측정하는 지표이다. PRO(Per-Region Overlap)는 각 이상 영역 단위에서 예측된 분할 결과와 실제 이상 영역 간의 겹침 정도를 측정하는 지표이다. AUPRO는 식 (9)와 같이 거짓 양성 비율에 따른 PRO 값을 적분하여 얻은 면적으로 정의된다.

이와 같은 평가지표를 통해 본 연구에서는 제안 기법의 이상 탐지 성능을 이미지 단위 및 픽셀 단위에서 공정하게 평가한다. 이러한 평가지표 구성은 단일 임계값에 의존하지 않고 다양한 관점에서 모델의 성능을 종합적으로 분석할 수 있도록 한다. 특히 이미지 단위와 픽셀 단위 평가를 함께 고려함으로써 분류 및 분할 성능을 동시에 비교할 수 있다. 또한 모델의 예측 결과를 기반으로 정성적 분석을 수행하여 제안 기법의 성능을 기존 방법들과 종합적으로 비교한다.

4.2 실험 결과 및 분석

본 절에서는 ViTAD와 Dinomaly에서 사용되는 기존 사전학습 인코더 기반 구조와 제안한 다중 작업 학습을 통해 미세조정된 인코더를 적용한 구조 간의 성능 차이를 분석한다. 구체적으로 기존의 DE{EN_pre(x)}구조를 다중 작업 학습 기반 인코더 EN_pre로 대체한 $$ DE\left\{E{N}_{pre }^{train}\left(x\right)\right\}$$ 구조를 적용하여 롤러 베어링 내륜 데이터 이상 탐지에서의 효과성을 확인한다. 정량적인 실험 결과는 표 2에서 확인할 수 있다.

Table 2.

Quantitative Experimental Results of ViTAD and Dinomaly

실험 결과를 통해 Dinomaly의 경우 제안한 다중 작업 학습 기반 인코더 $$ E{N}_{pre }^{train}$$을 적용했을 때 평균적으로 모든 성능 지표가 향상된 것을 확인할 수 있다. 특히 이미지 단위 및 픽셀 단위 평가 지표 전반에서 AUROC, AP, F1-score가 모두 증가하여, 인코더 미세조정이 정상 및 이상 패턴의 분포 학습과 국소 이상 위치 추정 모두에 긍정적인 영향을 미쳤음을 확인하였다. 반면 ViTAD의 경우 제안 기법 적용 시 I-AUROC 및 I-AP 등 이미지 단위 지표에서는 전반적인 성능 향상이 나타났으나, I-F1과 P-AUROC 지표에서는 상대적으로 제한적인 개선 또는 소폭의 성능 저하가 관찰되었다.

이는 ViTAD 구조가 학습에 활용하는 인코더의 특징맵이 Dinomaly 보다 제한적이기에 인코더 미세조정에 따른 품질 높은 특징맵의 기여가 상대적으로 부족해서 발행한 것으로 분석된다. 하지만 ViTAD와 Dinomaly 모두에서 평균 성능 기준으로는 제안한 인코더 미세조정 기법이 이상 탐지 성능을 전반적으로 향상시키는 경향을 보였으며 특히 두 모델 모두 외경 클래스에서 이상 탐지 성능이 크게 개선된 것을 확인하였다.

각 클래스별 성능 지표를 확인해보면 대단면과 소단면에서는 EN_pre 기반 모델과 $$ E{N}_{pre }^{train}$$ 기반 모델의 성능 차이가 미미했다. 하지만 외경 클래스의 경우 제안 기법을 적용하였을 때 성능이 크게 개선된 것을 확인할 수 있다. 이는 학습에 활용된 대단면 및 소단면 데이터가 외경 데이터에 비해 배경 정보가 상대적으로 적고, 균일한 원형 구조를 가지는 등 분포가 비교적 단순하기 때문으로 판단된다. 반면 외경 클래스의 경우 제안 기법을 적용하였을 때 성능이 크게 개선된 것을 확인할 수 있다. 외경 데이터는 배경 영역이 넓고 구조적 복잡성이 높아 다양한 노이즈 요소가 포함되기 쉬운 특성을 가지며, 이로 인해 단일 작업기반 인코더에서는 정상 패턴과 이상 패턴 간의 구분이 어려운 경우가 발생한다. 제안한 다중 작업 학습 기반 인코더 미세조정 기법은 이러한 복잡한 분포에서도 정상 데이터의 구조적 특성을 보다 효과적으로 학습함으로써, 외경 클래스에서 이상 탐지 성능을 유의미하게 향상시키는 결과를 보였다.

그림 8에서는 Dinomaly 모델을 대상으로 EN_pre와 $$ E{N}_{pre }^{train}$$기반 모델이 출력한 이상 맵을 통해 정성적 결과를 확인할 수 있다. 모든 클래스에서 $$ E{N}_{pre }^{train}$$기반 모델이 이상 영역에 대해 높은 확신을 보이는 것을 확인할 수 있다. 그러나 이러한 반응은 실제 이상 영역 외의 정상 또는 배경 영역에서도 오검출(False positive)을 동반하며, 이로 인해 픽셀 단위 성능 지표가 상대적으로 낮게 나타나는 원인으로 작용한다. 특히 이상 패턴의 시각적 특징이 미약하면 모델이 정상 패턴과 이상 패턴 간의 경계를 충분히 학습하지 못해 불안정한 이상 맵을 생성하는 경향을 확인하였다.

Fig. 8.

Qualitative experimental results of dinomaly

그림 9는 재구성 작업과 패치 분류 작업을 통해 $$ E{N}_{pre }^{train}$$ 학습 과정에서 도출된 평가 지표 및 손실 함수 수렴 곡선이다. 학습 초기에는 각 작업이 번갈아 가며 학습됨에 따라 평가 지표 및 손실 함수 수렴이 안정적이지 않은 모습을 확인할 수 있다. 하지만 학습 중반 이후부터는 모든 지표가 안정적으로 수렴하는 양상을 보인다. 이는 다중 작업 학습을 통해 인코더가 재구성 및 패치 분류 작업을 동시에 고려한 공통 표현을 효과적으로 학습하였음을 의미한다.

Fig. 9.

Convergence of evaluation metrics and loss in multi-task learning–based encoder fine-tuning

그림 10은 인코더 학습 마지막 에폭에서의 재구성 및 패치 분류 결과를 시각적으로 나타낸 것이다. 제안한 다중 작업 학습 기반 인코더는 재구성과 패치 분류 성능 간의 균형을 효과적으로 유지하며 특정 작업에 편향 없이 모든 작업에서 높은 성능을 보이는 것을 확인할 수 있다. 이는 다중 작업 학습을 통해 인코더가 각 작업에 필요한 특징을 상보적으로 학습하였음을 의미한다.

Fig. 10.

Reconstruction and patch classification results of the multi-task learning–based encoder

이는 인코더 미세조정 과정에서 한 작업의 성능 향상이 다른 작업의 성능 저하로 이어지지 않았음을 의미하며, 제안한 학습 전략이 안정적인 공동 최적화를 달성했음을 보여준다.

제안 기법은 정상 데이터의 분포를 효과적으로 모델링함과 동시에 비정상 데이터에 해당하는 패치의 특징을 명확하게 구분하여 학습할 수 있음을 확인하였다. 이를 통해 인코더는 데이터 분포 변화나 국소적인 이상 패턴에도 강인한 표현을 학습할 수 있으며, 전반적인 이상 탐지 성능 향상에 기여할 수 있음을 시사한다.