Home

DeiT[6]는 비전 트랜스포머 기반 이미지 분류 모델로서, 데이터 증강과 지식 증류를(Knowledge distillation) 통해 상대적으로 적은 수의 학습 데이터를 사용하여 학습 효율을 개선하였다. 지식 증류는 미리 학습된 교사 모델(Teacher model)의 지식, 즉 라벨 정보를 학생 모델(Student model)이 학습하는 방식을 말한다. 특히, 증류 토큰(Distillation token)을 클래스 토큰과 함께 사용해 학생 모델이 교사 모델의 라벨 정보를 예측하도록 유도하였다.

CrossViT[7]는 기존 비전 트랜스포머 모델[10]에 멀티스케일과 교차 주의집중을 추가한 모델이다. 멀티스케일 구현을 위해, 두 종류의 스케일을 학습할 수 있는 이중 분기 구조를 채택하였다. 그리고 스케일 간 정보 교환을 위해, 교차 주의집중 모듈을 설계하였다. 교차 주의집중 모듈은 전역 특징 정보를 담고 있는 클래스 토큰을 상호 교환함으로써 다른 스케일 정보를 반영하여 최종 멀티스케일 기반 이미지 인식 성능을 제고하였다.

PVT[8]는 기존의 단일 스케일 기반 비전 트랜스포머 구조[10]를 피라미드 형태로 변경한 모델로써, 고해상도를 요구하는 다양한 컴퓨터 비전 분야에 적용할 수 있도록 개선하였다. 특히 FPN(Feature Pyramid Network)[11]처럼, 피라미드 구조에서 출력된 멀티스케일 특징들을 결합해서 다목적용 백본을 완성하였다. 또한 피라미드 구조에서 발생할 수밖에 없는 주의집중 연산량 문제를 해결하기 위해, 그림 1의 SRA 주의집중 모듈을 새롭게 제시하였다.

MViT[9]도 PVT[8] 모델처럼 멀티스케일 비전 트랜스포머의 일종이다. 단지 차이점은 MViT는 주의집중 모듈에서 풀링(Pooling) 연산을 통해 멀티스케일을 구현하는 반면 PVT는 패치 임베딩 과정을 통해 수행한다. 또한 MViT는 주의집중 모듈을 구현하기 위해 그림 1의 MHPA 모델을 적용한다. 이를 통해 연산량 감소뿐만 아니라 멀티스케일 구조를 실현함으로써 이미지 분류 성능을 크게 향상시켰다.

제안한 기법의 접근 방법은 기존의 CNN 백본에 관심 영역 정보를 결합해서 잎사귀 질병 분류 분야에서 큰 성과를 거둔 LSA-Net[1][12]에 기반한다. 잎사귀 질병 분류에서 질병이 위치하는 곳은 배경 영역이 아닌 관심 영역, 즉 잎사귀 내부이다. 따라서 잎사귀 내부 영역에 대한 정보를 CNN에 제공함으로써 CNN의 반점(Spot)을 검출하는 능력을 향상할 수 있다. 이와 유사하게 해충 감별도 해충의 특성을 대표할 수 있는 텍스처가 배경 영역이 아닌 관심 영역, 즉 해충 객체 내부에 존재한다. 따라서 배경 영역과 해충이 존재하는 관심 영역에 대한 정보를 비전 트랜스포머에 제공함으로써 분류 정확도를 제고할 수 있다. 기존의 LSA-Net과 제안한 RCA-ViT와의 차이는 관심 영역의 정보를 비전 트랜스포머에서 구현했다는 것이다. 특히, ROI 분기와 해충 분기 간의 관심 영역의 정보를 주의집중 모듈에서 상호 교환함으로써 학습 성능을 강화하였다.

그림 2는 제안한 RCA-ViT의 구조를 보여준다. 그림에서 보듯이, 제안한 RCA-ViT는 이중 분기 네트워크로써 관심 영역 특징 추출기를 포함한 해충 분기와 관심영역 분기로 구성된다. 관심영역 분기는 해충 이미지에서 관심 영역 특징을 멀티스케일 방식으로 추출하고 해충 분기는 멀티스케일 기반으로 관심영역 분기의 특징과 상호 보완하여 최종 해충 분류를 수행한다.

Fig. 2. 
Architecture of the proposed entire network

관심영역 분기는 그림 2에서 보듯이, 입력 해충이미지가 아닌 관심 영역 특징을 입력으로 받는다. 관심 영역 특징을 초기화하기 위한 간단한 방법은 이미지 분할 맵을 활용하는 것이다. 따라서 본 연구에서는 기존의 멀티스케일 기반 이미지 분할 모델[13]을 도입하였다. 그림 2의 좌측은 이미지 분할 모델의 구조로써, 크게 ResNet50[5] 백본과 멀티스케일 기반 해상도 변환 모듈로 구성된다. 해상도 변환 모듈은 백본에서 추출된 고수준의 특징에서 고해상도의 이미지 분할 맵을 생성한다. 특히 해상도 증가를 위해 멀티스케일 기반 업샘플링(Upsampling) 레이어를 적용했다. 즉, 다양한 풀링 크기를 적용하여 멀티스케일 해상도 변환을 구현하였다.

이미지 분할 모델을 학습하기 위해 IP102[14] 데이터셋에서 15,855장의 해충 영상을 추출하여 훈련 데이터로 사용하였다. 모델 학습을 위해, 배치 크기는 10, 에폭은 300, 학습률은 0.0001로 설정하였다. 손실 함수는 교차 엔트로피를 사용하였고 최적화 기법으로는 Adam[15] 옵티마이저를 적용하였다. 참고로 이미지 분할 모델에 사용된 데이터는 해충 분류 학습 데이터에서 제외되었다. 그림 3은 이미지 분할 모델의 결과 영상을 보여준다. 그림에서 보듯이, 정답 라벨링 영상과 추정된 라벨링 영상이 거의 유사한 것을 볼 수 있다. 따라서 이 추정된 이미지 분할 맵을 제안한 RCA-ViT의 관심영역 분기의 초기치로 활용할 수 있다.

Fig. 3. 
Input pest images(first row), labeled images(second row), segmented maps(third row)

제안한 RCA-ViT의 이중 분기는 각각 해충 이미지와 초기화된 관심 영역 특징을 입력으로 받는다.

제안한 RCA-ViT 모델에서 이중 분기는 멀티스케일 특징 추출을 위해 기존의 MViT[9]로 구현되었다. 해충 분기와 관심영역 분기는 해충 이미지와 분할 맵을 각각의 트랜스포머 인코더를 통과시켜 특징에 대한 중요도를 스스로 학습한다. 그리고 교차 주의집중(Cross attention) 모듈에서 각 분기에서 생성된 특징 정보를 상호 교환하여 자가주의집중 학습 능력을 강화한다.

그림 4는 교차 주의집중 모듈로써 입출력 과정을 보여준다.

Fig. 4. 
Cross attention module

먼저, 해충 분기의 클래스 토큰과 관심영역 분기의 패치 토큰과 결합한다. 컴퓨터 비전 분야에서 토큰이란 이미지 또는 특징 맵의 패치에 해당한다. 그리고 패치 토큰은 입력 패치에 대응하는 국부 특징(Local features)에 대응하며 반면 클래스 토큰은 전역 특징(Global features)을 추출하기 위해 추가적으로 사용된 토큰이다. 이중 분기의 서로 다른 클래스 토큰과 패치 토큰의 결합은 다음과 같이 처리된다.

여기서 XclsP, XpatchR는 각각 해충 분기의 클래스 토큰과 관심영역 분기의 패치 토큰에 해당한다. f_c는 두 종류의 토큰을 결합하기 위한 연결 레이어(Concatenation layer) 함수이다. 그리고 교차 주의집중 연산은 아래와 같이 연산 된다.

여기서 W_q, W_k, W_v는 학습 파라미터로써 선형 변환 행렬을 의미한다. C는 특징 맵의 채널 수이고 h는 헤드(Head) 개수이다. 식 (2)는 선형 변환 행렬을 사용해서 쿼리(Query), 키(Key), 값(Value)을 만드는 과정에 해당한다. 여기서 주목할 점은 해충 분기의 클래스 토큰인 XclsP을 사용해서 쿼리를 도출하고 키와 값은 관심영역 분기의 패치 토큰을 포함한 X′^P을 활용하여 생성한다는 것이다. 그리고 식 (3)의 Q와 K의 내적 연산을 통해 유사도 행렬을 만들고 소프트맥스 함수를 통과하여 가중치 값으로 최종 변환한다. 유사도 행렬과 값과의 행렬-벡터 연산을 통해, 해충 분기의 클래스 토큰과 관심영역 분기의 패치 토큰을 융합할 수 있다. 즉, 관심영역 분기 패치 토큰의 정보를 해충 분기의 클래스 토큰에 반영할 수 있다.

교차 주의집중 연산을 통해 갱신된 해충 분기 토큰인 YclsP는 식 (4)와 같이, 최종 해충 분기의 패치 토큰인 Xpatch P와 다시 결합하여 해충 분기의 입력 특징을 갱신한다. 즉, 클래스 토큰만을 갱신한다. 동일한 방식으로 그림 4에서 관심영역 분기의 클래스 토큰을 갱신하기 위해서는 그림 4의 좌측과 우측의 분기 위치를 바꾸면 된다.

제안한 RCA-ViT는 상기에서 설명한 것처럼, 해충 분기와 관심영역 분기의 클래스 토큰을 갱신하기 위해 다른 분기의 패치 토큰을 활용한다. 이는 교차 주의집중 모듈의 학습 능력을 강화할 수 있고 해충 분기의 특징 구별력을 더 향상할 수 있다.

참고로 해충 분기의 클래스 토큰만을 해충 분류기의 입력으로 사용한다. 즉, 관심영역 분기의 패치 토큰은 해충 분기의 학습 능력을 강화하기 위해 사용되었다. 그리고 모델 용량을 경량화하기 위해 두 분기의 파라미터는 공유하였다.

제안한 RCA-ViT 모델을 학습하기 위해, IP102[14] 공개 데이터셋을 사용했다. IP102는 총 102개의 부류로 구성되고 총 65,534장의 해충 이미지를 포함하고 있다. 그러나 본 연구에서는 텍스트와 같이 부적합한 이미지를 필터링하여 총 86개 부류로 구성된 총 35,296장의 해충 이미지를 사용했다. 훈련과 테스트 데이터셋의 비율은 7:3으로 분할하였고 배치 크기는 10, 에폭은 80, 학습률은 0.0001로 설정하였다. 최적화 기법은 Adam[15] 옵티마이저이고 Pytorch 딥러닝 프레임워크를 사용했다.

이중 분기는 4단계로 구성하였고 단계마다 1개, 2개, 11개, 2개의 트랜스포머 인코더를 사용했다. 또한 각 단계의 마지막에 1개의 교차 주의집중 모듈을 적용하여 총 4개의 교차 주의집중 모듈을 사용했다.

제안한 RCA-ViT 성능을 평가하기 위해, 최신 비전 트랜스포머 모델인 DeiT[6], CrossViT[7], PVT[8], MViT[9]와 비교하였다. 그리고 평가척도로 정인식률(Correct recongnition rate)을 사용했다. 정인식률은 전체 테스트 영상 개수에서 올바르게 분류한 영상 개수의 비율을 말한다. 표 1은 평가 대상 모델의 정인식률 수치를 보여주고 있다. 표 1에서 보듯이, 제안한 RCA-ViT 모델이 가장 성능이 좋은 것을 볼 수 있다. 제안한 RCA- ViT 모델은 기존 MViT 백본을 이중 분기로 구현해서 교차 주의집중 모델을 강화한 것으로 볼 수 있다. 즉, 제안한 RCA-ViT 모델은 백본으로 MViT를 사용했고 이중 분기의 가중치를 서로 공유했기 때문에 MViT와의 가장 큰 차이점은 교차 주의집중 모듈 적용에 있다. 따라서 이 실험 결과를 통해, 관심영역 분기의 패치 토큰을 해충 분기의 클래스 토큰을 갱신하는데 활용함으로써 교차 주의집중 모델이 최종 인식률을 개선하는데 효과적임을 확인할 수 있다. 또한 오류율에 대한 분석 결과 해충 이미지에서 해충의 크기가 작은 경우 오류율이 높은 것을 확인할 수 있었다.