복잡한 배경에서 객체 분류를 하기 위한 핵심 관건은 관심 영역을 추출하는 것이다. 왜냐하면 배경 영역에서는 객체에 대한 정보가 없고 관심 영역에만 존재하기 때문이다.

즉, 배경은 잡음과 같이 객체 특징 추출을 방해하는 요인으로 작용한다. 이런 문제를 해결하기 위해, 이미지 분할 맵[10]이나 슈퍼 픽셀[11] 등을 관심 영역으로 활용한 CNN 모델이 개발되었다. 초기 모델은 관심 영역을 입력 이미지와 함께 쌓아서 기존 CNN 모델을 학습하기 때문에 이미지 분할 맵과 CNN 모델을 따로 학습해야 하는 번거로움이 있다. 이런 문제를 해결하기 위해, 이미지 분할 맵과 CNN 모델을 어텐션으로 연결하여 종단 간 학습을 완성한 LSA-Net[10]이 등장했다. LSA-Net은 사과나무 잎사귀 질병 분류에서 기존의 이미지 분류와 PVT 모델을 능가하는 결과를 보여주었다. 하지만, 서론에서 언급했듯이, 과수화상병과 같은 데이터셋은 복잡한 배경을 지닌 학습 데이터가 많기 때문에 이미지 분할 라벨링 작업을 하기가 만만치 않다. 또한 아키텍처 측면에서도 채택된 백본이 오래되었고 멀티스케일 구현이 누락되어 스케일에 취약하다. 그리고 어텐션도 단순 연결 기반으로 초기 및 후기 퓨전만을 적용했기 때문에 특징의 상호 보완 능력도 떨어질 수밖에 없다. 따라서 최신 ViT 백본과 특징 상호 보완 능력을 강화할 수 있는 새로운 아키텍처가 필요하다.

최근 이미지 분류 모델은 CNN 모델에서 ViT 모델로 전환하는 추세이다. ViT는 컨볼루션 연산이 없고 오직 자가 어텐션 메커니즘을 기반으로 토큰 간의 의존성을 모델링한 아키텍처이다. ViT 모델은 입력 이미지를 패치로 분리한 후, 자가 어텐션으로 구현된 트랜스포머 레이어를 거쳐 특징을 추출하고 최종 헤더를 추가해서 분류한다. 원래 ViT 모델은 입력 패치와 출력 패치가 동일하기 때문에 고해상도 출력에는 적합하지 않다. 이를 해결하기 위해, 어텐션 연산시 풀링이나 컨볼루션을 통해 특징의 공간 해상도를 줄이고 채널 개수를 증가하는 멀티스케일 ViT 모델[4][5]이 개발되었다. 그리고 이중 분기 구조로 해상도가 다른 패치들을 퓨전함으로써, 특징의 상호 보완 능력을 강화한 크로스 어텐션 ViT 모델[6]도 개발되었다. 이외에도 로컬 특징을 그룹핑하여 ViT[12]를 설계하거나 시맨틱 토큰을 활용한 이중 분기 기반의 ViT 모델[13]도 있다. 이런 ViT 모델은 최근 해충 분류나 과수화상병 분류에도 적용되고 있다. 하지만 ViT 모델과 거의 흡사하여 전이학습에 가깝다고 할 수 있다. 최근에는 멀티모달 퓨전[14]이나 클래스 불균형[7] 문제를 해결하기 위한 ViT 모델도 개발되고 있다.

그림 1은 제안한 CAM 기반 ViT 모델의 아키텍처이다. 제안한 모델은 크게 CAM 생성기와 이중 분기 구조 기반의 ROI-ViT 모듈로 구성된다. CAM 생성기는 돌출 맵을 생성하는 부분이고 ROI-ViT는 CAM 이미지와 입력 이미지의 특징 정보를 크로스 어텐션을 통해 특징을 강화하고 최종 분류기를 학습한다. 그리고 ROI-ViT는 입력 이미지의 패치 토큰을 입력으로 받는 이미지 분기와 CAM 패치 토큰을 입력으로 받는 관심 영역 분기로 구성된다. 그리고 CLS(Class Classification Token) 토큰은 모든 패치 토큰과 상호 작용하여 전역적인 정보를 담고 있는 특징 벡터이다. 따라서 완전연결계층(Fully connected layer)으로 구현된 분류기는 CLS 토큰만을 입력으로 받는다. 그림 1에서 트랜스포머 블록은 기존의 ViT 모델에서 널리 사용되는 모듈이다. 자세한 내용은 관련 문헌에 나와 있다[4][5]. 본 논문에서는 제안한 모델의 핵심인 크로스 어텐션과 CAM 생성기에 대해 자세히 설명하고자 한다.

Fig. 1. 
Proposed vision transformer based on class activation map

본 연구에서는 전역 풀링이 필요 없이 일반화된 모델에서도 돌출 맵을 추출할 수 있는 Score-CAM[1]을 사용하였다. Score-CAM은 크게 두 단계로 구성된다. 첫 번째 단계는 왼쪽 상단처럼 입력 이미지를 모델(f)에 넣어 특징 맵을 추출하고 두 번째 단계에서는 왼쪽 하단과 같이 추출된 각각의 특징 맵에 대한 기여도를 계산한다.

여기서 Alk는 추출된 특징 맵으로 모델 f의 l번째 레이어에서 추출된 k번째 맵을 말한다. αkc는 추출된 특징 맵에 대한 가중치로써 기여도를 나타낸다. 그리고 ReLU는 정류선형유닛(Retified Linear Unit)이다. c는 입력 이미지의 부류 값이고 CAM^c는 생성된 최종 CAM 이미지를 의미한다.

기여도를 나타내는 식 (2)에서 X는 입력 이미지이고 f^c는 모델 f의 c번째 노드에서의 예측 값이다. ∘는 원소별 곱이고 up와 s는 각각 업샘플링과 스케일링 과정을 의미한다. 즉, up는 Alk를 입력 이미지 X와 동일한 크기로 맞추는 역할을 하고 s는 업샘플링 된 Alk를 0~1로 변환한다. 스케일링(s)는 해당 특징 맵에서 최소와 최대 구간으로 선형적으로 매핑해서 정규화한다. 따라서 식 (2)에서 αkc는 입력 이미지 X를 Alk와 곱하여 해당 모델이 예측한 값으로 볼 수 있다. 식 (2)의 αkc는 소프트맥스 함수를 통해 최종 0~1로 정규화된다.

입력 이미지와 CAM 이미지의 특징 정보를 서로 상호 교환하여 입력 이미지의 특징 구별력을 제고하기 위해 크로스 어텐션 연산을 수행한다. 크로스 어텐션은 전역 정보를 함축한 CLS 토큰을 사용해서 수행한다.

여기서 Xclsj와 Yclsj는 각각 크로스 어텐션에 입력되는 이미지 분기와 관심 영역 분기의 CLS 토큰에 해당한다. j는 그림 1의 크로스 어텐션 레이어의 인덱스 값이다. 크로스 어텐션이 총 4번 수행하므로 j는 1에서 4까지의 정수로 표현된다. 단, 입력 레이어의 CLS 토큰은 j가 0으로 할당된다. 수식 (3)에서 제안한 크로스 어텐션은 각 분기의 CLS 토큰을 더함으로써 특징을 상호 교환하고 보완한다. 이렇게 갱신된 CLS 토큰은 식 (4)와 (5)와 같이, 나머지 패치 토큰과 결합하여 다음 레이어로 전송된다.

여기서 ∥는 연결(Concatenation) 연산을 의미한다. Xpatch j와 Ypatch j는 각 분기의 CLS 토큰에 대응되는 패치 토큰이다.

제안한 모델의 성능 평가를 위해 두 종류의 데이터셋을 활용하였다. 하나는 해충 이미지 데이터셋이고 다른 하나는 과수화상병 데이터셋이다. 해충 이미지 데이터셋은 IP102 공개 데이터셋[15]이고 총 102개의 클래스를 가진다. 본 연구에서는 해충이 아닌 애벌레 등과 같은 이미지를 삭제하고 총 86개 부류로 구성된 35,296장의 이미지를 학습 데이터로 구성했다. 과수화상병 데이터셋은 AI 허브 사이트[16]에 공개된 이미지 데이터셋이고 총 6종류의 41,715장의 사과 이미지로 구성되어 있다. 그림 2와 3은 실험에서 사용된 해충 이미지와 과수화상병 이미지 예시이다. 학습을 위해 훈련과 테스트 데이터셋의 비율은 7:3으로 분할하였다. 배치 크기는 10, 에폭은 80, 학습률은 0.0001로 설정하였다. 최적화 기법은 Adam[15]이고 Pytorch 딥러닝 프레임워크를 사용했다. 그리고 모델 f를 위해 MViT[5] 모델을 적용하였다.

Fig. 2. 
Example of pest images (a) Brown plant hopper, (b) Grub, (c) Large cutworm, (d) Lytta polita, (e) Brevipoalpus lewisi mcgregor, (f) Cicadellidae

Fig. 3. 
Example of fire blight images (a) Healthy, (b) Marssonia blotch, (c) Citrus canker, (d) Valsa canker, (e) Alternaria leaf spot, (f) Rot

모델 성능 평가를 위해, CNN 계열인 ResNet50[2]과 최신 ViT 모델인 CrossViT[6], PVT[4], MViT[5]를 비교했다. 평가척도로는 정인식률을 사용했다. 정인식률은 전체 테스트 이미지 개수에서 올바르게 분류한 이미지 개수의 비율을 말한다. 표 1과 2는 각각 해충 데이터셋과 과수화상병 데이터셋에 대한 비교 대상 모델의 정인식률 결과이다. 표에서 보듯이, 제안한 CAM 기반 ViT 모델이 두 종류의 데이터셋에 대해 정확도가 가장 우수함을 알 수 있다. 특히 최신 MViT[5] 모델보다 정확도가 0.18%와 0.04% 증가하였다. 이는 제안한 CAM 기반 ViT 모델이 특징의 구별력을 강화하여 최종 이미지 분류의 정확도를 제고할 수 있음을 말해준다.

즉, CAM 이미지와 입력 이미지를 크로스 어텐션을 통해서 CLS 토큰을 퓨전함으로써, 최종 분류기에 입력되는 CLS 특징 구별력을 강화할 수 있음을 말해준다.

제안한 모델이 복잡한 배경을 지닌 테스트 이미지에 대해 돌출 맵을 잘 찾는지를 검증하기 위해 Score-CAM을 적용하였다. CAM 이미지에서 붉은색 계통은 해충이나 질병이 존재하는 관심 영역이며 푸른색 계통은 배경 영역에 해당한다. 그림 4는 초기 CAM 이미지가 제안한 모델을 통과한 후, CAM 이미지가 어떻게 갱신되는지를 보여준다. 그림에서 보듯이, 초기 CAM 이미지는 복잡한 배경이 있을 경우, 해충이나 질병이 존재하는 영역을 검출하지 못하는 것을 볼 수 있다. 즉, 초기 CAM 이미지는 정확도가 떨어지는 것을 볼 수 있다. 그러나 제안한 모델을 통과한 후, CAM 이미지가 해충이나 질병이 존재하는 과수 영역을 정확히 포착하는 것을 볼 수 있다. 이는 제안한 모델이 복잡한 배경에서도 객체의 특징 구별력을 제고할 수 있음을 입증해 준다.

Fig. 4. 
Input images (first row), initial CAM (second row), visualized CAM with proposed model (third row)