Home

기존의 MaDa-CenterNet은 객체와 배경 영역을 분리하지 않고 전체 특징 맵에 어텐션을 적용하였다. 따라서 배경 영역의 특징이 객체 영역의 특징에 영향을 줄 수 있고 해충 특징 구별력이 저하될 수 있다. 이러한 문제점을 보완하기 위해, 본 논문에서는 객체 영역과 배경 영역을 분리해서 특징 구별력을 강화할 수 있는 고도화된 MaDa-CenterNet(v2)를 제시하고자 한다.

특히, 객체와 배경 영역을 분리하기 위한 마스킹 모듈 설계 과정과 이를 기반으로 객체와 배경 영역에 대해 각각 어텐션을 적용할 수 있는 로컬 어텐션 설계 과정을 자세히 소개하고자 한다. 이를 통해, 특징 맵에서 해충이 존재하는 위치의 중요도를 반영하여 해충 카운팅의 정확도를 제고하고자 한다.

그림 2는 제안한 로컬 어텐션 기반의 MaDa-CenterNet(v2)의 아키텍처를 보여준다. 그림에서 보듯이 기존의 MaDa-CenterNet과의 차이점은 객체와 배경 마스킹 모듈(8번 레이어)과 고해상도 모래시계에 추가로 삽입된 멀티스케일 로컬 어텐션 퓨전 모듈(9번 레이어)에 있다. 즉, MaDa-CenterNet의 멀티스케일 퓨전 모듈을 개선한 점이 가장 큰 차이점이다. 참고로 그림 2의 나머지 부분은 그림 1의 MaDa-CenterNet과 동일하다. 다만 보다 자세한 아키텍처를 제공하기 위해 상세하게 표현하였다.

Fig. 2. 
Proposed MaDa-CenterNet(v2) based on multiscale local attention for pest counting

그림 3은 고해상도 모래시계의 멀티스케일 로컬 어텐션 퓨전 모듈에 대한 상세한 구조를 보여준다. 먼저, 객체 및 배경 마스킹 모듈은 저해상도 모래시계에서 추정된 저해상도 히트맵(LR heatmap)을 필요로 한다. 히트맵은 객체가 존재하는 곳에는 화이트 색상에 가까운 값을 저장하고 있다. 따라서 객체 및 배경 마스킹 모듈은 히트맵의 값을 활용해서 객체와 배경 영역을 구분할 수 있는 마스크를 생성한다. 또한 고해상도 모래시계와 저해상도 모래시계는 인코더와 디코더 형태의 구조를 가진다. 따라서 동일한 레이어 위치에서 특징 맵을 각각 추출한 후, 멀티스케일 로컬 어텐션 퓨전 모듈을 통과해서 저해상도 및 고해상도 특징 맵을 결합할 수 있다. 마지막으로 이 결합된 특징 맵은 고해상도 모래시계의 다음 레이어로 입력이 된다. 이를 통해, 멀티스케일 기반으로 객체와 배경에 대한 특징 구별력을 강화할 수 있다.

Fig. 3. 
Detailed architecture of HR Hourglass

그림 4는 그림 3의 객체 및 배경 마스킹 모듈의 자세한 과정을 보여준다. 추정된 저해상도 히트맵은 [0-1] 사이의 값으로 표현되고 객체가 존재하는 위치에서는 1의 값에 가깝다. 즉, 객체 존재 유무를 확률로 표현한 맵으로 생각하면 된다. 따라서 이 히트맵을 활용하면 객체와 배경 영역을 분리할 수 있다. 먼저, 히트맵의 크기와 추출된 특징 맵의 크기를 정합하기 위해 다운 샘플링(Down-sampling)을 적용한다. 그리고 히트맵에서 임계값을 기준으로 마스크 맵을 생성하였다.

Fig. 4. 
Object and background masking module

배경 영역에서 히트맵의 값이 너무 작은 경우, 학습이 잘되도록 임계값을 경험적으로 설정하였다. 객체와 배경 마스크 생성 과정은 다음과 같다.

f와 g는 각각 객체와 배경 마스크를 나타내며, x와 y는 높이와 너비를 나타낸다. 객체 마스크는 히트맵의 값이 임계값 TH보다 크면 1로 작으면 0.01로 할당한다. 반대로 배경 마스크는 임계값 TH보다 작으면 1로 크면 0.01로 할당한다. 본 연구에서는 TH 값을 0.3으로 설정하였다. 배경 값을 0으로 설정하지 않은 이유는 컨볼루션 연산에서 대부분의 값이 0이 되기 때문에 특징 정보가 손실된다. 이는 학습 능력 저하를 유도한다. 따라서 본 연구에서는 경험적인 실험을 통해서 0.01과 0.3의 값을 도출했다.

그림 4의 맨 아래에는 생성된 객체 및 배경 마스크 맵의 예시를 보여주고 있다. 그림에서 보듯이, 객체 마스크는 객체가 존재하는 영역을 흰색으로 배경 마스크는 배경 영역을 흰색으로 표현한 것을 볼 수 있다.

그림 5는 제안한 멀티스케일 로컬 어텐션 퓨전의 상세한 구조를 보여주고 있다. 그림에서 보듯이, 제안한 로컬 어텐션 모듈은 크게 객체 영역에 대한 어텐션 과정과 배경 영역에 대한 어텐션 과정으로 나뉘어 있다. 객체 영역의 어텐션 과정은 객체 마스크 맵을 각각 저해상도와 고해상도 모래시계에서 생성된 특징 맵에 원소별로 곱해준다. 이때 객체 영역의 특징 값은 그대로 유지되고 배경 영역의 특징 값은 작은 값으로 변경된다. 그리고 마스킹된 저해상도 특징맵은 키로, 마스킹된 고해상도 특징맵은 쿼리와 값으로 각각 어텐션 과정에서 사용된다. 마찬가지로 배경 영역에서의 어텐션 과정은 배경 마스크를 각각 저해상도와 고해상도 특징맵에 원소별로 곱해준다. 배경 영역의 특징 값은 원본 그대로 유지되는 반면 객체 영역의 값은 아주 작은 값으로 매핑된다. 이렇게 마스킹된 저해상도 특징맵과 고해상도 특징맵은 어텐션 과정에서 각각 키와 쿼리로 사용된다.

Fig. 5. 
Object and background masking module

본 연구에서는 로컬 어텐션을 구현하기 위해, 스케일 도트 어텐션(Scale-dot attention) 모델을 적용했다[12]. 자세한 계산과정은 다음과 같다.

식 (5)에서 행렬 F는 저해상도 또는 고해상도 모래시계에서 추출된 특징맵을 의미하고 M은 객체 마스크 f 또는 배경 마스크 g에 해당한다. 그리고 ⊗는 원소별 곱 연산을 의미한다. 따라서 식 (5)는 마스킹 처리 과정을 나타낸 수식이다. 식 (6)에서 FLRs와 FHRs는 각각 FLRM와 FHRM의 (x,y) 위치의 특징 벡터를 가로 방향으로 저장한 행렬에 해당한다. 그리고 W_q, W_k, W_v는 각각 쿼리, 키, 값에 대한 임베딩 레이어를 구현하기 위한 행렬이다. 여기서 임베딩 레이어란 특징 차원을 변경하기 위한 계층으로써, 행렬 연산을 통해 공간 변환을 수행한다. 식 (7)에서 softmax 함수는 0-1사이의 값으로 매핑하기 위한 함수이고 행 방향으로 정규화 과정을 수행한다. 그리고 QMKMT는 벡터 간의 유사도를 측정하기 위한 벡터 내적 연산을 수행한다. d는 키의 차원 수를 나타내며 스케일링 과정을 통해 어텐션 연산을 안정화하며 학습을 원활하게 만든다.

그림 5에서 객체 및 배경 영역에 대해 어텐션을 수행한 후, 출력 결과는 원소별 덧셈을 통해서 융합된다. 그림에서 ⊕는 원소별 덧셈을 의미한다. 융합된 특징 결과는 고해상도 모래시계의 다음 레이어로 전송되어 동일한 과정을 반복한다. 이는 저해상도 및 고해상도 특징 맵의 객체와 배경 영역의 특징 구별력을 개선하여 어텐션 학습 능력을 강화할 수 있음을 의미한다.

본 연구에서는 제안한 로컬 어텐션 기반의 MaDa-CenterNet(v2)를 학습하기 위해 트랩에서 촬영한 해충 데이터를 사용했다. 총 4,462장으로 구성된 데이터셋을 7:3의 비율로 랜덤하게 나누어 훈련 집합과 테스트 집합을 구성했다. 학습에 사용된 배치 크기는 8, 에폭은 100 그리고 학습률은 0.0001로 설정했다. 최적화 기법은 아담 옵티마이저[13]를 사용했고 파이토치 딥러닝 프레임워크로 제안한 모델을 구현하였다. 모델 성능 평가를 위해, 객체 검출 기반과 밀도 맵 추정 기반인 RetinaNet[5], Faster RCNN[6], RepPoints[4], CenterNet[7], Multiscale CenterNet[14], MaDa-CenterNet[3], KDMG[10]을 비교하였다.

정량적 평가를 위해, 본 논문에서는 해충 마릿수를 측정할 수 있는 평가 척도를 도입했다. 특히 기존의 군중 카운팅 분야에서 널리 활용되는 평균 절대 오차(MAE, Mean Absolute Error)와 평균 제곱근 오차(RMSE, Root Mean Squared Error)를 해충 카운팅의 정량적 평가 도구로 사용했다. MAE와 RMSE 둘 다 실제 해충 마릿수와 모델의 예측 마릿수와의 오차를 계산한다. 차이점은 MAE은 오차의 절대 값을 적용하며 RMSE는 오차의 제곱을 적용한다. 따라서 RMSE는 오차가 크면 클수록 페널티를 더 부가하는 효과를 지닌다. MAE와 RMSE 둘 다 값이 작을수록 해충 카운팅의 정확도가 우수하다는 것을 의미한다.

표 1은 기존 모델과 제안한 모델과의 MAE와 RMSE의 결과를 보여준다. 표 1에서 보듯이, 밀도맵 추정 기법인 KDMG보다 객체 검출 방식인 CenterNet 모델이 더 우수하다는 것을 알 수 있다. 그리고 제안한 MaDa-CenterNet(v2)가 기존의 MaDa-CenterNet보다 MAE와 RMSE 오차를 개선했음을 알 수 있다. 또한 기존 모델보다 훨씬 더 우수한 정확도를 달성할 수 있었다. 이는 해충 영역과 배경 영역에 대한 로컬 어텐션이 해충 카운팅 성능 개선에 효과적임을 말해준다. 참고로 밀도 추정 방식과 객체 검출 성능 방식은 데이터셋의 해충 비율에 따라 그 성능이 달라질 수 있다.

그림 6은 제안한 로컬 어텐션 기반의 MaDa-CenterNet(v2)를 사용해서 추정된 해충 카운팅의 결과 예시다. 제안한 모델은 객체 검출 방식에 해당하므로 결과 그림에 예측된 마릿수와 검출된 바운딩박스 결과를 같이 기재하였다. 그림 6에서 측정된 해충 마릿수는 육안으로 직접 카운팅한 결과이다. 그림 6에서 보듯이, 해충의 마릿수가 작은 경우나 큰 경우에도 측정된 해충 마릿수와 예측된 해충 마릿수가 거의 유사한 것을 볼 수 있다. 이는 제안한 객체 및 배경 마스킹 모듈과 로컬 어텐션 퓨전 모듈이 해충 카운팅에 효과적임을 뒷받침해 준다.

Fig. 6. 
Experimental results; input pest images and measured pest number (first row), predicted pest number and bounding boxes (second row)