기동무기체계 분류를 위한 전이학습 기반 앙상블 모델 연구

Ⅰ. 서 론

전 세계적으로 인공지능과 관련된 다양한 연구와 응용 서비스 및 제품들이 산업, 교육, 보안, 국방 등 여러 분야에서 활발하게 연구와 개발이 이루어지고 있다. 특히, 영상 정보를 활용한 물체식별 및 탐지 분야에서는 딥러닝 기술이 독보적으로 활용되고 있고, 다양한 문제 해결 대회와 연구에서 수많은 검증과 성능이 검증되었다. 다만, 딥러닝 기술은 많은 양의 데이터를 수집, 가공하여 학습을 수행하는데 인터넷을 기반으로 한 클라우드 서비스와 빅데이터, 대용량 물리적 서버 구축이 비교적 자유로운 민간 산업 분야에서는 방대한 양의 고품질 데이터 확보가 가능하나 국방 분야에서는 인터넷 활용과 물리적 서버 구축 등에 제한 사항이 있고, 작전 환경에 대한 접근성 문제, 적국 표적 등에 대한 정보 부족, 보안과 관련된 문제 등이 방대한 양의 데이터를 필요로 하는 딥러닝 기술을 적용하기에는 여러 제약사항들이 발생되고 있다. 최근 국방 분야 이외의 특정 분야에서도 데이터 확보에 대한 문제로 인하여 딥러닝 기반 기술을 실 제품에 바로 적용하는데 있어서 큰 제한사항들이 발생되고 있으며, 이를 극복하기 위한 다양한 연구와 기술들이 현재까지 지속적으로 개발되고 있다[1].

현재 국방 분야에서도 인공지능과 관련된 기술들을 미래에 새롭게 개발될 육·해·공군 다양한 체계들에 적용하기 위한 연구과 개발이 활발하게 진행되고 있고, 이중 주간/열상 카메라, 레이더 등 센서 정보를 활용하는 감시·정찰 분야에서 딥러닝 기술을 기반으로 한 표적 탐지 및 식별에 대한 연구와 개발이 일정 수준까지 진행되고 있다[2]-[4]. 하지만, 상기에서 언급하였던 국방 분야의 데이터 획득 제한으로 인해 실 체계에 적용하기에는 검증이 부족한 상황이고, 위성 영상 등과 같은 특정 분야에 데이터가 집중되어 다양한 체계에 적용하기에는 많은 제약사항들이 발생될 가능성이 높다고 판단된다.

특히, 지상에서의 적 표적 감시·정찰 및 지상무기체계에서 피아식별, 대응표적 탐지/식별 등에 대한 임무는 영상 정보 의존도 상당히 높고, 작전 간 가장 중요하고 위협 요소가 가장 많이 존재하기 때문에 검증된 높은 식별 정확도가 요구되는 바이다.

따라서, 본 논문에서는 인터넷에서 수집된 소규모의 지상 기동무기체계 이미지 데이터를 수집하여 전이학습 기반 앙상블 모델을 적용 후, 추후 적용 가능성에 대해 확인하고자 한다.

본 논문의 2장에서는 학습을 위한 이미지 데이터 수집과 전이학습 방법에 대한 설명을 한다. 3장에서는 전이학습을 수행한 결과를 이용한 앙상블 모델 시험 방법에 대하여 설명한다. 4장에서는 앙상블 모델에 대한 성능 확인 결과와 분석을 수행한다. 마지막으로 5장에서는 본 논문의 결론과 향후 연구에 관하여 기술한다.

Ⅱ. 데이터 수집 및 전이학습 모델

2.1 학습 데이터 수집

군 지상무기체계에서 전차와 장갑차는 외형은 유사하나 각자 다른 임무를 수행하도록 설계된 별개의 기동무기체계이다. 전차는 그림 1과 같이 대부분 무한궤도 형태의 차체와 강력한 대(大)구경 주포 및 중(重)장갑을 탑재하여 적 주력 기갑부대와 최전방에서 직접적으로 전투를 수행하여 아군의 작전이 수월하도록 하는 역할을 수행한다.

Fig. 1.

Tank images

장갑차는 아군 보병을 수송하고 보호하는 것이 주된 임무이고, 전투가 주 목적은 아니지만 대전차미사일과 중(中)구경 화포 등을 이용하여 아군 화력 지원도 가능하다. 장갑차는 목적에 따라 인원 수송 장갑차와 보병전투차량 등으로 나누어질 수 있는데, 앞서 언급한 것과 같이 전차와 외형은 유사하지만 조금 다른 특징들을 가지고 있다. 그림 2와 같이 기동성능을 극대화하기 위해 대부분은 차륜형태의 차량으로 되어 있고, 사람이 탑승할 수 있도록 차량에 해치가 존재하며, 포탑에는 임무에 따라 중(中)구경 화포, 대전차미사일, 부 무장 등이 탑재되어 있다.

Fig. 2.

Armoured vehicle images

본 논문에서는 전차와 장갑차 두 개의 클래스로 이미지 데이터를 수집 및 라벨링(Labeling)을 통하여 학습을 위한 데이터를 구성하였다. 이미지 데이터 수집은 전차의 경우 Kaggle의 공개 이미지 데이터 목록[5]에서 “TANK”'라는 키워드로 검색된 이미지 데이터를 다운로드하여 대부분 사용하였고, 부족한 이미지 데이터의 경우 상기와 동일한 키워드로 웹(Web)에서 검색하여 웹 데이터 수집을 수행하였으며, 장갑차 이미지 데이터의 경우 모든 데이터를 웹 검색을 통해 수집하였는데 검색 창에 “보병수송차량”, “보병수송차량” 등 장갑차와 연관된 키워드를 입력하여 검색된 이미지 데이터를 수집하였다.

이렇게 수집된 이미지 데이터는 전차와 장갑차 각 1,800장씩 총 3,600장으로 크기가 지나치게 큰 이미지 데이터를 제외하고 서로 다른 크기의 이미지를 무작위로 수집하였다. 수집된 이미지 데이터는 시험을 위해 표 1과 같이 각 클래스 별 1,500장씩 총 3,000장을 훈련 및 검증에 사용하였고, 나머지 각 300장씩 총 600장을 시험 평가를 위해 사용하였다.

Table 1.

List of experimental data set

2.3 전이학습을 위한 파라미터 설정

전이학습을 위해 선정된 사전학습 완료된 모델에 대한 하이퍼파라미터를 표 2와 같이 배치 사이즈를 32로, 학습 알고리즘을 Adam optimizer로, 학습률을 10-5으로, 학습 횟수(Epoch)를 100으로 각각 설정하였고, 입력 이미지 크기를 모든 모델에 224×224로 일괄 편집 및 20도 범위 내의 무작위 회전, 수평/수직 무작위 평행이동, ±10% 범위 내의 무작위 사진 확대 등 데이터 증식(Data augmentation) 방식과 미세조정(Fine-tuning)을 적용한 후 매번 분류기의 가중치를 초기화하여 새롭게 학습을 수행하였다.

Table 2.

Hyper-parameters of pre-trained models

표 1의 데이터를 이용하여 표 2의 하이퍼파라미터가 적용된 각 모델들에 대해 총 5회 씩 학습 후 테스트 정확도 상위 3개에 대한 정보를 저장하였다. 아래 표 3은 각 모델 별 상위 3개의 테스트 정확도를 각각 보여준다. 다음에 기술할 전이학습 기반 동종 및 이종 앙상블 모델 성능 실험 시, 표 3의 결과를 이용한다. 표 3의 결과에서와 같이 VGG19보다는 DenseNet121이나 InceptionV3와 같이 모델 구조의 복잡도가 높고 고성능의 딥러닝 모델일수록 본 논문에서 고려하는 이미지 데이터셋에 대하여 더 높은 분류 정확도를 보여주는 것을 관찰할 수 있다.

Table 3.

Test accuracy for top 3 of each model

Ⅲ. 전이학습 기반 앙상블 모델 설계

앙상블(Ensemble) 기법은 여러 개의 모델 예측을 더해 더 좋은 예측 성능을 얻기 위한 방법으로 독립적으로 훈련된 다수의 모델들이 각기 다른 종류의 특징을 추출하여 상호보완을 통해 성능을 향상시키는 것이 목적이다. 앙상블이 최적의 성능을 내기 위해서는 다양한 종류의 성능이 우수한 모델들을 사용하여 추출되는 특징들이 편향되지 않도록 하는 것이 중요하다. 이전부터 CNN 기반의 네트워크 구조에 대한 앙상블 학습 알고리즘을 이용하여 이미지 분류 성능 분석에 대한 연구가 진행되었으며[14], 최근에는 방산 분야에서도 사전학습 완료된 모델들을 이용한 앙상블 기법을 이용하여 탐지 성능 향상에 대한 연구도 수행되었다[15].

다음의 그림 3은 본 논문에서 고려한 앙상블 모델 조합을 나타낸 것으로, 총 5가지 방식으로 지상 기동무기체계 이미지에 대한 분류 정확도 실험을 수행하고자 한다.

Fig. 3.

Combination of ensemble model

먼저, 앙상블 조합을 위해 ImageNet 데이터셋으로 사전 학습 완료된 5가지 모델들에 대해 동종모델 2개, 각기 다른 이종모델 2개, 동종모델 3개, 이종모델 3개, 이종모델 4개에 대한 예측을 평균하여 최종 성능을 확인한다.

또한, 표 3에서 추출한 각 모델 별 상위 3개에 대해 아래 표 4와 같이 위에서 언급된 앙상블 조합을 보다 다양하게 수행하여 성능 분석을 수행하고자 한다.

Table 4.

Detailed combination method of ensemble model

Ⅳ. 시험 결과 및 분석

본 장에서는 3장에서 기술하였던 앙상블 모델 조합 방법을 통해 동일모델, 이종모델 간 앙상블 모델 조합 정확도를 실험을 통해 살펴보고, 상기 실험 결과에 대한 다양한 분석을 통하여 동일모델과 이종모델 앙상블 조합 특징과 앙상블 효과 분석 등을 수행한다. 또한, 이종모델 간 앙상블 조합에서 앙상블 모델 수에 따라 나타나는 정확도 양상과 가장 최적의 앙상블 모델 조합에 대해 살펴본다.

4.1 동일모델 앙상블 조합 실험결과

먼저, 표 4에서 제안된 전이학습 기반 앙상블 모델 조합에서 동일모델 간의 앙상블 조합에 대한 분석을 수행한 후, 이종 모델 간의 앙상블 조합 특징 및 최적의 성능 조합을 분석한다.

표 5는 2개의 동종모델에 대한 앙상블 조합의 분류 정확도 결과를 나타낸 것으로, 각 모델별 조합에서 앙상블 정확도를 분석한 결과 VGG19와 DenseNet121의 경우 각 모델의 1순위 정확도보다 앙상블 정확도 결과가 각각 +0.5% 및 +0.4% 증가하여 앙상블을 통해 일정 부분 정확도 성능이 향상되었음을 관찰할 수 있었으나, 이와 반대로 MobileNetV2의 경우, 앙상블 조합 결과가 모델 1순위의 정확도 보다 오히려 -0.2% 감소하였고, 나머지 ResNet50V2와 InceptionV3에 대해서도 각 모델 1순위 정확도와 동일함을 확인할 수 있었다.

Table 5.

Result of homogeneous model 2 ensemble combination

즉, 각 모델에서 상위 순위 정확도를 보이는 조합이 앙상블 정확도에서도 가장 좋은 정확도를 보이나 대부분 평균적으로 동종모델에 대한 앙상블 효과가 미비한 것을 관찰할 수 있다.

다음의 표 6은 동종모델 3개의 앙상블 조합에 대한 정확도 결과와 함께 상기 표 5에서 도출한 정확도 결과들을 서로 비교한 것으로, 동종모델 3개 앙상블 조합에서 MobileNetV2를 제외한 모든 모델에서 각 모델의 1순위 정확도 대비하여 앙상블 정확도가 +0.3%에서 최대 +0.5% 상승한 것을 확인할 수 있었다.

Table 6.

Result of homogeneous model 3 ensemble combination

또한, 2개의 동종모델 앙상블 조합보다 평균적으로 앙상블 효과를 보이는 모델의 수와 정확도 향상의 폭이 높아진 것을 확인할 수 있었다. 이는 앙상블의 핵심인 누락된 특징을 상호 보완해줄 수 있는 다양성에서 동일한 2개 모델 보다는 3개 모델이 보다 누락된 특징들을 상호 보완해주는 효과가 높다는 것을 확인할 수 있었고, 모델의 성능이 우수하고 구조가 복잡할수록 그 효과가 상승됨을 확인 할 수 있었다.

4.2 이종모델 앙상블 조합 실험결과

표 7은 서로 다른 2개 모델들에 대하여 조합한 여러 가지 경우 중에서 앙상블 정확도가 상위 1~3순위에 해당하는 앙상블 조합의 정확도 결과를 요약하여 나타낸 표이다. 표 7 이외의 거의 대부분 조합에서 이종모델 앙상블 조합의 정확도를 확인한 결과 각 모델 별 상위 1순위 정확도 보다 높은 것을 확인할 수 있었고, 2개의 동종모델 앙상블 조합 보다 높은 정확도 향상 효과를 보이는 것을 관찰할 수 있었다. 이러한 결과는 다양성 관점에서 이종모델 조합이 동종모델 조합보다 앙상블 정확도 성능 향상에 더 유리하다는 것을 알 수 있다.

Table 7.

Top1~3 ensemble combination results of two heterogeneous models

또한, 표 7의 이종모델 앙상블 조합 정확도 1순위는 각 모델의 상위 1순위 조합이 아닌 2순위 조합의 결과로써, 이는 모델 별 정확도보다는 얼마나 누락된 특징들을 상호 보완해주는 것에 따라 앙상블 효과가 극대화 되는 것을 확인할 수 있었고, 고성능(정확도, 복잡도) 모델 간 조합이 평균적으로 앙상블 정확도가 높았으며, 가장 높은 정확도를 보인 앙상블 모델 조합은 상위 2순위 DenseNet121과 InceptionV3 조합으로 98.5%의 정확도를 나타내었다.

다음의 표 8은 서로 다른 3개 모델들의 성능 상위 1~3순위 별 앙상블 조합의 정확도 결과를 나타낸 것으로, 3개 이종모델 앙상블 조합의 정확도를 실험한 결과 거의 모든 조합에서 97% 이상의 정확도 성능을 보여주는 것을 확인할 수 있었다. 이때, 표 7의 2개 이종모델과 마찬가지로 상위 1순위 간 조합 정확도가 가장 높지 않은 것으로 관찰되었으며, 이는 단일 모델 성능 정확도 보다는 각 모델별 누락된 특징을 상호 보완해주는 다양성을 얼마나 확보하느냐에 따라 앙상블 효과가 극대화 되는 것을 확인할 수 있다.

Table 8.

Top1~3 ensemble combination results of three heterogeneous models

또한, 표 8의 결과를 살펴보면, 표 7의 2개 이종모델 앙상블 조합에서 우수한 정확도 성능을 보여준 DenseNet121과 InceptionV3이 포함된 앙상블 조합이 서로 다른 모델 3개 앙상블 정확도 순위에서도 상위를 차지하는 것을 확인할 수 있었다. 하지만, 3개 이종모델에 대하여 가장 높은 앙상블 정확도가 97.8%로써, 2개 이종모델 앙상블 조합의 최고 정확도인 98.5%보다는 그 성능이 낮은 것을 확인할 수 있다.

마지막으로, 표 9는 서로 다른 4개 모델 성능 상위 1~3순위 별 앙상블 조합의 정확도 결과를 보여준 것으로, 앙상블 조합의 정확도를 실험한 결과 모든 조합에서 97% 이상의 정확도 성능을 보여주는 것을 관찰할 수 있었고, 앞서 분석된 결과와 마찬가지로 정확도 상위 1순위 모델 간 앙상블 조합이 아닌 정확도 상위 2순위 모델 간 앙상블 조합에서 가장 높은 정확도를 나타내는 것을 확인하였다.

Table 9.

Top1~3 ensemble combination results of four heterogeneous models

그리고 4개 이종모델에 대한 앙상블 조합에서 표 9의 결과에서와 같이 DenseNet121과 InceptionV3이 포함된 앙상블 조합들이 평균적으로 다른 앙상블 조합보다 더 높은 정확도를 보이는 것을 확인할 수 있다. 하지만, 4개 이종모델 앙상블에서 가장 높은 정확도는 98.3%로써, 표 7의 2개 이종모델 앙상블 조합의 가장 높은 정확도인 98.5% 보다는 낮았다.

4.3 앙상블 결과 최종 분석

본 논문에서 제안한 전이학습 기반 앙상블 모델들에 대한 실험결과 동종모델보다는 이종모델 간의 앙상블 조합이 더 높은 정확도 성능을 보여주는 것을 확인할 수 있었고, 이종모델 조합 수가 2개 조합보다는 3개 조합이, 3개 조합보다는 4개 조합이 평균적으로 모든 앙상블 조합에서 정확도가 향상되는 경향을 확인할 수 있었다.

그림 4는 앙상블 모델 조합 별 정확도의 성능 분포를 나타낸 것으로, 4개 이종모델 앙상블 조합의 경우 모든 조합이 97% 이상의 정확도 성능을 보이는 것을 확인할 수 있다.

Fig. 4.

Distribution of test accuracy by ensemble combination

표 10에서는 모든 앙상블 모델 조합에서 가장 높은 정확도를 보이는 조합에 대한 순위를 정리한 결과로 가장 높은 분류 정확도를 보인 앙상블 조합은 DenseNet121과 InceptionV3의 2개 이종모델 조합으로 최대 98.5% 정확도를 보여주었다.

Table 10.

Final result and rank of ensemble combination

그리고 위의 2개 조합이 포함된 앙상블 조합들이 2~3순위에 포함되어 있는 것을 확인할 수 있었으며, 각 모델 별 정확도 상위 1순위 간 앙상블 조합이 아닌 정확도 2순위 간 앙상블 조합이 상위 1~3순위에 포함되어 있는 것을 관찰할 수 있었다.

이를 통해 각 모델 별 정확도 순위 보다는 각 모델들의 학습과정에서 누락된 특징들을 얼마나 상호 보완할 수 있는지가 관건으로, 본 실험 결과 정확도 상위 2순위의 DenseNet121과 InceptionV3의 2개 이종모델 조합만으로도 충분한 앙상블 효과를 보여줄 수 있음을 확인하였다.

한편, 모델들 간의 앙상블 조합 시 유사한 정확도를 갖는 모델들의 경우 앙상블 효과를 확인할 수 있지만, 반대로 정확도가 불균형한 경우 앙상블 효과가 저하되는 것을 확인하였다. 이에 2개 이종모델 앙상블 조합에서 각 모델 별 정확도가 불균형할 경우 그림 5와 같이 앙상블 가중치 비율을 조정하여 앙상블 정확도 성능을 확인하였다.

Fig. 5.

Weight adjustment for imbalanced ensemble model

시험결과 표 11과 같이 정확도가 불균형한 모델들의 가중치 조정 후 앙상블을 수행하였을 때 최대 +0.5%까지 정확도가 향상됨을 확인할 수 있었다. 따라서 향후에는 표 11의 2개 이종 불균형 모델 앙상블 조합 이외에 다양한 앙상블 모델 조합들에 대해서도 가중치 조정을 통한 영향성 분석을 수행할 예정이다.

Table 11.

Ensemble accuracy result after adjusting the ensemble weight ratio

Ⅴ. 결 론

본 논문에서는 군의 지상무기체계인 전차와 장갑차의 이미지 데이터를 웹 검색을 통해 수집하였고, 사전학습 완료된 모델을 선정하여 전이학습을 수행한 후 다양한 앙상블 조합 결과를 분석하여 조합 별 특징과 최적의 앙상블 모델을 도출하였다. 동종모델의 앙상블 조합보다는 이종모델의 앙상블 조합이 보다 더 우수한 성능을 보여주었고, 각 모델의 정확도 상위 1순위 간 앙상블 조합이 무조건 우수한 성능을 제공하는 것이 아니라는 것을 확인할 수 있었다.

또한, 서로 다른 모델의 개수가 증가할수록 평균적인 정확도 또한 향상하나 결론적으로 서로 다른 모델 2개 앙상블 조합인 DenseNet121과 InceptionV3 조합에서 98.5% 정확도를 얻어서 본 연구에서 고려한 이미지 데이터셋에 대하여 2개 이종모델 앙상블 조합만으로도 최적의 성능을 제공할 수 있음을 확인할 수 있었다.

마지막으로, 모델 별 분류 정확도 불균형이 심할수록 앙상블 가중치 조정을 통해 앙상블 정확도가 향상될 수 있기 때문에, 향후에는 불균형이 발생되는 다른 앙상블 모델 조합에서도 최적의 가중치를 찾는 방법에 대한 연구를 추가적으로 수행할 계획이다.

References

• Hansoo Lee, Jonggeun Kim, Jungwon Yu, Yeongsang Jeong, and Sungshin Kim, "Multi-class Classification using Transfer Learning based Convolutional Neural Network", Journal of KIIS, Vol. 28, No. 6, pp. 531-537, Dec. 2018. [https://doi.org/10.5391/JKIIS.2018.28.6.531]
• Yongjun Kim, Kihun Yu, and Jinwoo Han, "Research for Radar Signal Classification Model Using Deep Learning Technique", Journal of the KIMST, Vol. 22, No. 2, pp. 170-178, Feb. 2019. [https://doi.org/10.9766/KIMST.2019.22.2.170]
• S. J. Hong, Y. G. Yi, J. W. Choi, Jeil Jo, and B. S. Seo, "Classification of Radar Signals Using Machine Learning Techniques", Journal of IKEEE, Vol. 22, No. 1, pp. 162-167, Mar. 2018. [https://doi.org/10.7471/ikeee.2018.22.1.162]
• Hari Surrisyad and Wahyono, "A Fast Military Object Recognition using Extreme Learning Approach on CNN", IJACSA, Vol. 11, No. 12, pp. 210-220, Dec. 2020. [https://doi.org/10.14569/IJACSA.2020.0111227]
• https://www.kaggle.com/datasets, /. [accessed: Jun. 2, 2021]
• Soyoung Chung and Min Gyo Chung, "Pedestrian Classification using CNN's Deep Features and Transfer Learning", Journal of ICS, Vol. 20, No. 4, pp. 91-102, Aug. 2019. [https://doi.org/10.7472/jksii.2019.20.4.91]
• Kwihoon Kim and Ji-Hoon Bae, "Important Parameter Optimized Flow-based Transfer Learning Technique Supporting Heterogeneous Teacher Network Based on Deep Learning", Journal of KIIT, Vol. 18, No. 3, pp. 21-29, Mar. 2019. [https://doi.org/10.14801/jkiit.2020.18.3.21]
• https://keras.io/api/applications, /. [accessed: Jul. 12, 2021]
• K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-scale Image Recognition", ICLR, pp. 1-14, Apr. 2015.
• M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, and L. C. Chen, "MobileNetV2:Inverted Residuals and Linear Bottlenecks", The IEEE Conference on CVPR, Salt Lake City, UT, USA, pp. 4510-4520, Jun. 2018. [https://doi.org/10.1109/CVPR.2018.00474]
• K. He, X. Zhang, S. Res, and J. Sun, "Deep Residual Learning for Image Recognition", The IEEE Conference on CVPR, Las Vegas, NV, USA, pp. 770-778, Jun. 2016. [https://doi.org/10.1109/CVPR.2016.90]
• G. Huang, Z. Liu, L. V. D. Maaten, and K.Q. Weinberger, "Densely Connected Convolutional Networks", Proceeding of IEEE Conference on CVPR, Honolulu, HI, USA, pp. 2261-2269, Jul. 2017. [https://doi.org/10.1109/CVPR.2017.243]
• C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna, "Rethinking the Inception Architecture for Computer Vision", Proceedings of the IEEE conference on CVPR, Las Vegas, NV, USA,, pp. 2818-2826, Dec. 2015. [https://doi.org/10.1109/CVPR.2016.308]
• S. W. Park, J. C. Kim, and D. Y. Kim, "A Study on Classification Performance Analysis of Convolutional Neural Network using Ensemble Learning Algorithm", Journal of KMS, Vol. 22, No. 6, pp. 665-675, Jun. 2019. [https://doi.org/10.9717/kmms.2019.22.6.665]
• Miae Jeong and Junmok Ma, "A Study on the Improvement of Submarine Detection Based on Mast Images Using An Ensemble Model of Convolutional Neural Networks", Journal of the KIMST, Vol. 23, No. 2, pp. 115-124, Mar. 2020. [https://doi.org/10.9766/KIMST.2020.23.2.115]