Current Issue

군 지상무기체계에서 전차와 장갑차는 외형은 유사하나 각자 다른 임무를 수행하도록 설계된 별개의 기동무기체계이다. 전차는 그림 1과 같이 대부분 무한궤도 형태의 차체와 강력한 대(大)구경 주포 및 중(重)장갑을 탑재하여 적 주력 기갑부대와 최전방에서 직접적으로 전투를 수행하여 아군의 작전이 수월하도록 하는 역할을 수행한다.

Fig. 1. 
Tank images

장갑차는 아군 보병을 수송하고 보호하는 것이 주된 임무이고, 전투가 주 목적은 아니지만 대전차미사일과 중(中)구경 화포 등을 이용하여 아군 화력 지원도 가능하다. 장갑차는 목적에 따라 인원 수송 장갑차와 보병전투차량 등으로 나누어질 수 있는데, 앞서 언급한 것과 같이 전차와 외형은 유사하지만 조금 다른 특징들을 가지고 있다. 그림 2와 같이 기동성능을 극대화하기 위해 대부분은 차륜형태의 차량으로 되어 있고, 사람이 탑승할 수 있도록 차량에 해치가 존재하며, 포탑에는 임무에 따라 중(中)구경 화포, 대전차미사일, 부 무장 등이 탑재되어 있다.

Fig. 2. 
Armoured vehicle images

본 논문에서는 전차와 장갑차 두 개의 클래스로 이미지 데이터를 수집 및 라벨링(Labeling)을 통하여 학습을 위한 데이터를 구성하였다. 이미지 데이터 수집은 전차의 경우 Kaggle의 공개 이미지 데이터 목록[5]에서 “TANK”'라는 키워드로 검색된 이미지 데이터를 다운로드하여 대부분 사용하였고, 부족한 이미지 데이터의 경우 상기와 동일한 키워드로 웹(Web)에서 검색하여 웹 데이터 수집을 수행하였으며, 장갑차 이미지 데이터의 경우 모든 데이터를 웹 검색을 통해 수집하였는데 검색 창에 “보병수송차량”, “보병수송차량” 등 장갑차와 연관된 키워드를 입력하여 검색된 이미지 데이터를 수집하였다.

이렇게 수집된 이미지 데이터는 전차와 장갑차 각 1,800장씩 총 3,600장으로 크기가 지나치게 큰 이미지 데이터를 제외하고 서로 다른 크기의 이미지를 무작위로 수집하였다. 수집된 이미지 데이터는 시험을 위해 표 1과 같이 각 클래스 별 1,500장씩 총 3,000장을 훈련 및 검증에 사용하였고, 나머지 각 300장씩 총 600장을 시험 평가를 위해 사용하였다.

컨볼루션 신경망(CNN, Convolutional Neural Network) 기반 딥러닝 기술을 이미지 분류에 활용하기 위해서는 일반적으로 대량의 이미지 데이터를 필요로 하기 때문에 많은 시간과 비용이 소모된다.

하지만, 앞서 언급한 것과 같이 국방 분야 등 특정 분야의 경우 훈련을 위한 이미지 데이터 수집 및 확보가 매우 제한적이다. 이러한 충분치 못한 데이터로 고성능의 복잡한 딥러닝 모델을 학습할 경우 쉽게 과대적합(Overfitting)이 발생하는 문제점으로 인해 실제 시스템에 적용하기에는 현실적으로 여러 가지 제약사항들이 발생되고 있다.

따라서, 이를 극복하기 위한 다양한 연구들이 진행되고 있는 가운데 전이학습은 소규모의 훈련 이미지 데이터만으로도 학습속도가 빠르고 분류 정확도가 우수한 성능을 낼 수 있는 방법으로 다양한 분야에서 그 성능이 입증되어 활용되고 있다[6][7]. 전이학습은 사전에 학습 완료된 모델의 가중치를 사용하는데 이미지의 경우 “ImageNet”을 기반의 사전 학습된 모델을 주로 사용한다. 본 논문은 오픈소스 신경망 라이브러리인 케라스(Keras)의 어플리케이션(Application)[8]에서 제공하는 ImageNet 기반의 사전학습 완료된 모델 중에서 정확성과 사이즈 등을 고려하여 VGG19, MobileNetV2, ResNet50V2, DenseNet121, InceptionV3의 총 5가지 딥러닝 모델들을 선정하였다[9]-[13].

전이학습을 위해 선정된 사전학습 완료된 모델에 대한 하이퍼파라미터를 표 2와 같이 배치 사이즈를 32로, 학습 알고리즘을 Adam optimizer로, 학습률을 10-5으로, 학습 횟수(Epoch)를 100으로 각각 설정하였고, 입력 이미지 크기를 모든 모델에 224×224로 일괄 편집 및 20도 범위 내의 무작위 회전, 수평/수직 무작위 평행이동, ±10% 범위 내의 무작위 사진 확대 등 데이터 증식(Data augmentation) 방식과 미세조정(Fine-tuning)을 적용한 후 매번 분류기의 가중치를 초기화하여 새롭게 학습을 수행하였다.

표 1의 데이터를 이용하여 표 2의 하이퍼파라미터가 적용된 각 모델들에 대해 총 5회 씩 학습 후 테스트 정확도 상위 3개에 대한 정보를 저장하였다. 아래 표 3은 각 모델 별 상위 3개의 테스트 정확도를 각각 보여준다. 다음에 기술할 전이학습 기반 동종 및 이종 앙상블 모델 성능 실험 시, 표 3의 결과를 이용한다. 표 3의 결과에서와 같이 VGG19보다는 DenseNet121이나 InceptionV3와 같이 모델 구조의 복잡도가 높고 고성능의 딥러닝 모델일수록 본 논문에서 고려하는 이미지 데이터셋에 대하여 더 높은 분류 정확도를 보여주는 것을 관찰할 수 있다.

먼저, 표 4에서 제안된 전이학습 기반 앙상블 모델 조합에서 동일모델 간의 앙상블 조합에 대한 분석을 수행한 후, 이종 모델 간의 앙상블 조합 특징 및 최적의 성능 조합을 분석한다.

표 5는 2개의 동종모델에 대한 앙상블 조합의 분류 정확도 결과를 나타낸 것으로, 각 모델별 조합에서 앙상블 정확도를 분석한 결과 VGG19와 DenseNet121의 경우 각 모델의 1순위 정확도보다 앙상블 정확도 결과가 각각 +0.5% 및 +0.4% 증가하여 앙상블을 통해 일정 부분 정확도 성능이 향상되었음을 관찰할 수 있었으나, 이와 반대로 MobileNetV2의 경우, 앙상블 조합 결과가 모델 1순위의 정확도 보다 오히려 -0.2% 감소하였고, 나머지 ResNet50V2와 InceptionV3에 대해서도 각 모델 1순위 정확도와 동일함을 확인할 수 있었다.

즉, 각 모델에서 상위 순위 정확도를 보이는 조합이 앙상블 정확도에서도 가장 좋은 정확도를 보이나 대부분 평균적으로 동종모델에 대한 앙상블 효과가 미비한 것을 관찰할 수 있다.

다음의 표 6은 동종모델 3개의 앙상블 조합에 대한 정확도 결과와 함께 상기 표 5에서 도출한 정확도 결과들을 서로 비교한 것으로, 동종모델 3개 앙상블 조합에서 MobileNetV2를 제외한 모든 모델에서 각 모델의 1순위 정확도 대비하여 앙상블 정확도가 +0.3%에서 최대 +0.5% 상승한 것을 확인할 수 있었다.

또한, 2개의 동종모델 앙상블 조합보다 평균적으로 앙상블 효과를 보이는 모델의 수와 정확도 향상의 폭이 높아진 것을 확인할 수 있었다. 이는 앙상블의 핵심인 누락된 특징을 상호 보완해줄 수 있는 다양성에서 동일한 2개 모델 보다는 3개 모델이 보다 누락된 특징들을 상호 보완해주는 효과가 높다는 것을 확인할 수 있었고, 모델의 성능이 우수하고 구조가 복잡할수록 그 효과가 상승됨을 확인 할 수 있었다.

표 7은 서로 다른 2개 모델들에 대하여 조합한 여러 가지 경우 중에서 앙상블 정확도가 상위 1~3순위에 해당하는 앙상블 조합의 정확도 결과를 요약하여 나타낸 표이다. 표 7 이외의 거의 대부분 조합에서 이종모델 앙상블 조합의 정확도를 확인한 결과 각 모델 별 상위 1순위 정확도 보다 높은 것을 확인할 수 있었고, 2개의 동종모델 앙상블 조합 보다 높은 정확도 향상 효과를 보이는 것을 관찰할 수 있었다. 이러한 결과는 다양성 관점에서 이종모델 조합이 동종모델 조합보다 앙상블 정확도 성능 향상에 더 유리하다는 것을 알 수 있다.

또한, 표 7의 이종모델 앙상블 조합 정확도 1순위는 각 모델의 상위 1순위 조합이 아닌 2순위 조합의 결과로써, 이는 모델 별 정확도보다는 얼마나 누락된 특징들을 상호 보완해주는 것에 따라 앙상블 효과가 극대화 되는 것을 확인할 수 있었고, 고성능(정확도, 복잡도) 모델 간 조합이 평균적으로 앙상블 정확도가 높았으며, 가장 높은 정확도를 보인 앙상블 모델 조합은 상위 2순위 DenseNet121과 InceptionV3 조합으로 98.5%의 정확도를 나타내었다.

다음의 표 8은 서로 다른 3개 모델들의 성능 상위 1~3순위 별 앙상블 조합의 정확도 결과를 나타낸 것으로, 3개 이종모델 앙상블 조합의 정확도를 실험한 결과 거의 모든 조합에서 97% 이상의 정확도 성능을 보여주는 것을 확인할 수 있었다. 이때, 표 7의 2개 이종모델과 마찬가지로 상위 1순위 간 조합 정확도가 가장 높지 않은 것으로 관찰되었으며, 이는 단일 모델 성능 정확도 보다는 각 모델별 누락된 특징을 상호 보완해주는 다양성을 얼마나 확보하느냐에 따라 앙상블 효과가 극대화 되는 것을 확인할 수 있다.

또한, 표 8의 결과를 살펴보면, 표 7의 2개 이종모델 앙상블 조합에서 우수한 정확도 성능을 보여준 DenseNet121과 InceptionV3이 포함된 앙상블 조합이 서로 다른 모델 3개 앙상블 정확도 순위에서도 상위를 차지하는 것을 확인할 수 있었다. 하지만, 3개 이종모델에 대하여 가장 높은 앙상블 정확도가 97.8%로써, 2개 이종모델 앙상블 조합의 최고 정확도인 98.5%보다는 그 성능이 낮은 것을 확인할 수 있다.

마지막으로, 표 9는 서로 다른 4개 모델 성능 상위 1~3순위 별 앙상블 조합의 정확도 결과를 보여준 것으로, 앙상블 조합의 정확도를 실험한 결과 모든 조합에서 97% 이상의 정확도 성능을 보여주는 것을 관찰할 수 있었고, 앞서 분석된 결과와 마찬가지로 정확도 상위 1순위 모델 간 앙상블 조합이 아닌 정확도 상위 2순위 모델 간 앙상블 조합에서 가장 높은 정확도를 나타내는 것을 확인하였다.

그리고 4개 이종모델에 대한 앙상블 조합에서 표 9의 결과에서와 같이 DenseNet121과 InceptionV3이 포함된 앙상블 조합들이 평균적으로 다른 앙상블 조합보다 더 높은 정확도를 보이는 것을 확인할 수 있다. 하지만, 4개 이종모델 앙상블에서 가장 높은 정확도는 98.3%로써, 표 7의 2개 이종모델 앙상블 조합의 가장 높은 정확도인 98.5% 보다는 낮았다.

본 논문에서 제안한 전이학습 기반 앙상블 모델들에 대한 실험결과 동종모델보다는 이종모델 간의 앙상블 조합이 더 높은 정확도 성능을 보여주는 것을 확인할 수 있었고, 이종모델 조합 수가 2개 조합보다는 3개 조합이, 3개 조합보다는 4개 조합이 평균적으로 모든 앙상블 조합에서 정확도가 향상되는 경향을 확인할 수 있었다.

그림 4는 앙상블 모델 조합 별 정확도의 성능 분포를 나타낸 것으로, 4개 이종모델 앙상블 조합의 경우 모든 조합이 97% 이상의 정확도 성능을 보이는 것을 확인할 수 있다.

Fig. 4. 
Distribution of test accuracy by ensemble combination

표 10에서는 모든 앙상블 모델 조합에서 가장 높은 정확도를 보이는 조합에 대한 순위를 정리한 결과로 가장 높은 분류 정확도를 보인 앙상블 조합은 DenseNet121과 InceptionV3의 2개 이종모델 조합으로 최대 98.5% 정확도를 보여주었다.

그리고 위의 2개 조합이 포함된 앙상블 조합들이 2~3순위에 포함되어 있는 것을 확인할 수 있었으며, 각 모델 별 정확도 상위 1순위 간 앙상블 조합이 아닌 정확도 2순위 간 앙상블 조합이 상위 1~3순위에 포함되어 있는 것을 관찰할 수 있었다.

이를 통해 각 모델 별 정확도 순위 보다는 각 모델들의 학습과정에서 누락된 특징들을 얼마나 상호 보완할 수 있는지가 관건으로, 본 실험 결과 정확도 상위 2순위의 DenseNet121과 InceptionV3의 2개 이종모델 조합만으로도 충분한 앙상블 효과를 보여줄 수 있음을 확인하였다.

한편, 모델들 간의 앙상블 조합 시 유사한 정확도를 갖는 모델들의 경우 앙상블 효과를 확인할 수 있지만, 반대로 정확도가 불균형한 경우 앙상블 효과가 저하되는 것을 확인하였다. 이에 2개 이종모델 앙상블 조합에서 각 모델 별 정확도가 불균형할 경우 그림 5와 같이 앙상블 가중치 비율을 조정하여 앙상블 정확도 성능을 확인하였다.

Fig. 5. 
Weight adjustment for imbalanced ensemble model

시험결과 표 11과 같이 정확도가 불균형한 모델들의 가중치 조정 후 앙상블을 수행하였을 때 최대 +0.5%까지 정확도가 향상됨을 확인할 수 있었다. 따라서 향후에는 표 11의 2개 이종 불균형 모델 앙상블 조합 이외에 다양한 앙상블 모델 조합들에 대해서도 가중치 조정을 통한 영향성 분석을 수행할 예정이다.