Home

오늘날 그래픽카드의 처리 속도 향상 및 대중화, 텐서플로, 파이토치 등의 라이브러리 발전과 더불어 이미지 분류 및 객체 검출 분야에서 많은 발전을 거듭하고 있다.

과거 Minist, Fashion Mnist, CIFAR과 같은 28*28, 35*35 픽셀처럼 작은 크기의 이미지 데이터 셋을 기반으로 이루어진 연구가 오늘날에는 큰 사이즈의 이미지를 분류하고 이미지 내 객체를 빠르게 검출하는 수준에 이르고 있다[1]-[3]. 그리고 IT관련 기업이나 대학교 등에서 공개한 다양한 데이터 셋이 있으며 그 추세는 갈수록 늘어나고 있다. ImageNet[4], Radiant MLHub[5], COIL100[6], Visual Genome[7], Google’s Open Images[8], Labelled Faces in the Wild[9], Stanford Dogs Dataset[10], Indoor Scene Recognition[11], SVHN[12], STL-10[13], UMDFaces Dataset[14], Oxford-IIIT Pet Dataset[15] 등 다양한 오픈소스 이미지 셋이 있다. 그러나 대부분의 데이터 셋은 어떤 특정분야의 연구를 위한 목적으로 만들었기 때문에 저마다의 특징을 가지고 있어서 아무리 많은 데이터 셋이 있다고 하더라도 모든 연구 목적에 충분하다고는 할 수 없을 것이다.

그리고 Airplane, Automobile, Bird, Cat, Deer, Dog, Frog, Horse, Ship, Truck을 포함하는 CIFAR-10 데이터 셋과 같이 대분류 카테고리에 대한 연구가 주를 이루었다고 한다면 최근에는 중, 소분류에 대한 연구로 그 범위가 세분화 되고 있다[16]. 이러한 이미지 딥러닝에서 충분한 양의 데이터 셋 확보가 관건이라고 할 수 있지만 일반 연구자의 입장에서 자신이 필요로 하는 특정 종류의 충분한 이미지를 수집하기는 어려운 게 사실이다.

또한 이미지 학습에서 주를 이루는 부분이 컨볼루션 신경망(CNN)으로 많은 횟수의 연산을 필요로 한다[17]. 그러므로 과거에는 28*28, 35*35픽셀과 같은 작은 이미지로 학습을 하였는데 최근에는 큰 이미지에 대한 학습으로 확대되면서 연산량에 따른 장시간 학습이 개인 연구자에게는 어려운 걸림돌이 될 수 있다. 이에 대한 대안으로 대두되는 방법이 전이학습(Transfer learning) 모델을 이용하는 것이다[18].

본 논문에서는 새의 품종을 분류하는 딥러닝 모델을 만들기 위하여 텐서플로가 제공하는 ImageNet으로 사전 학습된 모델 ResNet50을 사용하였다[18]. 그리고 학습 과정에 필요한 대량의 이미지를 확보하기 위하여 웹 검색을 이용하였다. 구글 이미지 검색 크롤링을 통하여 23,600장의 이미지를 수집하였고, 여러 단계의 전처리를 통하여 학습에 사용할 수 있는 이미지를 선별하여 학습에 이용하였다.

또한 크롤링 이미지의 정확도를 테스트하기 위하여 caltech.edu에서 새 품종 분류를 위하여 제공하는 데이터 셋 Caltech-UCSD Birds-200-2011을 이용하여 테스트 한 결과 높은 정확률을 보임으로써 크롤링 이미지에 대한 신뢰도를 확인할 수 있었다[16]. 그리고 새의 부류에 따라 정확률에 차이가 있음을 확인 할 수 있었으며, 정확률에 대한 차이는 새의 생태습성으로 인한 이미지 데이터 셋의 복잡한 배경 차이로부터 비롯되었음을 확인할 수 있었다.

본 논문에서는 ImageNet으로 사전 학습된 모델 ResNet50을 이용하여 새의 품종을 분류하는 전이학습 모델을 만들었다. CUB_200-2011은 새의 품종 분류를 위한 데이터 셋으로, 새 200여종에 대하여 11,788장의 이미지를 제공하고 있다. 그러나 종류가 200 가지나 되어 각 클래스별 이미지는 평균 59장에 불과하다. 데이터 셋 만으로 전이학습을 할 경우 약 75%의 정확률이 나오지만, 본 논문에서는 웹 검색을 통하여 이미지를 확보하고 검증하는 것이 목표이므로 크롤링을 통하여 이미지를 추가 하였다. 웹 크롤링 환경은 표 1과 같다.

수집한 이미지에서 학습에 사용하기 부적합한 이미지를 제거하기 위하여 YOLOv3를 이용하여 필터링을 수행하며, 시나리오는 다음과 같다.

① 새를 학습한 모델을 이용하여 수집한 이미지 중 새가 아닌 이미지 삭제.

크롤링 이미지의 개수가 수 천 개 이상 많을 때 하나씩 수작업으로 이미지를 선별하기는 현실적으로 비효율적이다. 그러므로 새를 분류할 수 있는 모델을 만들어 자동으로 필터링을 수행하는 것이 효과적이다. 그림 3은 새가 아닌 것으로 필터링 된 이미지이다.

Fig. 3. 
Images without birds

② 한 마리 이상의 새가 있는 이미지 삭제

필터링에서 새로 분류된 것 중 여러 마리가 모여 있는 이미지가 있을 수 있다. 비록 새로 분류되었다고 하더라도 여러 마리의 새가 하나의 특징으로 학습되게 되면 오히려 잡음 역할을 할 수 있으므로 학습용으로는 적절하지 않다. 그림 4는 새로 분류되었으나 여러 마리가 있어서 필터링 된 이미지이다.

Fig. 4. 
Images with multiple birds

③ 새를 포함하는 바운딩 박스의 크기가 1600픽셀(40*40픽셀) 이하의 이미지 삭제

학습 이미지(224*224픽셀)에서 객체의 크기가 현저히 작을 때는 비록 새로 분류되었다고 하더라도 삭제한다. 특히 원거리에서 촬영된 이미지의 경우 사람 육안으로도 품종을 가리기 어렵다. 이런 경우 학습 데이터로는 적절하지 않으므로 삭제하는 것이 바람직하다. 이 때 이미지의 크기에 대한 임계값이 정해져 있는 것은 아니지만 본 논문에서는 학습 이미지의 약 1/5을 필터링 대상으로 분류하였다. 그림 5는 새로 분류되었지만 이미지에 비하여 객체의 크기가 현저히 작아서 학습 데이터로는 부적합하므로 필터링 된 이미지이다.

Fig. 5. 
Images of a bird very small in size

④ SHA-256 해시값으로 크롤링 이미지와 검증 이미지 중에서 같은 이미지 삭제

크롤링으로 수집한 이미지 중에서 검증용로 사용하는 이미지와 중복되는 것이 발생할 수 있다. 이럴 경우 제대로 된 정확률을 얻을 수 없다. 그러므로 학습용과 검증용 이미지 중복에 대한 전수조사를 해시값으로 비교하여 필터링 하였다. 검사결과 표 2에 있는 ‘필터링 ④’와 같이 중복 이미지는 없는 것으로 나타났다.

⑤ 사람이 최종적으로 확인

여러 단계의 필터링 과정을 수행했더라도 예상치 못한 예외 사항이 생길 수 있다. 그래서 최종적으로 눈으로 보면서 걸러내지 못한 이미지가 없는지 한 번 더 살펴볼 필요가 있다.

그림 6은 최종적으로 사람 눈으로 필터링 한 이미지 들이다. 가장 큰 특징은 실물 사진이 아니라 그림속의 새를 그대로 인식한다는 것과 새 모양의 장신구를 새로 인식하는 것 그리고 새의 일부만 있는 사진으로 학습용 데이터로 쓰기에는 부적당한 것들을 필터링 하였다.

Fig. 6. 
Images filtered by human eye

표 2는 시나리오 단계별 크롤링 이미지의 필터링 개수 변화를 나타내며, 표 3은 본 논문에서 제시한 크롤링 이미지 검증을 위한 실험 환경이다. 표 2에서 ‘필터링 ①, ②’는 필터링 모델인 YOLOv3의 객체 검출 정확도에 의존하는 부분으로 본 논문에서는 논외로 한다.

‘필터링 ③’에서는 이미지 크기 임계값을 조금 더 크게 설정할 필요가 있다. 특히 ‘필터링 ⑤’ 단계에서 숫자가 많은 것은 ‘필터링 ①, ②, ③’단계에서 세밀하게 필터링하지 못한 원인도 있지만 해상도가 낮은 이미지(오래전 사진, 흔들린 사진, 어두운 사진, 새보다 주변 배경이 더 드러나는 사진, 미성숙 사진, 극히 일부분만 있는 사진)를 대량으로 제거한 이유도 있다.

필터링 한 최종 데이터 셋을 ResNet50으로 학습 한 후 CUB_200_2011 데이터 셋을 검증 및 테스트한 결과 87.87% 정확률이 나왔다. 평균 정확률은 이렇게 나왔지만 각 품종별로 테스트를 하면 정확률의 차이가 큰 것을 확인 할 수 있다. 그 이유는 표 1과 같이 최종 학습 데이터 셋에서 부류 간 이미지 개수의 차이가 큰 것을 확인할 수 있다. 그러므로 이미지의 개수에 따라 정확률에 영향을 주는 것을 알 수 있다. 그림 7은 딥러닝 학습과정에 대한 정확률과 손실률 그래프이다. Train accuracy: 0.9930, validation accuracy: 0.9225, test accuracy: 0.8787. 학습 시 validation loss에 대하여 조기종료(callbacks.Earlystopping)을 설정하였으며 최종적으로 에포크(Epoch) 10에서 종료하였다.

Fig. 7. 
Model test result graph

4차 산업혁명과 더불어 기업, 공공기관, 대학, 산업체 등에서 다양한 데이터 셋을 공개하고 있지만 대부분의 데이터 셋은 기관의 특수한 목적이나 응용서비스 개발 방향에 종속 되어 있어 일반 연구자의 특수한 연구목적에 부합하는 데이터 셋을 구하기가 쉽지는 않다. 이러한 경우 비용을 지불하고 데이터 셋을 구할 수도 있지만 비용을 지불하더라도 구하기 어려운 경우도 있다. 이런 경우 웹 검색을 통하여 필요로 하는 데이터 셋을 직접 구축할 수도 있다.

본 논문에서는 새의 품종 분류를 위하여 전이학습용 이미지 확보 방안으로 웹 검색을 이용하여 23,600장의 이미지를 확보할 수 있었다. 또한 수집한 이미지를 다단계 필터링 과정으로 학습용 이미지를 선별하였다. ImageNet으로 사전학습 된 ResNet50 모델을 이용하여 선별한 이미지를 학습시키고, 새의 품종 분류를 위한 데이터 셋인 CUB_200-2011을 테스트 분류하여 87.87% 정확률을 얻을 수 있었으며, 이를 통하여 검색하여 수집한 이미지에 대한 신뢰도를 확인 할 수 있었다.

단순한 검색 기능이 아니라 시맨틱(Semantic) 웹 검색 기술로 검색 결과에 대한 정확도를 높이는 것을 본 논문의 향후 과제로 한다.