시계열 특징을 이용한 의사결정트리 기반 블랍 겹침 해결 방법 연구

Ⅰ. 서 론

객체 탐지와 추적은 지능형 영상 감시 시스템에서 핵심적인 연구 분야로서 활발한 연구가 진행되어왔다. 객체 추적은 비디오 시퀀스에서 객체의 존재, 위치, 크기, 모양 등을 포함한 객체의 공간적 및 시간적 변화를 관측하는 과정으로서, 사전 단계라고 할 수 있는 객체 탐지 단계에서 올바른 객체가 검출되지 않으면 객체 추적 시스템의 성능도 따라서 저하된다. 객체 탐지 단계에서 객체가 올바르게 검출되지 않는 이유는 갑작스러운 객체 동작, 객체 및 장면의 모양 패턴 변경, 변화가 심한 조명이나 그림자 등 외부 환경적인 요인이 크게 작용한다. 특히 영상 데이터의 전·배경 분리 후 다수의 전경 블랍(Blob)이 하나로 합쳐지는 문제가 빈번하게 발생하는데, 이를 블랍의 겹침 문제라고 한다[1]. 두 개 이상의 전경 객체가 서로를 가리면 객체의 전경 블랍이 함께 그룹화 되어 블랍의 픽셀을 각 객체로 정확하게 분류하는 것이 어려워진다.

블랍의 겹침 문제를 해결하기 위하여 여러 가지 알고리즘이 연구되었는데, 대표적으로 M. Harville[2]과 D. Greenhill[3]은 검출된 객체의 깊이 분석 방법을 제안하였다. 그들은 그룹화 된 블랍을 분리하는데 있어서 객체의 깊이분석이 유용하다고 주장하였으며, 카메라와의 거리에 따라 객체의 깊이가 달라지기 때문이다. 그러나 객체의 깊이 분석을 위한 연산 시간이 길고 비용이 높다는 단점이 있었다. Jang[4]은 고속 검출이 가능한 FAST 알고리즘으로 특징점을 검출해서 깊이 영상 정보를 이용하였는데, 연산 시간을 개선하였지만 객체가 완전히 겹쳤을 때는 실패하는 경우가 많았다. Chang[5]은 다중 카메라 입력을 융합한 블랍 겹침 해결 알고리즘을 제안하였다. 특정 감시 장면에 설치된 다양한 각도의 다수 카메라로부터 얻어진 입력 영상 데이터를 융합하여 블랍 겹침 처리 성능을 개선하였지만, 제한된 상황과 장소에서만 적용할 수 있는 문제점이 있었다. Senior[6]에 의해 제안된 외형 모델 기반 블랍겹침 해결 알고리즘은 모델 매개변수 수에 대한 모델 추정 연산시간이 길다는 단점이 있었으며, 몬테 카를로(Monte Carlo) 필터와 같은 확률론적 접근법은 정확한 동작 모델링을 필요로 하고 상호작용하는 객체의 비선형 운동에서 실패하는 문제가 있었다[7].

본 논문에서는 블랍의 시계열 특징을 활용한 의사결정트리 기반 블랍 겹침 해결 방법을 제안한다. 제안방법은 입력 영상 데이터에서 세 가지 특징을 추출한다. 제안된 세 가지 특징은 각각의 개별 영상 프레임이 아닌 인접한 두 개의 영상 프레임으로부터 추출되며, 시간의 흐름에 따라 변화를 일으키는 전경 블랍의 상태를 정확하게 학습하는데 주안점을 뒀다. 추출된 특징들은 C4.5 알고리즘으로 학습된 의사결정트리 생성에 이용되며, 이를 통해 전경 블랍의 정상 상태와 겹침 상태를 분류한다. 후처리로서 겹침 상태로 분류된 블랍에 대해서는 전경 블랍을 감싸고 있는 사각테두리를 기준으로 올바른 중심점 추출작업을 할 수 있다.

본 논문의 구성은 다음과 같다. 2장은 제안방법인 블랍의 시계열 특징추출 방법론과 의사결정트리 학습을 위한 C4.5 알고리즘에 대해 기술한다. 3장에서는 블랍의 시계열 특징추출 실험 및 생성된 의사결정트리, 그리고 블랍 겹침 상태의 분류 실험결과와 성능평가에 대해 논한다. 마지막으로 4장에서는 결론을 기술하고 본 연구가 갖는 한계점 및 향후 연구에 대하여 기술한다.

Ⅱ. 제안 방법

본 논문의 제안 시스템은 그림 1과 같다. 먼저 연속된 입력 영상 데이터로부터 GMM 알고리즘 기반 전·배경분리 작업을 수행한다. 본 논문에서 제안된 특징들은 수치 값으로 표현되기 때문에 정확한 연산을 위해서 검출된 전경 영역에 사각테두리를 그리는 작업을 수행하였다.

Fig. 1.

System outline of proposed method

다음은 특징추출단계로서, 현재 영상 프레임과 이전 영상 프레임을 비교해서 전경 블랍의 세 가지 시계열 특징을 추출한다. 학습 및 분류단계에서는 추출된 특징들을 이용해 C4.5 알고리즘으로 학습하여 의사결정트리를 생성한다. 생성된 의사결정트리를 통해 전경 블랍의 정상 상태와 겹침 상태를 분류할 수 있다. 또한 겹침 상태로 분류된 전경 blob들은 해당 사각테두리를 기준으로 교정된 중심점 좌표를 계산한다. 본 논문에서는 보행자 영상 데이터를 실험 데이터로 활용하였으며, 따라서 본 논문에서의 전경 블랍은 보행자 블랍을 의미한다.

2.1 블랍의 시계열 특징 추출

일반적으로 지능형 영상 감시 시스템에서의 입력 영상 데이터는 시간에 따른 연속 데이터 형태를 지닌다. 본 논문에서는 보행자 영상 데이터를 기준으로 이전 영상 프레임과 현재 영상 프레임을 비교하여 전경 블랍 특징을 추출한다. 영상의 전·배경 분리작업은 가우시안 혼합모델 알고리즘(GMM, Gaussian Mixture Model)으로 수행하였다. 가우시안 혼합모델 알고리즘은 타 알고리즘에 비해 상대적으로 빠른 연산속도와 높은 정확도, 적은 메모리 요구량 등의 이유로 영상처리 분야에서 널리 쓰이고 있는 전·배경 분리기법이다[8].

그림 2와 같이 연속된 영상 프레임에서 이전 영상 프레임을 t - 1 프레임, 현재 영상 프레임을 t 프레임이라고 하고 n개 이상의 전경 블랍이 존재할 때, t 프레임에서의 입력 블랍은 t 프레임에서 최대 면적을 가지고 있는 블랍으로 했으며 t - 1 프레임의 입력 블랍은 t 프레임의 입력 블랍의 중심점과 가장 가까운 두 개의 블랍으로 했다. 문제해결의 복잡도를 낮추기 위해서 2개의 전경 블랍이 하나의 전경블랍으로 겹쳐지는 상황을 가정하였다. 모든 수치 값은 검출된 전경 블랍의 외곽선을 따라 직사각형 모양으로 그려진 사각테두리를 통해 계산하였다.

Fig. 2.

Input blob example in successive image frames

우선 t 프레임의 입력 블랍의 면적을 첫 번째 특징 “최대영역”로 정의하였다. 특정 프레임에서 블랍의 겹침 현상이 발생했을 경우 둘 이상의 블랍이 하나의 사각테두리로 그려지기 때문에 해당 블랍이 최대 면적 값을 지닐 가능성이 높다.

그리고 t 프레임에서의 입력 블랍을 B_i , t - 1 프레임에서의 입력 블랍 두 개를 각각 B_j, B_k 라고 할 때, B_j와 B_k의 면적을 합한 값에서 B_i의 면적 값을 뺀 값의 절대 값을 두 번째 특징 “영역 차”로 정의하였다. 카메라 각도가 고정됐다고 가정할 때 특정 영상 프레임 내 n개의 보행자 전경 블랍들의 면적은 일정하다. 하지만 임의의 t 프레임에서 겹침 현상이 발생했을 경우, 겹쳐진 블랍 B_i의 면적은 t - 1 프레임에서의 정상 블랍 B_j와 B_k의 면적 합과의 면적 차이가 작을 것으로 예상할 수 있다. 마지막으로 세 번째 특징 “이동거리”는 B_i의 중심점 좌표에서 B_j와 B_k 각각의 중심점 x좌표와 y 좌표 합의 평균좌표와의 차이 값으로 정의하였다. 이 특징은 t 프레임의 B_i와 t - 1 프레임의 B_j와 B_k간의 거리를 반영한다. 위 세 가지 특징들은 특정 하나의 영상 프레임이 아닌, 연속된 두 개의 영상 프레임에서 추출된다.

Ⅲ. 실험 및 결과

본 논문에서 제안된 시스템을 이용해 블랍의 겹침 상태를 분류하고 겹쳐진 블랍들의 올바른 중심점을 추출했다. 실험 영상은 PETS 2009 데이터 셋을 사용하였다. PETS(Performance Evaluation of Tracking and Surveillance)는 추적과 감시의 성능평가를 위한 국제학회로서 영상 데이터를 이용한 객체 검출 및 추적, 인식 알고리즘의 성능을 평가할 수 있는 데이터 셋을 제공하고 있다[11]. PETS 2009는 다양한 환경의 영상 데이터를 제공하고 있는데, 본 논문에서는 그 중 사람의 추적을 위해 제공되는 영상인 S2-L1 데이터 셋을 사용하였다. S2-L1 데이터 셋은 다수의 사람이 복잡하게 움직이는 영상이므로 본 논문에서 제안된 시스템을 적용하기에 적합하다. 표 1은 실험에 사용된 영상 데이터의 설명이다. 전·배경분리를 통한 전경 객체 검출 과정에서 블랍 겹침 현상이 일어나기 때문에 실제 보행자 수와 검출 객체 수의 차이가 발생한다.

Table 1.

Experimental data sets

영상 데이터의 입·출력 및 영상처리 알고리즘은 OpenCV 2.1 버전을 이용하였다. 학습단계에서는 C4.5 알고리즘을 구현한 WEKA의 J48 툴킷을 사용하였으며 그림 3은 WEKA의 입력을 위해 구성한 속성 셋과 데이터 셋의 일부이다. 세 가지 속성은 이산 값으로 주어지고 학습 데이터의 정답 레이블은 이진 분류로 주어진다. 세 가지 속성의 각각의 이산 값과 정답 레이블이 하나의 학습 데이터 셋을 구성하게 된다.

Fig. 3.

Attributes and data set (.arf file) for WEKA analysis

C4.5 알고리즘의 학습을 위하여 선택한 영상 데이터 셋의 총 프레임에서 추출된 특징 값으로 전체 모집단을 구성하였고 그 중 70%를 학습 셋으로 활용하였다.

또한 학습 셋을 제외한 나머지 30%로 검증 및 테스트 셋을 구성하였고 데이터의 과적합을 방지하기 위하여 교차 검증을 수행하였다.

그림 4는 본 논문에서 제안한 블랍의 시계열 특징들로 모델링한 의사결정트리이다. 첫 번째 노드에서는 “영역 차” 특징으로 블랍의 겹침 상태가 분류된다. 분할지점은 1003으로서, 현재 영상 프레임의 입력 블랍 면적과 이전 영상 프레임의 입력 블랍 두 개를 합한 면적 차이가 1003 이하로 비교적 작을 때 블랍의 겹침 상태로 분류했다. 두 번째 노드에서는 “이동거리” 특징으로 분류됐으며, 분할지점은 21이다. 블랍 겹침 현상은 주로 인접한 블랍들 간에 발생하는데, 현재 영상 프레임의 입력 블랍과 이전 영상 프레임의 입력 블랍 간의 거리 차이가 21보다 클 경우 블랍의 정상 상태로 분류했음을 알 수 있다. 세 번째 노드에서는 “최대영역” 특징으로 분류됐다. 분할지점은 3286으로서, 현재 영상 프레임의 입력 블랍 면적이 3286을 넘어서면 블랍의 겹침 상태로 분류했다. 생성된 의사결정트리를 통해 정상 블랍의 평균 면적을 추정할 수 있다. 총 1109개의 데이터 셋 중 올바르게 분류된 데이터의 개수는 971개였으며, 올바르지 않게 분류된 데이터의 개수는 138개로서 정확도는 86.56%로 측정됐다.

Fig. 4.

Blob occlusion decision tree using C4.5 algorithm

본 논문에서 제안된 시스템을 통해 겹침 상태로 분류된 블랍들의 중심점 좌표를 교정한 후, 개선된 다중 객체 추적의 정확도를 정량적으로 평가하기 위해 CLEAR MOT Metrics를 사용했다. CLEAR(the Classification of Events, Activities, and Relationships) 2006, 2007 워크숍에 새롭게 제안된 평가방법인 CLEAR MOT Metrics는 다중 객체 추적의 정확성을 평가하는 지표로서 MOTA(Multi-Object Tracking Accuracy)와 MOTP를 사용하는데[12], 본 논문에서는 MOTA 평가방법을 사용하였다. MOTA는 주어진 지상 실측 정보와 다중 객체 추적 시스템의 추적정보 결과를 비교하여 추적 정보를 놓치는 경우(Missed Detects), 가긍정적 판단(False Positives)인 경우, 추적 정보가 다른 객체와 바뀌는 경우의 수를 계산한다. 이렇게 계산된 결과를 식 (6)에 적용하여 MOTA를 구한다. MOTA를 통해 다중객체추적의 정확도를 평가할 수 있다.

M. D. Breitenstein[13], J. Berclaz[14]의 연구 결과와 비교하였으며, 평가방법과 실험 데이터 셋 모두 CLEAR MOT Metrics와 PETS 2009 영상 데이터가 사용된 연구 결과들이다.

비교 결과는 그림 5와 같으며, 총 2372개의 객체에 대하여 측정을 하였다. 추적 정보를 놓치는 경우인 m_t가 559개로 비교적 높게 나왔으나 제안된 시스템에서 중점적으로 줄이고자 한 가긍정적 판단인 경우 fp_t는 11개로서 전체 MOTA 수치를 높이는데 큰 기여를 했다. M. D. Breitenstein의 방법이 0.79, J. Berclaz의 방법이 0.67인데 비하여 본 논문에서 제안한 시스템의 MOTA는 0.80으로서, 이전 연구들보다 개선되었음을 알 수 있다.

Fig. 5.

Performance comparison with existing research

Ⅳ. 결론 및 향후 과제

현재 지능형 영상 감시시스템의 용도는 점점 고도화되고 있으며, 설치지역과 규모도 방대하다. 이에 따라 객체 검출에서 객체 추적으로 이어지는 세부 알고리즘의 성능 향상이 꾸준히 요구되고 있다. 다중 객체를 정확하게 추적하기 위해서는 객체 검출 단계에서 자주 발생하는 블랍의 겹침 상황을 효과적으로 해결해야 하는데, 본 논문에서는 연속된 두 영상 프레임을 기준으로 블랍의 시계열 특징을 추출해서 블랍의 겹침 상황을 분류하고자 하였다. 학습 및 분류를 위한 의사결정트리 생성은 C4.5 알고리즘을 사용하였으며, 실험은 PETS 2009 영상 데이터를 통해 이루어졌다. 기존 연구들과의 비교 결과, 본 논문에서 제안된 시스템을 활용했을 때 다중객체 추적 성능 향상이 더 개선됐음을 알 수 있다. 다만 블랍의 겹침 상황을 두 개의 전경 블랍이 합쳐지는 경우로만 한정지었기 때문에 세 개 이상의 전경 블랍이 합쳐지는 경우에도 올바르게 분류할 수 있도록 후속 연구가 수행되어야 한다.

References

• B. Y. Lee, L. H. Liew, and W. S. Cheash, "Occlusion handling in videos object tracking: A survey", IOP conference series: earth and environmental science, Conference 1, 18, Feb), (2014. [https://doi.org/10.1088/1755-1315/18/1/012020]
• M. Harville, G. Gordon, and J. Woodfill, "Adaptive video background modeling using color and depth", Image Processing, 2001. Proceedings. 2001 International Conference on. IEEE, 3, Oct), (2001. [https://doi.org/10.1109/icip.2001.958058]
• D. Greenhill, J. Renno, J. Orwell, and G. A. Jones, "Occlusion analysis: Learning and utilising depth maps in object tracking", Image and Vision Computing, 26(3), p430-441, Mar), (2008. [https://doi.org/10.1016/j.imavis.2006.12.007]
• Hye-Keong Jang, Hye-Youn Lim, and Dae-Seong Kang, "A Study of Moving Object Segmentation Using Depth Image and Feature Points in Occlusion Situation", Journal. of KIIT, 10(10), p11-16, Oct), (2012.
• T. H. Chang, S. Gong, and E. J. Ong, "Tracking Multiple People Under Occlusion Using Multiple Cameras", BMVC, (2000). [https://doi.org/10.5244/c.14.57]
• A. Senior, A. Hampapur, Y. L. Tian, and L. Brown, "Appearance models for occlusion handling", Image and Vision Computing, 24(11), p1233-1243, Nov), (2006. [https://doi.org/10.1016/j.imavis.2005.06.007]
• M. Isard, and A. Blake, "Contour tracking by stochastic propagation of conditional density", European conference on computer vision, Springer, Berlin, Heidelberg, p343-356, Apr), (1996. [https://doi.org/10.1007/bfb0015549]
• C. Stauffer, W. Eric, and L. Grimson, "Adaptive background mixture models for real-time tracking", Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on, 2, Jun), (1999.
• J. Ross. Quinlan, "Induction of decision trees", Machine learning, 1(1), p81-10, Mar), (1986.
• J. Ross. Quinlan, "C4. 5: programs for machine learning", Morgan Kaufmann Publishers, San Mateo, CA, (1993).
• J. Ferryman, and A. Shahrokni, "Pets2009: Dataset and challenge", Performance Evaluation of Tracking and Surveillance (PETS-Winter), 2009 Twelfth IEEE International Workshop on. IEEE, Dec), (2009. [https://doi.org/10.1109/pets-winter.2009.5399556]
• Bernardin, K., and Stiefelhagen, R., "Evaluating multiple object tracking performance: the CLEAR MOT metric", EURASIP Journal on Image and Video Processing, 246309, Dec), (2008.
• M. D. Breitenstein, F. Reichlin, and B. Leibe, "Online multiperson tracking-by-detection from a single, uncalibrated camera", IEEE transactions on pattern analysis and machine intelligence, 33(9), p1820-1833, Dec), (2011. [https://doi.org/10.1109/tpami.2010.232]
• J. Berclaz, A. Shahrokni, and F. Fleuret, "Evaluation of probabilistic occupancy map people detection for surveillance systems", Proceedings of the IEEE International Workshop on Performance Evaluation of Tracking and Surveillance, No. LIDIAP-CONF-2009-064, Jun), (2009.