객체 검출 시스템 개발을 위한 Tracking-Learning-Detection 알고리즘과 학습알고리즘에 관한 연구

Ⅰ. 서 론

현대에는 각종 사건 사고의 잦은 발생으로 인해 영상 처리 시스템의 수요는 날로 증가하고 있다. 이러한 시스템들은 유동인구가 많은 공간에서 위험물건, 위험차량, 위험인물에 의한 피해를 예방할 수 있도록 한다. 이러한 영상처리 시스템에는 다양한 영상처리기법이 존재한다. 영상처리 및 컴퓨터 비전은 시각 정보와 영상을 얻는 장비의 발달 및 처리기술의 발전으로 다양한 분야에서 수요가 급격히 증가하고 있으며 사람의 눈으로 인지 가능한 사진 뿐 아니라 stereo image, range image, multi band image에 대한 연구에서도 활발하게 진행 중이다. 또한 영상의 데이터를 처리하는 기술로 영상에서 필요한 정보를 추출하고 가공하여 원하는 정보를 얻는 기술이 있으며 그중 객체의 검출을 위한 다양한 기술이 존재한다. 영상 픽셀 데이터 분포에서 peak를 이용하는 MeanShift 알고리즘, 경험적 분포와 변경이 가능한 탐색윈도우 특성을 이용하는 CamShift 알고리즘, 영역 간 밝기차를 이용하여 특징점을 추출하는 Haar Feature 알고리즘[1][2] 등이 있다. 이러한 객체검출 알고리즘을 이용한 영상 인식에서 객체의 추적을 어렵게 하는 요인으로는 물체의 갑작스런 움직임, 물체 또는 장면의 변화, 물체의 형태변형, 주변 배경에 의한 가려짐 현상, 조명의 변화, 카메라의 움직임 등이 있다. 이러한 요인들에 대처를 하기 위해 실시간 객체검출 및 추적, 변화에 대한 지속적인 학습을 실행하는 학습 알고리즘이 연구 되고 있다. 최근에는 하드웨어와 소프트웨어의 급격한 발전에 의해 빅데이터를 이용하는 머신러닝과 딥러닝을 빠른 시간 내에 분석하고 처리할 수 있는 기술이 잘 구축되어 있고 다양한 대용량 데이터에 대한 해법이 점차 개발되어 다양한 문제를 해결해 나가고 있다. 그 중 Google의 Deepmind에서 발표한 AlphaGo와 같은 다층 신경망 구조의 모델링 기법은 영상처리 분야 중 객체의 인식과 분류의 문제에서 수많은 학습을 통해 높은 인식률을 보이며 영상 인식 분야에서 엄청난 성과를 이뤄냈다. 이러한 영상처리 기술과 머신러닝의 발전은 영상처리 시스템의 많은 문제점을 해결해 나가고 있다. Zdenek Kalal이 제안하는 TLD(Tracking-Learning-Detection)[3] 시스템은 추적, 학습, 검출을 실시간으로 수행하며 검출 또는 추적의 실패 시 검출부와 추적부의 상보적 관계를 통해 지속적인 탐지를 수행한다. 이러한 검출 및 추적 단계를 거친 후 머신러닝을 이용하여 객체를 학습하므로 높은 추적 성공률을 보인다. 그러나 TLD를 통한 객체의 학습 단계에서 객체의 형태적 변형에서의 검출 성능은 저하되고 객체의 가려짐에 의해 배경의 추적을 시행하는 등의 오류를 범할 수 있다. 본 논문에서는 Kalal의 TLD 프레임워크을 기반으로 학습단계에서 기존의 머신러닝 P-N Learning을 대신한 H-CNN(Hippocampus - Convolution Neural Network) 학습 알고리즘을 이용하여 실시간 다중 객체 검출 시스템을 제안한다. 본 논문의 2장에서는 TLD프레임워크와 H-CNN 학습 알고리즘에 대해 설명하고 3장에서 제안하는 방법에 대해서 소개한다. 마지막으로 4장에서는 실험 결과를 통한 성능의 확인과 결론 그리고 향후 연구의 방향을 제시한다.

Ⅱ. 관련 연구

2.1 TLD 프레임워크

본 논문에서의 전처리 과정은 두 가지로 분류되며 검출 및 추적으로 이루어진다. 우선 입력으로 들어오는 영상에서 관심대상을 검출하고 추적하기 위해 Ferns알고리즘과 Optical flow 알고리즘을 사용한다. Ferns알고리즘을 통한 검출과 Optical flow알고리즘을 통한 추적은 상보적 관계를 이뤄 관심대상 검출 실패 시 빠른 대응을 할 수 있도록 재 추적을 시행한다.

본 논문에서는 Optical flow알고리즘을 이용하여 추적을 시행한다. Optical flow 알고리즘은 프레임 장면에서 관심객체가 어떤 방향으로 이동하는지 추적한다. 희소 Optical flow를 이용하는데 이는 외곽선과 같은 식별이 용이한 속성을 가진 추적 점을 사전에 먼저 지정하고 이를 이용하여 객체를 추적하기 때문에 적은 연산 량을 가지는 이점이 있다. Optical flow는 입력 영상을 통해 얻은 특징 점을 블록형태의 매칭 방식을 통해 객체를 추적한다. 이는 영상의 프레임을 일정한 블록으로 나누고 현재 관심 객체의 블록과 가장 유사한 이전 프레임의 블록을 찾아 현재 블록의 위치를 추정하는 방법이다. 블록의 움직임을 예측하는 방법 중 탐색 윈도우 영역 내의 블록과의 차이를 비교하여 유사도가 가장 높은 블록을 찾기에 정확도가 우수한 편이다[4][5].

본 논문에서는 Ferns알고리즘을 이용하여 검출을 시행한다. Ferns알고리즘은 SIFT, SURF 알고리즘과 같은 특징검출 알고리즘에 비해 빠른 처리 속도를 가지고 있으며 영상 매칭 성능 또한 매우 우수한 이점이 있다. 일반적인 영상의 특징 추출 알고리즘의 경우 외곽선과 같은 구분하기 쉬운 특징 점을 구한다. 그 후 얻은 특징 주변의 local patch에서의 특징 벡터를 추출하고 사전에 학습된 특징벡터와 입력영상에서 얻은 특징벡터들 사이의 비슷한 정도를 구한다. 그렇게 구한 비교 값을 통해 특징들 사이 기하학적 변환 관계를 추정하여 물체의 검출을 한다. 여기서 ferns는 특징 및 특징벡터의 추출 까지는 일반적인 방법을 사용하지만 매칭의 단계에서는 특징 짐 및 특징벡터를 분류의 문제로 간주한다. 즉 사전에 학습된 특징 점 및 특징벡터를 class로 지정하고(학습 Class) 이후에 입력된 영상에서의 새로운 특징정보를 구한다. 그 후 얻은 대상의 특징 점 및 특징벡터를 학습 class중 어떤 class에 속하는지를 판단하여 class에 분류한다. 이러한 학습 데이터와 입력 데이터의 지속적인 분류를 통해 수많은 방식의 Class를 생성 및 변형시켜 대량의 데이터를 얻을 수 있으며 이를 통한 지속적인 검출 데이터 업데이트를 할 수 있다. 이러한 저장된 대량의 특징클래스들은 단순한 binary feature의 형태로 저장되기 때문에 성능 및 속도 사이에 파라미터 값을 조절하여 빠른 연산 속도를 얻을 수 있다. 뿐만 아니라 오프라인으로 학습하는 것뿐만 아니라 온라인으로도 학습이 가능하기 때문에 점진적으로 향상된 학습이 가능하다.

그러나 검출 시 초기단계에서 학습을 위한 지연 시간이 걸린다는 문제점이 있다. 이럴 개선하기 위해 본 논문에서는 Optical flow 추적 알고리즘을 동시에 실시함으로 초기 성능의 희생을 막을 수 있다. 또한 물체의 변화가 가능한 크기를 제한하는 방법을 통해 학습에 걸리는 시간을 크게 줄일 수 있다. 어떤 입력 패치에서 각 binary feature의 출력은 f₁, f₂, …, f_N이라고 가정하였을 때 이 패치의 class는 식 (1)과 같이 구할 수 있다[6]

$\[ k={\arg max}_{k}P\left(f_1,f_2, \dots f_N|C_k\right) \]$

(1)

먼저, 수식 표현을 위한 용어 및 기호를 정리하면 다음과 같다.

f_i : binary feature
N: Total number of binary features (N = M^*S)
F_j : fern (A set of binary features)
M: Number of fern
S : Size of fern (Number of binary features)
C_k : Class

이 확률을 계산하는 방법으로는 다음의 식 (2)와 같다.

$\[ P\left(f_1,f_2, \dots ,f_N|C_k\right)={\prod }_{j=1}^{M}P\left(F_j|C_k\right)\to M*2^S \]$

(2)

일반적인 계산을 하기 위해서 원래는 2N개의 가능한 모든 binary feature 결과에 대한 확률을 구한다. 그러나 N의 개수는 굉장히 많기에 현실적으로 불가능하다. 또한 binary feature들 사이의 상관관계가 없다고 가정하고 단순히 각각의 feature가 나올 확률을 전부 곱하여 확률의 근사치를 계산하면 단순화가 심해져 성능이 저하가 발생한다. 따라서 절충적인 방법으로 식 (2)와 같이 feature들을 그룹으로 묶어 각 그룹 사이에 상관관계가 없다고 가정하는 방법을 사용한다. 즉 S개씩 binary feature들을 묶어 fern을 만들고 각 fern의 확률 값을 구하여 곱하는 방식을 통해 확률을 구한다.

그림 1은 Ferns 알고리즘의 분류 과정을 나타낸 모습이다. 그림 2는 TLD 프레임워크의 블록다이어그램을 나타낸 모습이다[6].

Fig. 1.

Classification method of ferns algorithm

Fig. 2.

The block diagram of the TLD framework

2.2 해마신경망(Hippocampus Neural Network)

해마신경망이란 인간의 뇌의 한 부분으로 뉴럴네트워크를 통해 오랜 기간 학습하여 훈련된 신경망을 의미한다. 사람의 뇌 속에서 특정한 패턴을 인식할 때 해당 패턴의 특정 정보에 흥분하는 세포들은 특정 신호를 발생시킨다. 해마에 의해 분석 된 어떠한 정보는 해마에 이전에 저장된 기억에서 해당 정보의 내용을 찾을 수 있다. 이때 뇌 속에 기억된 정보는 해당 특징에 의해 흥분한 세포의 결합으로 기억된다. 뇌에서는 해당하는 패턴 하나에 필요한 흥분 세포의 정보만을 저장한다. 일반적으로 신경망 구조는 필요한 특징만을 저장할 수 없지만 본 논문에서는 해당하는 특징에 따라서 유동적으로 정보를 저장하는 시스템을 제안한다. 뇌 속 해마를 통하여 분석된 정보들을 호감도 있는 정보로 판단하면 학습이 쉽게 이루어지고 호감도가 낮은 정보로 판단을 하게 된다면 단순한 휘발성 영역인 단기 기억장소에 기록되게 된다. 여러 횟수의 반복 학습을 통한 정보는 장기기억에 저장된다. 여러 입력 패턴들에서 패턴의 지속적인 호감도 상승은 장기기억에 저장 될 수 있다. 그러므로 이러한 호감도의 조절을 통해 단기와 장기 기억에 따라 정보의 저장 방법을 달리 할 수 있다.

본 논문에서는 기존의 오류역전파 알고리즘에 해마신경망의 인간의 뇌 속 해마의 장기기억과 단기 기억의 특징을 적용한다. 그러므로 오류 역전파 알고리즘의 오차를 계산하고 출력 층부터 입력 층까지의 신경망을 따라 역전파하며 가중치를 수정하는 특징과 함께 호감도에 따라 단기기억에서 장기기억으로 전파하는 기능을 추가한다. 장기기억과 단기기억을 매번의 학습 시에 은닉 층의 뉴런들을 모두 사용하지 않고 자주 사용되는 장기기억 뉴런을 주로 사용하고 자주 사용되지 않는 단기기억뉴런은 뉴런의 일부만 사용하여 훈련과정에서 보다 간결하고 잦은 형태의 학습을 한다. 또한 과 적합 방지를 통해 용량의 누수를 사전에 방지한다. 실험 시 모든 뉴런을 전부 사용하는 방법으로 인식률을 향상 시킬 수 있다. 모든 패턴들을 학습 단계에서 전부 사용하지 않고 자주 사용되는 장기기억의 패턴을 주 학습 데이터로 사용한다. 또한 자주 사용되지 않는 단기기억의 패턴은 적게 사용하는 방법으로 학습을 진행한다. 이는 학습 단계에서 발생하는 많은 연산량과 복잡함을 줄이며 중복된 판단을 하는 뉴런 세포체를 줄여 더욱 정확하며 효율적인 신경망의 구성을 가능케 한다. 해마신경망 알고리즘은 실수 값을 가지는 패턴들의 평균을 이용하여 학습을 한다. 패턴의 평균값에서 각각 패턴의 편차를 구해 임계치에 포함되면 1, 그렇지 않으면 -1로 지정한고 각각의 저장 공간으로 할당된다[7]-[9]. 다음의 그림 3은 해마신경망의 동작방법을 나타낸다.

그림 3의 해마신경망의 동작 방법에서 내후각뇌피질(Entorhinal Cortex)에서는 활성화 세포의 정보를 관통 경로를 통하여 치아-이랑(Dentate Gyrus)의 세포로 정보를 전달하는 역할을 한다. 그 후 치아-이랑에서는 해마체 내의 CA3-Region으로 세포의 정보를 보낸다.

Fig. 3.

Method of hippocampus neural network

CA3는 세포내의 정보를 순환메모리 구조를 통해 지속적인 학습을 시행하고 출력된 정보를 CA1-Region으로 보낸다. CA1에서는 피라미드 세포체와 시냅스를 이루고 있는 해마체로 정보를 보내며 또한 내후각뇌피질로 재투사를 시켜 치아-이랑을 제외한 모든 뉴런으로 활성화 세포의 정보를 보낸다.

Ⅲ. 제안하는 방법

본 논문에서 제안하는 방법으로는 그림 4와 같다. 입력영상을 TLD프레임워크(Optical flow, Ferns)를 통해 객체의 검출과 추적을 동시에 시행한다. 이는 검출과 추적의 상보적 관계를 유지하며 물체의 검출 및 추적 실패 시 빠른 재 추적을 하기 위한 방법이다. 지속적인 추적 및 검출을 통해 얻은 특징점 및 특징 벡터들을 Ferns 알고리즘의 분류기를 통해 일련의 Class로 분류한다. 분류된 특징벡터클래스는 H-CNN알고리즘의 학습 데이터로 이용된다. 기존의 CNN 알고리즘은 병렬분산처리 기반의 다층 신경망의 구성으로 여러 필터를 통한 특징추출을 하는 알고리즘이기에 많은 연산을 필요로 한다.

Fig. 4.

Proposed algorithm

본 논문에서는 HNN 학습 알고리즘의 장점인 훈련과정에서 호감도에 따른 장기기억 및 단기기억의 패턴 훈련의 간결화 과정을 적용한다. 또한 특징벡터클래스의 분류를 적용하여 전 처리를 통해 얻은 클래스를 H-CNN 학습 알고리즘을 통해 학습한다. 따라서 기존 CNN과 달리 식별이 용이한 특징 클래스를 H-CNN의 신경망으로 다시 특징을 추출하고 학습하기에 더욱더 강인한 특징추출 성질을 가진다. 기존의 CNN 학습 알고리즘은 과적합 방지를 위해 확률기반의 랜덤변수를 통해 학습하므로 정확성이 낮을 수 있다. 그러나 HNN 학습 알고리즘은 단기, 장기 기억을 이용한 확정적인 특징의 결과물을 통해 학습하므로 학습의 정확성을 높일 수 있다.

Ⅳ. 실험 결과 및 결론

본 논문에서는 Zdenek Kalal의 TLD_Dataset을 사용하여 실험을 진행하였다. 표 1은 실험 데이터세트로 데이터의 특성을 나타낸다. 또한 그림 5는 실험 데이터세트를 이용한 각 데이터별 실험결과이다.

Table 1.

Experimental dataset

Fig. 5.

Dataset experiment results

표 2는 기존의 알고리즘과 제안하는 알고리즘의 비교를 통한 성능 분석을 나타낸다.

Table 2.

Experimental results of the proposed algorithm

본 논문에서는 기존의 알고리즘으로 히스토그램 매칭과 템플릿 매칭의 중간의 특성을 지니는 HoG 알고리즘과 머신러닝의 지도학습 알고리즘 중 분류모델에 해당하는 Support Vector Machine을 이용한 객체검출 알고리즘과 머신러닝기반 P-N learning을 사용하는 TLD알고리즘과의 비교를 통해 제안하는 알고리즘의 우수성을 증명하였다.

표 2의 실험결과에서 제안하는 알고리즘은 기존의 알고리즘보다 약 0.03~0.07sec 느린 검출시간을 가지지만 그에 비해 약 4.9~10% 향상된 검출율과 약 0.28~0.4sec 빠른 재 추적을 보였다. 또한 더욱 좁은 검출오차범위를 가지며 향상된 인식율을 증명하였다. 제안하는 알고리즘의 경우 전처리의 초기 학습 단계에 의해 기존의 알고리즘보다 조금 느린 검출 시간을 가지지만 신경망의 학습 단계를 거듭할수록 검출율의 오차와 재 추적에 걸리는 시간이 현저히 감소하였다. 따라서 초기 검출단계에서의 지연시간을 감수하고 더욱 빠른 재추적과 향상된 인식률을 증명하였다. 하지만 제안하는 알고리즘의 전처리의 결과로 추출된 특징벡터 클래스를 입력데이터로 활용하는 H-CNN은 초기 학습 단계에서의 특징분류의 지연시간을 가진다. 이러한 지연시간에 의해 검출 되지 못하는 객체들은 차후의 학습 단계에서의 검출에도 영향을 미쳐 초기 검출의 지연시간을 만든다. 따라서 향후 연구 과제로는 전 처리와 학습부의 사이 초기 검출 지연시간을 줄이기 위한 학습 데이터의 연결강도개선, 즉 특징벡터클래스와 H-CNN의 최적화 알고리즘을 연구하고 다층신경망 구조의 여러 파라미터를 조절하여 학습에 적합한 H-CNN의 구조를 연구할 것이다.

Acknowledgments

이 논문은 2017년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 국책연구사업임. (No. 2017R1C1B5017606)

References

• Chun-Te Chen, and Liang-Gee Chen, "A self-adjusting weighted median filter for removing impulse noise in images", Image Processing, International Conference on, 1, p419-422, Sep), (1996.
• E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, "ORB: an efficient alternative to SIFT or SURF", In Computer Vision (ICCV), 2011 IEEE International Conference, p2564-2571, (2011). [https://doi.org/10.1109/iccv.2011.6126544]
• Z. Kalal, K. Mikolajczyk, and J. Matas, "Tracking-learning-detection", IEEE Transactions on Pattern Analysis and Machine Intelligence, 34(7), p1409-1422, (2012).
• K. Horn, Berthold, and Brian G. Schunck, "Determining optical flow", 1981 Technical symposium east. International Society for Optics and Photonics, p319-331, Nov), (1981. [https://doi.org/10.1016/0004-3702(81)90024-2]
• Wan, Eric, and Ronell Van Der Merwe, "The unscented Kalman filter for nonlinear estimation", Adaptive Systems for Signal Processing, AS-SPCC, IEEE, p153-158, Sep), (2000.
• Bosch, Anna, Andrew Zisserman, and Xavier Muno, "Image classification using random forests and ferns", Computer Vision, 2007. ICCV 2007. IEEE 11th International Conference on. IEEE, (2007). [https://doi.org/10.1109/iccv.2007.4409066]
• In-Gwon Oh, Hyun-Jin Kim, and Jae-Chan Namgung, "Real Time Facial Recognition using SURF and Hippocampal Neuron Networks", Journal of KSII, 6(1), p393-403, Jan), (2012.
• J. M. Zurada, "Introduction to artificial neural systems", West Group, First Edition edition, p95-2218, Oct), (1992.
• Heeyoul Choi, "Friendly Introduction to Deep Learning", Journal of Platform Technology, 2(3), p3-18, Sep), (2014.
• K. Simonyan, and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition", Computer Vision, Large Scale Visual Recognition Challenge 2014.