Home

본 논문에서의 전처리 과정은 두 가지로 분류되며 검출 및 추적으로 이루어진다. 우선 입력으로 들어오는 영상에서 관심대상을 검출하고 추적하기 위해 Ferns알고리즘과 Optical flow 알고리즘을 사용한다. Ferns알고리즘을 통한 검출과 Optical flow알고리즘을 통한 추적은 상보적 관계를 이뤄 관심대상 검출 실패 시 빠른 대응을 할 수 있도록 재 추적을 시행한다.

본 논문에서는 Optical flow알고리즘을 이용하여 추적을 시행한다. Optical flow 알고리즘은 프레임 장면에서 관심객체가 어떤 방향으로 이동하는지 추적한다. 희소 Optical flow를 이용하는데 이는 외곽선과 같은 식별이 용이한 속성을 가진 추적 점을 사전에 먼저 지정하고 이를 이용하여 객체를 추적하기 때문에 적은 연산 량을 가지는 이점이 있다. Optical flow는 입력 영상을 통해 얻은 특징 점을 블록형태의 매칭 방식을 통해 객체를 추적한다. 이는 영상의 프레임을 일정한 블록으로 나누고 현재 관심 객체의 블록과 가장 유사한 이전 프레임의 블록을 찾아 현재 블록의 위치를 추정하는 방법이다. 블록의 움직임을 예측하는 방법 중 탐색 윈도우 영역 내의 블록과의 차이를 비교하여 유사도가 가장 높은 블록을 찾기에 정확도가 우수한 편이다[4][5].

본 논문에서는 Ferns알고리즘을 이용하여 검출을 시행한다. Ferns알고리즘은 SIFT, SURF 알고리즘과 같은 특징검출 알고리즘에 비해 빠른 처리 속도를 가지고 있으며 영상 매칭 성능 또한 매우 우수한 이점이 있다. 일반적인 영상의 특징 추출 알고리즘의 경우 외곽선과 같은 구분하기 쉬운 특징 점을 구한다. 그 후 얻은 특징 주변의 local patch에서의 특징 벡터를 추출하고 사전에 학습된 특징벡터와 입력영상에서 얻은 특징벡터들 사이의 비슷한 정도를 구한다. 그렇게 구한 비교 값을 통해 특징들 사이 기하학적 변환 관계를 추정하여 물체의 검출을 한다. 여기서 ferns는 특징 및 특징벡터의 추출 까지는 일반적인 방법을 사용하지만 매칭의 단계에서는 특징 짐 및 특징벡터를 분류의 문제로 간주한다. 즉 사전에 학습된 특징 점 및 특징벡터를 class로 지정하고(학습 Class) 이후에 입력된 영상에서의 새로운 특징정보를 구한다. 그 후 얻은 대상의 특징 점 및 특징벡터를 학습 class중 어떤 class에 속하는지를 판단하여 class에 분류한다. 이러한 학습 데이터와 입력 데이터의 지속적인 분류를 통해 수많은 방식의 Class를 생성 및 변형시켜 대량의 데이터를 얻을 수 있으며 이를 통한 지속적인 검출 데이터 업데이트를 할 수 있다. 이러한 저장된 대량의 특징클래스들은 단순한 binary feature의 형태로 저장되기 때문에 성능 및 속도 사이에 파라미터 값을 조절하여 빠른 연산 속도를 얻을 수 있다. 뿐만 아니라 오프라인으로 학습하는 것뿐만 아니라 온라인으로도 학습이 가능하기 때문에 점진적으로 향상된 학습이 가능하다.

그러나 검출 시 초기단계에서 학습을 위한 지연 시간이 걸린다는 문제점이 있다. 이럴 개선하기 위해 본 논문에서는 Optical flow 추적 알고리즘을 동시에 실시함으로 초기 성능의 희생을 막을 수 있다. 또한 물체의 변화가 가능한 크기를 제한하는 방법을 통해 학습에 걸리는 시간을 크게 줄일 수 있다. 어떤 입력 패치에서 각 binary feature의 출력은 f₁, f₂, …, f_N이라고 가정하였을 때 이 패치의 class는 식 (1)과 같이 구할 수 있다[6]

먼저, 수식 표현을 위한 용어 및 기호를 정리하면 다음과 같다.

f_i : binary feature
N: Total number of binary features (N = M^*S)
F_j : fern (A set of binary features)
M: Number of fern
S : Size of fern (Number of binary features)
C_k : Class

이 확률을 계산하는 방법으로는 다음의 식 (2)와 같다.

일반적인 계산을 하기 위해서 원래는 2N개의 가능한 모든 binary feature 결과에 대한 확률을 구한다. 그러나 N의 개수는 굉장히 많기에 현실적으로 불가능하다. 또한 binary feature들 사이의 상관관계가 없다고 가정하고 단순히 각각의 feature가 나올 확률을 전부 곱하여 확률의 근사치를 계산하면 단순화가 심해져 성능이 저하가 발생한다. 따라서 절충적인 방법으로 식 (2)와 같이 feature들을 그룹으로 묶어 각 그룹 사이에 상관관계가 없다고 가정하는 방법을 사용한다. 즉 S개씩 binary feature들을 묶어 fern을 만들고 각 fern의 확률 값을 구하여 곱하는 방식을 통해 확률을 구한다.

그림 1은 Ferns 알고리즘의 분류 과정을 나타낸 모습이다. 그림 2는 TLD 프레임워크의 블록다이어그램을 나타낸 모습이다[6].

Fig. 1. 
Classification method of ferns algorithm

Fig. 2. 
The block diagram of the TLD framework

해마신경망이란 인간의 뇌의 한 부분으로 뉴럴네트워크를 통해 오랜 기간 학습하여 훈련된 신경망을 의미한다. 사람의 뇌 속에서 특정한 패턴을 인식할 때 해당 패턴의 특정 정보에 흥분하는 세포들은 특정 신호를 발생시킨다. 해마에 의해 분석 된 어떠한 정보는 해마에 이전에 저장된 기억에서 해당 정보의 내용을 찾을 수 있다. 이때 뇌 속에 기억된 정보는 해당 특징에 의해 흥분한 세포의 결합으로 기억된다. 뇌에서는 해당하는 패턴 하나에 필요한 흥분 세포의 정보만을 저장한다. 일반적으로 신경망 구조는 필요한 특징만을 저장할 수 없지만 본 논문에서는 해당하는 특징에 따라서 유동적으로 정보를 저장하는 시스템을 제안한다. 뇌 속 해마를 통하여 분석된 정보들을 호감도 있는 정보로 판단하면 학습이 쉽게 이루어지고 호감도가 낮은 정보로 판단을 하게 된다면 단순한 휘발성 영역인 단기 기억장소에 기록되게 된다. 여러 횟수의 반복 학습을 통한 정보는 장기기억에 저장된다. 여러 입력 패턴들에서 패턴의 지속적인 호감도 상승은 장기기억에 저장 될 수 있다. 그러므로 이러한 호감도의 조절을 통해 단기와 장기 기억에 따라 정보의 저장 방법을 달리 할 수 있다.

본 논문에서는 기존의 오류역전파 알고리즘에 해마신경망의 인간의 뇌 속 해마의 장기기억과 단기 기억의 특징을 적용한다. 그러므로 오류 역전파 알고리즘의 오차를 계산하고 출력 층부터 입력 층까지의 신경망을 따라 역전파하며 가중치를 수정하는 특징과 함께 호감도에 따라 단기기억에서 장기기억으로 전파하는 기능을 추가한다. 장기기억과 단기기억을 매번의 학습 시에 은닉 층의 뉴런들을 모두 사용하지 않고 자주 사용되는 장기기억 뉴런을 주로 사용하고 자주 사용되지 않는 단기기억뉴런은 뉴런의 일부만 사용하여 훈련과정에서 보다 간결하고 잦은 형태의 학습을 한다. 또한 과 적합 방지를 통해 용량의 누수를 사전에 방지한다. 실험 시 모든 뉴런을 전부 사용하는 방법으로 인식률을 향상 시킬 수 있다. 모든 패턴들을 학습 단계에서 전부 사용하지 않고 자주 사용되는 장기기억의 패턴을 주 학습 데이터로 사용한다. 또한 자주 사용되지 않는 단기기억의 패턴은 적게 사용하는 방법으로 학습을 진행한다. 이는 학습 단계에서 발생하는 많은 연산량과 복잡함을 줄이며 중복된 판단을 하는 뉴런 세포체를 줄여 더욱 정확하며 효율적인 신경망의 구성을 가능케 한다. 해마신경망 알고리즘은 실수 값을 가지는 패턴들의 평균을 이용하여 학습을 한다. 패턴의 평균값에서 각각 패턴의 편차를 구해 임계치에 포함되면 1, 그렇지 않으면 -1로 지정한고 각각의 저장 공간으로 할당된다[7]-[9]. 다음의 그림 3은 해마신경망의 동작방법을 나타낸다.

그림 3의 해마신경망의 동작 방법에서 내후각뇌피질(Entorhinal Cortex)에서는 활성화 세포의 정보를 관통 경로를 통하여 치아-이랑(Dentate Gyrus)의 세포로 정보를 전달하는 역할을 한다. 그 후 치아-이랑에서는 해마체 내의 CA3-Region으로 세포의 정보를 보낸다.

Fig. 3. 
Method of hippocampus neural network

CA3는 세포내의 정보를 순환메모리 구조를 통해 지속적인 학습을 시행하고 출력된 정보를 CA1-Region으로 보낸다. CA1에서는 피라미드 세포체와 시냅스를 이루고 있는 해마체로 정보를 보내며 또한 내후각뇌피질로 재투사를 시켜 치아-이랑을 제외한 모든 뉴런으로 활성화 세포의 정보를 보낸다.

컨벌루션 신경망은 여러 개의 조정 가능한 필터를 사용하여 입력 이미지에서 특징을 추출하는 데 사용된다. 또한 인간 두뇌 모델의 원리에서 파생 된 모델로, 필기 인식, 표정 인식 및 물체 인식과 같은 많은 인식 분야에서 우수한 성능을 보였다. 그러나 다중 레이어, 수많은 뉴런 및 큰 데이터로 인한 오랜 학습 시간의 문제로 어려움이 생긴다. 이러한 문제는 최근의 GPU와 같은 병렬 분산 처리 하드웨어의 기술개발에 의해 해결해 나가고 있다. 컨벌루션 신경망을 기반으로 하여 개발된 신경망으로는 AlexNet, GoogleNet, VGGNet, LeNet과 같은 신경망이 존재한다. 컨벌루션 신경망은 크게 두 종류의 레이어로 구성된다. 먼저 Convolution-layer로 입력 이미지에 필터의 슬라이딩 윈도우 방법을 통해 적절한 특징을 추출하는 레이어이다. 여기서 필터, stride, padding의 수 및 크기를 조정함에 따라 원하는 Convolution-layer를 구성할 수 있다. 먼저 컨벌루션 신경망에서의 필터는 RGB의 세 가지 필터를 사용하며, Stride는 특징추출을 위한 필터가 한번 움직일 때 움직이는 픽셀의 수를 뜻하고, Padding은 convolution연산에 의해 손실된 이미지의 크기를 보존하기 위해 필터의 가장자리 픽셀에 0의 값을 설정하는 것을 뜻한다. 두 번째 레이어로는 Poolinglayer(Subsampling)이 있다. 이미지에서 객체의 특징점 일 경우 인접한 픽셀은 비슷한 픽셀의 값을 가진다. 이러한 유사 픽셀은 연산 량의 증가를 일으킨다. 그러므로 Pooling-layer에서는 Convolution-layer를 통해 얻은 객체의 특징맵의 크기를 반으로 줄이는 과정을 통해 연산에 필요한 시간을 대폭 단축할 수 있다. 일반적으로 Pooling-layer로 사용되는 Max Pooling은 2 by 2 필터로 4개의 픽셀 중 최댓값의 픽셀을 출력한다[10].