Home

동작 구간 검출의 성능은 그림 3에서 보듯, 수작업으로 표시된 동작 레이블(Motion Segment, MS(t), 붉은색 점선)과 알고리즘으로 검출한 결과(Estimated Segment, ES(t), 푸른 실선)의 일치도를 정확도로 표현한다. 그러나 동작 구간 검출의 목적이 정확한 끝점(Start Point, End Point)을 찾는 것이며 구간 내에서 발생하는 오류는 동작 구간 검출의 실패를 뜻하고 정확도는 이를 적시하지 못한다.

Fig. 3. 
Errors in motion segmentation

그림 3에서 붉은 화살표 구간에서 발생하는 False Negative 오류가 동작 불연속점이며 동작의 크기가 작은 손 동작 검출에서 흔하게 발생하는 문제이다. 이를 구체화하기 위해 정확도, 불연속점 발생율, 불연속점 최대길이, 시간 지연, 사용된 축의 개수를 평가요소로 하는 다차원 평가법이 제안되었다[7].

다변량 에너지에 기반한 실시간 동작 구간 검출은 적합한 다변량 에너지의 구축과 해당 에너지에 근거해 m₁, m₀를 판단하는 이진 인식기의 설계에 달려있다.

다변량 에너지의 구축을 위해 기계학습의 특징점 선택이 적용된다. 특징점 후보 집합(Subset)을 구성하기 위한 기본원소(Basic Variable, BV)와 BV의 시계열로 구성된 시계열원소(Time Series Variable, TSV)가 표 1에 주어진다. TSV2.2는 BV의 현재 시점, t부터 2 샘플 이전, t–2까지 취득한 BV의 시계열을 뜻한다. 사전 연구를 통해 우리는 TSV가 BV에 비해 더 높은 변별력을 갖고 TSV와 BV의 결합이 동작유무 분별력을 향상시킴을 확인했다. 그러나 TSV는 현재 시점으로부터 과거 데이터를 메모리에 저장해야 하므로 알고리즘의 시간지연을 증가시킨다. 따라서 TSV를 고려한 특징점 선택은 동작 유무 분별력과 시간지연 크기를 결정한다.

두 단계에 거쳐 특징점을 선정하는데 1차로 BV간 변수를 조합해 {BV1}, {BV2}, ⋯, {BV1, BV2, BV3, BV4, BV5, BV6}에 이르는 총 64개의 후보 집합을 구성하고 이에 대해 2개의 목적함수(Objective function)를 적용하여 클래스간 변별력을 점검한다. 2차로, 앞서 선정된 2개의 우수 후보 집합을 구성한 BV의 시계열 변수 TSV의 차원을 1차부터 8차까지 증가시키며 다시 후보 집합을 조합 하고 이를 2개의 다른 목적함수로 최종 변별력을 확인한다.

특징점 우수 후보 집합을 선정하기 위해 우리는 4개의 선형/ 비선형 목적함수를 사용한다. 인식기와 독립적인 평가방법을 사용하는 Filter 방법을 1차 선정에, 인식기의 인식률로 직접 특징점 후보 집합을 선정하는 Wrapper 방법을 2차 선정에 사용한다. 이는 후보 집합의 변수가 증가할수록 높은 성능을 보이는 편향이 나타나는 Wrapper 방법에 대비한 조치이다. 선형 필터로 다중상관계수 (Multiple Correlaton Coefficient, MCC)를, 비선형 필터로 상호의존정보 (Mutual Information, MI)를 사용하고 Wrapper 방법의 선형 인식기로 BC를, 비선형 인식기로 kNN을 선택한다. BC와 kNN은 인식기의 모델 선택이 용이하다. 최종 선정된 특징벡터에 주성분분석 등의 차원축소는 시도되지 않는데 현재 고려중인 BV간 상관도가 높기 때문이다. 목적함수에 대한 자세한 설명은 [11]을 참고하기 바란다.

다변량 에너지 기반 접근법은 단변량 에너지를 다변량 에너지로 확장함으로써 생성된 다차원 공간에 투사된 에너지 샘플을 확률적 추정치로 변환한다. 지금까지 진행해온 연구 결과를 반영해 최종 인식기로서 입력-은닉-출력의 3층 MLP와 RBF를 선택했다[9][10]. 모델 선택의 편이를 위해 network topology와 활성화함수에 다음과 같은 제약을 둔다. 은닉층을 1개로, 입력층은 특징점의 차원과 동일하게, 출력층의 노드는 1개로 제한한다. MLP의 활성함수는 은닉층과 출력층 모두에 시그모이드 함수로 삼고 RBF는 은닉층을 위해 가우시안 함수를, 출력층은 시그모이드를 사용한다. 출력층의 최종 출력은 0과 1 사이의 확률값으로 도출되는데 이는 시그모이드 함수의 출력결과와 같다.결국 모델 선택은 은닉층의 노드 수 결정으로 축약되는 효과를 갖는다. MLP와 RBF는 식 (1)~(4)에 주어진다. 입력층의 노드 수가 m, 은닉층의 노드 수가 n 이며, w와 b, x는 각각 가중치, 편향, 입력벡터를 뜻한다. 최종 출력은 반올림 되어 0과 1로 출력된다.

실험을 위해 2차에 걸린 데이터 수집을 진행하였다. 1차로, 7명(남 4, 여 3)의 피험자가 3차원 공간에서 그린 그림 4의 필적을 가속도계로 3차례, 총 294개(51406샘플)를 수집하였다. 이때, m₀와 m₁를 구분하는 MS(t)는 피험자가 버튼을 눌러 기록했다. 가속도계의 샘플링 주파수는 100Hz, 양자화 비트는 8비트, 채널은 x, y, z 축에 할당된 3개이다. 98개씩 3개로 분할하여 학습세트, 검증세트, 사용자종속세트로 각각 할당하고 특징점과 모델 선택에 사용했다. 2차로 동일한 방법으로 12명(남 6, 여 6)으로부터 168개의 데이터(31196 샘플)를 수집하여 이를 사용자독립세트로 할당, 기존 방법론과 성능을 비교하는데 사용했다. 가속도 신호는 x, y, z축의 3채널로 입력되는데 (x+y+z)/3하여 1채널의 신호로 만들었다. 공통적으로 DC 제거와 저주파통과 필터를 적용하였고 이로 인해 발생한 알고리즘상 시간지연은 150ms이다.

Fig. 4. 
Handwriting for data acquisition

총 64개의 특징점 후보 집합에 대한 1차 특징점 분석 결과 우리는 SbMI={BV2, BV4, BV6}과 SbMCC={BV1, BV2, BV3, BV4, BV5}를 선택했다. MCC의 경우 BV2와 BV4가 강한 변별력을 보이며 특히 BV2가 타 변수, BV1, BV3, BV4, BV5의 허브 역할을 하는 것으로 분석됐다. MI는 BV2, BV4, BV6의 결합이 가장 강한 변별력을 보였으며 BV4가 핵심 변수로 분석됐다. MCC와 MI가 선정한 가장 높은 순위의 후보를 1차 후보로 선정했다.

SbMI, SbMCC를 구성하는 BV로 범위를 좁힌 후 이들의 TSV로 조합한 999개와 99,999개의 후보 집합에 대해 진행한 2차 선정의 결과로 SMIkNN={TSV2.0, TSV4.8, TSV6.3}과 SMCCkNN={TSV1.0, TSV3.5, TSV4.8, TSV5.0}을 최종 후보로 선정했다(표 2).

그림 5는 특징점 후보 집합을 구성시 차원을 증가시킨 한 개의 TSV보다 다른 TSV와 결합하면 변별력이 향상됨을 보여준다. SbMCC의 경우 결합된 TSV가 증가할수록 변별력 평균이 줄어드는데 이는 TSV3과 TSV5는 BC의 인식률을 저해하기 때문으로 분석되었다. 그럼에도 불구하고 BC의 최대 변별력은 5개의 변수가 모두 결합되었을 때 달성되었다. kNN이 BC에 비해 결합된 TSV의 개수에 민감했으며 변별력도 높았다. 따라서 kNN에 의해 선정된 후보를 최종 특징점 후보 집합으로 선택했다.

Fig. 5. 
Separability changes by TSV dimension increasement

MLP와 RBF를 설계하기 위하여 학습률은 0.05, 손실함수는 최소 제곱 오차, 최적화는 확률적 경사 하강법을 사용하였다. 이때 과적합을 피하기 위해 학습세트와 검증세트를 활용하였다. 은닉층의 노드수는 입력층의 노드 수 × 1/3개부터 입력층의 노드 수 × 3개까지 증가시키며 가장 높은 인식율을 기록하는 노드 수를 선정하였다. 그림 6의 1단은 학습에 사용한 MS(t), 2단은 학습된 신경망의 출력 결과, 3단은 이를 반올림한 결과를 보여준다.

Fig. 6. 
MS(t) and final output

표 3에 주어진 사용자종속세트에 대한 다차원 평가는 성공적인 특징점/ 모델 선택에 대한 통찰을 보여준다. 좀더 협소한 특징점 공간을 갖춘 특징점 후보, SMIkNN, 와 더 포용력있는 비선형 인식기, 39개의 은닉 노드 수를 갖는 RBF가 결합될 때 가장 훌륭한 성능을 보여준다. SMIkNN는 TSV2, TSV4, TSV6의 결합이며 이들 변수는 모두 절대값 연산을 포함하여 특징점의 분포를 0과 양수로 제한한다. 이로 인해 축소된 공간 상에서 얻어진 정확도 오차(100-acc)와 동작 불연속점 비율(UMBR)이 SMCCkNN 보다 작고 최대 불연속점 길이(UMBL)는 유사하거나 짧았다. 정확도 오차(100-acc)로만 평가하면 MLP는 RBF보다 우월하나 동작 불연속점 비율에서 MLP가 더 많은 동작 불연속점을 생산함을 보여준다. 이것이 다차원 평가법을 사용하는 이유이다.

또한 은닉층의 노드수에서 MLP(10, 5)는 RBF(39, 44)에 비해 약소한데, 이는 MLP가 m₁, m₀의 경계에 과적합은 피하였으나 과편향되었다 판단한다.

설계된 신경망의 성능 검증을 위해 기존 단변량 에너지 기반 방법론 3개와 다변량 에너지 기반 방법론 1개의 성능을 비교 분석했다. 중력에 강인한 에너지 계산을 위해 처음으로 이동분산을 사용한 [3], 2개 이상의 축에서 계산한 [3]의 에너지를 하나의 에너지로 합병하는 [4], 데이터 마이닝기법을 사용하여 동작 구간 검출 성능은 훌륭하나 시간지연이 큰 [6], 초기 제안된 다변량 에너지기반 방법론, [8]을 선택했으며 이들 모두는 학습세트와 검증세트를 이용해 학습 후, 사용자독립세트로 최종 성능을 비교하였다.

표 4는 본 논문이 제안한 다변량 방법론의 우수성을 확인시켜준다. 제안된 방법으로 설계된 신경망은 [4]와 유사한 불연속점 비율을 기록하고 시간 지연은 절반 이상 단축시킨다.

[6]이 가장 낮은 불연속점 비율을 보이나 알고리즘 상 슬라이딩 윈도우의 크기가 가변적으로 변해, 시간지연 역시 고정적이지 않고 최악의 경우엔 200ms 이상의 시간지연이 발생한다. [3]의 불연속점 비율이 축별 합산으로 줄어든 결과를 [4]의 불연속점 비율로 확인할 수 있으며, [8]의 시간지연은 최소화되나 최악의 불연속점 비율과 최대 불연속점 길이를 기록하였다. [8]의 열악한 성능은 우수한 다변량 에너지 선택이 해당 방법론에 끼치는 영향력을 증명한다.