Home

최근 코로나로 인한 사회적 거리두기에 기인한 홈 트레이닝의 증가로 운동장소가 헬스장 및 피트니스 센터에서 각 가정으로 확대되고 있어 비대면 트레이닝이 증가하고 있다. 이에 따라 모바일 폰이나 웹 카메라를 통해 자세 교정 기술이 개발되고 있는데 요구 기술 중 동작 인식은 카메라를 통해 캡처된 인체의 동작을 분석하여 가공하고 분류하므로 핵심기술이다.

한편 기존의 키넥트와 같은 3차원 깊이 카메라를 통하여 물체를 3차원으로 인식하는 기술은 동적 객체를 기반으로 인체의 골격화를 수행하였는데 이는 인체와 유사한 객체도 골격화가 되고 손이나 발에 부착된 물건까지도 골격에 포함되는 등 정확한 자세 추정이 불가능하였다. 그러나 최근 구글의 TensorFlow Pose Estimation 같은 딥러닝 기술의 발전으로 카메라를 통해 인체의 키포인트를 정확하게 추출하는 머신러닝 기술이 개발되어 인체 자세 추정의 신뢰도가 높아지고 있으며 모바일 장치에 적용되는 등 경량화도 가능해지고 있다[1].

머신러닝을 이용한 동작의 유사도 분석은 자세 교정이나 자세 인식에서 중요한 요소 기술이다. 기존의 자세 유사도 분석에는 키포인트를 대상으로 코사인 유사도, 코사인 거리, 가중치 기반 매칭, 그리고 DTW(Dynamic Time Warping) 등이 적용되어 상당한 성능을 나타낸 바 있다.

상기에 적용된 키포인트는 COCO 모델의 경우 17개, 구글 MediaPipe의 경우 33개의 키포인트가 제공되는데 기존 기법들이 17개 키포인트를 대상으로 하지만 본 연구에서는 33개를 대상으로 자세의 유사도를 분석하는 알고리즘을 제안한다. 또한 키포인트의 신뢰 점수(Confidence score), 즉 가중치 기반의 유사도를 통해 인체 자세의 유사도 분석의 신뢰성을 향상시키고자 한다.

본 논문의 구성은 다음과 같다. 2장은 관련연구를 통해 본 연구의 차별성을 논하고 3장에서는 제안하는 유사도 분석 알고리즘을 자세하게 기술한다. 4장에서는 인체 자세 이미지 데이터셋에서 실시한 성능 평가에 대해 논한다. 마지막으로 5장에서는 결론과 향후 연구를 제시한다.

인체 자세의 유사도 분석에는 크게 키포인트를 추출하는 딥러닝 기반의 프레임워크와 동작을 인식하고 유사도를 측정하는 알고리즘이 사용된다.

먼저 키포인트를 추출하는 대표적인 프레임워크는 MS COCO로서 객체 탐지뿐만 아니라 세그멘테이션, 키포인트 탐지 등을 위한 데이터셋을 제공하고 17개의 키포인트로 구성된다. 구글의 경우 PoseNet, OpenPose를 시작으로 MoveNet, MediaPipe BlazePose 등을 제공하는데 BlazePose의 경우 COCO 키포인트에 얼굴, 손, 발 등을 추가한 33개의 키포인트를 제공한다.

동작인식 기술에서는 동작을 분류할 때 kNN(k-Nearest Neighbor), CNN(Convolutional Neural Network)[2], LSTM(Long-Short Term Memory)[3], GRU(Gated Recurrent Units)[4], RNN(Recurrent Neural Network)[5], 그리고 DTW 알고리즘을 주로 사용한다. 특히 CNN의 경우 분류 모델로서 높은 성능으로 인해 MediaPipe BlazePose 등에서 정확도와 빠른 연산 속도를 제공하고 있고 DTW의 경우 동작 분류뿐만 아니라 자세의 유사도 알고리즘에도 적용할 수 있다.

상기의 동작 분류의 경우 동작의 대분류에 적용되지만 본 연구의 동작 유사도는 소분류에 해당하는데 전신의 동작 비교에 관한 연구는 다소 부족한 편이다. 예를 들어 쓰러진 동작 감지, 손 모양 추정, 그리고 제스쳐 인식 등 일부 동작을 매칭하는 연구들이 있으며[6]-[8] 동작 데이터를 동작의 궤도 형식으로 정의하여 궤도 간의 거리를 측정하는 프레셰 거리의 경우 동작 유사도를 정량화한 바 있다[9].

동작의 유사도를 분석하는 데는 키포인트 간의 코사인 유사도, 코사인 거리, 가중치 기반 매칭, 그리고 DTW 등이 적용된 바 있다. 이러한 기존 연구 대비 본 연구의 차별성은 자세 유사도의 정밀성을 위해 BlazePose가 제공하는 33 키포인트를 대상으로 하는 점, 대분류의 동작 분류가 아니라 소분류의 동작에 대한 유사도 분석 알고리즘인 점, 그리고 키포인트가 제공하는 신뢰 점수에 기반하여 가중치를 적용한 점이다.

본 논문에서는 제안하는 기법의 성능을 검증하기 위해 표 1과 같은 실험 환경에서 동작의 유사도를 측정하였는데 주요 파라미터로는 MediaPipe의 BlazePose 모델을 자바스크립트로 구현한 BlazePose TFJS 엔진을 사용하여 크롬에서 웹 애플리케이션을 구현하였다.

먼저 그림 4에서와 같이 동일 자세에 대한 제안기법 및 비교 대상 기법의 유사도를 측정하였는데 그림 4의 상단의 결과에서 보듯이 동일 이미지는 cosineSimilarity, confidenceDistance 의 경우 1, weightedMatching, cosineDistance는 0이 나왔다. 따라서 cosineSimilarity와 confidenceDistance는 1에 가까울수록 weightedMatching, cosineDistance는 0에 가까울수록 유사한 자세이다.

Fig. 4. 
Implementation example(identical pose)

본 연구는 자세를 분류하는 것이 목적이 아니라 자세의 유사도 측정 알고리즘을 제안하는 것이므로 기준 이미지의 자세 대비 비교 대상 이미지 자세의 분산 정도, 즉 기준 알고리즘의 유사도 측정값 대비 비교 대상 알고리즘들의 분산을 구하여 제안기법의 신뢰성을 판단하고자 한다. 그림 5는 이미지 셋 내 모든 이미지의 자세를 대상으로 유사도를 측정한 구현 화면을 캡쳐한 것으로 기준 이미지 1,000개를 비교 이미지 1,000개를 대상으로 유사도 검사를 실행한 결과이다.

Fig. 5. 
Implementation example(image set)

그림 6은 기존 기법의 유사도 결과로서 cosineSimilarity 를 기준으로 했을 때 weightedMatching이 가장 근접한 유사도를 보이고 있고 consineDistance는 수식의 영향으로 다소 차이를 보이고 있다. 그림 7은 cosineSimilarity를 기준으로 제안 기법들의 유사도 결과로서 제안한 4가지 기법들 모두 기준 유사도에 근접한 결과를 보였다. 이것은 각 키포인트의 신뢰도 점수를 반영한 결과로서 weightedMatching과 cosineDistance 대비 신뢰도가 높아졌음을 의미한다.

Fig. 6. 
Similarity results of the existing schemes

Fig. 7. 
Similarity results of the proposed schemes

표 2는 각 기법들의 분산을 정리한 것으로 weightedMatching, cosineDistance는 제안 기법들 대비 약 2배의 값을 보이고 있어 신뢰도 측면에서 제안 기법이 우수함을 의미한다. 또한 제안 기법들 중 CD_max 의 값이 가장 낮은데 이는 명확한 키포인트의 신뢰도 점수를 가장 많이 반영한 결과로 분석된다.

본 논문에서는 구글 MediaPipe의 BlazePose를 이용하여 인체 자세의 키포인트를 추출하여 인체 자세의 유사도를 측정하는 기법을 제안하고 요가 이미지 셋을 대상으로 웹 애플리케이션에서 실험을 진행하였다. 제안 기법은 33개 키포인트를 적용하여 알고리즘의 정밀성을 확보하고 추출된 키포인트의 신뢰도 점수를 거리 계산에 적용하여 유사도 측정의 신뢰성을 향상시켜 기존 기법 대비 우수한 성능을 보였음을 확인하였다.

한편, 본 논문의 구현은 인체 자세의 유사도 측정의 핵심 기능을 구현한 점에서 의의가 있으나 비대면 홈트레이닝 등에 적용하기 위해서는 정적 이미지가 아닌 실시간 영상이나 비디오를 대상으로 유사도를 정량화시킬 필요가 있다. 따라서 연속되는 전신 동작 추정, 반복적인 동작 주기의 측정, 그리고 동작 지연시간에 관한 연구가 이루어진다면 응용성과 신뢰성을 높일 수 있을 것으로 기대된다.