미디어파이프 기반 모션인식을 이용한 자세 불균형 분석 및 교정 시스템

Ⅰ. 서 론

현대인은 장시간의 컴퓨터 작업과 운동 부족으로 잘못된 자세를 지속적으로 유지하면서, 다양한 근골격계 통증을 경험하고 있다. 특히 목과 어깨의 만성 통증은 신체 전반의 균형을 저하시켜 2차적인 신체 불균형을 유발할 수 있기 때문에 사전 예방과 지속적인 관리가 중요하며, 일상 환경에서 사용자의 자세를 자동으로 분석하고 교정할 수 있는 기술에 대한 필요성이 증가하고 있다[1][2].

최근에는 ML(Machine Learning)과 DL(Deep Learning) 기술의 발전으로 인체의 자세를 자동으로 추정하는 Pose Detection 기반 연구가 진행되고 있다[3]-[12]. 초기에는 DeepPose와 같은 딥러닝 기반 자세 추정 방법[3]이 제안되었으며, 이후 자세 추정 기술은 다양한 환경에서 활용될 수 있도록 발전하였다. MediaPipe는 모바일 및 웹 환경에서도 실시간 인체 랜드마크 추출이 가능한 경량화된 크로스 플랫폼 프레임워크이며, 이 중 자세 추정 모듈은 BlazePose 모델을 기반으로 한다. BlazePose는 MediaPipe 내에서 인체 키포인트 추출을 담당하는 핵심 자세 추정 엔진으로 활용된다[4][5].

MediaPipe를 활용한 연구에서는 얼굴 및 신체 랜드마크를 기반으로 다양한 동작 분석 및 인식이 수행되고 있으며, 시계열 데이터를 활용한 동작 인식 등으로 확장되고 있다[6]. 최근에는 BlazePose와 MoveNet과 같은 경량화된 자세 추정 모델의 발전으로 실시간 처리 성능이 더욱 향상되었으며, 이러한 기술은 다양한 자세 분석 및 헬스케어 응용으로 확장되고 있다[6]-[8].

자세 분석 기술은 스마트 헬스케어 분야에서도 적용되고 있으며, 딥러닝 기반의 자세 인식 및 분석 시스템이 다양한 형태로 연구되고 있다. 특히 영상 기반 자세 인식, 웨어러블 센서를 활용한 자세 분석, 그리고 실시간 자세 모니터링 시스템 등이 제안되고 있다[9]-[11]. 그러나 기존 연구들은 주로 특정 동작이나 운동 자세의 인식 및 분류에 초점을 두고 있으며, 신체의 정렬 상태를 기반으로 한 자세 불균형을 정량적으로 분석하고 이를 교정으로 연계하는 연구는 상대적으로 부족한 실정이다.

기존의 자세 평가 방법은 ImageJ[12]와 같은 도구를 이용한 수동 측정 방식이 주로 사용되고 있어 실시간 분석 및 자동화 측면에서 한계를 가진다. 특히 거북목(FHP, Forward Head Posture)은 두 개척추각(CVA, Craniovertebral Angle)을 이용하여 평가되는 대표적인 자세 이상으로, 다양한 임상 및 자세 분석 연구에서 활용되고 있으나, 주로 2차원 영상 기반이거나 수동 측정에 의존하기 때문에 사용자 편의성과 실시간성이 부족하다.

본 논문에서는 MediaPipe 기반 크로스 플랫폼 머신러닝 프레임워크를 활용하여 웹캠 또는 모바일 카메라로 촬영된 영상을 기반으로 사용자의 자세 불균형을 실시간으로 분석하고, 목과 어깨 중심의 자세 불균형을 자동으로 감지할 수 있는 측정 모델을 제안한다. 제안된 모델은 목과 어깨 중심의 MediaPipe 인체 랜드마크를 기반으로 자세 불균형을 분석하고, 2차원 및 3차원 좌표 정보를 활용하여 측방 자세 불균형(LPI, Lateral Postural Imbalance)과 전방 자세 불균형(FHP)을 정량적으로 판단할 수 있도록 설계되었다.

이를 위해 귀–어깨 중심 좌표 기반의 측방 자세 불균형 분석과 3차원 거리 및 각도 정보를 결합한 거북목 자세 평가 알고리즘을 설계하였으며, 사용자의 자세 상태를 정량적으로 판단할 수 있는 실시간 자세 불균형 분석 시스템을 구현하였다.

제안된 모델은 사용자의 자세 불균형을 정량적으로 평가할 수 있는 실시간 분석 기준을 제시하며, 개인 맞춤형 자세 교정 및 스마트 헬스케어 응용에 활용될 수 있다.

Ⅱ. 제안된 시스템 구성

2.2 MediaPipe 기반 자세 추정 모델

MediaPipe Pose 모델은 BlazePose를 기반으로 구현된 자세 추정 모델로, 경량화된 구조와 높은 정확도를 바탕으로 실시간으로 안정적인 인체 랜드마크 추출이 가능하다. BlazePose는 MediaPipe 프레임워크 내에서 동작하는 핵심 자세 추정 알고리즘으로, 다양한 환경에서도 빠르고 정확한 자세 인식 성능을 제공한다[6].

BlazePose는 OpenPose의 구조를 기반으로 하면서도 실시간 처리 성능을 향상시키기 위해 2단계의 파이프라인 구조를 적용한다[11]. 첫 번째 단계는 포즈 탐지기(Pose detector)로, 입력 영상에서 사람의 위치와 관심 영역(ROI, Region of Interest)을 탐지한다. 이 과정에서는 얼굴과 같은 특징적인 영역을 빠르게 검출하여 전체 신체 위치를 추정한다. 두 번째 단계는 포즈 추적기(Pose tracker)로, ROI 영역 내에서 33개의 인체 키포인트를 추정하고 각 관절의 좌표 및 신뢰도 값을 출력한다.

포즈 탐지 단계에서는 객체 검출에서 널리 사용되는 NMS(Non-Maximum Suppression) 기법이 활용되며, 이를 통해 불필요한 후보 영역을 제거하고 효율적인 탐지를 수행한다. 이후 추적 단계에서는 프레임 간 연속성을 고려하여 관절 좌표를 안정적으로 추정함으로써 실시간 처리 성능을 확보한다.

그림 1은 MediaPipe 기반 자세 추정 모델의 전체 구조를 나타낸다. 입력 영상으로부터 포즈 탐지기를 통해 사람의 위치와 관심 영역을 추출하고, 포즈 추적기를 통해 33개의 인체 키포인트 좌표를 계산한다. 최종적으로 각 관절의 3차원 좌표값이 출력되며, 이는 자세 분석을 위한 기초 데이터로 활용된다.

Fig. 1.

Overall architecture of the MediaPipe-based pose estimation model

Ⅲ. MediaPipe 기반 자세 불균형 분석 알고리즘 설계

3.1 자세 불균형 평가 파라미터 정의

자세 불균형(Posture imbalance)은 머리 또는 어깨가 신체 중심축(Central axis)에서 좌우 또는 앞뒤로 편향된 상태를 의미하며, 장기간 지속될 경우, 척추측만증 및 근골격계 불균형을 유발할 수 있다. 본 연구에서는 MediaPipe Pose 및 FaceMesh 모델을 활용하여 인체 주요 랜드마크를 추출하고, 귀와 어깨 중심 간의 상대적 위치 차이를 기반으로 좌우 기울어짐을 정량적으로 판단하는 알고리즘을 설계한다. 본 논문에서는 자세 불균형을 정량적으로 평가하기 위해 표 1에 주요 파라미터를 정의한다.

Table 1.

Posture imbalance evaluation parameters

이들 파라미터를 기반으로, 본 연구에서는 측방 자세 불균형(LPI)과 거북목 자세(FHP)를 각각 평가한다. 본 연구에서 사용된 ΔX, ΔY 및 D_fhd는 MediaPipe 기반 랜드마크 좌표를 활용하여 자세 불균형을 정량적으로 평가하기 위해 본 논문에서 정의한 지표이며, 두개척추각(CVA)은 기존 자세 분석 연구[4]-[8]에서 널리 사용되는 각도 기반 지표를 활용하였다.

3.3 거북목(FHP) 측정 알고리즘

거북목 자세(FHP)는 머리가 어깨 중심선보다 전방으로 이동한 상태를 의미하며, 경추 정렬 이상을 유발하는 대표적인 자세 불균형이다. 기존 연구에서는 2D 기반 CVA을 활용하였으나, 시점 변화에 따른 정확도 저하 문제가 존재한다. 본 논문에서는 미디어파이프 기반 3D 랜드마크를 활용하여 거리 기반 FHP 측정 방법을 제안한다.

우선, 좌우 귀의 어깨 랜드마크의 중심위치(평균)를 L_ec=(X_sc, Y_sc, Z_sc) 그리고 어깨의 중심위치를 기준으로 제7경추(C7) 위치는 어깨 중심점보다 약간 위쪽(정규화 좌표 기준 0.05보다 높은 위치)에 존재하는 것으로 가정하여, 보정값을 적용 L_c7= (X_ec, Y_ec-0.5, Z_ec)로 정의한다. FHP는 귀 중심점이 어깨 중심점보다 전방(z축 기준으로 앞쪽)에 위치할 때 발생하며, 그 거리 차이는 다음과 같이 3D 유클리드 거리로 계산된다:

$\[ D_{fhd}=\sqrt{\sqrt{\begin{array}{c}{\left(X_{ec}-X_{sc}\right)}^2+{\left(Y_{ec}-Y_{sc}\right)}^2+\hfill \\ {\left(Z_{ec}-Z_{sc}\right)}^2\hfill \end{array}}} \]$

(5)

FHD 판단은 D_fhd가 D_th 이상일 경우 FHP로 판정한다. 식 (5)의 크기에 따라 다음과 같이 FHP의 심각도를 표 2와 같이 분류한다. D_th는 FHD 측정을 위한 본 논문에서 설정한 값이며, 응용분야에 따라 달라질 수 있다.

Table 2.

Severity levels according to Dfhd

본 논문에서는 FHD 판별의 정확도를 높이기 위해서 두 개 척추각을 보조 지표로 이용한다. CVA는 C7과 귀 중심 사이 각도를 수평선 기준으로 측정하는 것으로, 머리 기울임 정도를 나타낸다. CVA는 그림 2와 같이 제7경추(C7), 귀 중심점(L_ec) 그리고 수평선을 이루는 가상의 기준점(L_c7+100) 간의 각도로 정의된다.

$\[ \theta =\mathrm{\angle }\left(L_{re},L_{c7},L_{c7+100}\right) \]$

(6)

Fig. 2.

Measurement points of Dfhd and CVA for FHP assessment based on cervical alignment (a) Normal, (b) Forward head posture

θ는 일반적으로 θ_th이하일 경우 거북목 자세일 가능성이 높다고 판단되며, 본 논문에서는 이를 보조적 판단 기준으로 이용한다.

D_fhd는 귀와 어깨 사이의 Z축(카메라와 얼굴사이의 거리)을 기반으로 전방 거리를 의미하지만, 이는 거리 변화에 민감할 수 있으며 체형에 따라 해석이 달라질 수 있기 때문에 CVA를 보조 지표로 활용하여 FHD 판단에 활용한다.

Ⅳ. 모델 검증결과 및 분석

본 논문에서는 MediaPipe Pose 및 FaceMesh 모델을 기반으로 인체 주요 부위의 3차원 위치 정보를 실시간으로 추출하고, 이를 활용하여 측방 자세 불균형(LPI)과 거북목 자세(FHP)를 정량적으로 측정하는 애플리케이션을 구현하였다. 구현된 시스템은 비접촉·저비용 환경에서 자세 정렬 이상을 자동으로 분석할 수 있는 실시간 자세 불균형 분석 도구이다.

실험데이터는 실내 환경에서 웹캠(1280×720 해상도, 30fps)을 이용하여 촬영된 영상을 입력 데이터로 사용하였으며, 정상 자세, 좌우 기울어짐, 거북목 자세 등 다양한 자세 상태를 포함하도록 수집하였다. 애플리케이션 구현에는 MediaPipe Pose(v0.5.16) 및 FaceMesh(v0.4.16)를 사용하였고, HTML5, JavaScript 및 Canvas API 기반의 웹 환경에서 동작하도록 구성하였다.

제안된 자세 불균형 분석 알고리즘은 ΔX(머리의 좌우 편위)와 ΔY(어깨의 수직 기울기)를 기반으로 LPI를 측정하며, 거북목 자세(FHP)는 귀와 어깨 중심 간의 3차원 거리(D_fhd)와 두개척추각(CVA)을 활용하여 판단한다. 특히 D_fhd를 주요 판단 지표로 사용하고, CVA는 보조 지표로 활용하여 측정의 신뢰도를 보완하였다.

표 3은 ImageJ를 이용한 실제 거리 측정값과 MediaPipe를 통해 추출된 거리 값을 비교한 결과를 나타낸다. ImageJ는 NIH에서 개발된 오픈소스 이미지 분석 소프트웨어로, 거리 및 각도 측정과 ROI 기반 분석 기능을 제공한다. ImageJ를 이용한 왼쪽 귀에서와 어깨까지의 거리(L_es)와 오른쪽 귀에서 어깨까지의 거리(R_es)의 실제 측정값과 Mediapipe의 측정값을 비교하였다. ImageJ를 이용한 실제 측정값(G)을 기준값으로 설정하고, MediaPipe 기반 측정값(M)과의 상대 오차율은 Error (%) = |M - G| / G × 100을 이용하였다. 측정 결과, 왼쪽 귀-어깨 거리(L_es)의 경우 약 3.28%, 오른쪽 귀-어깨 거리(R_es)의 경우 약 2.15%의 오차를 보였으며, 평균 오차율은 약 2.7%로 나타났다. 이를 통해 제안된 MediaPipe 기반 측정 방법은 실제 측정값 대비 5% 이내의 정확도를 나타내었다.

Table 3.

Comparison of measurement results between imageJ and MediaPipe

표 4는 ΔX와 ΔY 값에 따른 LPI 측정 결과의 예를 나타낸다. 제안된 알고리즘은 먼저 귀와 어깨 중심 간의 수평 편차(ΔX)를 계산하여 좌우 편향 여부를 판단하고, 이후 어깨의 수직거리 차이를 기반으로 한 ΔY를 이용하여 기울어짐 여부를 판단한다.

Table 4.

Example of LPI measurement results based on ΔX and ΔY

본 실험에서는 임계값으로 X_th = 0.3, Y_th = 0.1을 적용하였으며, 이를 기준으로 균형 상태, 좌우 기울어짐 및 어깨 기울어짐을 분류하였다. 이러한 결과를 통해 제안된 알고리즘은 실시간 환경에서 LPI 및 FHP를 안정적으로 판별할 수 있으며, 간단한 영상 입력만으로도 자세 이상을 효과적으로 정량화할 수 있음을 확인하였다.

그림 3은 ΔY 값의 변화에 따른 측방 자세 불균형(LPI) 측정 결과를 나타낸다. LPI 분류 결과는 0(균형 상태), 1(우측 어깨 상승), 2(좌측 어깨 상승)으로 정의된다. 그래프에서 인덱스 200~400구간은 ΔY 값이 약 0.9~1.1 범위 내에서 유지되며, 해당 구간에서는 대부분 0(균형 상태)로 분류됨을 확인할 수 있다. ΔY 임계값 설정이 적절하게 적용되어, 어깨 기울어짐이 없는 상태를 안정적으로 판별하고 있음을 보여준다.

Fig. 3.

LPI measurement results according to ΔY variation (0: balanced, 1: right shoulder elevated, 2: left shoulder elevated)

표 5는 D_fhd와 CVA(θ)에 따른 거북목 자세(FHP) 측정 결과를 나타낸다. FHP는 D_fhd와 θ 값을 각각 임계값(D_th, θ_th)과 비교하여 단계적으로 분류된다. 측정 결과, D_fhd 값이 증가할수록 θ 값은 감소하는 경향을 보이며, 두 변수 간에는 음의 상관관계가 존재함을 확인할 수 있다. 이는 머리가 전방으로 이동할수록 두개척추각(CVA)이 감소하는 일반적인 자세 특성과 일치하는 결과이다. 제안된 알고리즘은 D_fhd를 주요 판단 기준으로 사용하고, CVA를 보조 지표로 활용함으로써 FHP를 정상, 경도, 중등도, 심각 단계로 안정적으로 구분할 수 있음을 확인하였다.

Table 5.

FHP measurement results based on Dfhd and CVA

그림 4은 테스트 데이터셋에서 실제 데이터와 예측된 FHP 결과를 비교한 그래프를 나타낸다. 그래프에서 붉은 선은 CVA(θ)의 변화, 회색 영역은 FHP 단계(Severity, 중증도)를 의미한다. 전체 구간에서 CVA 값의 변화에 따라 FHP 단계가 일관되게 변화하는 경향을 보이며, 특히 CVA 값이 감소하는 구간에서 FHP 심각도가 증가하는 패턴을 확인할 수 있다. 이는 제안된 알고리즘이 실제 자세 변화에 따라 FHP를 안정적으로 추정하고 있음을 보여주며, 실제 측정값과 예측 결과 간의 일치도가 높음을 확인할 수 있다.

Fig. 4.

Comparisons between actual and predicted data in the testing dataset

Ⅴ. 결 론

본 연구에서는 MediaPipe 기반 귀-어깨 랜드마크를 활용하여 측방 자세 불균형(LPI)과 거북목 자세(FHP)를 실시간으로 측정하고 피드백하는 자세 분석 시스템을 구현하였다. 제안된 방법은 ΔX, ΔY, D_fhd, CVA를 통합 활용하여 자세 이상을 정량적으로 판단하며, 기존 2D 기반 수동 측정 방식 대비 자동화 및 실시간 처리 측면에서 우수한 성능을 보였다. 실험 결과 평균 오차율 5% 이내의 높은 측정 정확도를 확인하였으며, 특히 3차원 거리 기반 D_fhd와 각도 기반 CVA를 결합한 다중 지표 분석을 통해 체형 및 촬영 환경 변화에 대한 강건성을 확보하였다. 향후 연구에서는 임상 데이터를 활용한 알고리즘의 유효성 검증과 함께, 개인 특성을 반영한 맞춤형 임계값 설정이 필요하다. 또한 다양한 환경에서의 적용성을 향상시키기 위해 딥러닝 기반 학습 및 데이터 증강을 통해 랜드마크 추출의 강건성을 개선하고자 한다.

Acknowledgments

본 논문은 2024년도 2학기 한양여자대학교 교내연구비에 의하여 연구됨

References

• World Health Organization, "Musculoskeletal health", World Health Organization Report, 2022.
• M. Ma, X. He, and X. Bai, "A Survey of Deep Learning-Based Human Pose Estimation: Methods, Datasets, and Evaluation Metrics", Proc. of 2nd International Conference on Digital Image Processing and Computer Applications (DIPCA), Xi'an, China, pp. 146-152, Apr. 2025. [https://doi.org/10.1109/DIPCA65051.2025.11042554]
• A. Toshev and C. Szegedy, "DeepPose: Human Pose Estimation via Deep Neural Networks", Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Columbus, OH, USA, pp. 1653-1660, Jun. 2014. [https://doi.org/10.48550/arXiv.1312.4659]
• C. Lugaresi, et al., "MediaPipe: A Framework for Building Perception Pipelines", arXiv preprint arXiv:1906.08172, , pp. 1-9, Jun. 2019. [https://doi.org/10.48550/arXiv.1906.08172]
• S. Kim, S. Urm, S. Yoo, S. Kim, and K. Lee, "Application of Sign Language Gesture Recognition Using Mediapipe and LSTM", Journal of Digital Contents Society, Vol. 24, No. 1, pp. 111-119, Jan. 2023. [https://doi.org/10.9728/dcs.2023.24.1.111]
• V. Bazarevsky, I. Grishchenko, K. Raveendran, T. Zhu, F. Zhang, and M. Grundmann, "BlazePose: On-device Real-time Body Pose Tracking", arXiv preprint arXiv:2006.10204, , pp. 1-4, Aug. 2020. [https://doi.org/10.48550/arXiv.2006.10204]
• G. Goyal, F. D. Pietro, N. Carissimi, A. Glover, and C. Bartolozzi, "MoveEnet: Online High-Frequency Human Pose Estimation With an Event Camera", Proc. of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, Vancouver, BC, Canada, pp. 4024-4033, Jun. 2023. [https://doi.org/10.1109/CVPRW59228.2023.00420]
• P. Kaushik, B. P. Lohani, A. Thakur, A. Gupta, A. K. Khan, and A. Kumar, "Body Posture Detection and Comparison Between OpenPose, MoveNet and PoseNet", Proc. of 6th International Conference on Contemporary Computing and Informatics (IC3I), Gautam Buddha Nagar, India, pp. 234-238, 2023. [https://doi.org/10.1109/IC3I59117.2023.10397937]
• Z. Hong, M. Hong, N. Wang, Y. Ma, X. Zhou, and W. Wang, "A Wearable-based Posture Recognition System with AI-assisted Approach for Healthcare IoT", Future Generation Computer Systems, Vol. 127, pp. 286-296, Feb. 2022. [https://doi.org/10.1016/j.future.2021.08.030]
• Y. Shu and H. Lei, "A Vision-based Human Posture Detection Approach for Smart Home Applications", International Journal of Advanced Computer Science and Applications (IJACSA), Vol. 14, No. 10, pp. 209-216, 2023. [https://doi.org/10.14569/IJACSA.2023.0141023]
• J. Huang and D. Zhou, "A Scalable Real-time Computer Vision System for Student Posture Detection in Smart Classrooms", Education and Information Technologies, Vol. 29, pp. 917-937, Nov. 2024. [https://doi.org/10.1007/s10639-023-12365-5]
• S. N. Omkar, M. M. Kumar, and D. Mudigere, "Postural Assessment of Arbitrarily Taken Portrait and Profile Photographs Using ImageJ", Journal of Bodywork and Movement Therapies, Vol. 11, No. 3, pp. 231-237, 2007. [https://doi.org/10.1016/j.jbmt.2006.12.003]