Unreal Engine 기반 가상환경에서 OpenPose를 활용한 인체 자세 데이터 생성 방법 및 특성 분석

Ⅰ. 서 론

단안 인체 자세 추정(Monocular human pose estimation)은 단일 RGB 영상으로부터 인체의 자세 및 관절 구성을 복원하는 것을 목적으로 하며, 인간–컴퓨터 상호작용, 증강현실, 로봇공학, 비디오 분석 등 다양한 응용 분야에서 활용되어 컴퓨터 비전 분야에서 활발히 연구되고 있다[1][2]. 최근 딥러닝 기반 방법의 발전에도 불구하고, 단안 환경에서는 원근 투영으로 인해 깊이 정보가 소실되고 자기 가림(Self-occlusion)이 빈번하게 발생하므로, 자세 추정 문제는 본질적으로 불완전(Ill-posed)한 특성을 갖는다.

자세 추정 성능은 학습 데이터의 품질과 다양성에 의해 크게 좌우된다. Human3.6M과 MPI-INF-3DHP와 같은 대규모 데이터셋은 정밀한 주석을 제공하나, 통제된 실내 환경에서 수집되어 데이터 변동성이 제한적이라는 한계가 있다[3][4]. 반면, 3DPW와 같은 현장(In-the-wild) 데이터셋은 장면 다양성을 확보할 수 있으나, 수집 비용이 높고 규모 확장에 제약이 따른다[5].

이러한 실제 데이터 수집의 한계를 보완하기 위한 대안으로 합성 데이터 생성이 감독 신호의 한 형태로 검토되고 있다[6][7]. 가상 환경은 자세, 시점, 조명 및 배경 조건을 명시적으로 제어할 수 있어 다양한 학습 샘플을 체계적으로 생성할 수 있다. 또한 단일 RGB 이미지로부터 3차원 인체 자세를 추정하기 위한 체적(Volumetric) 또는 구조화(Structured) 표현 기반 접근법도 제안되었다[8][9]. 특히 Unreal Engine과 같은 게임 엔진은 물리 기반 렌더링 및 유연한 카메라 모델링을 지원하므로 가상 데이터 생성 플랫폼으로 활용 가능하다[10][11].

OpenPose는 다중 사용자 2D 인간 자세 추정을 위한 대표적인 오픈소스 프레임워크로 알려져 있다[12][13]. 가상 이미지에 OpenPose를 적용할 경우 수동 주석 없이 관절 키포인트를 자동 추출할 수 있다는 장점이 있다. 다만, 기존 연구에서는 가상 환경에서 생성된 OpenPose 기반 자세 데이터가 구조적 특성 및 시점 변화에 따른 안정성 측면에서 어떠한 특성을 보이는지에 대한 분석이 충분히 이루어지지 않았다.

본 연구의 목적은 Unreal Engine 기반 가상 환경에서 OpenPose를 활용하여 인간 자세 데이터를 생성하는 방법을 제안하고, 생성된 데이터의 특성을 분석하는 데 있다. 구체적으로 본 연구는 데이터 생성 파이프라인의 설계와 관절 검출 특성 분석에 중점을 둔다. 반면, 생성 데이터에 기반한 학습 성능 평가는 본 논문의 범위를 벗어나며, 향후 연구로 수행하고자 한다.

Ⅱ. 관련 연구

Ⅲ. 제안 시스템 설계 및 가상 환경 구성

3.1 시스템 개요

본 연구는 Unreal Engine 기반 가상 환경과 OpenPose를 결합하여 인간 자세 데이터를 생성하고, 생성 데이터의 특성을 분석하는 시스템을 제안한다. 그림 1은 제안 시스템의 전체 파이프라인을 나타내며, (a) 가상 인간 자세 구성, (b) Unreal Engine 기반 애니메이션, 구성 및 렌더링, (c) 제어된 카메라 설정 하에서의 이미지 생성, (d) OpenPose 기반 관절 추정의 네 단계로 구성된다. 최종적으로 (e) 단계에서는 2D 관절 좌표와 관련 메타데이터를 포함하는 구조화된 데이터셋을 출력한다.

Fig. 1.

Pipeline for generating human pose data using OpenPose in an Unreal Engine–based virtual environment (a) Virtual human model (b) Animation (c) Rendering (d) OpenPose (e) Storage

입력 단계에서는 Unreal Engine에서 구성된 가상 장면과 애니메이션이 적용된 인체 모델을 기반으로 렌더링된 RGB 프레임을 입력으로 사용한다. 반면, 출력 단계에서는 각 프레임에 대해 OpenPose가 추정한 2D 관절 키포인트 좌표 및 신뢰도 점수, 그리고 생성 조건 메타데이터(카메라/조명/배경 등)를 포함하는 데이터셋을 출력한다.

제안 시스템은 가상 환경 구성 및 인체 모델 시뮬레이션을 위해 Unreal Engine 5.5를 사용하여 구현하였으며, 2D 관절 키포인트 추정을 위해 OpenPose 1.7.0을 적용하였다. 모든 실험은 Windows 10 운영체제 환경에서 수행하였고, 하드웨어 사양은 RAM 16 GB 및 NVIDIA GeForce RTX 5080(16 GB VRAM)으로 구성하였다. 렌더링 이미지는 1920×1080 해상도로 생성하였으며, PNG 형식으로 저장하고 RGB 색공간을 사용하였다.

3.2 가상 인간 모델

그림 2에 제시된 바와 같이, 사전 정의된 관절 계층 구조를 갖는 골격 기반 인간 모델을 Unreal Engine에서 구현하였다. 또한 고정된 뼈 길이와 관절 회전 제약을 적용하여 해부학적 타당성을 유지하였으며, 다양한 포즈를 생성하기 위해 복수의 애니메이션 시퀀스를 적용하였다.

Fig. 2.

Virtual human model

골격 및 관절 정의는 OpenPose BODY_25 관절 체계를 기준으로 구성하였으며, 인체 모델은 신장 1.8 m로 고정 스케일링하였다. 또한 Unreal Engine에서 관절별 회전 제한(Euler 각도 기반 제약 범위)을 적용하였다.

3.3 장면 및 렌더링 설정

데이터의 다양성을 확보하기 위해 배경 레이아웃, 조명 조건, 카메라 위치 및 거리 등 환경 매개변수를 그림 3과 같이 무작위로 설정하였다. 이러한 변형은 제어된 기하 구조를 유지한 상태에서 다양한 시각적 조건 하에서의 자세 추정 동작을 분석할 수 있도록 한다. 한편, 가상 환경 구성 및 렌더링 설정에 사용된 매개변수 정보는 표 1에 정리하였다.

Fig. 3.

Human model with OpenPose data and rendering settings

Table 1.

Virtual environment and rendering settings parameters based on figure 3

3.4 OpenPose 기반 포즈 데이터 생성

Unreal Engine에서는 스켈레탈 애니메이션을 통해 정확한 관절 위치 정보를 직접 획득할 수 있다. 그러나 본 연구의 목적은 이상적인 정답 관절 데이터를 생성하는 것이 아니라, 실제 단안 자세 추정 환경에서 사용되는 모델의 동작 특성과 한계를 분석하는 데 있다. 실제 응용 환경에서는 RGB 이미지를 기반으로 OpenPose와 같은 자세 추정 모델을 적용하므로, 본 연구에서는 렌더링된 이미지를 입력으로 사용하여 현실적인 자세 추정 조건을 모사하였다.

OpenPose에서 제공하는 관절 검출 신뢰도는 관절별 heatmap에서 최대 응답값을 기반으로 산출되며, 해당 위치에 관절이 존재할 확률을 의미한다. 본 연구에서는 OpenPose의 원본 신뢰도 값을 사용하여 관절 검출 안정성을 정량적으로 분석하였다.

렌더링된 이미지에 OpenPose를 적용하여 2D 관절 키포인트를 추정한다[12][13]. 각 프레임에 대해 관절 좌표와 신뢰도 점수를 추출하여 저장하며, 데이터는 관절 인덱스, 픽셀 좌표 및 가시성 지표를 포함하는 구조화된 형식으로 구성된다.

그림 4는 서로 다른 각도에서의 가상 인간 모델과 이에 대응되는 OpenPose 관절 정의를 나타낸다. 그림 4(a)는 가상 인간 모델의 우측 측면에서의 정지 자세를, 그림 4(b)는 좌측 측면에서의 점프 자세를, 그림 4(c)는 우측 측면에서의 점프 자세를, 그리고 그림 4(d)는 좌측 측면에서의 정지 자세를 각각 보여준다. 이러한 구성은 다양한 카메라 위치에서 관절 정의의 안정성을 검증할 수 있도록 한다. 또한 OpenPose 기반 자세 추정은 수동 라벨링 없이 관절 정보를 자동으로 획득할 수 있으므로, 합성 이미지로부터 대규모 자세 데이터셋을 효율적으로 구축하는 데 적합하다.

Fig. 4.

Virtual human model and OpenPose joint definitions across different viewpoints and poses

그림 5는 본 연구에서 제안하는 OpenPose 기반 인체 자세 데이터 생성 절차를 요약하여 나타낸다. 먼저 Unreal Engine을 이용하여 가상 장면과 애니메이션이 적용된 인체 모델을 구성하고, 제어된 카메라 설정 하에서 RGB 이미지를 렌더링한다. 이후 생성된 이미지를 OpenPose의 입력으로 제공하여 각 프레임에 대해 2차원 관절 좌표와 이에 대응되는 신뢰도 점수를 자동으로 추출한다. 마지막으로, 추출된 자세 정보는 관절 인덱스, 픽셀 좌표, 신뢰도 값을 포함하는 구조화된 형식으로 저장된다.

Fig. 5.

OpenPose-based pose data generation algorithm

Ⅳ. 자세 데이터 분석

본 절에서는 학습 성능을 평가하기보다는, 생성된 자세 데이터의 특성을 중심으로 분석한다.

4.1 관절 검출 안정성 분석

그림 6은 대표적인 동적 자세에 대해 전방, 측면 및 후면 카메라 시점에서의 OpenPose 기반 관절 검출 결과를 나타낸다.

Fig. 6.

Joint detection results for a dynamic human pose under frontal, side, and rear camera viewpoints

그림 6은 서로 다른 카메라 시점에서 OpenPose 기반 관절 검출 결과를 비교한 것이다. 정면 시점에서는 대부분의 관절이 안정적으로 검출되는 반면, 측면 및 후면 시점에서는 자기 가림(Self-occlusion)의 영향으로 손목 및 발목과 같은 말단 관절의 신뢰도가 감소하는 경향이 나타난다. 특히 동적 자세에서는 관절 굽힘과 신체 중첩으로 인해 일부 관절이 누락되거나 낮은 신뢰도로 검출되는 현상이 관찰되었다. 이러한 결과는 카메라 시점과 자세 변화가 관절 검출 안정성에 중요한 영향을 미친다는 것을 보여준다.

Confidence Range는 주어진 조건에서 관절 검출 신뢰도의 최소값과 최대값 범위를 의미하며, 관절 검출 안정성의 변동 정도를 나타낸다. 관절 수준의 분석 결과, 몸통(Core) 부위 관절은 대체로 높은 신뢰도 범위에 분포하는 반면, 말단(Distal) 관절은 상대적으로 낮은 신뢰도의 검출 결과와 더 빈번하게 연관되는 경향이 나타났다.

표 2에서 확인할 수 있듯이, 머리 및 몸통과 같은 중심부 관절은 비교적 좁은 수치 범위(Confidence range)를 보여 안정적인 검출 성능을 나타낸다. 반면 손목과 발목을 포함한 말단 관절은 더 넓은 수치 범위를 보이며, 이는 카메라 시점 변화 및 자세에 따른 자기 가림(Self-occlusion)에 대한 민감도가 상대적으로 높음을 의미한다.

Table 2.

Average joint detection confidence based on figure 4

표 3의 이미지별 분석 결과, 정면 직립 자세에서는 전반적으로 높은 신뢰도의 관절 검출이 이루어지는 반면, 점프 동작 및 후방 시야 조건에서는 관절 신뢰도가 주로 중간 범위에 분포하는 경향이 나타났다. 특히 말단(Distal) 관절은 이러한 조건에서 누락률이 상대적으로 높게 관찰되었다.

Table 3.

Image-wise OpenPose joint detection characteristics based on figure 4

또한, 표 2와 표 3에 제시된 바와 같이 OpenPose 기반 관절 검출 신뢰도는 자세 구성과 카메라 관점에 따라 체계적으로 변화한다. 몸통 및 중심부 관절은 높은 신뢰도 범위에서 비교적 일관되게 검출되는 반면, 말단 관절은 자기 가림(Self-occlusion) 및 극단적인 관절 자세에서 낮은 신뢰도 범주에 포함되는 경우가 빈번하다. 이러한 결과는 그림 4에서 확인되는 신뢰도 분포의 전반적인 추세와도 일치한다.

Ⅴ. 결 론

본 연구에서는 Unreal Engine 기반 가상 환경에서 OpenPose를 활용하여 인간 자세 데이터를 생성하는 방법을 제안하고, 생성된 데이터의 특성과 관절 검출 안정성을 분석하였다. 분석 결과, 가상 환경과 OpenPose를 결합함으로써 인간 자세 데이터를 체계적으로 생성할 수 있음을 확인하였으며, 생성된 데이터는 전반적으로 구조적 일관성을 유지하였다. 또한 카메라 시점 변화와 자기 가림(Self-occlusion)이 관절 검출 안정성에 유의한 영향을 미치는 것으로 나타나, 데이터 생성 및 구축 과정에서 시점 및 가림 요인을 고려하는 것이 중요함을 확인하였다.

다만 단순화된 텍스처, 제어된 동작 패턴 등 가상 환경 특성으로 인해 실제 이미지 기반 데이터와의 차이는 여전히 존재하며, 본 연구는 데이터 생성과 특성 분석에 범위를 한정하였다. 향후 연구에서는 생성된 데이터를 활용한 자세 추정 모델 학습 성능을 정량적으로 평가함으로써, 가상 환경 기반 자세 데이터의 효과를 보다 명확히 검증할 예정이다.

Acknowledgments

본 논문은 2025년도 교육부 및 경상남도의 재원으로 경상남도RISE센터의 지원을 받아 수행된 지역혁신중심 대학지원체계(RISE)의 결과입니다(2025-RISE-16-002). 또한, 2025년도 교육부의 재원으로 글로컬대학사업의 지원을 받아 수행된 사업의 결과입니다.

References

• J. Martinez, R. Hossain, J. Romero, and J. J. Little, "A simple yet effective baseline for 3d human pose estimation", Proc. IEEE Int. Conf. Computer Vision (ICCV), Venice, Italy, Vol. 17, pp. 2380-7504, Oct. 2017. [https://doi.org/10.1109/ICCV.2017.288]
• D. Pavllo, C. Feichtenhofer, D. Grangier, and M. Auli, "3D human pose estimation in video with temporal convolutions and semi-supervised training", IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, Jun. 2019. [https://doi.org/10.1109/CVPR.2019.00794]
• C. Ionescu, D. Papava, V. Olaru, and C. Sminchisescu, "Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 36, No. 7, pp. 1325-1339, Jul. 2014. [https://doi.org/10.1109/TPAMI.2013.248]
• D. Mehta, H. Rhodin, D. Casas, P. Fua, O. Sotnychenko, W. Xu, and C. Theobalt, "Monocular 3D Human Pose Estimation in the Wild Using Improved CNN Supervision", 2017 International Conference on 3D Vision (3DV), Qingdao, China, Oct. 2017. [https://doi.org/10.1109/3DV.2017.00064]
• T. v. Marcard, R. Henschel, M. J. Black, B. Rosenhahn, and G. Pons-Moll, "Recovering Accurate 3D Human Pose in the Wild Using IMUs and a Moving Camera", Proc. Eur. Conference Computer Vision (ECCV), Munich, Germany, Vol. 11214, pp. 614-631, Oct. 2018. [https://doi.org/10.1007/978-3-030-01249-6_37]
• G. Varol, J. Romero, X. Martin, N. Mahmood, M. J. Black, I. Laptev and C. Schmid, "Learning from Synthetic Humans", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, Jul. 2017. [https://doi.org/10.1109/CVPR.2017.492]
• G. Rogez and C. Schmid, "MoCap-Guided Data Augmentation for 3D Pose Estimation in the Wild", Advances in Neural Information Processing Systems (NeurIPS), Barcelona, Spain, Dec. 2016. [https://doi.org/10.48550/arXiv.1607.02046]
• G. Pavlakos, X. Zhou, K. G. Derpanis, and K. Daniilidis, "Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose", IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, Jul. 2017. [https://doi.org/10.1109/CVPR.2017.139]
• F. Moreno-Noguer, "3D Human Pose Estimation from a Single Image via Distance Matrix Regression", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, pp. 561-1570, Jul. 2017. [https://doi.org/10.1109/CVPR.2017.170]
• S. R. Richter, V. Vineet, S. Roth, and V. Koltun, "Playing for Data: Ground Truth from Computer Games", 14th European Conference on Computer Vision (ECCV), Amsterdam, The Netherlands, Sep. 2016. [https://doi.org/10.1007/978-3-319-46475-6_7]
• W. Qiu and A. Yuille, "UnrealCV: Connecting Computer Vision to Unreal Engine", Computer Vision – ECCV, Nov. 2016. [https://doi.org/10.1007/978-3-319-49409-8_75]
• Z. Cao, G. Hidalgo, T. Simon, S.-E. Wei, and Y. Sheikh, "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 43, pp. 172-186, Jan. 2021. [https://doi.org/10.1109/TPAMI.2019.2929257]
• Z. Cao, G. Hidalgo, T. Simon, S.-E. Wei, Y. Raaj, H. Joo, and Y. Sheikh, "OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation", IEEE Transactions on Pattern Analysis and Machine Intelligencem, Vol. 43, No. 1, pp. 172-186, Jan. 2021. [https://doi.org/10.1109/TPAMI.2019.2929257]