Unity 기반 인체 포즈 GT 생성과 ControlNet-OpenPose 조건부 생성모델을 활용한 가상데이터 기반 포즈추정 학습 파이프라인

2.1 인체 포즈추정과 관절 표현

2D 인체 포즈추정은 이미지 내 사람의 관절 위치를 추정하여 자세를 구조적으로 표현하는 기술로, 딥러닝 기술의 도입 이후 비약적인 성능 향상을 이루었다 [6]. 초기 연구에서는 단일 인물뿐 아니라 다중 인물 장면에서의 인물 분리 및 관절 연결이 중요한 난제로 다루어졌다. 이에 OpenPose는 PAF (Part Affinity Fields)를 이용해 관절 간 연결 관계를 추정하는 Bottom-up 접근을 제시하여, 다중 인물 2D 포즈추정 분야의 기반 기술로 자리 잡았다.모델의 학습과 정량적 평가를 위해서는 표준화된 관절 정의와 데이터 포맷이 필수적이며, 현재 MS COCO 데이터셋이 가장 대표적인 벤치마크로 활용된다. COCO 키포인트는 17개 관절로 구성되며, 각 관절은 좌표($x, y$)와 가시성($v$) 정보를 포함하는 벡터 형태로 저장된다. 그림 1은 COCO 17-keypoint의 관절 정의와 인덱스, 그리고 대표적인 스켈레톤 연결 구조를 나타낸 것이다. 본 논문은 이러한 표준을 준수하여, 시뮬레이션에서 생성되는 포즈 주석이 COCO 포맷과 호환되도록 구성하고 이를 학습에 활용한다.

Fig. 1.

Concept of COCO 17-skeleton topology

포즈추정 모델은 접근 방식에 따라 크게 Top-down(사람 검출 후 인물별 포즈 추정)과 Bottom-up(관절 검출 후 연결) 계열로 구분된다. Top-down 계열에서는 Simple Baselines가 기준선으로 제시된 이후, 고해상도 특징 표현을 유지하는 HRNet이나 비전 트랜스포머 기반의 ViTPose 등 다양한 방법이 제안되며 COCO 기준 성능이 지속적으로 개선되어 왔다[8][9]. 본 논문은 새로운 네트워크 구조를 제안하기보다는, 이러한 고성능 모델들이 공통적으로 요구하는 고품질의 ‘이미지–포즈 주석 쌍’을 자동으로 구축하는 파이프라인 설계에 초점을 둔다.

2.2 시뮬레이션 기반 합성 데이터 생성

합성 데이터(Synthetic data)는 라벨링 비용을 획기적으로 줄이면서 배경, 조명, 카메라 시점, 객체 배치 등을 자유롭게 통제하여 다양한 조건의 데이터를 생성할 수 있다는 점에서 컴퓨터 비전 분야의 데이터 부족 문제를 해결할 대안으로 주목받아 왔다. 특히 Unity 기반 도구는 3D 공간에서 시뮬레이션 장면을 구성하고 렌더링하는 과정에서 포즈, 세그멘테이션 등 다양한 형태의 정밀한 주석(Ground truth)을 자동 산출할 수 있어, 데이터 구축의 효율성을 크게 높일 수 있다.

그림 2는 Unity 환경에서 시뮬레이션 장면을 렌더링하고, 프레임 단위로 주석(예: 포즈 JSON)을 출력하며, 배경·조명·시점 등의 요소를 무작위로 변화시키는(Domain Randomization) 일반적인 합성 데이터 생성 흐름을 보여준다. 이러한 구조는 포즈추정 학습에 필요한 데이터를 반복적으로 구축하는 데 유용하다. 그러나 시뮬레이션 이미지는 렌더링 엔진의 한계로 인해 실제 사진과 질감 및 조명 표현에서 차이가 발생하며, 이러한 도메인 갭(Domain Gap)은 모델의 실세계 성능을 저하시키는 주요 원인이 된다[10]. 따라서 최근 연구들은 단순 렌더링을 넘어, 주석의 정합성(좌표계·포맷)을 유지하면서도 시각적 사실성을 보완하는 방향으로 발전하고 있다.

Fig. 2.

Concept of Unity-based synthetic data generation

2.3 확산모델과 포즈 조건부 생성(ControlNet)

확산 모델(Diffusion Model)은 데이터 분포에 점진적으로 노이즈를 추가한 뒤 이를 역으로 제거하며 이미지를 합성하는 방식으로, 특히 잠재 공간(Latent Space)에서 확산을 수행하여 계산 효율과 생성 품질을 동시에 확보하였다.

일반적인 텍스트-투-이미지(Text-to-image) 모델은 높은 표현력을 가지지만, 텍스트 프롬프트만으로는 생성되는 인물의 구체적인 자세나 구조를 정밀하게 제어하기 어렵다는 한계가 있다. 이는 정확한 주석 매칭이 필요한 포즈 추정 데이터 생성 시 구조적 왜곡(Hallucination)을 유발할 수 있다.

이에 대한 대안으로 제시된 ControlNet은 사전 학습된 확산 모델에 외부 조건을 결합하여 구조적 제어(Structural control)를 가능하게 한다. ControlNet은 에지, 깊이, 세그멘테이션, 인체 포즈 등 다양한 공간적 조건을 입력받아 생성 결과의 구조를 강제할 수 있다. 특히 OpenPose 계열 포즈 조건은 입력된 스켈레톤 구조를 유지하면서 사실적인 텍스처를 입히는 생성이 가능하여, 포즈추정 학습용 합성 데이터 생성에 가장 적합한 기술로 평가받는다.

다만, 시뮬레이션에서 생성된 관절 정의나 스켈레톤 연결 구조가 생성 모델이 학습한 분포와 다를 경우, 조건 반영이 약해지거나 생성 이미지에서 다중 인물 등장, 신체 부위 누락 등의 품질 저하가 발생할 수 있다[12]. 따라서 본 논문은 Unity에서 생성한 포즈 조건 및 주석을 ControlNet 기반 생성 서버와 연동하고, 데이터 포맷 및 좌표계를 일치시켜 고품질의 학습 데이터를 구축하는 통합 파이프라인을 제안한다.

3.1 시스템 개요

본 논문에서 제안하는 가상 데이터 생성 파이프라인은 시뮬레이터가 제공하는 '구조적 정밀함'과 생성형 AI가 제공하는 '시각적 사실성'을 결합하여, 도메인 갭이 최소화된 고품질 학습 데이터를 자동 구축하는 것을 목표로 한다. 전체 시스템은 크게 Unity 기반 데이터 생성부, ControlNet 기반 생성 서버부, 그리고 포즈 추정 학습부로 구성된다.

그림 3은 제안 시스템의 전체 파이프라인을 모듈 간의 상호작용으로 도식화한 것이다. Unity Client는 시뮬레이션 환경에서 렌더링을 수행하고 생성에 필요한 파라미터(Generation parameters)를 구성하여 서버로 전송한다. Generation Server는 수신된 파라미터와 포즈 조건(Pose PNG)을 기반으로 ControlNet-OpenPose를 구동하여 사실적인 이미지를 합성하고, 그 결과(Base64 encoded data)를 반환한다. 이렇게 확보된 합성 데이터는 Training & Eval 모듈로 전달되어, 포즈 추정 모델의 학습 및 성능 평가에 활용되는 유기적인 순환 구조를 갖는다.

Fig. 3.

Unity-generation server-learning pipeline

3.2 모듈 구성 및 설계 근거

각 모듈은 데이터의 정합성을 유지하면서도 시스템의 확장성을 고려하여 독립적인 기능을 수행하도록 설계되었다.

첫째, Unity 데이터 생성부는 3D 휴머노이드 캐릭터와 애니메이션 에셋을 활용하여 다양한 동작을 시뮬레이션한다. 이 과정에서 배경, 조명, 카메라 시점을 무작위로 변화시키는 도메인 무작위화(Domain Randomization)를 적용하여 데이터의 다양성을 1차적으로 확보한다. 렌더링 시점에는 화면상의 관절 좌표를 계산하여 COCO 포맷 호환 JSON으로 저장하고, 동시에 동일한 카메라 뷰에서 관절 스켈레톤만을 시각화한 Pose PNG를 생성한다. 이 두 데이터는 동일한 렌더링 파이프라인에서 추출되므로 완벽한 기하학적 일치(Geometric alignment)를 보장한다.

둘째, 생성 서버부(FastAPI & ControlNet)는 Python 환경의 PyTorch 기반 확산 모델(Stable Diffusion + ControlNet)을 구동하기 위해, C# 기반의 Unity와 분리된 별도의 서버(FastAPI)로 구축하였다. 이러한 느슨한 결합(Loose coupling) 구조는 다음과 같은 이점을 갖는다. 우선 시뮬레이션(CPU/Unity)과 무거운 생성 모델(GPU/Diffusion)의 리소스를 물리적으로 분리하여 시스템 안정성을 높인다. 또한 Unity 클라이언트를 수정하지 않고도 서버 측에서 생성 모델의 체크포인트나 샘플링 파라미터를 유연하게 교체할 수 있어 실험의 용이성을 제공한다. 서버는 Unity로부터 수신한 Pose PNG를 조건(Condition)으로 사용하여 텍스처와 배경이 합성된 이미지를 생성하고, 이를 다시 Unity로 반환한다.

마지막으로, 학습 및 평가부는 구축된 데이터셋(이미지-주석 쌍)을 로드하여 2D 포즈추정 모델을 학습한다. 이때 파일명에 포함된 프레임 ID를 키(Key)로 사용하여 이미지와 라벨을 매핑하며, 학습 목적에 따라 '가상 데이터 단독' 또는 '실제 데이터와 혼합' 구성을 선택하여 모델의 일반화 성능을 평가한다.

3.3 데이터 및 인터페이스 정의

시스템의 신뢰성을 위해 모듈 간 교환되는 데이터 포맷과 인터페이스를 명확히 정의하였다. 모든 좌표 데이터는 픽셀 단위의 이미지 좌표계를 따르며, 원점은 이미지의 좌상단(Top-Left, 0,0), 축은 우측(+x) 및 하단(+y) 방향으로 설정하여 이미지 처리 라이브러리(OpenCV 등)와의 호환성을 유지한다.포즈 주석은 MS COCO 키포인트 정의를 따르며, 각 관절은 좌표($x, y$)와 가시성($c$)을 포함하는 벡터로 표현된다. 한 프레임 내의 단일 인물 포즈 P는 식 1과 같이 17개 관절의 순차적 벡터로 정의된다.

여기서 c는 관절의 가시성 상태(0: 이미지 밖, 1: 가려짐, 2: 보임)를 나타낸다. 시스템 내 주요 데이터 아티팩트(Artifact)의 역할은 표 1과 같다.

Table 1.

Data artifacts and roles in the pipeline

Unity와 생성 서버 간의 통신은 HTTP REST API를 통해 이루어지며, 데이터의 무결성을 위해 모든 요청과 저장 파일은 고유한 frame_id를 공유한다. 구체적인 API 명세와 파일 저장 구조는 표 2에 요약하였다.

Table 2.

Interface and storage

이러한 구조적 설계를 통해 시뮬레이션에서 자동 생성된 수천 장 이상의 데이터가 주석 오류 없이 학습 단계로 파이프라인 되도록 보장한다. 특히 유효하지 않은 관절(Simulation 상에서 렌더링되지 않은 부위 등)은 가시성 값(c=0)으로 마스킹 처리하여, 학습 시 손실 함수 계산에서 자동으로 제외되도록 구성하였다.

4.1 데이터셋 구축 절차

본 장에서는 3장에서 정의한 파이프라인을 이용하여 합성 데이터셋을 구축하고, 이를 포즈추정 학습에 적용한 결과를 기술한다. 데이터 구축 단계에서는 Unity 장면 내의 배경, 조명, 카메라 시점을 무작위로 변화시키는 도메인 무작위화(Domain randomization)를 적용하여 데이터의 다양성을 확보하였다. 또한 생성 서버의 추론 파라미터는 사전 실험을 통해 이미지 품질과 생성 속도의 균형을 맞춘 값으로 고정하여 데이터 생성의 일관성을 유지하였다.

특히 합성 데이터의 품질이 학습에 미치는 부정적 영향을 방지하기 위해, 생성된 데이터에 대해 단계적인 품질 통제(Quality control) 절차를 적용하였다. 첫째, OpenPose를 이용해 생성 이미지를 2차 검증하여 검출된 관절의 신뢰도(Confidence)가 일정 임계값(예: 0.4) 미만인 데이터는 학습에서 제외하였다. 둘째, Unity GT 상의 관절 좌표와 생성된 이미지 내 인물의 위치가 시각적으로 현저히 불일치하거나, 단일 인물 조건임에도 다중 인물이 생성된 경우를 필터링하여 데이터의 정합성을 보장하였다. 모든 산출물은 프레임 ID를 기준으로 저장하여 이미지와 포즈 주석의 1:1 대응 관계가 파일 단위에서 유지되도록 구성하였다.

4.2 학습 환경 설계

실험의 재현성을 확보하기 위해 포즈추정 모델의 구조와 학습 하이퍼파라미터를 구체적으로 명시한다. 본 실험에서는 Top-down 방식의 대표적 모델인 HRNet-W32를 백본(Backbone)으로 사용하였으며, 입력 이미지 해상도는 256×192로 설정하였다.학습 최적화 도구(Optimizer)로는 AdamW를 사용하였으며, 초기 학습률(Learning rate)은 1e-3으로 설정하고 지정된 에폭마다 학습률을 감소시키는 Step Decay 스케줄러를 적용하였다. 배치 크기(Batch size)는 32로 설정하였으며, 과적합 방지를 위해 Random Flip, Rotation($\pm$30도), Scale(0.75-1.25) 등의 데이터 증강(Augmentation)을 공통적으로 적용하였다. 구체적인 학습 환경 설정은 표 3에 요약하였다.

Table 3.

Hyperparameters for pose estimation training

4.3 데이터셋 구성 및 규모

구축된 데이터는 학습 목적에 따라 학습(Train), 검증(Val), 평가(Test) 세트로 분할하였다. 실제 데이터(Real data)는 COCO train2017의 일부를 샘플링하여 구축하였으며, 가상 데이터(Synthetic data)는 제안한 파이프라인을 통해 생성하였다.

실험 조건은 데이터 구성에 따라 실제 데이터 단독(Real only), 실제+가상 혼합(Real + Synthetic), 가상 데이터 단독(Synthetic only)의 세 가지로 설정하였다. 혼합 학습 시에는 실제 데이터와 가상 데이터를 1:1 비율로 구성하여, 데이터 양의 증가와 다양성 보강 효과를 균형 있게 반영하고자 하였다. 각 데이터셋의 구체적인 규모는 표 4와 같다.

Table 4.

Dataset composition and size

4.4 학습 결과 및 분석

표 5는 각 학습 조건에 따른 모델의 성능을 비교 분석한 결과이다. 실험 결과, ‘실제+가상 혼합 학습(Real + Synthetic)’의 OKS-AP가 65.0으로 ‘실제 데이터 단독(Real only)’인 63.2 대비 약 1.8%p 향상된 성능을 보였다. 이는 단순히 학습 데이터의 양(Quantity)이 증가했기 때문만이 아니라, 합성 데이터가 실제 데이터셋에서 부족했던 다양한 자세, 배경, 조명 등의 환경 변이를 제공하여 데이터의 다양성(Diversity)을 확보했기 때문이다. 결과적으로 이러한 다양성이 모델의 과적합을 방지하고 일반화(Generalization) 성능 개선에 기여했음을 시사한다.

Table 5.

Comparative results of pose estimation

반면, ‘가상 데이터 단독(Synthetic only)’ 학습은 OKS-AP 49.5를 기록하며 실제 테스트 세트 기준에서 비교적 낮은 성능을 보였다. 이는 생성된 이미지의 텍스처나 시각적 분포가 실제 이미지와 상이하여 발생하는 도메인 갭(Domain gap)에 기인한 것으로 분석된다. 따라서 현 단계에서 합성 데이터는 실제 데이터를 완전히 대체하기보다는, 실제 데이터가 부족한 영역을 보완하거나 다양성을 높이는 보조 데이터(Supplementary data)로 활용하는 것이 적절함을 확인할 수 있다.

정성적 분석 결과, 합성 데이터의 학습 기여도는 생성된 이미지의 시각적 품질과 조건 입력(Condition input)의 정합성(Alignment)에 크게 의존함이 확인되었다. ControlNet의 입력인 Pose PNG는 인체의 기하학적 구조 정보를 제공하는 핵심 요소이나, 프레이밍이 불안정하거나 스켈레톤 정보가 모호할 경우 생성 결과물에서 다중 인물 등장, 경계 모호성(Ambiguity), 신체 왜곡 등의 아티팩트(Artifact)가 발생할 수 있다.

그림 4는 Pose PNG(조건 입력), 생성 이미지, 그리고 오버레이 결과를 비교하여 조건 입력의 중요성을 보여준다. (A)는 입력 스켈레톤의 자세는 반영되었으나, 인물과 배경의 경계가 불분명하거나 세부 디테일이 손상되어(Low fidelity) GT와의 정합성이 다소 부족한 사례이다. (B)는 단일 인물 생성 제약에도 불구하고 다수의 인물이 생성된 경우로, 조건 입력의 불확실성이나 모델의 장면 해석 편향이 제약 조건 위반(Constraint Violation)으로 이어질 수 있음을 나타낸다. 반면 (C)는 입력 포즈와 생성된 인체가 정확히 일치하고 시각적 품질 또한 우수한 사례로, 명확한 조건 입력과 적절한 프레이밍이 보장될 때 고품질의 가상 데이터를 안정적으로 확보할 수 있음을 시사한다.

Fig. 4.

Qualitative examples of pose-conditioned synthetic data