Meta Quest 3 기반 AR/VR 전환 협업 훈련 MR 시뮬레이터 구현

2.1 MR 기반 훈련 시스템 활용 사례

MR은 AR과 VR의 장점을 통합하여 실세계와 가상세계 간 실시간 상호작용을 구현할 수 있는 개념으로, 훈련 분야에서 물리적 조작감과 몰입형 시나리오를 동시에 제공할 수 있다는 점에서 주목받고 있다. 기존 MR 시스템은 특수 장비나 환경에 의존하는 경우가 많다. J. C. Uhl et al.[4]은 응급의료 훈련 시스템인 MED1stMR을 통해 MR 교육이 사용자 성과 기대와 사회적 현존감에 긍정적 영향을 준다고 보고한다. 또한, M. Coduri et al.[5]은 물리 마네킹과 가상 아바타를 결합한 RiNeo MR 시스템을 신생아 소생술 훈련에 적용하여 높은 학습 효과를 입증한다.

그러나 이러한 시스템은 전용 장비나 센서 기반 트래킹 장치에 대한 의존도가 높고, 설치·운영에 제약이 있다. 일부 콘텐츠는 AR과 VR을 단계적으로 제공되며, 두 환경 간 실시간 전환이나 공간 연속성이 부족하다. P. C. Lin et al.[6]은 AR 태블릿과 VR 스크린을 결합한 교육에서 사용자의 실천 의지를 향상했지만, 공간 정합성 확보에는 한계가 있다.

본 연구는 이러한 문제를 해결하기 위해 메타 퀘스트(Meta quest) 3의 패스스루(Passthrough) 기능을 활용한 단일 장치 기반 AR과 VR의 실시간 전환형 MR 훈련 시스템을 제안한다. 유니티(Unity) 기반 환경에서 AR과 VR을 자유롭게 넘나들 수 있으며, 사용자 인터페이스와 공간 좌표계 정렬을 설계하여 몰입도 손실을 최소화한다.

2.2 AR/VR 전환 기술 사례

초기 AR/VR 전환 기술은 단순한 모드 전환 중심이었으며, 주로 개발자 테스트나 단일 콘텐츠 탐색에 활용된다. 이후 전환 효과(Transition effects)를 통해 시각적 이질감을 줄이는 방향으로 발전한다. 페이드(Fade), 포탈(Portal), 와이프(Wipe) 컷(Cut) 등의 기법은 몰입도와 전환 만족도를 높이는 데 효과적이며, F. Pointecker et al.[7]은 다양한 UI 전환 실험을 통해 이를 입증한다.

본 연구는 단일 HMD(Head mounted display) 상에서 AR/VR 전환 시 사용자의 시점·방향·UI 상태를 유지하며, 공간 정렬 오류를 최소화하는 페이드 기능과 보정 기술을 적용한다. 이를 통해 추가 장비 없이도 연속적인 훈련 시나리오를 화면을 전환하며 자연스럽게 제공할 수 있도록 설계한다.

2.3 MR 협업 시나리오 사례

MR 기반 협업 훈련은 원격지의 사용자가 동일한 혼합현실 환경에서 실시간으로 상호작용하며 학습 효과를 극대화하는 접근 방식으로, 상황 인식과 의사결정이 요구되는 분야에서 특히 주목받고 있다. MR 협업 시스템은 물리적으로 떨어져 있는 사용자가 동일한 가상 객체와 공간을 공유할 수 있으며, 동일 공간 내에서 각자의 시야에 맞춘 맞춤형 정보 제공도 가능하다는 장점이 있다.

M. Rebol et al.[8]은 의료 교육을 위한 MR 원격 협업 시스템을 설계하여, 실시간 3D 의사소통 환경을 구현하였다. 이 연구는 의료 훈련이라는 특수 목적에는 최적화되어 있으나, 범용 협업 시나리오로의 확장성과 볼륨 데이터 전송에 필요한 높은 네트워크·하드웨어 요구사항 제약이라는 한계점을 남긴다.

3.1 시스템 구성 및 개발 환경

제안된 시스템은 메타 퀘스트 3에서 구동되며, 유니티 6000.0.47f1 버전을 기반으로 개발한다. 유니티 엔진 내에서의 개발은 AR과 VR 환경 모두를 하나의 통합된 씬(Scene)에서 처리하는 구조로 구성된다. 이를 통해 모드 간 전환 시 별도의 씬 로딩이나 오브젝트 재구성이 필요하지 않으며, 연속된 시각 흐름과 인터랙션 경험을 유지할 수 있는 기술적 기반을 마련한다.

본 시스템에서 유니티 패키지 매니저를 통해 설치한 다양한 XR 관련 SDK(Software Development Kit) 및 구성요소를 기반으로 개발되며, 각 패키지의 정확한 버전과 기능을 명시함으로써 동일 개발 환경의 재현 가능성과 버전 간 충돌 방지를 통한 호환성을 확보하고자 한다. 사용된 유니티 패키지 목록은 표 1과 같다.

Table 1.

Unity packages and versions used in system development

3.2 AR/VR 모드 전환 구현

AR과 VR 모드는 단일 씬 내에서 카메라 설정과 렌더링 방식을 달리하여 구현한다. VR 모드에서는 360도 가상 환경이 유니티 엔진을 통해 렌더링되고, AR 모드에서는 배경을 메타 퀘스트 3의 패스스루 영상으로 대체하여 현실 배경 위에 가상 객체를 오버레이 방식으로 표시한다.

모드 전환은 시스템 내부 상태 플래그(State flag)를 기반으로 하며, 사용자 입력이나 시나리오 흐름에 따라 전환된다. 별도 씬 로딩 없이 카메라 배경과 렌더링 설정만 변경되므로 전환 중 몰입도 손실이 적다. 또한, 시각적 이질감을 줄이기 위해 페이드 인/아웃 기법이 적용되었다. 그림 1은 VR 모드와 AR 모드에서 페이드 전환을 도식화한 그림이다. 화면 중앙에 쿼드(Quad) 오브젝트를 배치하고, 전환 시작 시 암전 처리 후 모드를 바꾼다. 변경된 모드에서 암전 화면을 다시 밝히는 방식으로 AR/VR 모드 변경 시 시야 전환을 부드럽게 연결한다.

Fig. 1.

Diagram of AR/VR mode transition using fade-in/out

3.3 공간 정합성 구현 및 멀티플레이 구현

AR과 VR 모드 간의 전환 과정에서 가상 객체의 위치 정합성을 유지하는 것이 중요하다. 본 시스템은 유니티의 AR Foundation SDK와 OpenXR SDK 기반 공간 앵커링 기능을 활용하여, 객체가 모드 전환 후에도 동일한 공간 좌표에 유지되도록 한다.

AR 모드에서는 ARPlaneManager를 통해 실제 공간의 평면 구조물을 자동 탐지하고, 사용자가 객체를 배치할 때 해당 평면 위에 위치시킨다. 이때 객체에 공간 앵커를 부착하며, 해당 앵커는 월드 좌표 기준으로 설정되어 유니티의 추적 시스템에 의해 지속적으로 유지된다.

표 2는 AR에서 VR로의 전환 구조를 요약한 것이다. AR 모드에서는 ARSession과 ARPlaneManager가 활성화되어 사용자의 실제 공간에 기반한 평면 인식이 수행된다. 이때 사용자가 배치한 가상 객체는 ARAnchor를 통해 공간 좌표에 고정되며, 해당 앵커는 월드 기준의 절대 좌표계를 참조하여 위치 정보를 유지한다. 이후, 페이드 인/아웃을 통해 자연스러운 시각 전환을 거쳐 VR 모드로 전환되면, ARSession은 비활성화되지만, 기존에 설정된 앵커 기반 위치는 그대로 유지되며, 동일한 좌표에 객체가 VR 환경에 재렌더링된다.

Table 2.

AR/VR anchor-based transition process

표 3은 VR에서 AR로의 전환 구조를 요약한 것이다. AR 모드로의 전환은 VR 모드에서 ARSession을 활성화하고, 가상 객체를 ARAnchor를 통해 새로운 공간 좌표에 배치하는 방식으로 진행된다.

Table 3.

VR/AR anchor-based transition process

멀티플레이 환경은 Photon Fusion을 기반으로 사용자 간 상태 정보와 가상 객체를 실시간으로 동기화하며, 음성 채널을 통해 상호 커뮤니케이션이 가능하도록 구성한다. 공간 정렬은 공유 앵커 기반으로 정합성을 유지하며, 모든 객체 상태는 서버에서 통합 관리되어 실시간 협업이 가능하도록 제작한다.

4.1 실험 설계 및 절차

본 연구는 MR 기반 협업 훈련 시스템의 효율성과 사용자 몰입도를 평가하기 위해 단순 과업 시뮬레이션을 사용자 실험으로 수행한다. 실험 시나리오는 CoCoVR 멀티플레이 퍼즐과 이에 따른 간단한 레버 조작 과제를 기반으로 재구성되었다. 실제 협력 상황을 단순화하여 2인 1조 협업 방식으로 설계한다[9]. 총 20명의 성인 참가자(평균 연령 21세)는 무작위로 10개 팀으로 편성되며, 참가자 전원은 VR/AR 사용 경험이 거의 없는 초심자로 구성된다. 실험 전에는 HMD 착용법, 컨트롤러 기본 조작, 협업 인터페이스에 대해 약 5분간의 사전 오리엔테이션을 제공한다.

그림 2는 실험에 사용되는 가상 블록과 증강 레버를 조작하는 2개의 환경을 보여준다. 단일 사용자 환경에서는 한 명이 혼자 모든 절차를 수행하며, 블록을 맞추고 레버를 작동시켜 블록을 고정하는 과업을 AR과 VR을 전환하며 체험한다. 멀티 사용자 협업 환경에서는 두 참가자가 역할을 분담하여 작업을 수행한다. AR/VR 모드를 전환하면서 블록을 선택하고 이동시키고, 레버를 조작하여 지정된 위치에 블록을 고정시킨다. 두 참가자의 HMD 화면에는 공유된 가상 오브젝트 상태와 위치, 공간 앵커가 실시간 동기화된다.

Fig. 2.

Experiment environment implemented in AR/VR

각 세션은 15분 내로 수행되며, 세션 종료 후 참가자들은 설문으로 제안 시스템을 평가한다. 사용성 설문 SUS(System Usability Scale)와 현존감 설문 MPS(Multimodal Presence Scale)를 활용하여 5점 리커트 척도로 측정한다[10][11]. 또한, 협업 효율성과 불편 사항에 대한 자유 응답형 인터뷰를 통해 개선 요구사항을 수렴한다.

4.2 실험 결과 및 분석

본 실험에서는 개발된 MR 기반 훈련 시스템이 단일 사용자 환경 대비 협업 환경에서 어떤 효과를 나타내는지를 비교하였다. 참가자들은 두 가지 조건을 모두 경험하였으며, 각 조건에서의 과제 수행 성능과 주관적 인식을 평가하였다.

그림 3은 단일 환경과 협업 환경 각각 측정된 반응 시간, 정확도, 작업 완료 시간을 나타내는 평균 점수 산출 그래프이다.

Fig. 3.

Experimental performance metrics

반응 시간은 색상 지시가 나타난 후 해당 블록을 선택·배치하기까지 걸린 시간은 단일 모드에서 평균 2.15초, 협업 모드에서 1.57초로 약 26.98% 단축되었다(p < .001). 이는 단순 과업에서도 협업을 통해 한 명은 블록 선택·이동, 다른 한 명은 고정·검수에 집중하면서 단계가 겹치지 않아 의사결정 대기시간이 감소하여 반응 속도 향상에 기여했음을 시사한다. 정확도에서 블록 잘못 배치율은 단일 모드에서 평균 6.29%, 협업 모드에서 3.77%로 개선되었다. 배치 전에 동료 간 상호 확인과 역할 분담이 오류 감소에 효과적인 것으로 나타닜다. 작업 완료 시간은 단일 모드 821.43초, 협업 모드 705.52초로 약 14.10% 단축되었다. 또한 대응표본 t-검정에서도 통계적으로 유의미한 차이(p = .001)가 나타났다. 협업에서는 각자 필요한 모드만 유지해 전환에 따른 지각 재적응 시간이 짧아진 것으로 판단되었다.

그림 4는 사용성, 현존감을 측정한 결과를 산출한 그래프이다. 사용성(SUS)은 단일 모드 81.31점, 협업 모드 86.64점으로 두 조건 모두 평균(65점 이상) 이상을 기록했다. 현존감(MPS)은 전체 평균 4.2점 이상이었으며, 단일 모드에서는 물리적 현존감이 약 6.6% 높았고, 협업 모드에서는 사회적 현존감이 약 12.1% 더 강하게 나타났다.

Fig. 4.

Experimental user experience metrics

참가자들은 "협업 모드에서 다른 참가자와 의사소통이 자연스럽고, 함께 작업을 진행하면서 더욱 효율적으로 문제를 해결할 수 있었다."라는 점을 협업의 장점으로 대답했다. 참가자 중 한 명은 "VR과 AR 모드의 전환이 매끄러워, VR에서는 가상 작업에 집중할 수 있었고, AR에서는 동료와 현실 공간을 같이 사용하는 느낌이 좋았다."라고 시스템 만족도에 응답했다.