Journal Archive

VR 컨트롤러는 가상현실 환경 내에서 사용자의 움직임과 상호작용을 추적하고 전달하는 장치로, 가상 세계에서의 직접적인 조작이나 상호작용을 가능하게 한다. 이러한 컨트롤러는 대개 모션 센서, 버튼, 터치패드, 진동 모터 등을 탑재하여 사용자에게 더욱 풍부하고 직관적인 경험을 제공한다[11]. VR 컨트롤러의 반응성 및 정확성은 사용자가 VR 환경에서 느끼는 몰입감에 큰 영향을 미친다. 따라서 VR 시스템의 핵심 구성요소 중 하나로 간주되며, 다양한 모양과 크기로 제작되어 각 VR 플랫폼과 호환성을 갖추고 있다[12].

핸드 트래킹은 사용자의 손 움직임을 통해 사용자와 컴퓨터 간 상호작용을 가능하게 하는 제스처 인식 기술의 한 종류이다[13]. 이 기술은 컨트롤러를 활용한 방법에 비해 더 직관적으로 작동한다. 오브젝트를 터치하는 동작에서 문제점을 보이지 않았지만, 물체를 잡거나 이동시킬 때 오브젝트와 충돌 문제로 인해 수정이 필요하다. 이를 해결하기 위해 엄지와 검지가 붙었을 때 오브젝트가 손에 고정되는 핀치 기능을 사용한다.

핸드 트래킹은 손을 머리 뒤로 넘길 때와 같은 큰 움직임에서는 카메라의 인식 범위를 벗어나 손을 추적할 수 없는 문제가 발생한다. 컨트롤러 없이 핸드 트래킹으로 상호작용하는 것은 매우 직관적이나, 두 손이 겹치는 경우 UI 창을 선택하거나, 물체를 잡는 동작 등에서의 정확성이 VR 컨트롤러보다 성능이 낮은 편이다.

트래커는 VR 하드웨어 세트 중 하나로, 사용자의 움직임을 정밀하게 추적하도록 설계되었다[14]. 이 장치는 물체나 사용자의 몸 부위에 부착하여 실시간으로 위치 및 움직임 정보를 컴퓨터나 VR 시스템으로 전송한다. 이를 통해 사용자는 더욱 몰입감 있는 가상현실 경험을 얻을 수 있으며, 다양한 응용 분야에서 활용이 가능하다. Vive 트래커는 일반적으로 사용자의 팔과 다리, 허리 등 사용자의 신체 관절 부위에 장착하여 모션을 캡처하는 기능으로 사용된다. 다만, 도구를 직접 들어야 트래커와 연결된 사물과 상호작용을 할 수 있으며, 사용할 수 있는 트래커의 개수가 제한되어 있는 단점이 있다. 표 1은 VR 컨트롤러, VR 핸드 트래킹, Vive 트래커의 특징과 단점을 요약하였다.

그림 4는 VR 콘텐츠에서 구현해야 할 요소를 순서대로 나열한 그림이다. 이를 바탕으로 유니티에서 현실감 있는 3D 환경을 설계하며, 공간의 구조, 기계들을 시각화하여 실제 작업장과 유사한 환경을 재현한다. 위험 요소를 가상으로 체험할 수 있는 시뮬레이션 공간을 제작하고, 각각의 시나리오를 통해 사용자가 현실과 유사한 반응을 경험할 수 있도록 설계한다. 더불어, VR 내에서의 상황별 대응이 가능한 대화형 교육 모듈도 개발하여 사용자의 선택에 따라 결과나 피드백이 달라지는 시나리오를 구성한다.

Fig. 4. 
Contents development flow chart

그 후, 개별적으로 개발된 각 VR 기기의 SDK 기능을 하나로 통합하며, VR 환경 내 원활한 작동을 위해 성능 최적화 작업을 수행한다. 초기 사용자 그룹을 대상으로 시스템 테스트를 수행하고, 그 과정에서 받은 피드백을 바탕으로 부족한 부분을 수정하여 시스템을 완성한다.

이 연구의 목표는 VR 산업현장 교육 콘텐츠에서 컨트롤러 조작, 핸드 트래킹 조작, 트래커 도구 조작 제안 방법이 실제로 얼마나 실재감을 상승하는지를 검증하는 것이다. 실험을 위해 Unity 2019.9.3f1 버전과 Meta Quest 2 기기를 사용하여 가상현실 애플리케이션을 개발했다. 애플리케이션 개발에는 유니티 에셋 스토어에서 제공하는 그래픽 리소스 및 블렌더 모델링을 활용하였다. 그림 5는 도구 조작을 위해 제작된 수공구 15개가 놓여진 가상환경 모습이다. 수공구는 종류에 따라 드라이버, 펜치, 스패너, 커터칼, 줄, 톱, 가위, 망치, 끌, 플라이어, 렌치, 클램프 등 다양한 도구를 배치한다.

Fig. 5. 
15 hand tools created in a virtual environment

본 연구는 2005년 Witmer와 Singer가 제안한 실재감 설문지인 PQ(Presence Questionnaire) 버전 3을 사용하여 실재감 수준을 측정하고, 이를 분석하여 가상환경 내 도구 사용 기능에 따른 가상현실 경험의 질을 평가하고자 한다[16][17].

설문 문항은 참여 (Involvement), 감각 충실도 (Sensory fidelity), 적응/몰입 (Adaptation/Immersion), 인터페이스 품질 (Interface quality) 항목으로 구성되며, 7점 척도(1점 매우 그렇지 않다, 7점 매우 그렇다)로 평가된다. 제어, 반응성, 자연스러움, 참여도, 시각적 및 청각적 몰입 등 다양한 측면(factors)을 평가한다. 아래 표 2에서 PQ의 각 항목들을 확인할 수 있으며, 본 실험에서 포함되지 않는 청각적 설문 문항인 13, 14, 15번 문항은 이번 설문에서 제외한다. 또한 불성실 응답을 탐지하기 위한 역채점 문항으로 27, 28, 29번을 사용한다.

피실험자 선정 과정에서는 산업현장에서의 작업 경험이 없는 총 60명의 20~30대 참가자를 모집하였다. 60명의 참가자들은 총 세 가지의 방법으로 교육 콘텐츠를 체험한다. 첫 번째는 VR 컨트롤러 장비를 이용하며, 두 번째는 핸드 트래킹 조작 기술을 활용하며, 세 번째는 Vive 트래커를 활용한 조작 기술을 통해 교육을 받는다. 교육 과정에서 모든 참가자들은 산업현장에서 수공구를 이용할 때 발생할 수 있는 다양한 위험 요소 상황들과 그에 대응하는 방법들에 대해 학습한다.

실험 시나리오는 수공구 위험요인 및 안전대책을 VR 환경에서 교육받은 후, 조립 수공구, 절단 수공구, 타격 수공구, 고정 수공구 총 4가지의 위험요인 및 안전대책 학습을 3가지의 방법으로 수행한다. 사용자는 각 수공구의 올바른 사용법과 잘못된 사용법을 확인하며, 사용 방향과 수공구 작업 자세에 의한 유해 요인, 건강장애, 주의사항, 스트레칭 방법 등의 교육을 체험한다.

실험은 사용자들이 각 10분간 가상공간 체험 후 30분의 휴식 시간 동안 VR 환경에서의 실재감과 관련된 설문조사를 시행한다. 설문이 종료된 이후에는 참가자들의 체험 방식에 대한 반응과 의견을 수집하는 피드백을 진행하고 결과를 확인한다.

표 3은 실험 결과를 나타내는 도표이다. 각 분야의 평균 점수는 순서대로 참여 3.69, 3.57, 4.44, 감각 충실도는 3.29, 3.70, 4.35, 적응/몰입은 3.88, 3.74, 4.45 인터페이스 품질은 3.95, 4.13, 4.97의 값이 나타났으며, 총 평균은 3.70, 3.78, 4.55로 나타났다. 관찰치가 26개이고 세 개의 방법이므로 ANOVA(Analysis of Variance) 테스트를 실시하여 세 방법 간에 통계적으로 학습효과 평균에 차이를 비교한다.

표 4는 ANOVA 분석을 SPSS로 진행한 결과이다. F값이 51.665이며 유의확률의 유의수준인 0.05보다 작기에 세 가지의 방법의 참가자들 간의 점수에 평균차이가 있음을 알 수 있다.

표 5는 Scheffe의 사후검정 결과이다. 동질적 부분집합 표를 보면 VR 컨트롤러와 핸드 트래킹이 한 집단으로, Vive 트래커가 한 집단으로 묶어 차이를 보인다. 또한 2번 집단의 참가자 점수가 1번 집단에 비해 비교적 높다. 이를 통해 Vive 트래커를 사용한 제안 방법의 점수가 가장 높게 나타난 것을 확인할 수 있다. 사후 설문지를 통해 Vive 트래커를 활용한 도구 사용의 설문 결과 사용자는 가상공간에서의 위험 요소를 체계적으로 이해할 수 있었다는 반응을 보였다. 특히 사용자가 실제 도구를 사용하는 경험과 VR에서의 시뮬레이션 된 도구 사용 경험이 유사하게 체험하는 것으로 높은 몰입감을 느낀 것으로 확인된다. 사용자들은 실제 도구를 사용함으로써 더욱 현실적인 피드백을 경험하고, 이를 통해 가상공간에서의 위험 요소를 보다 체계적으로 이해할 수 있었다. 본 연구의 결과를 통해 VR 교육 콘텐츠에서 실물을 이용한 도구의 사용법이 사용자의 실재감에서 더 효과적임을 확인할 수 있었다.

반면, VR 컨트롤러를 사용한 경우에는 진동을 통한 촉각적 피드백이 제공되며, 트리거 버튼 및 그랩 버튼을 통해 대상과 정확한 상호작용을 할 수 있었다. 이를 통해 3가지의 점수 중 감각 충실도가 가장 높은 것으로 나타났다. 핸드 트래킹의 경우 컨트롤러와 Vive 트래커 도구처럼 촉각 정보를 얻을 수 없으며, 주로 시각적 및 청각적 피드백에 의존하여 실물 도구를 사용하는 경험에 비해 참여도 측면에서 낮은 점수를 보였다.