혼합현실 기반 가상 마켓 시뮬레이터 설계 및 구현

Ⅰ. 서 론

확장 현실(Extended reality)은 사용자와 디지털 환경 간의 상호작용을 강화하는 첨단 기술들로, 다양한 분야에서 그 활용 가능성이 주목받고 있다. 이러한 기술들은, 물리적으로 접근이 어려운 영역이나 경험하기 힘든 상황에 대한 교육을 위해 사용하거나, 사용자가 현실 세계에서 더욱 다양한 방식의 콘텐츠를 경험할 기회를 제공한다. 예를 들어, 신체 내부 구조나 복잡한 개념을 시각적으로 구현함으로써 학습 효과를 극대화하거나, 재난 대응 훈련이나 우주 환경 체험처럼 실제로 겪기 어려운 경험을 가상 환경에서 안전하게 체험할 수 있도록 지원하고, “모션캡쳐를 이용한 AR 퍼포먼스 드로잉컨텐츠”등과 같은 다양한 콘텐츠들이 개발되는 것처럼 확장 현실 기술들은 교육, 훈련, 산업 등 다양한 영역에서 필수적인 도구로 자리 잡게 하고 있다[1]-[4].

혼합현실(Mixed Reality)은 이러한 확장 현실 기술 중 하나로, 완전한 가상의 공간을 생성하여 사용자를 몰입시키는 가상현실(VR)과 현실 위에 가상 정보를 겹쳐 보여주는 방식으로 동작하는 증강현실(AR), 이 두 기술을 결합하여, 가상 그리고 현실의 객체 모두와 실시간으로 반응하고 사용자와 상호작용 할 수 있도록 한다.

혼합현실을 경험하기 위해서는 HMD(Head Mounted Display)를 사용하는 것이 일반적인데, 대표적인 기기로는 홀로렌즈와 메타퀘스트가 있다. 이 기기들은 혼합현실에서 사용자와의 상호작용을 위해 설계된 것들로, 이들은 현실과 가상 요소 간의 자연스러운 상호작용을 가능하게 하기 위한 실시간 매핑 기능과 제스처, 모션 인식, 음성 명령 등을 활용하여 사용자가 혼합현실 콘텐츠를 직관적으로 제어할 수 있도록 구성되어 있다. 이러한 기기들을 이용하여 개발된 콘텐츠들은 항공 교통 관제 시뮬레이션을 조작하는 시뮬레이션으로 사용되거나, 전기회로에 대한 실습을 혼합현실에서 진행하게 보조하고, 방사선 안전 시뮬레이션으로 사용되는 등 고도의 전문성을 요구하는 다양한 분야에서 사용되고 있다[5]-[8].

혼합현실 콘텐츠의 적용 범위는 교육을 넘어 협업과 실생활로 확대되고 있다. 사용자 간의 시선과 손동작을 공유하여 몰입감 높은 협업 환경을 구축하거나, 관광 어시스턴트 시스템을 통해 가상 정보와 경로 안내를 제공하는 연구들이 이루어지고 있다. 또한, 혼합현실은 물류 및 상업 분야에서도 활발히 연구되고 있다. HMD를 통해 제품의 정보를 실시간으로 제공하거나, 재고 상태를 시각화하는 UI 개발을 통해 효율성을 높이고자 하는 사례들이 대표적이다. 이러한 연구는 혼합현실 기술이 단순히 몰입감을 제공하는 도구를 넘어, 실제 문제 해결과 사용자 경험 개선에 기여할 가능성을 보여준다[9]-[12].

본 연구에서는 이러한 장점이 있는 혼합현실 기술을 활용하여 가상 마켓 시뮬레이터를 설계하고 구현하는 것을 목표로 한다. 이를 통해 사용자는 실제 마켓 공간과 유사한 몰입형 환경에서 제품 정보를 직관적으로 탐색하고, 상호작용할 수 있는 경험을 제공받는다. 특히, 현실 공간에서의 제품 인식, 사용자 인터페이스(UI) 설계, 혼합현실 상호작용 기술 등을 통합하여, 보다 효율적이고 사용자 친화적인 시뮬레이터를 구축하고자 한다

본 논문의 구성은 다음과 같다. 제2장에서는 관련 연구를 소개하며, 각 연구의 특징, 장점 및 한계점을 상세히 기술한다. 제3장에서는 가상 마켓 설계 및 구현 내용에 대해 구체적으로 기술한다. 제4장에서는 가상 마켓 환경에서의 매장 설계 및 활용 가능성에 대해서 기술한다. 마지막으로, 제5장에서는 결론과 향후 연구 방향에 대해 논의한다.

Ⅱ. 관련 연구

혼합현실 기술은 최근 다양한 분야에서 중요한 응용 사례를 제시하고 있으며, 이러한 사례들은 혼합현실의 실질적인 적용 가능성을 보여준다. 혼합현실은 건설 현장에서의 안전 커뮤니케이션을 향상시키기 위해 활용되며, 이는 사용자에게 더욱 직관적이고 실시간으로 상호작용할 수 있는 환경을 제공한다. 이러한 환경은 특히 위험 요소가 높은 분야에서의 교육 및 훈련에서 두각을 나타내고 있으며, 건설 산업의 생산성을 높이는 데 크게 기여하고 있다[13].

혼합현실의 또 다른 중요한 응용 분야는 의학 분야이다. 혼합현실은 수술 절차를 연습하거나 신체 구조를 학습하는 데 사용되며, 이는 학생들에게 실질적인 경험을 제공하여 학습 효과를 극대화한다. 이러한 기술은 학생들이 복잡한 의학적 개념을 더욱 쉽게 이해할 수 있도록 도와주며, 실질적인 훈련을 통해 의학 교육의 품질을 향상시키고 있다[14]. 또한, 혼합현실은 생명과학 교육에서 중요한 역할을 하고 있는데, 생물학적 개념을 더욱 생생하게 전달함으로써 학생들의 몰입감과 이해도를 높이는 데 효과적이다.

건설 산업에서는 혼합현실이 BIM(Building Information Modeling)과 결합하여 혁신적인 응용 사례를 만들어내고 있다. 예를 들어, 설계 단계에서 실시간으로 양을 산출하는 기능이 도입되었으며, 이는 데이터 시각화 및 협업을 통해 프로젝트의 복잡성을 줄이고 효율성을 높이는 데 기여하고 있다[15]. 이러한 기술은 건설 프로젝트의 성공적인 완수를 위해 필수적인 도구로 자리 잡고 있다. 혼합현실은 몰입감을 제공하는 도구를 넘어 실제 문제 해결과 사용자 경험 개선에 기여할 가능성을 보여주고 있다. 특히, 교육, 의료, 건설 등의 분야에서 혼합현실의 혁신적인 적용은 사용자들이 보다 깊이 있는 경험을 하게 함으로써, 학습과 업무의 효율성을 극대화하는 데 중요한 역할을 하고 있다.

기존 연구들은 혼합현실 기술을 주로 교육 및 훈련 분야에 대해서 연구를 이어나가고 있지만, 본 연구는 가상 마켓 시뮬레이터를 활용하여 사용자에게 직관적인 상호작용 환경과 매장을 탐색하며 경험할 수 있는 몰입형 환경을 구축하는 것에 중점을 둔다. 나아가, 사용자의 시선 데이터를 분석하여 매장배치를 최적화하는 과정을 제안함으로써, 실제 매장의 개선과 상업적 효율성 증대에 기여할 가능성을 제시한다.

Ⅲ. 가상 마켓 설계 및 구현

3.1 가상 마켓 개요

본 연구에서 개발된 시뮬레이터는 혼합현실 기술을 활용하여 마켓을 미리 설계할 수 있는 시뮬레이터로 개발되었다. 또한, 설계된 가상 매장을 고객의 시점에서 체험하며, 관리자 관점이 아닌 고객 중심에서 매장을 평가하고, 이를 통해 효율적인 사용자 중심 마켓 설계를 지원한다. 그림 1은 제안된 가상 마켓 시뮬레이터의 구성과 흐름을 보여준다.

Fig. 1.

Virtual market composition and flow chart

3.2 가상 마켓 시뮬레이터의 주요 기능

개발된 콘텐츠는 매대와 상품의 배치 등의 기능을 혼합현실에서 사용하기 위한 기기로 홀로렌즈를 채택했으며, 홀로렌즈에서 시뮬레이터를 설치 및 실행하기 위하여 Unity 엔진을 이용하였다. 그리고 기능들을 보다 사용자 친화적으로 구현하기 위해, 마이크로소프트사에서 제공하는 Mixed Reality Toolkit (MRTK)라이브러리 사용하였다.

특히, MRTK에서 제공하는 Intractable 컴포넌트를 통해 UI와 오브젝트를 제어하였고, MRTK에 포함되어있는 원거리 커밋 제스쳐와 그랩, 터치 등의 다양한 제스쳐를 이용하여, 사용자가 콘텐츠를 진행하는 데 불편함을 느끼지 않도록 구성하였다.

그림 2와 같이, 손바닥이 인식되면 메뉴 버튼이 나타나며 가상 마켓 시뮬레이터가 시작된다. 해당 메뉴는 손동작을 통해 선택 및 이동시킬 수 있다. 메뉴 버튼을 클릭하면 관리자로서 매장을 설계할 수 있는 기능인 진열대, 상품, 할인 및 태그 배치 기능이 중단 부분, 큰 아이콘으로 배치되어 있고, 우측상단에는 고객으로서 수행할 수 있는 구매 기능 아이콘이 포함되어있다.

Fig. 2.

Simulation starts with the appearance of a menu button upon palm recognition(top). After clicking the menu button, administrator functions(shelf, product, promotional tags etc) appear(bottom)

진열대는 실제 마켓에서 상품을 정렬하고 전시하는 핵심 요소이며, 본 가상 마켓 시뮬레이터에서도 다양한 진열대에 대한 배치 기능을 제공한다. 그림 3은 사용자가 진열대를 추가하거나 기존에 배치된 진열대를 재배치할 수 있는 기능 메뉴를 보여준다. 사용자는 추가 배치 버튼을 클릭하여 원하는 진열대를 선택하고, 가상 공간에 새롭게 배치할 수 있으며, 재배치 옵션을 통해 기존에 배치된 진열대의 위치와 구성을 자유롭게 조정할 수 있다.

Fig. 3.

Display stand installation(top) and list menu(bottom)

재배치 메뉴를 선택하거나 새로 배치할 진열대를 선택하면, 그림 4와 같이 진열대와 함께 바운딩 박스(Bounding Box)가 표시된다. 이 바운딩 박스는 진열대의 크기와 위치를 시각적으로 나타내어 사용자가 오브젝트를 명확히 인지할 수 있도록 돕는다. 이를 통해 사용자는 진열대의 이동과 회전을 직관적으로 조정할 수 있다. 또한, 바운딩 박스 중앙에는 삭제 버튼이 배치되어 있어 삭제하고자 하는 진열대를 손쉽게 제거할 수 있는 기능도 제공된다.

Fig. 4.

installed display stand

상품진열 기능은 먼저 상품 목록을 제공하여 사용자가 원하는 상품을 선택하고 진열대에 배치할 수 있도록 구성되어 있다. 상품을 선택한 후, 그림 5와 같이 사용자는 제스처나 직접적인 터치를 통해 설치된 진열대의 선반을 클릭하여 상품을 배치할 수 있다. 또한, 동시에 여러 상품을 배치하거나, 이미 배치된 상품을 수정하거나 제거하는 작업도 손쉽게 수행할 수 있다.

Fig. 5.

Product display

라벨 및 태그 배치 기능은 각 상품에 할인 정보나 광고 내용을 포함한 정보 태그를 부착할 수 있는 기능을 제공한다. 이 기능은 상품진열 기능과 같은 방식으로 작동하며, 그림 6과 같이 상품 라벨을 통해 가상 매장을 더욱 현실감 있게 설계할 수 있는 하나의 요소로 작용한다.

Fig. 6.

Attached promotional tags

매장 설계를 마친 사용자는 메인 메뉴의 구매 버튼을 눌러 고객으로서 가상 매장을 이용할 수 있다. 사용자의 주변에 그림 7과 같이 구매목록이 표시된다. 진열대에 배치된 상품을 클릭하면 해당 상품이 구매목록에 추가되고, 구매목록에서 상품을 클릭하면 목록에서 제외된다. 이는 사용자가 실제 쇼핑 환경과 유사한 방식으로 마켓을 이용할 수 있도록 개발되었고, 실제 마켓에서의 장바구니와 같은 역할로 가상 마켓에서의 쇼핑을 더욱 몰입감 있게 경험할 수 있도록 돕는다.

Fig. 7.

Purchase list

시선 추적은 홀로렌즈의 기능 중 하나로, 사용자의 시선이 가상 공간 내 어디에 위치하는지 실시간으로 추적한다. 본 기능은 이를 활용해 사용자가 어떤 상품이나 매대에 더 집중하는지, 어느 부분을 주로 바라보는지 시각적으로 표시하기 위해 그림 8과 같은 히트맵(Heat map) 방식을 채택하여 구성하였다. 히트맵은 홀로렌즈의 시선 추적 데이터를 기반으로, 사용자가 집중한 위치에 대해 자체 Shader를 적용하여 시선의 강도에 따라 초록, 노랑, 빨강 색상 순으로 시각적으로 표시되도록 구현하였다.

Fig. 8.

Eye-tracking data heatmap

Ⅳ. 전체 매장 설계 및 활용 가능성

그림 9는 사용자가 홀로렌즈를 착용한 상태에서 가상 진열대를 구성하고 상품을 배치하는 모습을 보여준다. 실제 매장 설계와 유사한 방식으로 구성된 직관적인 오브젝트 배치 방식과 제스처 기반의 사용자 인터페이스는 혼합현실 환경에 익숙하지 않은 사용자들도 쉽게 적응할 수 있도록 설계되었다. 설계가 완료되면, 그림 10과 같이 사용자가 구성한 매장의 전체 모습을 확인할 수 있다.

Fig. 9.

Actual user displaying a product

Fig. 10.

View of the entire store

본 연구에서 개발된 혼합현실 기반 가상 마켓 시뮬레이터는 사용자에게 현실적인 매장 환경을 직접 설계하며, 미리 체험할 기회를 제공한다. 이를 통해 실제 매장을 설계해야 하는 사용자들은 설계 과정 전에 구성 요소를 세부적으로 검토하고 수정할 수 있으며, 이는 비용 절감과 작업 편의성 측면에서 더욱 효과적인 설계 도구로 활용될 수 있을 것으로 보인다.

Ⅴ. 결론 및 향후 과제

본 연구에서는 혼합현실 기술을 활용하여 가상 마켓 시뮬레이터를 설계하고 구현하는 과정을 진행하였다. 혼합현실 기반으로 개발된 시스템은 사용자가 마켓 설계, 상품 배치, 고객 시뮬레이션 등 다양한 기능을 몰입하여 수행할 수 있도록 지원하였다. 특히, 시선 추적 데이터를 활용한 히트맵 분석은 실제 고객이 가상 매장에서 어떤 영역과 상품에 관심을 가지는지를 시각적으로 파악할 수 있는 도구로 활용될 수도 있지만, 사용자가 소비자의 관점에서 매장을 직접 체험하며 특정 지점의 매력도를 분석하고, 진열대 배치나 상품 배치의 적절성을 평가하는 데도 도움을 줄 수 있다. 이를 통해, 매장의 설계 효율성을 높이고, 매장 이용 경험을 개선하는 데 기여할 수 있을 것으로 기대된다.

향후 연구에서는 개발된 시뮬레이터의 사용성 평가를 수행하고 보다 사용자 친화적인 혼합현실 상호작용 방식을 설계하고 개선해 나갈 예정이다. 또한, 시선 데이터의 활용방안을 구체화하는 한편, 사용자 동선, 음성 데이터, 쇼핑 시간 등 혼합현실 환경에서 수집 가능한 다양한 데이터를 통합적으로 탐구하여 이를 효과적으로 수집하고 분석할 방법에 관해 연구할 계획이다. 이러한 연구는 혼합현실 기반의 사용자 경험을 더욱 풍부하게 하고, 데이터 기반의 마켓 설계 및 사용자 행동 분석에 기여할 것으로 기대된다.

Acknowledgments

이 논문은 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원-지역지능화혁신인재양성사업의 지원을 받아 수행된 연구임(IITP-2025-RS-2023-00260267)(기여율: 50%)

이 연구는 2023년도 경상국립대학교 연구년제 연구교수 연구지원비에 의하여 수행되었음(기여율 50%)

References

• S. H. Kyung and S. N. Min, "Research Trends in Medical Simulation Education Based on Virtual Reality (VR) and Augmented Reality (AR)", J Pediatr Korean Med. , Vol. 38, No. 1, pp. 78-87, Feb. 2024. [https://doi.org/10.7778/jpkm.2024.38.1.78]
• S. W. Yim, "Space learning VR game with flow theory design and implementation", Master’s thesis, Kwangwoon University, Jun. 2017.
• S. R. Park, H. K. Son, and U. Y. Yang, "A Study on the Development of Realistic VR firefighting Training Content enhanced Reproduction of actual fire site", The Korea Contents Association, Daejeon, pp. 387-388, Aug. 2021.
• Y. N. Han and S. J. Yoo, "Development of mobile AR game production content using ARKit", Journal of the Korean Society of Information Technology, Vol. 22, No. 1, pp. 191-201, Jan. 2024. [https://doi.org/10.14801/jkiit.2024.22.1.191]
• S. H. Park, "Design of Base Model and Scenario for ATC Simulation Development Based on MR Technology", Master’s thesis, Sejong University, Feb. 2020.
• S. M. Kong, J. S. Kim, G. H. Jeong, G. B. Roh, E. Park, Y. S. Cho, and J. M. Kim, "Production of Virtual Electrical Circuit Practice Education Contents based on Mixed Reality using Meta Quest Pro", Journal of the Korea Computer Graphics Society, Vol. 30, No. 3, pp. 61-69, Jul. 2024. [https://doi.org/10.15701/kcgs.2024.30.3.61]
• H. H. Park, J. G. Shim, and S. M. Kwon, "Mixed Reality Based Radiation Safety Education Simulator Platform Development : Focused on Medical Field", Journal of Radiological Science and Technology, Vol. 44, No. 2, pp. 123-131, Mar. 2021. [https://doi.org/10.17946/JRST.2021.44.2.123]
• Y. S. Shin, B. N. Kim, J. S. Kim, K. B. Kim, and S. K. Kim, "Development of a Virtual Reality Exposure Therapy Protocol for Healthcare workers with Pandemic-induced Posttraumatic Stress Disorder", Discourse and Policy in Social Science, Vol. 17, No. 2, pp. 163-186, Oct. 2024. [https://doi.org/10.22417/dpss.2024.10.17.2.163]
• S. Kim, G. Lee, W. Huang, H. Kim, W. Woo, and M. Billinghurst, "Evaluating the Combination of Visual Communication Cues for HMD-based Mixed Reality Remote Collaboration", Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (CHI '19), Association for Computing Machinery, New York, NY, USA, No. 173, pp. 1-13, May 2019. [https://doi.org/10.1145/3290605.3300403]
• J.-D. Lee, J.-C. Chien, K.-C. Wang, and C.-T. Wu, "Collaborative diagnosis in mixed-reality using deep-learning networks and RE-WAPICP algorithm", ICT Express, Vol. 10, No. 2, pp. 451-457, Apr. 2024. [https://doi.org/10.1016/j.icte.2023.11.002]
• S. Andolina, Y.-T. Hsieh, D. Kalkofen, A. Nurminen, D. Cabral, A. Spagnolli, L. Gamberini, A. Morrison, D. Schmalstieg, and G. Jacucci, "Designing for Mixed Reality Urban Exploration", Interaction Design and Architecture(s), Vol. 48, pp. 33-49, 2021. [https://doi.org/10.55612/s-5002-048-002]
• W. Kurschl, S. Pimminger, J. Schönböck, M. Augstein, and J. Altmann, "Using Mixed Reality in Intralogistics - Are we ready yet?", Procedia Computer Science, Vol. 180, pp. 132-141, 2021. [https://doi.org/10.1016/j.procs.2021.01.136]
• A. de Giorgio, F. M. Monetti, A. Maffei, M. Romero, and L. Wang, "Adopting extended reality? A systematic review of manufacturing training and teaching applications", Journal of Manufacturing Systems, Vol. 71, pp. 645-663, Dec. 2023. [https://doi.org/10.1016/j.jmsy.2023.10.016]
• M. Venkatesan, H. Mohan, J. R. Ryan, C. M. Schürch, G. P. Nolan, D. H. Frakes, and A. F. Coskun, "Virtual and augmented reality for biomedical applications", Cell Reports Medicine, Vol. 2, No. 7, pp. 100348, Jul. 2021. [https://doi.org/10.1016/j.xcrm.2021.100348]
• S. Sepasgozar, A. Khan, K. Smith, J. Romero, X. Shen, S. Shirowzhan, H. Li, and F. Tahmasebinia, "BIM and Digital Twin for Developing Convergence Technologies as Future of Digital Construction", Buildings, Vol. 13, No. 2, pp. 441, Feb. 2023. [https://doi.org/10.3390/buildings13020441]