HMD 전면카메라를 활용한 VR 사용자 외부 안전지원 시스템

Ⅰ. 서 론

COVID-19 확산의 영향으로 세계적으로 급격한 디지털화를 가져오고 있다. 가상공간을 활용한 비대면 서비스가 적극적으로 활용됨에 따라 ICT 기술을 융합한 실감 콘텐츠의 부족으로 인한 가상현실(Virtuial Reality, VR) 콘텐츠 수요 증가 및 시장 성장이 기대되고 있다[1].

가상현실에 대한 관심이 높아짐에 따라 VR HMD(Head Mounted Display) 장비에 대한 활용이 많아지고 있다. HMD 장비는 사용자의 머리에 착용할 수 있도록 헬멧 형태로 설계된 이미지 또는 비디오 디스플레이 장치이다. 양쪽 눈을 통해 이미지 및 비디오를 인식할 수 있는 소형 전자 디스플레이 장치와 함께 제공된다. VR HMD 착용 시 착용자의 외부 시야를 완벽하게 차단하여 착용자의 가상현실 몰입감을 높이게 된다. 그러나 착용자의 외부 시야가 완벽히 차단됨에 따라 주변 장애물로 인해 사고 위험이 발생한다. VR 콘텐츠 체험자는 가상현실 공간을 자유롭게 돌아다니며 다양한 상황에 자율적으로 반응할 수 있다[2].

가상현실 공간을 자유롭게 이동하려면 현실 공간 또한 넓은 공간이 필요하다. 그래서 가상현실 콘텐츠 체험 중에는 HMD 사용자의 충분한 체험 공간을 확보해야 하며 사용자 주위에 장애물 및 위험 요소가 없도록 미리 정리해야 한다[3].

VR 체험장에서는 HMD 사용자의 안전을 확보하기 위해 안전요원을 배치하거나 주변 환경의 장애물이 없도록 한다. 하지만 일반 가정에서는 VR체험 공간을 충분히 확보하는 것과 안전요원을 배치하는 것은 어렵다. VR HMD의 인기는 빠르게 증가하고 있지만 이러한 장치 사용과 관련된 부상도 증가하고 있다. 2017년 러시아 국영 통신에 따르면 44세 러시아 모스크바 거주자가 VR HMD 착용한 채 유리 테이블에 떨어져 사망한 사례가 있다. 해당 보도에 따르면 VR HMD를 착용하고 아파트를 돌아다니던 중 남성이 발에 걸려 유리 테이블에 부딪혀 부상을 입고 병원으로 이송되었으나 출혈로 사망했다[4].

VR 콘텐츠를 체험할 때에는 사용자가 실제 환경에서의 장애물이 되는 것들을 제거해야 사용자의 안전을 확보할 수 있다. 그러나 VR 콘텐츠 체험 전 안전범위를 설정한 이후에 움직이는 물체가 안전범위 영역으로 들어와 사용자가 인지하지 못한 안전 영역의 내의 변화가 있다면 사고의 위험을 초래할 수 있다.

본 논문에서는 VR 콘텐츠 체험 중 사용자가 지정한 안전범위 내에서 움직이는 장애물을 인지하여 위험을 방지할 수 있도록 HTC Vive Pro Eye HMD 기기 전면 카메라의 실시간 영상에 YOLOv4 알고리즘을 적용하여 실시간으로 장애물을 검출한다. 연구 실험환경을 고려하여 움직이는 장애물을 사람으로 설정하며, COCO 데이터셋의 ‘person’ 데이터를 빠른 검출을 구현하여 VR 콘텐츠 체험 중에 ‘person’ 데이터가 검출될 경우 사용자에게 검출 모습을 팝업창으로 제공하여 사용자가 실시간으로 장애물 및 주변환경을 인지하여 VR HMD 사용자 사고 발생을 줄이는 사용자 안전지원 시스템을 제안한다.

Ⅱ. 관련 연구

2.1 VR HMD 안전기술

VR HMD 개발사들은 HMD 사용자의 안전 문제를 보완하기 위하여 자체적으로 개발한 안전 시스템을 제공하고 있다.

그림 1 HTC Vive의 Chaperone System은 HMD 사용자가 사전에 지정한 안전범위 근처로 다가갈 경우 파란색 안전 벽을 표시하여 사용자가 안전범위를 벗어나지 못하도록 도와주며 컨트롤러를 통하여 사용자는 언제든 주변의 경계 또는 카메라 보기를 표시하여 사용자가 위험을 인지했을 때 HMD 착용한 상태에서 HMD 전면 카메라를 통한 외부의 상태를 영상으로 시각화하여 사용자를 보호하는 시스템이다[5].

Fig. 1.

HTC - Vive chaperone system

그림 2는 META Oculus의 Guardian System으로 가상현실 콘텐츠 사용하기 전에 HMD에 내장된 전면 카메라를 통하여 1m의 고정된 안전범위를 선택하거나 체험자가 안전범위를 직접 지정하여 사용자가 안전범위 경계영역에 다가오면 해당 영역을 적색으로 표시 및 사용자에게 경고 알람을 알리며 사용자가 영역에서 완전히 벗어나게 되면 Oculus에 부착된 전면 카메라 영상으로 전환되어 사용자에게 안전 영역으로 돌아갈 수 있도록 알리는 시스템이다[6].

Fig. 2.

META - Oculus guardian system

그림 3은 SONY에서 현재 개발하고 있는 PS VR2(Playstaion VR2)의 투시 보기(See-through) 기능으로 사용자가 VR HMD를 착용하고 있는 상태에서 주위 환경을 볼 수 있도록 한다. 투시 보기 기능은 HMD에 있는 버튼을 누르거나 컨트롤 센터에 있는 카드를 사용하여 VR 콘텐츠 화면에서 현실 화면 사이를 전환할 수 있다. 또한 사용자 지정 플레이 영역 기술은 현실 공간을 HMD에 내장된 카메라로 스캔하고 센스 컨트롤러를 통해 사용자의 플레이 영역을 설정하는 기능이다[7].

Fig. 3.

SONY - Playstaion VR2 safety system

HMD 제조사별 VR HMD 안전 시스템을 표 1과 같이 비교하였을 때, HMD 제조사에서 제공하는 안전 시스템의 공통점으로 사용자의 안전 영역 설정을 통해 그리드로 텍스처링된 가상 안전 벽을 생성하여 사용자에게 안전한 상호 작용 경계를 상기시켜 준다. HTC Vive와 PS VR2의 경우 사용자가 안전범위 범어날 경우 외부환경을 텍스처링된 영상으로 보여주지만 META Oculus의 경우 전면카메라 영상으로 전환되어 사용자에게 영상정보를 제공한다.

Table. 1.

Comparison of VR HMD safety systems by manufacturer

그러나 색상 및 거리 정보를 포함하지 않아 정확한 현실 공간 정보를 제공할 수 없는 단점이 있으며, 안전범위 내의 변화에 따른 사용자 보호에는 미흡한 부분이 있어 추가적인 방안을 모색해야 한다.

2.2 VR HMD 안전 관련 연구 사례

2016년 ‘미니맵을 사용한 모바일 VR 사용자 주변 위험요소 시각화 연구’를 보면 사용자의 안전을 확보하기 위해 KinectV1을 사용하여 사용자가 실제 환경에서 움직일 공간을 사전에 3D 스캐닝(Scanning) 하고 미니맵 방식으로 스캐닝 한 장애물의 위치 및 정보를 시각화하는 방법을 제안하였다. 사용자가 장애물에 다가갈 경우 우측 하단에 미니맵이 생성되도록 하며, 근접했을 경우 장애물을 붉은색으로 강조 표시하여 사용자의 부상 위험을 줄이는 방법을 제시하였다[8].

2020년 ‘사람검출과 거리 추정을 활용한 VR 체험자 안전성 확보 방안 연구’에 따르면 VR 콘텐츠 체험중 사용자의 안전을 확보하기 위해 유니티(Unity)의 Barracuda에서 제공하는 Tiny-YOLOv2를 활용하여 사람을 검출하고 검출된 사람 정보를 바탕으로 사용자와의 거리를 추정하여 사용자 간의 거리 정보를 VR 콘텐츠 내에 UI(User Interface)를 표시함으로써 사용자의 안전을 확보하는 방안을 연구하였다[9].

2021년 ‘VR 체험시 발생하는 안전사고 예방 시스템에 대한 연구’에서는 포톤 서버(Photon server)에 접속한 사용자의 위치 정보를 포톤 서버에 저장하고 사용자의 충돌이 발생하는 범위를 지정하여 저장된 위치 데이터에 따라 사용자 간의 실제 충돌이 일어나지 않도록 충돌이 발생하기 전에 경고 메시지 및 경고음을 사용자에게 전달하는 안전 모니터링 시스템을 연구하였다[10].

2022년 ‘VR 사용자를 위한 충돌 방지 애플리케이션’ 연구에 따르면 360° 영상에서 깊이 인식(Depth Estimation)을 통한 3D 매핑으로 사용자와 장애물이 가까워질 경우 사전에 스캐닝한 외부환경 이미지를 VR 콘텐츠 내에 표현하여 사용자 충돌 방지 방법을 제안하였다[11].

VR HMD 사용자 안전 관련 선행연구 내용을 표 2와 같이 3개의 항목으로 비교하였다. 사용자의 이동 공간을 사전에 스캐닝을 활용하여 인지된 장애물을 사용자에게 알리는 방법은 사용자가 VR 콘텐츠 체험전 사전 인지하고 있는 위험 요소에는 안전 시스템이 작동하지만 고정된 장애물이 아닌 변화 및 이동하는 장애물 및 위험 요소에 대해서는 안전 시스템이 작동하지 않는 단점이 있다.

Table. 2.

Comparison of previous studies on VR HMD user safety

실시간 장애물 검출 및 사용자의 위치 정보를 활용하는 방법은 사용자에게 실시간 정보를 제공하여 즉각적인 대응은 가능하지만 장애물 주위 환경에 대한 정보는 제공하지 않아 사용자가 대응하기 어려움이 있다. 그러므로 사전 스캐닝을 하지 않으면서 장애물의 실시간 검출 정보 및 검출되는 장애물의 주변 환경 정보까지 제공하여 사용자에게 위험요소의 정보를 제공하는 안전지원 시스템을 통해 사용자의 안전을 보장하는 연구를 진행할 필요가 있다.

Ⅲ. VR HMD 사용자 안전지원 시스템

본 연구에서는 유니티 개발환경에서 Opencv for Unity 에셋(Aesset)을 활용하여 움직이는 객체를 검출한다. COCO 데이터셋을 활용하며 YOLOv4 알고리즘을 사용하여 실시간으로 검출되는 영상 정보를 HMD 디스플레이 우측 상단에 팝업창 형태로 제공하여 VR 콘텐츠 체험 중 검출되는 움직이는 객체를 실시간 영상으로 인지한다. 사용자 주위의 현실 환경 정보를 실시간 영상으로 제공함으로써 HMD 사용자의 안전을 지원하는 시스템을 구현한다.

3.3 VR HMD 안전 시스템 구현

그림 4는 제안하는 시스템의 흐름을 보여준다. Vive의 전면 카메라에 들어오는 실시간 영상 정보를 SteamVR을 통하여 유니티로 전달한다. 유니티로 전달된 영상은 학습되어 있는 객체 검출 모델을 통해 입력 영상 내에서 객체를 검출하게 된다. 객체가 검출되면 유니티를 통하여 검출되는 영상 정보를 HMD 디스플레이에 팝업 형태로 전달되어 사용자에게 검출 영상을 제공한다.

Fig. 4.

Flowchart of safety support system

VR 체험 중 위험물이 검출되었을 경우 검출 화면이 전환되는 것은 사용자의 VR 콘텐츠 몰입성을 방해한다. 따라서 HMD 전면 카메라를 통하여 입력된 영상을 그림 5와 같이 사용자 HMD 디스플레이 우측 상단에 640×480의 크기로 배치한다. 이를 통해 사용자에게 움직이는 객체 검출 여부 및 외부 환경의 정보를 제공한다. 객체가 검출되지 않는다면 사용자가 VR 환경에 몰입할 수 있게 팝업 창을 투명화하여 사용자에게 검출 영상을 보여주지 않는다. 객체 검출을 위한 입력 장치로 Vive Pro Eye의 전면 카메라를 사용하였다. Vive Pro Eye의 전면에 부착되어 있는 렌즈는 90HZ의 주사율, 렌즈 하나의 해상도는 1440×1660, 시야각은 110°이다.

Fig. 5.

Vive display object detection

Ⅳ. 실험 및 평가

4.1 실험 환경

실험에 사용하는 가상환경 구현 및 실험에 사용된 컴퓨터는 Intel Core i5, NVIDIA Geforce 3070, 16G Ram, Window 10이며 유니티 2020.3.19.f1 버전에 OpenCV for Unity 에셋을 import 하여 구현하였다. 코로나 상황 등으로 인하여 실험군은 최소화하여 실험 참가자는 VR 체험 경험이 있는 학부생 및 대학원생 총 30명으로 구성하였다.

그림 6과 같이 4m×4m의 크기의 체험공간을 구성하였다. 가상환경 또한 현실과 같은 크기로 설정하여 체험자가 현실에서 움직인 이동 범위만큼 가상공간에서도 동일한 이동이 발생하도록 하였다. 또한, 실험 전 체험자가 바닥에 표시된 선을 따라 직접 VR 안전범위를 설정함으로써 사용자에게 안전 공간의 크기 및 주변 환경을 인식할 수 있도록 하였다.

Fig. 6.

Space for realistic experience

유니티로 구현한 가상의 공간에는 그림 7과 같이 9개의 노란색 오브젝트 생성 지점 구성 및 생성 순서를 정하였다. 체험자는 가상현실 속에서 자유롭게 이동할 수 있다. 오브젝트 생성 지점은 총 9개로 1번부터 9번까지 순서대로 1개씩 생성되며 체험자에게 오브젝트가 생성됨을 알리기 위해 오브젝트 생성 시 알람음을 추가하여 체험자가 오브젝트 방향을 확인할 수 있도록 하였다. 사용자는 Vive 컨트롤러에 부착된 가상의 Ray를 이용하며 제공된 시나리오에 따라 순서대로 생성되는 오브젝트에 접근하여 가상의 Ray와 오브젝트의 충돌을 통해 습득한다. 9개의 오브젝트를 획득할 때까지 콘텐츠는 진행되며 체험자가 9개의 오브젝트를 모두 획득할 경우 실험종료를 알리는 안내문구를 출력하여 콘텐츠 종료를 체험자에게 알리도록 하였다. 실험에는 실제 VR 체험 환경에서 다양한 방향으로 움직이는 객체를 검출 환경을 구현하기 위하여 COCO 데이터셋에서 ‘person’ 데이터만 검출하도록 제한하였다.

Fig. 7.

Object creating points and their generation order

체험자가 시나리오 순서에 따라 총 9개의 오브젝트를 획득하는 과정에서 그림 8과 같이 1명의 사람이 안전범위 내로 이동하는 상황을 설정하였다. 1명의 사람이 안전범위 내로 들어와 HMD 전면카메라를 통해 사람이 검출될 경우 HMD 디스플레이 우측 상단에 제공되는 팝업 영상 정보를 통하여 검출 영상을 확인할 수 있도록 진행한다.

Fig. 8.

Example of an unexpected situation within a safe range

실험 중 안전범위 내의 사람 이동은 총 3번 진행하며 체험자가 2번, 5번, 8번의 오브젝트를 획득한 후 3번, 6번, 9번의 생성 위치로 이동하는 방향의 앞쪽을 일정한 거리를 두고 이동한다. 이를 통해 체험자가 콘텐츠 체험 중 예상하지 못한 상황에서 갑자기 나타나는 장애물에 대한 반응을 실험을 통하여 확인한다.

그림 9의 (a), (b)는 체험자가 VR 콘텐츠 체험 중 ‘person’ 데이터가 검출되지 않을 때의 실험환경 모습과 팝업 영상이 투명화 되어 보이지 않는 모습을 보여준다. (c), (d)는 ‘person’ 데이터가 검출될 때의 실험환경과 체험자에게 팝업 창 형태로 검출 영상이 제공되는 모습을 보여준다.

Fig. 9.

Detecting ‘person’ data through HMD front camera

실험을 마친 후 모든 체험자들은 설문에 참여하며 본 실험에서 사용한 설문 문항은 2019년 ‘자율주행 환경에서 멀티모달 에이전트의 상황표현과 의인화된 행동이 신뢰감과 안전감에 미치는 영향:비주행과업 및 제어권 전환 맥락을 중심으로’ 연구에서 진행한 설문을 바탕으로 표 3과 같이 ‘신뢰감 3문항’, ‘지각된 안전감 2문항’, ‘사용의도 2문항’으로 구성하였다. 각 설문 문항은 5점 ‘매우 그렇다’에서 1점 ‘전혀 아니다’까지의 5점 리커트 척도로 측정하였다[14]-[18].

Table. 3.

Measurement elements and questionnaire questions

4.2 실험 결과

그림 10 ‘신뢰감’ 측정요인과 그림 11 ‘지각된 안전감’ 측정요인 설문결과를 살펴보면, 실험 체험자들은 안전범위 내에서 발생하는 충돌 사고위험에 대하여 제안하는 방법이 상당한 신뢰감을 가지는 것으로 보여지며, VR HMD를 착용했을 때 신체적인 안전이 보장될 것이라는 안전감을 느끼는 것으로 알 수 있다.

Fig. 10.

Measurement factors 'reliability' survey results

Fig. 11.

Measurement factors 'perceived sense of safety' survey results

이를 통해 안전범위 내에서 발생하는 사고위험에 대하여 일부분 해소가 되어 안정적인 VR 콘텐츠 체험을 할 수 있을 것으로 보인다.

뿐만 아니라 그림 12를 통해 VR HMD의 사용 의도에 대해 체험자들은 향후 지속적으로 사용할 의지를 나타냄을 알 수 있었다.

Fig. 12.

Measurement factors 'intention of use' survey results

Ⅴ. 결론 및 향후 과제

본 논문에서는 VR HMD 착용자의 시야가 완벽히 차단된 상태에서 사전에 설정한 안전범위 외부에 의존할 수밖에 없는 사용자를 움직이는 장애물로부터 보호하는 안전지원 시스템을 제안하였다. HMD 전면 카메라의 실시간 검출 영상을 사용자에게 팝업 창 형태로 제공하여 사용자가 위험을 시각적인 정보를 통해 인지할 수 있으며 대응에 도움이 되는지 실험 및 설문을 활용하여 확인하였다.

그러나 실험 데이터가 부족함에 따라 연구 결과에 따른 HMD 사용자의 안전 효과를 완벽히 입증하기는 어려움으로 이후 연구에서는 실험 데이터의 양을 늘려 실험 결과 및 데이터의 신뢰성을 높일 필요가 있으며 세분화된 설문 및 가상현실 콘텐츠를 제작하여 실험 결과를 입증할 필요가 있다.

또한, Oculus 및 PS VR2 등 많이 사용되는 다양한 HMD에서도 활용이 가능하도록 구현할 예정이며, HMD 전면 카메라를 통한 장애물 검출시 물체 간의 거리를 실시간으로 측정하여 검출되는 거리 정도에 따라 사용자에게 실시간 영상 제공 및 가상공간에서의 검출 위치를 표시하는 연구를 추가 진행할 예정이다.

Acknowledgments

이 논문은 2021~2022년도 창원대학교 자율연구과제 연구비 지원으로 수행된 연구결과임

References

• Y. M. Lim, "Virtual Reality Contents and Technology Trends", The Journal of The Korean Institute of Communication Sciences, Vol. 33, No. 12, pp. 49-55. Nov. 2016.
• J. H. Lee and S. H. Chang, "Emergency Situation Safety Education Training VR Content", Model Design. Journal of Digital Contents Society, Vol. 22, No. 1, pp. 41-49. Jan. 2021. [https://doi.org/10.9728/dcs.2021.22.1.41]
• Y. D. Heo, "The Study on the improvement plan for Military combat power by the future computer", Convergence security journal, Vol. 13, No. 5, pp. 57-66, 2013.
• https://www.mhns.co.kr/news/articleView.html?idxno=98962, . [accessed: Jun. 15, 2022]
• https://xinreality.com/wiki/Chaperone#Collision_Bounds, . [accessed: Jun. 20, 2022]
• https://developer.oculus.com/documentation/native/pc/dg-guardian-system/?locale=ko_KR, . [accessed: Jul. 01, 2022]
• https://blog.ko.playstation.com/2022/07/27/20220727-psvr2/, . [accessed: Aug. 01, 2022]
• J. Kim and J. Park, "Use of Mini-maps for Detection and Visualization of Surrounding Risk Factors of Mobile Virtual Reality", Journal of the Korea Computer Graphics Society, Vol. 22, No. 5, pp. 49-56. Dec. 2016. [https://doi.org/10.15701/kcgs.2016.22.5.49]
• K. T. Kim, "A study on how to secure the safety of VR users through human detection and distance estimation", Master’s dissertation, Hongik University, Seoul, 2020.
• K. H. Ko, "Safety accidents occurring during VR experience Study on the prevention system", Master’s dissertation, Chonnam National University, Gwangju, 2021.
• H. W. Kim, Y. H. Kim, B. K. Jung, S. B. Han, J. H. Lee, and C. J. Yoo, "Collision Avoidance Application for VR Users", Proc. of KIIT Conference, Jeju Korea, pp. 522-526. Jun. 2022.
• A. Bochkovskiy, C. Y. Wang, and HYM. Liao, "Yolov4: Optimal speed and accuracy of object detection", arXiv preprint arXiv:2004.1093, , Apr. 2020. [https://doi.org/10.48550/arXiv.2004.10934]
• J. Sigut, M. Castro, R. Arnay, and M. Sigut, "OpenCV Basics: A Mobile Application to Support the Teaching of Computer Vision Concepts", in IEEE Transactions on Education, Vol. 63, No. 4, pp. 328-335, Nov. 2020. [https://doi.org/10.1109/TE.2020.2993013]
• S. H. Hong, "The effects of shared-situation representation and anthropomorphic behavior of multimodal agents on trust and safety in self-driving environments : focusing on non-driving task and take-over request", Master’s dissertation, Yonsei University, Seoul, 2020. [https://doi.org/10.31678/SDC81.1]
• J. Y. Jian, A. M. Bisantz, and C. G. Drury, "Foundations for an empirically determined scale of trust in automated systems", International Journal of Cognitive Ergonomics, Vol. 4, No. 1, pp. 53-71, Jun. 2000. [https://doi.org/10.1207/S15327566IJCE0401_04]
• S. Osswald, D. Wurhofer, S. Trösterer, E. Beck, and M. Tscheligi, "Predicting information technology usage in the car: towards a car technology acceptance model", In Proc. of the 4th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, pp. 51-58, Oct. 2012. [https://doi.org/10.1145/2390256.2390264]
• E. Altendorf, C. Schreck, and F. Flemisch, "A new method and results for analyzing decision-making processes in automated driving on highways", In Advances in Human Aspects of Transportation, pp. 571-583, 2017. [https://doi.org/10.1007/978-3-319-41682-3_48]
• C. Gold, M. Körber, C. Hohenberger, D. Lechner, and K. Bengler, "Trust in automation–Before and after the experience of take-over scenarios in a highly automated vehicle", Procedia Manufacturing, Vol. 3, pp. 3025-3032, 2015. [https://doi.org/10.1016/j.promfg.2015.07.847]