손목 회전 기반 가상 키보드와 가상 쿼티 키보드의 사용성 비교 분석

Ⅰ. 서 론

최근 몇 년간 VR(Virtual Reality) 기술은 빠르게 발전하며 대중화되고 있다. 과거에는 HMD(Head Mounted Display)의 높은 가격과 제한된 소프트웨어 지원으로 VR 기술의 활용이 어려웠다. 그러나 메타의 퀘스트 시리즈와 글로벌 제조사들의 Windows MR(Mixed Reality) 지원 기기 출시 등 저가형 기기의 등장과 게임을 비롯한 다양한 콘텐츠의 확대로 인해 VR 기술의 진입장벽이 낮아졌다[1].

VR 기술의 진입장벽이 낮아짐에 따라 다양한 활동에서 VR을 활용하는 사례도 증가하고 있다[2]. 특히 제조, 의료, 문화 콘텐츠와 같은 여러 산업 분야에서 VR 기술이 도입되면서 그 활용 범위가 더욱 넓어지고 있다[3][4]. 이와 같은 변화로 인해 VR 환경 내에서 사용자와 시스템 간의 상호작용이 더욱 빈번해지고 있으며, 특히 문자를 입력해야 하는 상황이 자주 발생한다.

최신 VR 기기들은 높은 해상도와 빠른 반응속도를 가진 외부 카메라를 통해 주변 사물을 보게 해주는 패스스루 기능이 탑재되어 있어 사용자가 기기를 착용한 상태에서도 시야에 큰 제약 없이 물리적 키보드를 사용할 수 있다[5]. 그러나 대부분의 VR 기기는 안전을 위해 장애물이 없는 공간에서 사용하며 시스템과 상호작용 하기 위해 사용자에게 컨트롤러 사용을 강제하는 경우가 많기 때문에 물리적 키보드를 사용하기 어렵다.

이러한 이유로 대부분의 VR 환경에서는 가상의 쿼티(QWERTY) 키보드가 널리 사용되고 있다. 쿼티는 일반적인 PC 입력 시스템에 사용되고 있는 배열이므로 익숙한 사용자 경험을 제공하는 장점이 있으나, 컨트롤러로 공중에 떠 있는 작은 버튼을 겨냥하여 선택하는 과정에서 사용자가 겪는 피로감과 입력 속도의 저하라는 단점이 존재한다[6].

이 문제를 해결하기 위해 다양한 텍스트 입력 방식이 제안됐다. 가상 키보드의 배열을 눈 모양으로 배치하여 사용자의 피로감을 줄이거나 쿼티 배열을 유지하면서 컨트롤러의 터치패드를 활용해 입력 속도를 높이는 방법 등이 연구되고 있다[7][8]. 그러나 이러한 방식들은 정확도와 속도를 동시에 개선하는 데 한계가 있다.

따라서 본 연구는 손목의 회전을 활용한 새로운 가상 키보드를 개발하여 기존의 가상 쿼티 키보드와 입력 속도 및 사용자 경험을 비교한다.

본 논문의 구성은 다음과 같다. 2장에서는 관련 논문과 연구 동향에 관해 설명하고, 3장에서는 손목 회전 기반 가상 키보드의 구현과 작동 방식을 다룬다. 4장에서는 비교 실험 과정과 결과를 설명하고, 5장에서는 실험 결과에 대한 분석과 결론을 제시한다.

Ⅱ. 관련 연구

VR에서의 문자 입력 방식은 다양하게 연구되고 있다. Wu는 연구에서 쿼티 키보드를 두 개의 VR 컨트롤러 터치패드에 나누어 배치하고, 엄지손가락의 자연스러운 움직임을 반영한 곡선 형태의 배열을 제안하였다. 이 방법은 사용자 개개인의 엄지 움직임에 맞춰 곡선 배열을 맞춤화할 수 있어 다양한 사용자에게 적합한 입력 경험을 제공한다[8]. 그러나 터치패드를 활용한 이 방식은 키 배열이 밀집되어 있어 입력 정확도에 부정적인 영향을 미칠 수 있다는 한계도 존재한다.

한편, HMD에 내장된 마이크를 이용한 음성 인식과 가상 키보드를 결합한 방식도 연구되고 있다[8]. 사용자가 문장을 말하면 이를 텍스트로 변환하고, 음성인식 오류가 발생할 경우 사용자가 대안 단어를 선택해 수정할 수 있다. 음성인식은 짧은 문장 입력을 정확하고 효율적으로 수행할 수 있다는 장점이 있지만, 소음이 큰 환경이나 정숙을 유지해야 하는 장소에서는 사용이 어렵다는 한계가 있다.

컨트롤러를 사용하면서 텍스트 입력 경험을 향상하기 위한 방법으로 키보드의 배열을 변경할 수 있다. Wang은 쿼티 키보드의 키 순서를 참조하여 문자들을 눈 모양의 곡선 형태로 배열함으로써 사용자의 학습 부담을 덜고 손의 이동 거리를 줄여 텍스트 입력 속도의 개선을 기대하였다[7]. 또한, 입력 속도를 높이기 위한 단어 자동 완성 기능이 도입되어 사용자의 입력에 따라 4개의 자동 완성된 단어가 눈 모양 키보드의 중앙에 표시되도록 하였다.

이 논문의 연구 결과에 따르면 쿼티 배열이 눈 모양 키보드보다 우수한 성능을 보였고 입력 속도 개선 측면에서는 자동 완성 기능이 중요한 역할을 한 것으로 나타났다. 이 연구에서는 키보드 배열을 변경하여 입력 방식 개선을 시도하였으나, 기존의 쿼티 배열에 대한 익숙함이 여전히 중요한 요소임을 확인할 수 있었다.

본 연구는 쿼티 배열을 유지하되, 손목의 회전각을 이용해 문자를 선택하는 방식으로 차별성을 둔다. 이러한 접근을 바탕으로 가상 키보드를 개발하고 기존의 가상 쿼티 키보드와 비교한다.

Ⅲ. 손목 회전 기반 가상 키보드

본 장에서는 손목 회전 기반 가상 키보드의 구현 과정 및 작동 방식을 다룬다. 이 키보드는 Unity의 XR Interation Toolkit을 사용하여 개발되었으며, 컨트롤러의 회전 데이터를 활용한다. 사용자가 컨트롤러를 회전시켰을 때 문자가 선택되는 과정을 그림 1에 순서도로 나타냈다.

Fig. 1.

Controller input and key selection

3.1 회전 입력 처리

사용자의 손목 회전각 데이터는 VR 컨트롤러의 자이로 센서를 통해 실시간으로 수집되며 Unity의 XR Interaction Toolkit을 통해 쿼터니언(Quaternion) 변수로 저장된다. 쿼터니언은 짐벌 락(Gimbal lock) 문제를 방지하고 계산 효율성을 위해서 사용되지만, 직관적으로 이해하기 어려워 직접적인 각도 조정에는 불편함이 있다. 따라서 컨트롤러의 회전 데이터를 실질적으로 활용할 때는 이를 오일러(Euler) 각으로 변환하여 사용한다.

쿼터니언의 형태로 얻은 컨트롤러의 회전각 데이터를 (q_x, q_y, q_z, q_w)라 하면, 다음의 식 (1)을 통해 컨트롤러의 오일러 각을 얻을 수 있다.

$\[ \begin{array}{c}\varphi =\text{atan}2\left(2\left(q_w{q}_x+q_y{q}_z\right),1-2\left(q_x^2+q_y^2\right)\right)\hfill \\ \theta =\text{arcsin}\left(2\left(q_w{q}_y-q_x{q}_z\right)\right)\hfill \\ \psi =\text{atan}2\left(2\left(q_w{q}_z+q_x{q}_y\right),1-2\left(q_y^2+q_z^2\right)\right)\hfill \end{array} \]$

(1)

위 식을 통해 얻은 ϕ, θ, ψ는 각각 컨트롤러의 X축, Y축, Z축 회전각과 같다.

컨트롤러는 X축을 기준으로 위아래로 움직이는 동작을 통해 피치(Pitch), Y축을 기준으로 좌우로 회전하는 동작을 통해 요(Yaw), Z축을 기준으로 좌우로 기울이는 동작을 통해 롤(Roll)을 나타낸다.

컨트롤러는 모든 방향과 각도를 인식하지만, 손목 회전 범위에는 한계가 있기 때문에 이를 모두 활용하기 어렵다. 따라서 본 연구에서는 컨트롤러의 요를 제외한 피치와 롤 각을 사용했으며 회전각에 따라 다른 항목을 선택할 수 있도록 구간을 나누었다.

그림 2와 같이 피치 각은 사용자의 손목 가동 범위를 고려하여, 기본 위치에서 상하로 각각 15도 이상 회전할 때 상단 또는 하단행이 선택되도록 구분하였다. 롤의 경우 180도를 36도씩 다섯 구간으로 나누어 구간마다 하나의 문자를 선택할 수 있으며, 컨트롤러의 회전각에 1.3배의 가중치를 주어 작은 움직임으로도 양 끝의 문자를 선택할 수 있다. 이때, 피치와 달리 롤을 이용한 문자 선택에는 회전축의 불일치로 인해 어려움이 따른다.

Fig. 2.

15-degree pitch up and down

그림 3은 컨트롤러를 상단에서 내려다본 모습이다. 적색 선은 컨트롤러의 롤 회전 기준 축을, 녹색 선은 손목의 회전축을 나타낸다. 사용자가 컨트롤러를 롤 회전시키기 위해 손목을 비틀어 움직이면, 컨트롤러는 녹색 선을 기준으로 회전한다. 이는 컨트롤러의 기준 축이 손목의 자연스러운 회전 방향과 일치하지 않기 때문이다. 그 결과, 사용자는 롤 회전을 의도했지만 피치 회전이 함께 발생한다.

Fig. 3.

Rotation axes of the controller and wrist

그림 4에 컨트롤러를 우측에서 바라본 모습을 통해 피치 변화를 나타냈다. 컨트롤러가 오른쪽과 왼쪽으로 롤 회전했을 때, 손목의 피치를 나타내는 녹색 선은 크게 변화하지 않지만, 컨트롤러의 피치를 나타내는 적색 선은 큰 폭으로 변화하였다. 이와 같은 경우 각 축의 회전각 데이터를 독립적으로 사용하기 어렵기 때문에 컨트롤러의 롤 회전 기준 축을 손목 회전축과 일치시켜 롤 회전 시의 피치 변화를 최소화하였다. 기준 축을 조정한 방법은 다음과 같다. 컨트롤러에서 수집되는 회전각 쿼터니언을 q₁, 기준 축을 조정하기 위한 보정 쿼터니언을 q₂라고 할 때, 조정된 컨트롤러의 회전각 쿼터니언 q₃는 다음 식 (2)와 같이 계산된다.

$\[ q_3=q_1\times q_2 \]$

(2)

Fig. 4.

Pitch change of the controller

3.2 각도에 따른 문자 선택

이 키보드에서 문자 선택은 컨트롤러의 회전각에 따라 결정된다. 알맞은 문자가 선택되면 사용자가 트리거를 눌러 문자를 입력할 수 있다. 그림 5는 문자 입력 과정을 순서도로 나타냈다.

Fig. 5.

Text input flowchart

키보드의 레이아웃은 쿼티 배열을 좌우로 양분하여 왼손과 오른손이 담당하는 영역을 나누고 각 영역을 다시 세 개의 행으로 나누어 각 행당 다섯 개의 문자를 선택할 수 있도록 구성하였다.

행의 선택은 컨트롤러의 피치 회전각을 통해 이루어진다. 이 키보드는 상하로 배열된 세 개의 행으로 구성되어 있으므로, 사용자는 컨트롤러의 피치를 조절해 원하는 행을 선택할 수 있다. 행이 선택되면 그 위에 인디케이터가 활성화된다.

문자 선택은 컨트롤러의 롤 회전으로 결정된다. 그림 1과 같이 한 행에는 다섯 개의 문자가 배열되어 있으며 문자마다 일정한 각도 범위가 할당되어 있다. 사용자가 컨트롤러를 회전시켰을 때 롤 회전각이 문자의 각도 범위 안에 들어오면 해당하는 문자 위치에 인디케이터가 표시된다. 이때 트리거를 누르면 인디케이터가 표시하고 있는 문자가 입력된다.

3.3 손목 회전 기반 가상 키보드 실행

손목 회전 기반 가상 키보드의 기본 화면 구성은 그림 6과 같이 문자를 표시하는 부분과 키보드를 표시하는 부분으로 나뉜다. 화면 상단에는 입력 테스트를 위한 예시 단어가 나타나며, 사용자가 문자를 입력하면 해당 문자가 입력 상자에 나타난다. 화면 하단에는 키보드가 시각적으로 표시되며, 키보드는 왼쪽과 오른쪽 영역으로 나뉘어 있다. 각각의 영역은 사용자의 양손 움직임에 따라 인디케이터가 이동하여 선택된 키를 표시한다. 컨트롤러가 기본 위치에 놓여 있을 때, 인디케이터는 키보드의 중앙에 위치한다.

Fig. 6.

Default screen layout

컨트롤러의 피치를 조절하면 피치 정도에 해당하는 행에 인디케이터가 표시된다. 그림 7에서는 컨트롤러를 들어 올려 문자 ‘e’를 선택하였다.

Fig. 7.

Screens before and after character selection by pitch

컨트롤러의 롤을 조절하면 각도에 해당하는 문자에 인디케이터가 표시된다. 그림 8에서는 컨트롤러를 오른쪽으로 회전시켜 문자 ‘g’를 선택하였다.

Fig. 8.

Screens before and after character selection by roll

원하는 문자가 선택되었을 때 트리거를 누르면 문자가 입력된다. 그림 9에서는 컨트롤러를 들어 올리고 오른쪽으로 회전시켜 문자 ‘t’를 선택한 상태에서 트리거를 눌러 문자를 입력하였다.

Fig. 9.

Pressing the trigger to input

Ⅳ. 비교 실험 및 결과

4.2 실험 결과

가상 쿼티 키보드와 손목 회전 기반 가상 키보드를 사용하여 측정한 입력 소요 시간을 각각 표 1과 표 2에 나타냈다. 모든 시간은 초 단위로 측정하여 소수점 첫째 자리까지 표기하였다. 각 행에는 참여자별 단어 입력 시간과 총 입력 시간을 기록하였으며, 마지막 행에는 각 열의 평균값을 산출하였다.

Table 1.

Input time for virtual QWERTY keyboard

Table 2.

Input time of wrist rotation-based virtual keyboard

총 입력 시간의 평균은 가상 쿼티 키보드가 42.8초, 손목 회전 기반 가상 키보드는 87.7초로 나타났다. 또한 각 단어에서 손목 회전 기반 가상 키보드를 사용했을 때보다 가상 쿼티 키보드를 사용했을 때 평균 입력 시간이 더 짧았다. 이 결과는 가상 쿼티 키보드가 손목 회전 기반 가상 키보드에 비해 입력 속도 면에서 더 우수함을 보여준다.

가상 쿼티 키보드와 손목 회전 기반 가상 키보드에 대한 설문 결과를 각각 표 3과 표 4에 나타냈다. 각 항목은 1점부터 5점까지의 점수로 평가되었으며 점수가 높을수록 많은 집중력 요구, 큰 피로감, 어려운 난이도를 나타낸다. 평균 점수는 소수점 첫째 자리까지 표기하였다.

Table 3.

Survey results for virtual QWERTY keyboard

Table 4.

Survey results for wrist rotation-based virtual keyboard

가상 쿼티 키보드는 요구된 집중력이 3.8점, 피로감이 3.1점, 난이도가 2.9점으로 평가되었으며, 손목 회전 기반 가상 키보드는 요구된 집중력이 3.4점, 피로감이 2.3점, 난이도가 3.0점으로 평가되었다. 이를 통해 손목 회전 기반 가상 키보드는 가상 쿼티 키보드보다 집중력이 적게 요구되고, 피로감이 적으며, 조작 난이도가 유사함을 알 수 있었다.

Ⅴ. 결론 및 향후 과제

본 연구는 손목 회전을 활용한 가상 키보드를 개발하고 기존의 가상 쿼티 키보드와 비교 분석하여 사용성을 평가하였다.

실험 결과, 가상 쿼티 키보드가 속도 면에서 손목 회전 기반 가상 키보드보다 더 우수한 성능을 보였으며, 이러한 결과는 물리적 키보드와 가상 쿼티 키보드의 유사성과 물리적 키보드의 사용 경험에 의해 익숙함에서 기인한 것으로 판단된다. 한편, 설문 조사에서는 손목 회전 기반 가상 키보드가 문자 입력 시 요구된 집중력, 느낀 피로감 면에서 더 나은 평가를 받았다. 또한, 조작 난이도 면에서 가상 쿼티 키보드와 유사한 수준으로 평가되었으며, 이는 손목 회전 방식이 사용자에게 익숙하지 않은 새로운 방법임에도 이해하고 사용하기 쉬웠다는 점을 시사한다.

본 연구는 실험에 참여한 인원이 적고 다양한 VR 경험 수준을 가진 사용자들을 포괄하지 못해 통계적 유의성과 연구 결과의 신뢰성을 충분히 확보하기 어려웠다. 추후 연구에서는 기존의 가상 쿼티 키보드, 손목 회전 기반 키보드, 그리고 컨트롤러의 터치패드를 활용한 입력 방식을 다양한 측면에서 비교 분석하고 실험 참여자를 늘려 사용성을 평가하겠다.

References

• Meta Quest, https://www.meta.com/kr/en/quest/, . [accessed: Oct. 03, 2024]
• H. J. Kim, "A Study of the Immersive Media Convergence of XR Content, Creating New Virtual and Real Spaces of the Hyper-Connected Metaverse Platform - Focusing on Representative Cases of Industrial Content", Journal of the Korea Institute of the Spatial Design, Vol. 18, No. 7, pp. 229-237, Oct. 2023. [https://doi.org/10.35216/kisd.2023.18.7.229]
• S. M. Yun, C. S. Leem, and S. H. Ban, "A Study on Classification Model Development of Industry-Efificiency XR Technology and case Analysis", Journal of Service Research and Studies, Vol. 12, No. 4, pp. 50-71, Dec. 2022. [https://doi.org/10.18807/jsrs.2022.12.4.050]
• R.-H. Lee and K.-T. Bae, "Study on Building a VR-based Rotorcraft Pre-flight Inspection and Start/Stop Procedure Training System", The Journal of Korean Institute of Information Technology, Vol. 21, No. 11, pp. 193-201, Nov. 2023. [https://doi.org/10.14801/jkiit.2023.21.11.193]
• Use Passthrough on Meta Quest, https://www.meta.com/help/quest/articles/in-vr-experiences/oculus-features/passthrough/, . [accessed: Oct. 03, 2024]
• J. S. Lee, H. S. Lee, and W. J. Choi, "Interactive Interface Design Through VR Hand Tracking", The Journal of the Korea institute of electronic communication sciences, Vol. 18, No. 1, pp. 213-218, Feb. 2023. [https://doi.org/10.13067/JKIECS.2023.18.1.213]
• K. Wang, Y. Yan, H. Zhang, X. Liu, and L. Wang, "Eye-shaped keyboard for dual-hand text entry in virtual reality", Virtual Reality & Intelligent Hardware, Vol. 5, No. 5, pp. 451-469, Oct. 2023. [https://doi.org/10.1016/j.vrih.2023.07.001]
• J. Wu, Z. Wang, L. Wang, Y. Duan, and J. Li, "FanPad: A Fan Layout Touchpad Keyboard for Text Entry in VR", 2024 IEEE Conference Virtual Reality and 3D User Interfaces (VR), Orlando, FL, USA, pp. 222-232, Mar. 2024. [https://doi.org/10.1109/VR58804.2024.00045]
• J. Adhikary and K. Vertanen, "Text Entry in Virtual Environments using Speech and a Midair Keyboard", IEEE Transactions on Visualization and Computer Graphics, Vol. 27, No. 5, pp. 2648-2658, May 2021. [https://doi.org/10.1109/TVCG.2021.3067776]
• I. S. MacKenzie and R. W. Soukoreff, "Phrase Sets for Evaluating Text Entry Techniques", CHI '03 Extended Abstracts on Human Factors in Computing Systems, Ft. Lauderdale Florida USA, pp. 754-755, Apr. 2003. [https://doi.org/10.1145/765891.765971]
• Magic Leap XR Keyboard, https://github.com/magicleap/MagicLeapXRKeyboard/, . [accessed: Nov. 14, 2024]