랜덤 포레스트를 활용한 가상현실 콘텐츠 기반의 직업 훈련 중재시점 예측 요인 연구

Ⅰ. 서 론

가상현실(Virtual reality)은 컴퓨터 소프트웨어와 하드웨어 기술로 구축한 가상의 환경에서 사람이 마치 실제 장소에 있는 것과 유사한 체험을 할 수 있도록 하는 기술이다[1]. 사용자는 HMD(Head Mounted Display) 및 컨트롤러(Controller)와 같은 가상현실 장비를 사용하여 가상의 환경과 상호작용을 함으로써 경험의 기회를 제공받는다. 가상 환경에서 제공하는 오감의 자극은 높은 현실감을 재현하고 흥미와 재미로 동기를 유발하므로 학업성취도와 수업의 집중도에서 유의미한 교육적 효과가 있음이 증명되었다[2]. 가상현실 기술로 제작된 교육 시스템의 예로는 외과 수술 훈련을 위한 시뮬레이션, 자동차 정비 훈련 시스템, 항공기의 조종법 훈련 등 매우 다양하다[3]-[6].

이러한 가상현실 기반의 교육은 일반인뿐만 아니라 발달장애 학생들의 학업성취도에도 효과가 있다고 증명되었다[7]-[9]. 발달장애란 정신적, 신체적 영역에서 발달이 지체되어 신체활동뿐만 아니라 인지 능력에 어려움을 겪는 상태를 의미한다. 발달장애의 증상은 대체로 3세 이전에 나타나기 시작하며 지속적인 사회적 돌봄이 필요하므로 비용이 발생하게 된다. 이러한 사회적 비용을 낮추고 발달장애인의 경제적 독립을 지원하기 위해 전국에 설립된 발달장애인 훈련센터에서는 직업훈련을 통해 취업까지 연계하고 있다[10].

최근에는 가상현실 기술로 개발된 실감 콘텐츠가 발달장애 학생들의 직업훈련 방법으로 활용되고 있다. 실감형 콘텐츠를 활용한 직업훈련은 현실에 존재할 수 있는 위험 요소가 없어서 발달장애 학생들이 안정된 마음으로 훈련을 수행할 수 있고, 반복적인 훈련이 가능하므로 비용의 부담을 낮추면서도 업무의 숙련성을 향상시킬 수 있다[11]. 또한, 훈련에 게임의 요소를 도입하여 발달장애 학생들의 흥미와 관심을 유도하여 훈련의 효과를 증가시킬 수 있다[12].

그러나, 발달장애 학생들은 일반인에 비해 예상하지 못한 상황을 대처하는 능력이 부족할 수 있는데 지도교사의 도움 없이 실감 콘텐츠만으로 훈련을 완수하기엔 한계가 있을 수 있다. 즉, 단독으로 훈련을 수행하는 중에 본인에게 부여된 과제를 제대로 이해하지 못하여 어려움을 겪는 상황이 발생하였을 때 이러한 상황에서 벗어나서 훈련을 이어 나갈 수 있도록 실감 콘텐츠로부터 도움을 제공받을 수 있어야 한다. 본 논문에서는 이러한 도움을 ‘중재’라고 정의하였다. 중재의 종류로는 음성으로 과제를 반복하여 안내하는 방법도 있고, 과제를 수행하는 동영상을 제공하여 그대로 따라서 수행하도록 하는 방법도 있을 수 있다.

본 연구의 목적은 가상현실 기술로 개발된 실감 콘텐츠로 발달장애 학생들이 직업훈련을 수행하는 도중에 중재가 필요한 시점을 파악하는 것이다. 이를 위해 시선의 움직임, 뇌파 등의 센싱 정보 및 다양한 상황 정보, 또는 발달장애인의 행동 데이터 등을 활용할 수 있다. 선행 연구에서는 중재가 필요한 시점을 도출하기 위해 발달장애 학생의 시선 정보를 이용하는 방안을 제안하였다[13]. 본 논문에서는 중재가 필요한 시점을 파악하기 위한 연구의 일환으로 머신러닝 기법의 하나인 랜덤 포레스트(Random forest) 예측 모형을 구축하여 중재가 필요한 학생과 그렇지 않은 학생을 구별하는 중요 요인을 탐색하고자 한다. 랜덤 포레스트는 의사결정트리 또는 분류, 회귀 트리 기법에 앙상블(Ensenble) 기법을 결합한 통계학습 기법이다. 랜덤 포레스트 기법은 다수의 변수를 동시에 투입하는 경우에도 높은 예측력을 보여주고 유연한 변수 탐색이 가능하다[14]. 본 논문의 예측 모형에는 발달장애 학생들의 컨트롤러로부터 직업훈련을 수행할 때 사용하는 여러 가지 가상도구들까지의 거리 정보로 구성된 28가지 변수를 투입하며 각 변수의 중요도를 도출한다.

Ⅱ. 연구 설계

2.2 연구 도구

대표적인 연구 도구로는 그림 1과 같이 가상현실 기술로 개발된 바리스타 훈련용 실감 콘텐츠와 그림 2와 같이 연구 대상자의 시선 추적 및 뇌파 수집을 위한 HMD, 그리고 손으로 가상 객체들을 조작하기 위한 장비인 컨트롤러가 있다.

Fig. 1.

Virtual reality-based barista training contents

Fig. 2.

Head mounted display and controllers

바리스타 훈련 콘텐츠는 커피를 제조하는 교육을 위한 사전 교육으로 본 연구의 분석 대상인 바리스타 도구들을 인지하는 교육을 먼저 실시한다. 즉, 각 바리스타 도구들의 명칭과 기능을 학습시킨 후에 비로소 여러 가지 도구들을 복합적으로 이용하여야 하는 커피 제조 교육을 실시한다.

바리스타 도구 인지 훈련에 포함되는 도구는 총 13개로 에스프레소머신, 그라인더, 그룹헤드, 포타필터, 템퍼, 템퍼 받침대, 샷잔, 넉박스, 스팀밀크 피쳐, 스팀밸브, 스팀노즐, 마른 린넨천, 젖은 린넨천이다. 교육은 총 13개의 단계로 구성되어 있으며 단계별로 1개의 바리스타 도구를 인지하도록 훈련한다. 훈련의 시작과 동시에 콘텐츠에서는 특정 바리스타 도구의 명칭을 음성으로 안내한다. 연구 대상자가 가상 카페 공간에서 해당 도구를 찾아서 손으로 터치하면 화면에 해당 도구의 명칭이 출력되면서 훈련은 성공적으로 끝나고 다음 도구를 인지하는 훈련으로 자동으로 넘어가게 된다. 이러한 패턴은 13번째 바리스타 도구까지 동일하게 반복된다.

Ⅲ. 데이터 분석

3.1 데이터 정제

연구 대상자의 컨트롤러와 각 바리스타 도구 간의 거리 데이터는 텍스트 형태로 생성되며 연구 대상자별로 1개의 텍스트 파일에 모든 훈련 과정에서 수집된 데이터가 한꺼번에 기록된다. 각 연구 대상자의 데이터는 분석을 위해서 그림 3과 같이 바리스타 도구 인지 훈련의 단계별로 13개의 텍스트 파일로 분리하였다. 그리고 실험 과정을 녹화한 비디오를 분석하여 해당 연구 대상자가 중재 없이 스스로 훈련을 완수하였는지, 훈련 중에 어려움을 겪는 상황이 발생하여 중재를 받아서 훈련을 수행하였는지 판단하여 전자는 PASS, 후자는 FAIL로 데이터 라벨링(Labeling)을 수행하였다.

Fig. 3.

Data labeling

라벨링 된 각 단계의 데이터는 그림 4와 같이 훈련 콘텐츠가 연구 대상자에게 음성으로 과제를 안내해주는 부분(Guide)과 훈련대상자가 과제를 수행하는 부분(Execute)으로 구성되어 있다.

Fig. 4.

Data cleansing

이 중에서 최종 분석에 포함되는 데이터와 관련하여 Pass로 라벨링 된 경우는 Guide 부분을 제외한 Execute 부분이 해당되고, Fail로 라벨링 된 데이터의 경우는 Pass와 마찬가지로 Guide 부분을 제외한 Execute 부분이 해당되지만 중재가 제공된 시점부터 이후의 Execute 부분은 중재로 인해 데이터의 무결성이 침해되었으므로 데이터 분석에서 제외하였다. 따라서, Fail로 라벨링 된 경우는 Guide가 종료된 시점부터 중재가 제공되기 직전까지의 데이터만 분석에 포함하였다.

3.2 데이터 분석

본 연구는 가상현실 기술로 개발된 실감 콘텐츠로 발달장애 학생들이 바리스타 훈련을 수행하는 도중에 중재가 필요한 시점을 파악하기 위한 연구의 일환으로 진행되었다. 본 연구는 머신러닝을 이용한 분석 방법을 도입하는 첫 번째 시도(Pilot study)로써 총 21명의 연구 대상자 중에 10명을 임의로 선정하고 바리스타 도구 인지 훈련의 13개 단계 중에서 ‘그라인더’를 인지하는 단계를 수행하는 중에 생성된 데이터를 분석한다.

이 데이터를 기반으로 랜덤 포레스트 기반의 예측 모형을 구축하여 중재가 필요한 연구 대상자와 그렇지 않은 연구 대상자를 구별하는 중요 요인을 탐색하고자 한다. 이를 위해, 표 1의 바리스타 훈련을 수행할 때 사용하는 14개의 주요 도구들로부터 왼쪽 컨트롤러와의 거리, 그리고 오른쪽 컨트롤러와의 거리 정보로 구성된 28가지 변수를 투입하였다.

Table 1.

Features of random forest prediction model

Ⅳ. 분석 결과

본 연구의 랜덤 포레스트 모형 구축에는 파이썬에서 관련 알고리즘과 사이킷런(Sklearn) 라이브러리를 함께 사용하였다. 머신러닝 알고리즘은 일반적으로 적은 수의 데이터보다는 많은 수의 데이터로 좀 더 정확한 모델을 생성할 가능성이 커지므로 본 연구에서는 교차 검증(Cross Validation)을 수행하였으며 분석 결과는 표 2와 같다. 이때, 모델 생성에 사용된 최적화된 하이퍼 파라미터 셋은 표 3과 같다.

Table 2.

Classification prediction results of two groups of research subjects

Table 3.

Optimal hyper parameter set

그림 5는 표 2에서 모델의 정확도가 가장 높은 CV-10 방법으로 랜덤 포레스트 기반의 모델 생성에 사용된 특징 변수의 중요도를 나타낸다. 표 4는 그중에서 상위 3개의 특징 변수의 중요도이다. 오른쪽 컨트롤러와 포타필터와의 거리를 의미하는 Right_PortaFilter 변수는 중요도 0.38로 가장 높고, 왼쪽 컨트롤러와 탬퍼받침대와의 거리를 의미하는 Left_TamperPedestal 변수는 중요도 0.19로 다음으로 높게 관측되었다. 그리고 왼쪽 컨트롤러와 마른 린넨천과의 거리를 의미하는 변수인 Left_DryTowel이 중요도 0.15로 세 번째로 높게 관측되었다.

Fig. 5.

Importance of feature variables

Table 4.

Importance of top 3 feature variables

최상위 변수인 Right_Portafilter와 관련된 포타필터는 에스프레소 머신에 부착되어 있으며, 바리스타 도구 중에 크기가 큰 편에 속하며 발달장애 학생의 정면에 위치하고 있으므로 눈에 잘 띄는 도구 중의 하나이다. 비디오 판독 결과, 주어진 과제인 ‘그라인더’를 찾는 과정에서 대다수 학생은 주로 오른손을 사용하여 포타필터를 자주 만졌으며 일부 학생들은 포타필터를 에스프레소 머신으로부터 분리하여 훈련 내내 오른손에 쥐고 있음이 관측되었다.

두 번째 상위 변수인 Left_Tamperpedestal과 관련된 탬퍼받침대는 비디오 판독 결과, 훈련의 시작과 동시에 발달장애 학생이 바라보는 방향의 왼편 테이블에 놓여 있도록 훈련콘텐츠가 설계되어 있으므로 비록 학생이 탬퍼받침대를 만지지는 않더라도 왼손과 탬퍼받침대와의 거리는 훈련 전 단계에서 의도치 않게 가까운 것으로 기록됨이 관측되었다.

세 번째 상위 변수인 Left_Drytowel과 관련된 마른 린넨천은 포타필터 또는 에스프레소 머신을 닦기 위한 용도로 사용되며 훈련의 시작과 동시에 에스프레소 머신의 바로 앞에 위치해 있다. 따라서 탬퍼받침대와 동일한 이유로 비록 학생이 의도적으로 마른 린넨천을 만지지는 않더라도 에스프레소 머신또는 에스프레소 머신에 부착된 포타필터를 다루는 전 과정중에 마른 린넨천과 학생의 왼손과의 거리는 의도치 않게 가까운 것으로 기록됨이 관측되었다.

V. 결 론

본 논문에서는 가상현실 기반의 바리스타 훈련콘텐츠로 발달장애 학생들이 훈련을 수행하는 도중에 중재가 필요한 시점을 파악하기 위한 연구의 일환으로 랜덤 포레스트 예측 모형을 구축하여 중재가 필요한 학생과 그렇지 않은 학생을 구별하는 중요 요인을 탐색하였다.

본 연구 결과는 다음과 같이 활용될 수 있다. 발달장애 학생을 대상으로 본격적인 바리스타 훈련을 실시하기 전에 랜덤 포레스트 예측 모형으로 중재가 필요한 학생인지 그렇지 않은 학생인지 예측한 다. 중재가 필요한 학생이라면 포타필터의 기능에 대한 교육을 좀 더 집중적으로 실시할 필요가 있으며, 더 정확한 데이터 수집과 분석을 위해 바리스타 도구들의 위치는 학생의 손에서 모두 거리가 있는 공간에 배치하여 탬퍼받침대와 마른 린넨천의 경우와 같은 상황이 발생하지 않도록 한다.

향후 연구로는, 본 논문에서 제안한 랜덤 포레스트 기반의 데이터 분석 방법을 바리스타 도구 인지 훈련의 모든 단계에 적용하여 각 단계의 특성에 따라 중재가 필요한 학생과 그렇지 않은 학생을 구별하는 중요 요인을 도출하는 것이다.

References

• B. H. Jeon, "Development direction of virtual reality technology", TTA Journal, pp. 56-62, 2011.
• H. L. Park and E. N. Sohn, "Korean research trends on the educational effects of media based on virtual reality and augmented reality technology", Journal of Learner-Centered Curriculum and Instruction, Vol. 20, No. 5, pp. 725-741, Mar. 2020. [https://doi.org/10.22251/jlcci.2020.20.5.725]
• B. S. Roh, W. J. Lee, J. W. Lee, J. H. Kim, D. H. Kim, and J. H. Choi, "A study on the development of training systems for marine engines using virtual reality", Journal of the Korean Society of Marine Environment & Safety, Vol. 25, No. 6, pp. 735-742, Oct. 2019. [https://doi.org/10.7837/kosomes.2019.25.6.735]
• J. H. Lee, "A study on the revitalization of virtual reality-based education", The Korean Society of Design Culture, Vol. 25, No. 1, pp. 357-366, Mar. 2019. [https://doi.org/10.18208/ksdc.2019.25.1.357]
• J. M. Shin, D. S. Choi, S. Y. Kim, and K. B. Jin, "A Study on Efficiency of the Experience Oriented Self-directed Learning in the VR Vocational Training Contents", Journal of Knowledge Information Technology and Systems, Vol. 14, No. 1, pp. 71-80, Feb. 2019. [https://doi.org/10.34163/jkits.2019.14.1.008]
• C. Shin, B. H. Park, and G. M. Jung, "Virtual reality training technology and application development trend", The Magazine of Kiice, Vol. 16, No. 1, pp. 17-23, Jun. 2015.
• T. S. Lee and Y. P. Kim, "Developing and Exploring the Possibility of Virtual Reality Based Communication Training Program for Students with Intellectual Disabilities", Journal of the Korea Contents Association, Vol. 17, No. 11, pp. 342-353, Nov. 2017. [https://doi.org/10.5392/JKCA.2017.17.11.342]
• S. J. Kim, T. Y. Kim, and C. S. Lim, "Mixed-Reality Based Situation Training System for the Developmental Disabled", Journal of the Korea Computer Graphics Society, Vol. 14, No. 2, pp. 1-8, Jun. 2008. [https://doi.org/10.15701/kcgs.2008.14.2.1]
• Y. J. Kim, "The Effects of Virtual Reality-based Experience Job Training in Group Home on the Coffee Shop JUICE Cooking Skills of Individuals with Intellectual Disabilities", Journal of Special & Gifted Education, Vol. 3, No. 1, pp. 15-53, Jun. 2016.
• Vocational training center for persons with disabilities, https://www.kead.or.kr/view/service/service02_11_01_01.jsp?sub2=10, [accessed: Jan. 24, 2023]
• M. J. Park and H. J. So, "The Effect of Virtual Reality-Based Vocational Education on the Learning Transfer of Students with Developmental Disabilities", Journal of Korean Association for Educational Information and Media, Vol. 27, No. 3, pp. 1069-1095, Sep. 2021. [https://doi.org/10.15833/KAFEIAM.27.3.1069]
• J. M. Kwon, "Effect of Barista Job Training Game on Occupational Self Efficacy of Persons with Intellectual Disability", Journal of Korea Game Society, Vol. 17, No. 1,  pp. 63-70, Feb. 2017. [https://doi.org/10.7583/JKGS.2017.17.1.63]
• J. H. Jo, "Visualizing Behavior Characteristics of Developmental Disabilities During Virtual Reality Training", Journal of Korean Institute of Information Technology, Vol. 19, No. 2, pp. 123-132, Feb. 2021. [https://doi.org/10.14801/jkiit.2021.19.2.123]
• J. E. Yoo, "Random forests, an alternative data mining technique to decision tree", Journal of Educational Evaluation, Vol. 28, No. 2, pp. 427-448, 2015.
• J. H. Jo, "Analysis of Visual Attention of Students with Developmental Disabilities in Virtual Reality Based Training Contents", Journal of Korea Multimedia Society, Vol. 24, No. 2, pp. 328-335. Feb. 2021. [https://doi.org/10.9717/kmms.2020.24.2.328]