Current Issue

가상현실(Virtual reality)은 컴퓨터 소프트웨어와 하드웨어 기술로 구축한 가상의 환경에서 사람이 마치 실제 장소에 있는 것과 유사한 체험을 할 수 있도록 하는 기술이다[1]. 사용자는 HMD(Head Mounted Display) 및 컨트롤러(Controller)와 같은 가상현실 장비를 사용하여 가상의 환경과 상호작용을 함으로써 경험의 기회를 제공받는다. 가상 환경에서 제공하는 오감의 자극은 높은 현실감을 재현하고 흥미와 재미로 동기를 유발하므로 학업성취도와 수업의 집중도에서 유의미한 교육적 효과가 있음이 증명되었다[2]. 가상현실 기술로 제작된 교육 시스템의 예로는 외과 수술 훈련을 위한 시뮬레이션, 자동차 정비 훈련 시스템, 항공기의 조종법 훈련 등 매우 다양하다[3]-[6].

이러한 가상현실 기반의 교육은 일반인뿐만 아니라 발달장애 학생들의 학업성취도에도 효과가 있다고 증명되었다[7]-[9]. 발달장애란 정신적, 신체적 영역에서 발달이 지체되어 신체활동뿐만 아니라 인지 능력에 어려움을 겪는 상태를 의미한다. 발달장애의 증상은 대체로 3세 이전에 나타나기 시작하며 지속적인 사회적 돌봄이 필요하므로 비용이 발생하게 된다. 이러한 사회적 비용을 낮추고 발달장애인의 경제적 독립을 지원하기 위해 전국에 설립된 발달장애인 훈련센터에서는 직업훈련을 통해 취업까지 연계하고 있다[10].

최근에는 가상현실 기술로 개발된 실감 콘텐츠가 발달장애 학생들의 직업훈련 방법으로 활용되고 있다. 실감형 콘텐츠를 활용한 직업훈련은 현실에 존재할 수 있는 위험 요소가 없어서 발달장애 학생들이 안정된 마음으로 훈련을 수행할 수 있고, 반복적인 훈련이 가능하므로 비용의 부담을 낮추면서도 업무의 숙련성을 향상시킬 수 있다[11]. 또한, 훈련에 게임의 요소를 도입하여 발달장애 학생들의 흥미와 관심을 유도하여 훈련의 효과를 증가시킬 수 있다[12].

그러나, 발달장애 학생들은 일반인에 비해 예상하지 못한 상황을 대처하는 능력이 부족할 수 있는데 지도교사의 도움 없이 실감 콘텐츠만으로 훈련을 완수하기엔 한계가 있을 수 있다. 즉, 단독으로 훈련을 수행하는 중에 본인에게 부여된 과제를 제대로 이해하지 못하여 어려움을 겪는 상황이 발생하였을 때 이러한 상황에서 벗어나서 훈련을 이어 나갈 수 있도록 실감 콘텐츠로부터 도움을 제공받을 수 있어야 한다. 본 논문에서는 이러한 도움을 ‘중재’라고 정의하였다. 중재의 종류로는 음성으로 과제를 반복하여 안내하는 방법도 있고, 과제를 수행하는 동영상을 제공하여 그대로 따라서 수행하도록 하는 방법도 있을 수 있다.

본 연구의 목적은 가상현실 기술로 개발된 실감 콘텐츠로 발달장애 학생들이 직업훈련을 수행하는 도중에 중재가 필요한 시점을 파악하는 것이다. 이를 위해 시선의 움직임, 뇌파 등의 센싱 정보 및 다양한 상황 정보, 또는 발달장애인의 행동 데이터 등을 활용할 수 있다. 선행 연구에서는 중재가 필요한 시점을 도출하기 위해 발달장애 학생의 시선 정보를 이용하는 방안을 제안하였다[13]. 본 논문에서는 중재가 필요한 시점을 파악하기 위한 연구의 일환으로 머신러닝 기법의 하나인 랜덤 포레스트(Random forest) 예측 모형을 구축하여 중재가 필요한 학생과 그렇지 않은 학생을 구별하는 중요 요인을 탐색하고자 한다. 랜덤 포레스트는 의사결정트리 또는 분류, 회귀 트리 기법에 앙상블(Ensenble) 기법을 결합한 통계학습 기법이다. 랜덤 포레스트 기법은 다수의 변수를 동시에 투입하는 경우에도 높은 예측력을 보여주고 유연한 변수 탐색이 가능하다[14]. 본 논문의 예측 모형에는 발달장애 학생들의 컨트롤러로부터 직업훈련을 수행할 때 사용하는 여러 가지 가상도구들까지의 거리 정보로 구성된 28가지 변수를 투입하며 각 변수의 중요도를 도출한다.

본 연구의 랜덤 포레스트 모형 구축에는 파이썬에서 관련 알고리즘과 사이킷런(Sklearn) 라이브러리를 함께 사용하였다. 머신러닝 알고리즘은 일반적으로 적은 수의 데이터보다는 많은 수의 데이터로 좀 더 정확한 모델을 생성할 가능성이 커지므로 본 연구에서는 교차 검증(Cross Validation)을 수행하였으며 분석 결과는 표 2와 같다. 이때, 모델 생성에 사용된 최적화된 하이퍼 파라미터 셋은 표 3과 같다.

그림 5는 표 2에서 모델의 정확도가 가장 높은 CV-10 방법으로 랜덤 포레스트 기반의 모델 생성에 사용된 특징 변수의 중요도를 나타낸다. 표 4는 그중에서 상위 3개의 특징 변수의 중요도이다. 오른쪽 컨트롤러와 포타필터와의 거리를 의미하는 Right_PortaFilter 변수는 중요도 0.38로 가장 높고, 왼쪽 컨트롤러와 탬퍼받침대와의 거리를 의미하는 Left_TamperPedestal 변수는 중요도 0.19로 다음으로 높게 관측되었다. 그리고 왼쪽 컨트롤러와 마른 린넨천과의 거리를 의미하는 변수인 Left_DryTowel이 중요도 0.15로 세 번째로 높게 관측되었다.

Fig. 5. 
Importance of feature variables

최상위 변수인 Right_Portafilter와 관련된 포타필터는 에스프레소 머신에 부착되어 있으며, 바리스타 도구 중에 크기가 큰 편에 속하며 발달장애 학생의 정면에 위치하고 있으므로 눈에 잘 띄는 도구 중의 하나이다. 비디오 판독 결과, 주어진 과제인 ‘그라인더’를 찾는 과정에서 대다수 학생은 주로 오른손을 사용하여 포타필터를 자주 만졌으며 일부 학생들은 포타필터를 에스프레소 머신으로부터 분리하여 훈련 내내 오른손에 쥐고 있음이 관측되었다.

두 번째 상위 변수인 Left_Tamperpedestal과 관련된 탬퍼받침대는 비디오 판독 결과, 훈련의 시작과 동시에 발달장애 학생이 바라보는 방향의 왼편 테이블에 놓여 있도록 훈련콘텐츠가 설계되어 있으므로 비록 학생이 탬퍼받침대를 만지지는 않더라도 왼손과 탬퍼받침대와의 거리는 훈련 전 단계에서 의도치 않게 가까운 것으로 기록됨이 관측되었다.

세 번째 상위 변수인 Left_Drytowel과 관련된 마른 린넨천은 포타필터 또는 에스프레소 머신을 닦기 위한 용도로 사용되며 훈련의 시작과 동시에 에스프레소 머신의 바로 앞에 위치해 있다. 따라서 탬퍼받침대와 동일한 이유로 비록 학생이 의도적으로 마른 린넨천을 만지지는 않더라도 에스프레소 머신또는 에스프레소 머신에 부착된 포타필터를 다루는 전 과정중에 마른 린넨천과 학생의 왼손과의 거리는 의도치 않게 가까운 것으로 기록됨이 관측되었다.

본 논문에서는 가상현실 기반의 바리스타 훈련콘텐츠로 발달장애 학생들이 훈련을 수행하는 도중에 중재가 필요한 시점을 파악하기 위한 연구의 일환으로 랜덤 포레스트 예측 모형을 구축하여 중재가 필요한 학생과 그렇지 않은 학생을 구별하는 중요 요인을 탐색하였다.

본 연구 결과는 다음과 같이 활용될 수 있다. 발달장애 학생을 대상으로 본격적인 바리스타 훈련을 실시하기 전에 랜덤 포레스트 예측 모형으로 중재가 필요한 학생인지 그렇지 않은 학생인지 예측한 다. 중재가 필요한 학생이라면 포타필터의 기능에 대한 교육을 좀 더 집중적으로 실시할 필요가 있으며, 더 정확한 데이터 수집과 분석을 위해 바리스타 도구들의 위치는 학생의 손에서 모두 거리가 있는 공간에 배치하여 탬퍼받침대와 마른 린넨천의 경우와 같은 상황이 발생하지 않도록 한다.

향후 연구로는, 본 논문에서 제안한 랜덤 포레스트 기반의 데이터 분석 방법을 바리스타 도구 인지 훈련의 모든 단계에 적용하여 각 단계의 특성에 따라 중재가 필요한 학생과 그렇지 않은 학생을 구별하는 중요 요인을 도출하는 것이다.