머신러닝 기법을 활용한 가상현실 기반 바리스타 교육의 중재시점 예측 요인 연구

Ⅰ. 서 론

발달장애는 정신 및 신체 영역에서 발달이 지체되어 신체 활동 및 인지 능력에 어려움이 있는 상태이며 생애 전 주기에 걸친 지속적인 돌봄이 필요하므로 사회적 비용을 수반한다. 보건복지부의 통계에 의하면, 발달장애는 매년 6천 명에서 7천 명 수준으로 점진적으로 증가하고 있다[1]. 이와 관련된 사회적 비용을 낮추고 발달장애인의 경제적 독립을 지원하기 위해 전국 주요 도시에 설립된 발달장애인 훈련센터에서는 다양한 직업 훈련을 시행하여 취업까지 연결하고 있다. 직업훈련센터에서는 15세 이상의 발달장애인 구직자들을 대상으로 제조기술, 스마트사무 행정, 서비스산업과 관련된 직종의 직업 훈련을 국가가 훈련비 전액을 지원하여 무료로 실시하고 있다[2].

코로나로 인한 비대면 시대를 지나면서 최근에는 가상현실 기술로 개발된 실감 콘텐츠가 발달장애 학생들의 학업성취도에도 효과가 있다고 증명되어직업 훈련의 수단으로 활발히 활용되고 있다[3]-[5]. 가상 직업 훈련이 가능한 직종으로는 바리스타, 세차, 사무보조 등이 있으며 업무 현장에 즉시 투입 가능한 수준까지 훈련생의 숙련도를 높일 수 있는 것으로 알려져 있다. 가상 환경에서의 직업 훈련은 반복적인 실습이 가능하고 현실 세계에 있는 위험 요소가 존재하지 않으므로 꾸준한 학습과 소통이 필요한 발달장애인들을 대상으로 업무의 숙련도 향상에 효과적이다[6]. 또한, 훈련에 게임의 요소를 도입하여 발달장애 학생들의 흥미를 유발하여 훈련 효과를 증가시킬 수 있다[7].

이러한, 발달장애인 대상의 가상 직업 훈련 환경에서는 일반인과 비교해 고려해야 하는 특수한 상황이 발생할 수 있다. 즉, 지도 교사의 개인적인 도움 없이 홀로 훈련을 수행하는 중에 본인에게 부여된 과제를 제대로 이해하지 못하여 어려움을 겪는 돌발 상황에 대처하는 능력이 부족할 수 있다. 따라서, 이러한 상황이 발생하였을 때 훈련을 이어서 진행할 수 있도록 실감 콘텐츠로부터 도움, 즉 중재를 제공받을 수 있어야 한다.

본 연구는 발달장애 학생들의 가상 바리스타 훈련 과정에서 중재가 필요한 시점을 파악하기 위한 연구의 하나로 중재가 필요한 학생과 그렇지 않은 학생을 예측하는 중요 요인들을 도출하는 것이다. 바리스타는 가상 직업 훈련이 가능한 대표적인 직종으로, 발달장애 학생뿐만 아니라 학생의 보호자들이 가장 원하는 직업으로 알려져 있다[8]. 한국장애인개발원에서는 ‘발달장애인을 위한 쉬운 바리스타 업무 매뉴얼’의 자료를 제작하고 배포하여 바리스타 교육을 지지하고 있으며, 최근에는 중증장애인 바리스타가 정부의 기술 공무직으로 최초로 임용된 사례도 발생하고 있다[9].

본 연구의 선행 연구에서는 발달장애가 있는 21명의 연구대상자 중에 10명을 임의로 선정하고 바리스타 도구 인지 훈련의 13개 단계 중에서 ‘그라인더’를 인지하는 훈련을 수행하는 중에 생성된 데이터를 대상으로 랜덤 포레스트(Random forest) 기반의 예측 모형을 구축하여 중재가 필요한 연구대상자와 그렇지 않은 연구대상자를 구별하는 중요 요인을 탐색하였다[10].

본 연구에서는 선행 연구의 결과를 기반으로 28개의 변수를 투입하여 21명의 연구대상자가 바리스타 도구 인지 훈련의 13개의 전 단계를 수행하는 과정에서 수집한 데이터를 모두 분석에 포함하여 랜덤 포레스트 예측 모형을 구축한 후 각 변수의 중요도를 도출한다. 그리고, 예측력이 높은 상위 5개의 변수를 이용하여 로지스틱 회귀분석(Logistic regression)을 실시하여 중재가 필요한 학생과 그렇지 않은 학생의 예측에 통계적으로 유의미한 결과를 나타내는 주요 변수를 최종적으로 도출하고 의미를 분석한다.

Ⅱ. 연구 설계

2.3 변수 선정

본 연구는 발달장애 학생들의 가상 바리스타 훈련 과정에서 중재가 필요한 학생과 그렇지 않은 학생을 예측하는 중요 변수들을 도출하는 것이다.

이를 위해, 그림 1의 주요 바리스타 도구인 포타필터, 그룹헤드, 마른 린넨천, 젖은 린넨천, 템퍼, 템퍼받침대, 에스프레소컵1, 에스프레소컵2, 스팀스위치, 스팀튜브, 넉박스, 에스프레소머신, 그라인더, 밀크피처로부터 왼쪽과 오른쪽 컨트롤러와의 거리 정보로 구성된 28가지 변수를 투입하여 랜덤 포레스트 예측 모형을 구축한 후 각 변수의 중요도를 도출한다.

Fig. 1.

Barista objects in virtual environment

Ⅲ. 데이터 분석

본 연구에서 분석을 위해 사용한 데이터는 연구대상자가 바리스타 도구를 인지하는 훈련을 수행하는 중에 수집된 컨트롤러에서 각 바리스타 도구들까지의 거리 정보이다.

거리 데이터는 시간별로 텍스트 형태로 생성되며, 연구대상자별로 하나의 파일에 바리스타 도구 인지 훈련의 전 과정에서 수집된 데이터가 모두 기록된다. 이 데이터는 분석을 위해 그림 2와 같이 훈련 단계별로 13개의 파일로 분리하고, 스스로 훈련을 완수하였으면 PASS, 어려움이 발생하여 중재를 받았으면 FAIL로 데이터를 분류한다.

Fig. 2.

Data preprocessing

선행 연구에서는 바리스타 도구 인지 훈련의 13개 단계 중에서 ‘그라인더’ 의 인지 훈련 중에 생성된 데이터만을 분석의 대상으로 하여 파일럿 연구를 진행하였다[10]. 본 연구에서는 선행 연구의 결과를 토대로 바리스타 도구 인지 훈련의 13개 단계를 수행하는 과정 중에 수집한 모든 데이터를 분석에 포함하여 결론을 도출한다.

이를 위해, 기초 통계로 활용하기 위해 13개의 각 훈련 별로 Pass와 Fail에 해당하는 연구대상자의 비율을 구한다. 그리고 랜덤 포레스트 예측 모형을 생성함에 있어서 특정 레이블에 대한 과적합 방지를 위해 Pass 또는 Fail 중에 하나의 레이블에 연구대상자가 집중적으로 몰려있는 훈련들은 제외한다.

예를 들어, 에스프레소 머신을 인지하는 훈련의 경우에는 훈련에 참가하였던 연구대상자의 단 10%만이 중재없이 Pass하였고 90%가 Fail하였다. 이 데이터를 랜덤 포레스트 모델의 생성에 사용하게 되면 Fail을 예측하는 쪽으로 편향될 가능성이 높으며 Pass에 해당하는 연구대상자를 식별하는데 어려움이 발생할 수 있다.

표 1의 결과에 의하면, 에스프레소머신, 템퍼, 템퍼받침대, 에스프레소컵, 스팀튜브, 젖은 린넨천을 인지하는 훈련들이 이에 해당한다. 따라서, 이들을 제외한 그라인더, 그룹헤드, 포타필터, 넉박스, 밀크피처, 스팀스위치, 마른 린넨천을 인지하는 7개의 훈련 데이터를 대상으로 랜덤 포레스트 예측 모형을 생성한다.

Table 1.

Percentage of passed and failed subjects at each step of training to recognize barista tools

이렇게 추출된 각 훈련에 한하여 종속변수의 범주를 고르게 분포시키기 위해 Pass로 분류된 연구대상자 5명과 Fail로 분류된 연구대상자 5명의 데이터를 임의로 선택한다. 그리고, 14개의 주요 바리스타 도구들로부터 왼쪽과 오른쪽 컨트롤러와의 거리 정보로 구성된 28가지 변수를 투입하여 랜덤 포레스트 예측 모형을 구축한 후 각 변수의 중요도를 도출한다.

마지막으로, 그림 3과 같이 예측력이 높은 상위 5개의 변수를 추출하여 해당 데이터를 기반으로 로지스틱 회귀분석을 실시하여 중재가 필요한 학생과 그렇지 않은 학생의 예측에 통계적으로 유의미한 결과를 나타내는 주요 변수들을 최종적으로 도출한다.

Fig. 3.

Data analysis procedure

Ⅳ. 분석 결과

4.2 랜덤 포레스트 분석 결과

본 연구에서는 연구대상자가 바리스타 도구 인지 훈련을 수행하는 과정에서 중재가 필요한지 아닌지의 여부를 효과적으로 예측하는 주요 변수들을 파악하기 위해 교차검증을 수행하여 랜덤 포레스트 모델을 구축하였다. 그림 4는 전체 28개 변수의 중요도를 시각화한 것이며, 표 2는 이 중에서 상위 5개 변수의 중요도를 정리한 것이다.

Fig. 4.

Importance of feature variables

Table 2.

Importance of top 5 feature variables

연구대상자의 오른쪽 컨트롤러와 에스프레소머신에 부착된 스팀 튜브와의 거리를 의미하는 Right_SteamTube 변수는 중요도 0.11로 가장 높고, 왼쪽 컨트롤러와 포타필터와의 거리를 의미하는 Left_PortaFilter는 중요도 0.1로, 오른쪽 컨트롤러와 포타필터와의 거리를 의미하는 Right_PortaFilter는 중요도 0.09로 두 번째와 세번째로 높게 측정되었지만 두 값에 큰 차이는 없다. 이후로는, 오른쪽 컨트롤러와 두번째 에스프레소 컵과의 거리를 의미하는 Right_EspressoCup2, 왼쪽 컨트롤러와 그라인더와의 거리를 의미하는 Left_Grinder의 순으로 측정되었다.

4.3 로지스틱 회귀분석 결과

랜덤 포레스트 분석의 결과로 도출된 상위 5개의 변수의 중요도는 0.07 - 0.11 사이의 값으로써 서로의 차이가 크지 않은 결과를 보였다. 이에, 이항 로지스틱 회귀분석을 실시하여 다른 변수들의 영향력을 통제한 상태에서 개별 변수들이 중재 필요성 여부의 예측에 통계적으로 유의한 영향을 미치는지 분석하였으며 결과는 표 3과 같다.

Table 3.

Impact of each variable on predicting need for intervention

표 3에 의하면, 상위 5개의 모든 변수가 예측에 유의한 영향을 미치는 것으로 나타났다(p<0.001).오른쪽 컨트롤러와 스팀 튜브(Right_SteamTube), 왼쪽 컨트롤러와 포타필터(Left_PortaFilter), 오른쪽 컨트롤러와 포타필터(Right_PortaFilter), 그리고 왼쪽 컨트롤러와 그라인더(Left_Grinder)의 경우는 거리값이 증가할수록 연구대상자가 중재를 필요로 할 가능성이 증가한다.

특히, 연구대상자의 왼쪽 컨트롤러와 그라인더(Left_Grinder)의 경우는 해당 거리가 한 단위 증가하면, 학생이 중재를 필요로 할 가능성은 4.402배 증가한다. 반면, 연구대상자의 오른쪽 컨트롤러와 두 번째 에스프레소 컵(Right_EspressoCup2)의 경우는 거리가 한 단위 증가하면, 해당 학생이 중재를 필요로 할 가능성은 61.8% 감소하는 것으로 분석되었다.

V. 결 론

본 연구는 가상현실 기반의 바리스타 훈련콘텐츠로 발달장애 학생들이 바리스타 도구 인지 훈련을 수행하는 과정에서 중재가 필요한 시점을 파악하기 위한 연구의 하나로, 중재가 필요한 학생과 그렇지 않은 학생을 예측하기 위한 중요 요인을 도출하고자 하였다.

이를 위해, 선행 연구의 결과를 토대로 랜덤 포레스트 기법을 활용하여 예측력이 높은 상위 5개의 변수를 도출하였고, 해당 변수들을 활용하여 중재가 필요한 학생과 그렇지 않은 학생을 예측하기 위한 로지스틱 회귀분석을 실시함으로써 중재의 예측에 유의미한 영향을 미치는 변수들을 최종적으로 확인하였다. 주요 분석 결과는 다음과 같다.

첫째, 본격적인 데이터 분석을 시행하기 전에는 왼쪽 컨트롤러보다는 연구대상자가 주로 사용하는 오른쪽 컨트롤러와 바리스타 도구들과의 거리가 중요 변수일 것이라고 예상하였다. 그러나 포타필터와 그라인더의 경우는 왼쪽 컨트롤러와의 거리가 오른쪽 컨트롤러와의 거리보다 예측에 중요한 변수인 것으로 분석되었다. 즉, 중재의 적절한 시점을 파악하는 향후 연구에서 연구대상자의 오른손뿐만 아니라 왼손의 움직임 데이터도 분석에 포함할 필요가 있음을 확인하였다.

둘째, ‘그라인더’는 예측에 유의한 영향을 미치며 상위 5개의 중요 변수 중에서도 가장 높은 오즈비(Odds ratio) 값을 보인다. 본 연구에서 수집한 eye tracking 데이터를 기반으로 시선을 분석한 선행 연구의 결과에 의하면 그라인더는 바리스타 도구 중에서 연구대상자의 시선의 고정(Fixation) 횟수가 월등하게 높은 객체로 확인되었다[12]. 따라서, 본격적인 바리스타 훈련을 시작하기 전에 그라인더에 대한 교육을 집중적으로 실시할 필요가 있다.

마지막으로, 선행 연구에서 연구대상자들의 ‘그라인더’ 인지 훈련 수행 중에 생성된 데이터만을 분석하여 최상위 변수로 도출된 ‘포타필터’는 본 연구를 통해 바리스타 도구 인지 훈련과정에서 수집한 데이터를 종합적으로 분석한 결과 두 번째와 세 번째 상위 변수로 관측되어 그 중요성이 입증되었고 예측에도 유의미한 영향을 미치는 것으로도 나타났다. 따라서, 그라인더와 함께 포타필터에 대한 기존의 교육도 개선하여 실시할 필요가 있다.

향후 연구로는, 본 논문에서 제안한 랜덤 포레스트와 로지스틱 회귀분석 방법을 커피를 추출하는 전 과정을 포함하는 본격적인 바리스타 훈련과정에서 수집한 데이터에 적용하는 것이다. 그리고 각 훈련 단계의 특성에 따라 중재가 필요한 학생과 그렇지 않은 학생을 구별하는 중요 요인을 도출하는 것이다.

Acknowledgments

본 연구는 2023년도 부산교육대학교 현장연구지원과제로 연구비 지원을 받아 수행되었음

References

• Ministry of Health and Welfare, Disability Status - Statistical Information Report, 2019.
• Vocational training center for persons with disabilities, https://www.kead.or.kr/ddtintrd/cntntsPage.do?menuId=MENU0734, [accessed: Jan. 16, 2024]
• T. S. Lee and Y. P. Kim, "Developing and Exploring the Possibility of Virtual Reality Based Communication Training Program for Students with Intellectual Disabilities", Journal of the Korea Contents Association, Vol. 17, No. 11, pp. 342-353, Nov. 2017. [https://doi.org/10.5392/JKCA.2017.17.11.342]
• S. J. Kim, T. Y. Kim, and C. S. Lim, "Mixed-Reality Based Situation Training System for the Developmental Disabled", Journal of the Korea Computer Graphics Society, Vol. 14, No. 2, pp. 1-8, Jun. 2008. [https://doi.org/10.15701/kcgs.2008.14.2.1]
• Y. J. Kim, "The Effects of Virtual Reality-based Experience Job Training in Group Home on the Coffee Shop JUICE Cooking Skills of Individuals with Intellectual Disabilities", Journal of Special & Gifted Education, Vol. 3, No. 1, pp. 15-53, Jun. 2016.
• M. J. Park and H. J. So, "The Effect of Virtual Reality-Based Vocational Education on the Learning Transfer of Students with Developmental Disabilities", Journal of Korean Association for Educational Information and Media, Vol. 27, No. 3, pp. 1069-1095, Sep. 2021. [https://doi.org/10.15833/KAFEIAM.27.3.1069]
• J. M. Kwon, "Effect of Barista Job Training Game on Occupational Self Efficacy of Persons with Intellectual Disability", Journal of Korea Game Society, Vol. 17, No. 1, pp. 63-70, Feb. 2017. [https://doi.org/10.7583/JKGS.2017.17.1.63]
• K. S. Kim, C. S. Lee, and J. H. Cho, "Research on job demand and expansion plans for each typeof disability", Daejeon Welfare Foundation, pp. 1-366, Nov. 2016.
• KODDI(Korea Disabled people’s Development Institute), "Easy barista work manual for people with developmental disabilities", pp. 1-86, Dec. 2018. https://www.koddi.or.kr/data/manual01_view.jsp?brdNum=7406648&brdTp=&searchParamUrl=brdType%3DMANUAL%26amp%3Bpage%3D1%26amp%3BpageSize%3D20, . [accessed: Jan. 16, 2024]
• J. H. Jo, "Random Forest based Method for Predicting the Timing of Intervention During Virtual Reality-based Job Training", Journal of Korean Institute of Information Technology, Vol. 21, No. 2, pp. 155-161, Feb. 2023. [https://doi.org/10.14801/jkiit.2023.21.2.155]
• J. H. Jo, "Visualizing Behavior Characteristics of Developmental Disabilities During Virtual Reality Training", Journal of Korean Institute of Information Technology, Vol. 19, No. 2, pp. 123-132, Feb. 2021. [https://doi.org/10.14801/jkiit.2021.19.2.123]
• J. H. Jo, "Analysis of Visual Attention of Students with Developmental Disabilities in Virtual Reality Based Training Contents", Journal of Korea Multimedia Society, Vol. 24, No. 2, pp. 328-335, Feb. 2021. [https://doi.org/10.9717/kmms.2020.24.2.328]