Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 24, No. 8, pp.267-275
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Aug 2026
Received 13 Jul 2026 Revised 28 Jul 2026 Accepted 31 Jul 2026
DOI: https://doi.org/10.14801/jkiit.2026.24.8.267

머신러닝을 이용한 발달장애인 학습상태 예측 연구

조정희*
*부산교육대학교 컴퓨터교육과 부교수
A Study on Prediction of Learning Status of People with Developmental Disabilities using Machine Learning
Junghee Jo*

Correspondence to: Junghee Jo Dept. of Computer Education, Busan National University of Education Tel.: +82-51-500-7327, Email: junghee7579@gmail.com

초록

가상현실 기반 바리스타 훈련에서 발달장애 학생에게 적시에 학습 지원을 제공하려면 교수자 개입 시점을 예측하는 것이 중요하다. 본 연구는 인공지능 분류 기법으로 개입이 필요한 학습자 판별을 위한 핵심 변인을 도출하고자 하였다. 선행 연구에서는 바리스타 도구 인지 훈련에서 수집한 데이터를 분석 대상으로 하였고 본 연구에서는 여러 도구를 유기적으로 조합하여 각 단계별 과제를 완수해야 하는 커피 추출 훈련을 통해 수집한 데이터로 분석 범위를 확장하였다. 10가지 바리스타 도구와 좌우 컨트롤러 간 상대적 거리로 특징 변수를 산출하였으며 랜덤 포레스트로 예측 기여도 상위 5개 변수를 선별한 후 이항 로지스틱 회귀분석을 통해 학습 지원 필요 여부를 유의하게 구분하는 변인을 확인하였다.

Abstract

In virtual reality-based barista training, predicting intervention timing is essential for providing timely support to students with developmental disabilities. This study aimed to identify key variables for classifying learners requiring intervention using AI-based classification techniques. While prior research focused on data from barista tool recognition training, this study expanded the analysis to coffee extraction training, which requires completing step-by-step tasks through the organic combination of multiple tools. Feature variables were derived from the relative distances between ten barista tools and the controllers. Using random forest, the top five variables with the highest predictive contribution were selected, and binary logistic regression was conducted to identify variables that significantly distinguish the need for learning support.

Keywords:

virtual reality, developmental disabilities, job training, random forest, logistic regression

Ⅰ. 서 론

실감 콘텐츠는 가상공간에서 실제와 동일한 체험을 가능하게 하므로 안전한 환경에서 다양한 작업을 경험하며서 관련 지식을 효과적으로 습득할 수 있다. 최근 실감 콘텐츠 제작에서는 인공지능 기술을 활용하여 사용자에게 몰입형 경험을 제공하고 가상 환경에서의 사실감과 현장감을 강화하고 있다[1]-[3]. 이러한 흐름 속에서 인공지능 기반의 데이터 분석 기법은 단순한 콘텐츠 구현을 넘어, 사용자의 행동 패턴이나 반응을 예측하고 이에 따라 적절한 개입 시점을 판단하는 등 실감 콘텐츠의 지능화를 이끄는 핵심 기술로 자리 잡고 있다[4][5].

이러한 기술적 패러다임의 변화를 반영하듯 최근 학계에서는 시선 추적이나 신체 움직임 등 멀티모달(Multimodal) 행동 데이터를 실시간으로 분석하여 학습 상태를 시각화하고 적응형 조력을 제공하는 지능형 모니터링 시스템 연구가 활발히 전개되고 있다[4]. 더 나아가, 인공지능 에이전트(Agentic AI)를 가상현실에 결합하여 학습자의 정서 상태나 행동 궤적에 따라 교육 난이도를 자율적으로 조정함으로써 인지적 과부하를 줄이고 학습 지속성을 극대화하는 지능형 환경 구축으로까지 그 범위가 확장되는 추세이다[5].

이러한 인공지능 기반의 실감형 콘텐츠는 발달장애 학생을 위한 직업 훈련에 유용하게 적용될 수 있다. 가상의 훈련 환경에서는 실제 상황에서 발생할 수 있는 위험이 배제되므로 발달장애 학생들은 심리적 부담 없이 훈련에 임할 수 있으며, 별다른 비용 부담 없이도 반복적으로 훈련을 수행함으로써 업무 숙련도를 높일 수 있다[6][7]. 다만, 교사의 직접적인 가이드 없이 독립적으로 훈련할 때, 과제 이해도가 낮아 학습이 중단되는 상황이 올 수 있다. 이런 상황에서는 훈련이 계속될 수 있도록 콘텐츠 차원에서의 지원, 즉 중재가 이루어져야 한다.

본 연구는 발달장애 학생을 대상으로 실감형 콘텐츠 기반의 바리스타 훈련에서 이 같은 중재의 적절한 시점을 파악하기 위한 연구로, 중재가 필요한 학생과 필요하지 않은 학생을 예측하는 데 영향을 미치는 주요 요인을 도출하는 것을 목적으로 한다. 본 연구의 기반이 된 선행 연구에서는 발달장애 학생들이 바리스타 도구 인지 훈련을 수행하는 과정에서 수집한 데이터를 활용하여 중재가 필요한 집단과 자립적으로 수행 가능한 집단을 구별하는 핵심 요인을 분석하였다[8][9]. 본 연구는 이러한 선행 연구의 결과를 바탕으로, 바리스타 직무의 핵심 과정인 커피 추출 훈련에서 수집한 데이터를 대상으로 교수자의 중재가 요구되는 시점을 예측하고자 하는 예비적 탐색 연구이다. 특히, 커피 추출 훈련의 21단계 중 도구 간 상호작용의 복잡도가 상대적으로 높은 세 번째 단계인 '커피그라인더에 포타필터를 끼워 넣어주세요'를 대상으로 분석을 수행함으로써 향후 전체 단계로 분석을 확장하기 위한 기초 자료를 제공하고자 하였다. 이를 위해, 랜덤 포레스트 예측 모형을 구축하여 변수별 중요도를 산출하고, 예측력이 높은 상위 5개 변수를 선정하여 로지스틱 회귀분석을 실시하였다. 그리고 중재가 필요한 학생과 그렇지 않은 학생을 예측하는 데 통계적으로 유의미한 영향을 미치는 주요 변수를 최종적으로 도출하고 그 의미를 분석하였다.


Ⅱ. 연구 설계

2.1 연구대상자

본 연구의 참여자는 발달장애인 훈련센터에 재학 중인 학생 21명을 대상으로 하였다. 통계적 정규성 가정을 만족시키기 위해서는 최소 30명 이상의 참여자가 요구되었으나 발달장애의 특수한 성격으로 인해 참여자 선정 및 배제 기준이 엄격하게 적용됨에 따라 충분한 수의 참여자를 확보하는 데 현실적인 제약이 따랐다. 참여자 선정 절차는 생명윤리위원회의 공식 승인을 받은 지침에 근거하여 진행되었다.

연구대상자를 모집하기 위해 발달장애인훈련센터 게시판에 모집공고문을 게시하고 수업시간을 활용하여 모집 관련 안내를 실시하였다. 참여 의사를 밝힌 발달장애인에 대해서는 보호자를 대상으로 대면 혹은 전화를 통해 모집공고문과 동의서 내용을 안내하였으며 보호자가 연구의 목적과 절차에 대해 충분히 이해한 후 참여 여부를 결정하도록 하였다. 그리고, 보호자의 동의가 확인된 경우에 한해 해당 발달장애인을 연구대상자로 확정하였다. 실험 시작 전에는 발달장애인 본인과 보호자 모두로부터 서면 동의를 확보하였으며, 서면 동의 확보가 곤란한 경우에는 전화를 통한 동의와 음성 녹음을 통해 서명을 대체하였다[10].

연구대상자 선정기준으로는 성별에 제한을 두지 않고, 보호자의 동의를 받은 만 18세에서 50세 사이의 성인으로서 시각과 청각 기능이 정상이며 2019년 7월 기준 3급 이상의 경증 발달장애를 가진 자로 설정하였다. 제외기준으로는 중증 자폐 또는 정신질환으로 실험 도중 예기치 못한 상황을 초래할 가능성이 있는 자, 지적 수준으로 인해 실험의 목적과 절차 이해가 곤란한 자, 가상현실을 활용한 실험에 거부감을 보이는 자, 발달장애 이외의 정신질환 및 뇌질환 병력을 가진 자, 그리고 기타 중대한 신체적·정신적 문제로 연구자가 참여 부적합 판정을 내린 자 등을 포함하였다[10].

2.2 연구 도구

연구를 수행하기 위해 활용된 연구 도구는 가상현실 환경에서 구동되는 실감형 바리스타 콘텐츠, 연구대상자의 시선 이동 및 뇌파 신호를 실시간으로 수집하는 HMD(Head Mounted Display), 그리고 가상 세계 속 다양한 객체들과 상호작용하기 위한 양손 컨트롤러이다.

그림 1은 연구대상자가 HMD를 착용했을 때 보이는 가상현실 환경을 나타낸다. 커피 추출 과정에 활용되는 주요 바리스타 도구는 에스프레소 머신, 그라인더, 포타필터, 템퍼, 템퍼 받침대, 에스프레소 잔(2개), 넉박스, 마른천 및 젖은천을 포함하여 총 10개이다.

Fig. 1.

Barista objects in virtual reality environment

2.3 데이터 수집

바리스타 직무의 핵심 과정인 커피 추출 훈련은 총 21개의 단계로 구성된다. 선행 연구에서 다룬 바리스타 도구 인지 훈련이 본격적인 훈련에 앞서 도구 자체를 인지하는 데 목적을 둔 사전 단계였다면, 커피 추출 훈련은 여러 도구를 유기적으로 조합하여 각 단계별 과제를 완수해야 하므로 그 복잡도가 매우 높다. 이에 전체 데이터 분석에 앞서 데이터의 특성과 잠재적 연구 변인을 탐색하기 위한 예비적 검증이 필요하다. 이를 위해 본 연구에서는 총 21명의 연구 대상자 중 10명을 임의로 선정하고, 커피 추출 훈련 21단계 중 도구 간 상호작용의 복잡도가 상대적으로 높은 세 번째 단계를 대상으로 데이터 분석을 수행하였다. 그림 2는 연구 대상자가 가상 공간에서 커피 추출 훈련의 세 번째 단계를 수행하는 과정을 캡쳐한 것이다.

Fig. 2.

Screenshot of the third step in barista training: "Insert the portafilter into the coffee grinder“

2.4 변수 선정

본 연구의 목적은 발달장애 학생이 가상 바리스타 직무 학습을 수행하는 과정에서 중재가 요구되는 학습자와 자립적인 수행이 가능한 학습자를 판별하는 핵심 변인을 규명하는 데 있다. 이를 위해 그림 1에 제시된 각 바리스타 도구와 양손 컨트롤러 사이의 상대적 거리를 기반으로 총 20개의 행동 특징 변수를 생성한다. 그리고 이를 랜덤 포레스트 분류 모델의 입력값으로 투입하여 중재 여부 판별에 유의미한 영향력을 행사하는 변수별 기여도를 도출한다.


Ⅲ. 데이터 분석

컨트롤러와 바리스타 도구 간의 거리 정보는 시간의 흐름에 따라 텍스트 형식으로 기록되며 연구대상자마다 커피 추출 훈련의 전체 과정에서 생성된 데이터가 하나의 파일에 순차적으로 저장된다.

각 훈련 단계에 해당하는 텍스트 데이터를 PASS와 FAIL로 분류하기 위해 두 단계의 검증 절차를 거쳤다. 1단계로, 훈련 과정에서 교수자의 중재가 발생한 경우 이를 데이터 로그에 표기하도록 설계되어 있으며, 이 표기 여부를 자동으로 스캔하여 중재 개입 유무를 판별하는 프로그램을 개발하여 1차적으로 PASS와 FAIL을 부여하였다. 2단계로, 연구원이 훈련 대상자가 HMD를 착용하고 양손의 컨트롤러를 조작하여 과제를 수행하는 모습을 기록한 영상 자료를 검토하여 1차 라벨링 결과가 실제 수행 양상과 일치하는지를 재확인하였다. 이 과정을 통해 훈련 대상자가 외부의 도움 없이 스스로 과제를 완수한 경우와 수행 중 어려움이 발생하여 중재를 제공받은 경우를 최종적으로 구분하였으며, 전자는 PASS로, 후자는 FAIL로 라벨링하였다.

라벨링된 데이터는 그림 3과 같이 음성 기반의 과제 제시(Guide) 영역과 실제 행동 로그가 기록되는 과제 수행(Execute) 영역으로 구분된다.

Fig. 3.

Data cleansing

분석에 활용되는 데이터의 범위는 라벨 유형에 따라 다음과 같이 결정된다. Pass로 분류된 단계에서는 Guide 구간을 제외한 Execute 구간 전체를 분석 데이터로 사용한다. Fail로 분류된 단계의 경우에도 Guide 구간은 동일하게 제외되나 중재가 개시된 시점 이후의 Execute 구간은 중재 처치에 따른 왜곡을 방지하고자 분석 대상에서 배제하였다. 즉, Fail 단계에서는 Guide 구간이 종료된 직후부터 중재가 시작되기 직전까지의 Execute 구간만을 분석에 포함하였다. 이렇게 정제된 데이터를 토대로, 바리스타 실습에서 사용되는 10종의 주요 도구 각각에 대해 왼쪽 및 오른쪽 컨트롤러와의 거리를 산출한 총 20개의 변수를 구성하였다.

분석에 최종적으로 포함된 데이터의 구성은 표 1에 제시하였다. 분석단위는 연구참여자가 훈련을 수행하는 동안 시간 순서대로 기록된 행동 로그(Frame)이며 동일 연구대상자로부터 다수의 로그가 생성되는 반복측정 구조를 가진다. 각 프레임은 20개의 거리 변수를 포함한다. 최종 분석에는 총 14,620개의 프레임 데이터를 사용하였으며 종속변수는 각 프레임이 속한 훈련 구간의 중재 여부(PASS=0, FAIL=1)로 라벨링하였다. 이후 20개의 거리 변수를 입력변수로 하여 랜덤 포레스트 분류 모형을 학습시키고, 변수별 상대적 중요도를 산출하여 중요도 상위 5개 변수를 선정하였다. 마지막으로 선정된 변수들을 독립변수로 하는 이항 로지스틱 회귀분석을 수행하여 중재 필요 여부를 유의하게 예측하는 핵심 변수를 확인하였다.

Composition of the analysis dataset and unit of analysis


Ⅳ. 분석 결과

4.1 랜덤 포레스트 분석 결과

본 연구에서는 랜덤 포레스트 분류 모델의 구현을 위해 Python 환경에서 Scikit-learn 라이브러리를 활용하였다. 머신러닝 기반 모델은 학습 데이터의 양이 증가할수록 예측 성능이 향상되는 경향이 있으므로 교차 검증(Cross validation) 기법을 적용하였다. 이를 기반으로, 연구대상자를 중재가 필요한 그룹과 그렇지 않은 그룹으로 분류하는 예측 모형의 성능을 평가하기 위해 교차검증의 폴드 수를 3, 5, 10으로 각각 달리하여 비교하였다.

표 2에 제시된 바와 같이, 교차검증 폴드 수가 증가할수록 전반적인 예측 성능이 향상되는 경향을 보였다. 특히, 폴드 수를 가장 많이 설정한 CV-10에서 정확도는 0.88, 정밀도는 0.81, 재현율은 0.80, F1-score는 0.81로 세 조건 중 가장 우수한 성능을 보였다. 이러한 결과는 교차검증의 분할 수가 많아질수록 학습에 사용되는 데이터의 비율이 증가하여 모델의 일반화 성능이 향상됨을 의미한다.

Classification prediction results of two groups of research subjects

각 교차검증 조건에서 모델의 과적합을 방지하고 예측 성능을 최적화하기 위해 그리드 서치(Grid Search) 기법을 활용하여 하이퍼파라미터를 탐색하였다. 표 3에 제시된 바와 같이, 트리의 개수를 의미하는 n_estimators, 트리의 깊이를 의미하는 max_depth, 노드 분할을 위한 최소 샘플 수인 min_samples_split, 그리고 리프 노드가 되기 위한 최소 샘플 수인 min_samples_leaf의 최적 조합이 교차검증 조건별로 상이하게 도출되었다.

Optimal hyper parameter set

이는 데이터를 분할하는 방식에 따라 모델에 적합한 트리 구조의 복잡도가 달라짐을 의미하며, 향후 유사한 연구를 수행할 때 교차검증 폴드 수 설정에 따라 하이퍼파라미터를 재탐색할 필요가 있음을 보여준다.

본 연구에서는 연구대상자가 바리스타 도구 인지 훈련을 수행하는 과정에서 중재가 필요한지 아닌지의 여부를 효과적으로 예측하는 주요 변수들을 파악하기 위해 전체 특징변수의 중요도를 산출하였다.그림 4는 전체 변수의 중요도를 시각화한 것이며, 대부분의 변수가 0.1 이하의 낮은 중요도를 보이는 가운데, 템퍼받침대, 그라인더, 포타필터와 관련된 변수들이 상대적으로 뚜렷하게 높은 중요도를 나타내어 예측에 실질적으로 기여하는 핵심 변수임을 확인할 수 있었다.

Fig. 4.

Importance of feature variables

다만, 그림 4에 제시된 오차 막대는 랜덤 포레스트를 구성하는 개별 트리 간 중요도 값의 표준편차를 나타내는데 일부 변수의 경우 이 표준편차가 해당 변수의 평균 중요도보다 크게 나타났다. 이는 트리별로 해당 변수의 중요도 판단이 상당히 엇갈리고 있음을 의미하며, 표 3에 제시된 바와 같이 그리드서치를 통해 선정된 최적 트리 개수(n_estimators)가 교차검증 조건에 따라 2~10개로 비교적 적었던 점이 주요 원인으로 판단된다.

표 4는 상위 5개 변수의 중요도를 정리한 것이다. 왼쪽 컨트롤러와 템퍼받침대 사이의 거리를 의미하는 Left_TamperPedestal 변수는 중요도가 0.22로 가장 높게 나타났다. 오른쪽 컨트롤러와 그라인더 사이의 거리를 의미하는 Right_Grinder 변수는 중요도 0.17로, 오른쪽 컨트롤러와 포타필터 사이의 거리를 의미하는 Right_PortaFilter 변수는 중요도 0.16으로 각각 두 번째와 세 번째로 높게 측정되었다.

Importance of top 5 feature variables

이들 세 변수의 차이는 비교적 크지 않은 반면, Left_DryTowel와 Right_EspressoMachine는 중요도 값이 뚜렷하게 감소하는 현상이 나타났다.

4.2 로지스틱 회귀분석 결과

랜덤 포레스트의 변수 중요도는 해당 변수가 중재 필요 예측에 얼마나 기여했는지를 상대적 비율로 보여줄 뿐, 이 효과가 통계적으로 의미있는 차이인지는 알려주지 못한다. 특히, 상위 3개 변수는 중요도 수치가 0.16에서 0.22 사이에 분포하여 그 차이가 미미하였다. 이에 각 변수가 다른 변수들의 효과를 통제한 상태에서도 독립적으로 중재 필요 여부를 유의하게 예측하는지 검증하기 위해 이항 로지스틱 회귀분석을 추가로 수행하였다.

표 5에 의하면, 5개 변수 모두 중재 필요성 여부의 예측에 통계적으로 유의한 영향을 미치는 것으로 나타났다(p<0.001). 왼쪽 컨트롤러와 템퍼받침대 사이의 거리(Left_TamperPedestal), 오른쪽 컨트롤러와 그라인더 사이의 거리(Right_Grinder), 그리고 오른쪽 컨트롤러와 에스프레소머신 사이의 거리(Right_EspressoMachine)는 회귀계수(B)가 양의 값을 나타내어 해당 거리가 증가할수록 중재를 필요로 할 가능성이 높아지는 것으로 분석되었다. 특히, Right_Grinder의 경우 오즈비가 12.84로 가장 높게 나타나서 해당 거리가 한 단위 증가할 때 중재 필요 가능성이 약 12.8배 증가하는 것으로 관찰되었으며, Left_TamperPedestal 역시 오즈비 9.97로 중재 필요 가능성이 약 10배 가까이 증가하는 것으로 나타났다.

Impact of each variable on predicting need for intervention

반면, 오른손과 포터필터 사이의 거리(Right_PortaFilter)와 왼손과 마른천 사이의 거리(Left_DryTowel)의 회귀계수(B)는 음의 값을 나타내어 이는 해당 거리가 증가할수록 중재를 필요로 할 가능성이 낮아지는 것으로 분석되었다.

Right_PortaFilter의 경우는 오른손과 포터필터 간 거리가 증가할수록 중재가 필요한 상태의 발생 가능성이 감소함을 의미하는데 이는 정상적인 수행 과정에서 포터필터를 그라인더에 장착한 이후 오른손이 포터필터에서 이탈하는 행동이 반영된 결과일 가능성이 있다. Left_DryTowel은 마른천이 과제와 직접 관련이 없는 도구이므로 왼손과 마른 린넨천 사이의 거리가 증가할수록 과제 수행에 필요한 도구(예: 그라인더) 주변에서 연구대상자의 동작이 이루어졌을 가능성을 나타낸다.


Ⅴ. 결 론

본 연구는 가상현실 기반 바리스타 훈련 콘텐츠를 활용하는 발달장애 학생들을 대상으로, 커피를 추출하는 전 과정을 포함하는 바리스타 훈련 과정에서 교수자의 중재가 요구되는 시점을 예측하기 위한 연구이다. 이를 위해 중재가 필요한 학생과 그렇지 않은 학생을 구분하는 데 영향을 미치는 주요 요인을 탐색하고자 하였다.

구체적으로, 선행연구에서 제시된 결과를 바탕으로 랜덤 포레스트 기법을 적용하여 예측력이 높은 상위 5개 변수를 선정하였다. 그리고 선정된 변수들을 독립변수로 활용하여 이항 로지스틱 회귀분석을 수행함으로써 학생의 중재 필요 여부를 예측하는 데 통계적으로 유의한 영향을 미치는 요인을 최종적으로 확인하였다. 주요 분석 결과는 다음과 같다.

첫째, 랜덤 포레스트 분석 결과, 주어진 과제인 ‘커피그라인더에 포타필터를 끼워 넣어주세요’를 수행하는 데 있어서 '템퍼받침대', '그라인더', '포타필터'의 세 곳 근처에서의 컨트롤러 위치가 중재 필요 여부의 판단에 매우 중요한 변수임이 확인되었다. ‘그라인더’와 ‘포타필터’는 해당 과제가 이루어지는 핵심 도구이지만, ‘템퍼받침대’는 과제와의 연관성을 찾기 어려워 별도의 비디오 판독을 수행하였다. 그 결과, ‘템퍼받침대’가 ‘그라인더’의 바로 앞에 위치하며 이 지점이 과제 수행을 위해 학생들의 손 움직임과 조작이 집중되는 핵심 작업 지점이므로 의도치 않게 ‘템퍼받침대’와 왼손 간의 거리가 중요 변수로 분석된 것으로 나타났다. 따라서 중재 필요 여부를 정확히 판단하기 위해서는 과제와 직접 관련된 바리스타 도구뿐만 아니라, 위치적으로 인접한 도구들 역시 데이터 분석에서 함께 고려할 필요가 있다.

둘째, 왼쪽 컨트롤러와의 거리가 중요 변수로 상위권에 포함되었다는 점은 연구대상자가 주로 사용하는 오른손뿐만 아니라 왼손의 움직임 데이터 역시 중재 시점을 예측하는 데 중요한 역할을 할 수 있음을 의미한다. 이는 선행연구[9]의 결과와도 동일한 맥락으로 해석할 수 있다.

셋째, 로지스틱 회귀분석 결과 그라인더의 오즈비가 12.84로 매우 높게 나타나, 컨트롤러 사이의 거리가 한 단위 증가할 때 중재가 필요할 가능성이 약 12.8배까지 증가하는 것으로 분석되었다. 이는 그라인더와의 거리가 벌어질수록 학생이 도구의 위치를 제대로 파악하지 못하고 있음을 나타내는 지표로 해석될 수 있다. 따라서, 주어진 과제인 '커피그라인더에 포타필터를 끼워 넣어주세요'를 수행하기 전에 그라인더에 대한 인지 교육을 집중적으로 실시할 필요가 있다. 이러한 결과는 특정 과제와 관련된 도구에 대한 사전 교육 강화가 실질적인 중재 감소로 이어질 수 있음을 보여주는 것으로 본 연구가 향후 전체 훈련 과정에 대한 분석으로 확장되기 위한 실질적인 근거를 제공하였다는 점에서 의의가 있다.

본 연구는 다음과 같은 제한점이 있다. 첫째, 분석에 활용된 데이터는 커피 추출 훈련의 세 번째 단계만을 대상으로 한 예비적 검증 결과이므로 결과를 훈련 전 과정으로 일반화하는 데에는 주의가 필요하다. 둘째, 전체 참여자는 21명이었으나 실제 분석에는 임의로 선정된 10명의 데이터만이 활용되어 표본 규모가 제한적이다. 이는 발달장애인 대상 연구의 엄격한 선정 기준과 예비적 검증의 성격에서 기인한 것으로, 본 연구의 결과는 향후 대규모 표본을 통한 재검증이 필요한 예비적 결과로 해석되어야 한다. 셋째, 제한된 표본 규모로 인해 일부 변수에서 오즈비가 높게 산출되었는데 이는 소규모 표본에서 기인한 과적합 또는 표본 편향의 가능성을 배제하기 어려운 결과로 해석된다. 본 연구에서는 교차검증 폴드 수를 3, 5, 10으로 달리하고 그리드 서치를 통한 하이퍼파라미터 최적화를 수행하였으나 이러한 절차만으로 오즈비의 과대 추정 가능성을 완전히 해소하기는 어려울 수 있다. 넷째, 본 연구의 분석 단위는 시간 순서대로 기록된 행동 프레임이므로 동일 연구대상자로부터 다수의 로그가 생성되는 반복측정 구조를 가지는데, 동일인의 프레임 데이터가 학습셋과 검증셋에 중복 포함될 수 있는 가능성이 있다. 마지막으로, 본 연구에서는 랜덤포레스트를 통해 중요 변수를 선정한 후 동일한 데이터셋으로 로지스틱 회귀분석을 수행하였다. 따라서 변수 선택과 유의성 검증이 동일한 데이터에서 이루어져 선택 편향 가능성을 배제하기 어렵다.

향후 연구에서는 본 연구의 방법론을 훈련 전 과정에 적용하여 충분한 표본을 확보하고, 단계별 중재 필요 요인을 규명함과 동시에 정규화 기법, 부트스트래핑, 혼합효과모형 등을 분석에 추가로 적용하여 이러한 한계를 보완할 필요가 있다.

Acknowledgments

본 연구는 2024년도 부산교육대학교 연구년 교수 지원 연구비에 의해 수행되었음

References

  • J. H. Kim, J. W. Park, and T. K. Yoo, "A Study on Immersive Content Production and Storytelling Methods using Photogrammetry and Artificial Intelligence Technology", Journal of Broadcast Engineering, Vol. 27, No. 5, pp. 654-664, Sep. 2022. [https://doi.org/10.5909/JBE.2022.27.5.654]
  • H. J. Kim, "A Reconfiguration Strategy for Participation-Oriented and Locally Tailored Literary Festival Spaces Using AI and XR-Based Immersive Content -A Case Study of the Kim Satgat Literature Festival-", Journal of Korea Intitute of Spatial Design, Vol. 20, No. 8, pp. 677-690, Dec. 2025. [https://doi.org/10.35216/kisd.2025.20.8.677]
  • S. Y. Kim, "AI Based Realistic Interactive Content, <Eternal Testimony>-A Study of ‘The present of testimony’ through the production of interactive documentary film of the testimonies of Japanese military sexual slavery victims", Journal of Digital Contents Society, Vol. 22, No. 11, pp. 1815-1823, Nov. 2021. [https://doi.org/10.9728/dcs.2021.22.11.1815]
  • J. h. Ryu, E. B. Yang, K. H. Kim, J. B. Lee, B. R. Lee, and W. H. Son, "AI-Powered Learning Dashboard with Multimodal Metrics for Embodied Performance in XR Training Simulation", Practitioner Proceedings of the 11th International Conference of the Immersive Learning Research Network, Chicago, IL, USA, pp. 211-215, Jun. 2025. [https://doi.org/10.56198/3gw1jn66]
  • I. Kishor, U. Mamodiya, M. Almaayah, A. Alqutaish, R. Shehab, and T. H. Aldhyani, "Agentic AI-Enhanced Virtual Reality for Adaptive Immersive Learning Environments", Mesopotamian Journal of Computer Science, pp. 398-416, Oct. 2025. [https://doi.org/10.58496/MJCSC/2025/026]
  • M. J. Park and H. J. So, "The Effect of Virtual Reality-Based Vocational Education on the Learning Transfer of Students with Developmental Disabilities", Journal of Korean Association for Educational Information and Media, Vol. 27, No. 3, pp. 1069-1095, Sep. 2021. [https://doi.org/10.15833/KAFEIAM.27.3.1069]
  • J. M. Kwon, "Effect of Barista Job Training Game on Occupational Self Efficacy of Persons with Intellectual Disability", Journal of Korea Game Society, Vol. 17, No. 1, pp. 63-70, Feb. 2017. [https://doi.org/10.7583/JKGS.2017.17.1.63]
  • J. H. Jo, "Random Forest based Method for Predicting the Timing of Intervention During Virtual Reality-based Job Training", Journal of Korean Institute of Information Technology, Vol. 21, No. 2, pp. 155-161, Feb. 2023. [https://doi.org/10.14801/jkiit.2023.21.2.155]
  • J. H. Jo, "Machine Learning Approach for Predicting the Timing of Intervention During Virtual Reality based Barista Education", Journal of Korean Institute of Information Technology, Vol. 22, No. 2, pp. 205-211, Feb. 2024. [https://doi.org/10.14801/jkiit.2024.22.2.205]
  • J. H. Jo, "Visualizing Behavior Characteristics of Developmental Disabilities During Virtual Reality Training", Journal of Korean Institute of Information Technology, Vol. 19, No. 2, pp. 123-132, Feb. 2021. [https://doi.org/10.14801/jkiit.2021.19.2.123]
저자소개
조 정 희 (Junghee Jo)

1999년 2월 : 부산대학교 컴퓨터공학과(학사)

2001년 2월 : 부산대학교 컴퓨터공학과(석사)

2005년 2월 : Carnegie Mellon University, Master of Software Engineering(석사)

2014년 7월 : University of Massachusetts Amherst, Computer Science(박사)

2005년 7월 ~ 2019년 8월 : 한국전자통신연구원 책임연구원

2019년 9월 ~ 현재 : 부산교육대학교, 컴퓨터교육과 교수

관심분야 : 컴퓨터교육, 인공지능, 인간공학, 헬스케어

Fig. 1.

Fig. 1.
Barista objects in virtual reality environment

Fig. 2.

Fig. 2.
Screenshot of the third step in barista training: "Insert the portafilter into the coffee grinder“

Fig. 3.

Fig. 3.
Data cleansing

Fig. 4.

Fig. 4.
Importance of feature variables

Table 1.

Composition of the analysis dataset and unit of analysis

Item Description
Study participants 21
Participants included in the analysis 10
Unit of analysis Time-series behavioral frames
Total number of frames 14,620
Independent variables 20
Dependent variable Intervention (0=PASS, 1=FAIL)

Table 2.

Classification prediction results of two groups of research subjects

Case Accuracy Precision Recall F1
CV-3 0.84 0.80 0.67 0.70
CV-5 0.86 0.81 0.74 0.77
CV-10 0.88 0.81 0.80 0.81

Table 3.

Optimal hyper parameter set

Case CV-3 CV-5 CV-10
n_estimators 10 2 5
max_depth 3 4 4
min_samples_split 2 7 2
min_samples_leaf 2 2 7

Table 4.

Importance of top 5 feature variables

Variable Importance
Left_TamperPedestal 0.22
Right_Grinder 0.17
Right_PortaFilter 0.16
Left_DryTowel 0.09
Right_EspressoMachine 0.07

Table 5.

Impact of each variable on predicting need for intervention

Variables B Standard Error p Odds Ratio 95% CI
Left_TamperPedestal 2.30 0.06 < 0.001 9.97 8.85 - 11.24
Right_Grinder 2.55 0.18 < 0.001 12.84 9.00 - 18.32
Right_PortaFilter -0.20 0.01 < 0.001 0.82 0.81 - 0.83
Left_DryTowel -0.31 0.01 < 0.001 0.74 0.72 - 0.75
Right_EspressoMachine 1.21 0.11 < 0.001 3.36 2.69 - 4.19