Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 23, No. 3, pp.187-194
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Mar 2025
Received 08 Jan 2025 Revised 27 Feb 2025 Accepted 02 Mar 2025
DOI: https://doi.org/10.14801/jkiit.2025.23.3.187

실감형 가상현실 영어 학습 시스템 설계 및 구현

김지원* ; 구슬이* ; 공도원* ; 이석원** ; 강창구***
*경상국립대학교 컴퓨터공학과 학사과정
*경상국립대학교 컴퓨터공학과 학사과정(공동1저자)
**국립강릉원주대학교 멀티미디어공학과 교수
***경상국립대학교 컴퓨터공학과 교수(교신저자)
Design and Implementation of an Immersive Virtual Reality English Learning System
Jiwon Kim* ; Seuli Gu* ; Dowon Gong* ; Sukwon Lee** ; Changgu Kang***

Correspondence to: Changgu Kang Dept. of Computer Science and Engineering, Gyeongsang National University, Korea Tel.: +82-55-772-3321, Email: cgk@gnu.ac.kr

초록

코로나19 팬데믹으로 인해 기존의 대면 교육에서 비대면 중심 교육으로 전환되며 교육 환경에 많은 변화를 가져왔다. 이에 따라 가상현실 기술이 비대면 환경에서도 시간적·물리적 공간의 제약을 뛰어넘는 학습 경험을 제공할 수 있는 도구로 주목받고 있다. 가상환경을 이용해 학습자가 원하는 환경을 가상으로 설정할 수 있도록 하며, 이를 통해 시간과 공간의 한계를 넘어선 글로벌 학습 환경을 조성할 수 있다. 따라서 본 논문은 대화형 AI 기술을 이용한 가상현실 실감형 영어 학습 시스템 설계 및 구현 방법을 제안한다. 본 시스템은 편의점으로 학습 환경을 구성하여 학습자들이 NPC와 상호작용을 하며 상황에 맞는 영어 응답을 주고받을 수 있도록 한다. AI 언어 모델을 활용한 NPC는 학습자들의 영어 문장에 대한 문법적, 상황적인 피드백을 제공한다. 본 시스템은 실감형 학습 환경 제공을 통해 학습자의 몰입도를 높이고 학습 효과를 증가하는데 기여할 것으로 기대된다.

Abstract

The COVID-19 pandemic has brought significant changes to the education environment, shifting from traditional face-to-face education to a focus on non-contact learning. As a result, Virtual Reality(VR) technology has gained attention as a tool that can provide learning experiences that transcend temporal and physical limitations, even in a remote environment. By utilizing virtual environments, learners can set up their desired settings virtually, enabling the creation of a global learning environment that overcomes the constraints of time and space. Therefore, this paper proposes the design and implementation of an immersive virtual reality English learning system using interactive AI technology. The proposed system is designed to create a learning environment modeled after a convenience store, enabling learners to interact with NPCs and exchange context-appropriate English responses. NPCs powered by AI language models provide learners with grammatical and contextual feedback on their English sentences. This system is expected to enhance learners' immersion and contribute to improving learning outcomes by offering a realistic and engaging learning environment.

Keywords:

virtual reality, english education, language model, prompt engineering

Ⅰ. 서 론

코로나19 팬데믹은 전 세계 교육 환경의 많은 변화를 가져왔다. 기존의 대면 중심 교육 방식이 비대면 방식으로 전환되면서, 온라인 학습이 주요한 교육 형태로 자리 잡게 되었으며, 이에 따라 IT 기술의 활용이 필수적인 요소로 부각되었다. 특히, 가상현실기술은 비대면 환경에서도 학습자들에게 몰입감 있는 학습 경험을 제공할 수 있는 도구로 주목받고 있다. 가상현실은 물리적 공간의 제약을 뛰어넘어 학습자가 원하는 환경을 가상으로 설정할 수 있도록 하며, 이를 통해 시간과 공간의 한계를 넘어선 글로벌 학습 환경을 조성할 수 있다. 또한 학습자들이 동시에 학습하고 상호작용할 수 있는 생동감있는 학습 공간 설계가 가능하다[1]. 이러한 특성은 교육의 접근성을 크게 향상시키고, 보다 다양한 학습자들에게 고품질의 교육 경험을 제공한다.

가상현실 기술을 활용한 영어 교육은 학습자의 동기부여, 자신감, 몰입도, 그리고 영어 말하기 능력을 효과적으로 향상시키는 데 사용될 수 있다. 관련 연구에 따르면 가상현실 기술은 학습자의 학습 참여도를 높이고 영어 학습 과정에서 긍정적인 학습 효과를 제공한다[2]. 또한, 문화 연구 분야에서는 교육의 혁신적 잠재력을 가진 도구로 인정받고 있다. 특히, 10대 학습자를 대상으로 한 연구에서는 가상현실이 학업 성취도를 향상시키고, 학습에 대한 긍정적인 태도를 형성하며, 학습 동기와 문화적 감수성을 증진시키는 데 유의미한 영향을 미친다는 결과가 나타났다[3]. 또한, 대학교육에서도 VR, AR, MR기술의 적용이 학습효과를 향상시킨다[4]. 이러한 결과들은 가상현실 기반 교육이 전통적인 교육 방식보다 더 우수한 학습 효과를 가져올 가능성이 있음을 다양한 연구를 통해 입증하고 있다[5]-[9].

최근 ChatGPT와 같은 대화형 AI 기술은 사용자가 입력한 내용에 따라 자연스러운 내용의 실시간 응답이 가능하다. 이러한 기술은 학습 애플리케이션에 적용시키면 학습자가 자유롭게 대화를 시도한 내용을 실시간으로 분석하고, 피드백을 제공함으로써 학습 효과를 극대화할 수 있다. 이에 음성 텍스트 변환(STT, Speech-to-Text) 기술을 적용하면 학습자가 실제 사람과 대화하듯 자연스러운 실시간 음성 상호작용을 가능하게 하며, 문법적 오류 교정, 어휘 사용 제안, 발음 평가 등 맞춤형 피드백을 제공할 수 있다.

본 연구에서는 가상현실 기술과 대화형 AI 기술을 결합하여 실감형 영어 학습 시스템을 설계 및 구현하는 것을 목적으로 한다. 제안된 시스템은 가상현실 공간에서 영어 대화 및 학습을 지원하며, 논 플레이어 캐릭터(NPC, Non-Player Character)를 포함하여 학습자의 음성 정보에 기반한 자연스러운 대화를 가능하게 한다. 이러한 접근을 통해 학습자에게 몰입감과 학습 효과를 동시에 제공할 수 있는 실감형 학습 환경을 구현하고자 한다. 가상현실 공간에서는 영어 대화 및 학습을 위한 논 플레이어 캐릭터(NPC)를 포함하며 학습자의 음성 정보에 따라 자연스러운 대화를 가능하게 해준다. 또한 학습자의 영어 문장에 따라 적합한 학습 내용들을 알려줌으로써 지식 습득을 촉진시킨다. 우리는 프롬프트 엔지니어링을 통하여 NPC의 적합한 응답을 만들어 낸다. 프롬프트 엔지니어링은 AI 언어모델에서 원하는 출력을 얻기 위해 입력을 최적화하는 과정을 말하며, 이를 이용하여 학습자가 말한 음성내용에 따라 적절한 대답과 관련 학습 내용들을 실시간으로 만들어 낸다.

본 논문의 구성은 다음과 같다. 제2장에서는 관련 연구를 소개하며, 각 연구의 특징, 장점 및 한계점을 상세히 기술한다. 제3장에서는 제안된 시스템의 설계 및 구현 내용에 대해 구체적으로 기술한다. 제4장에서는 영어 학습 환경 구성하고 사용성 평가를 수행 결과를 분석한다. 마지막으로, 제5장에서는 결론과 향후 연구 방향에 대해 논의한다.


Ⅱ. 관련 연구

VR 기술을 활용한 교육은 최근 몇 년 동안 많은 관심을 받아왔으며, 여러 선행 연구들에서는 이러한 기술이 전통적인 교육 방식에 비해 뛰어난 학습 효과를 제공할 수 있음을 입증하였다. VR, AR, MR 기반 학습 효과에 관한 메타분석 연구에서는 학습 전체 효과 크기에 대한 분석 결과 국내 교육환경 및 교육과정에서 실제적인 객관적 효과가 있음을 증명하였다[5].

VR 교육 콘텐츠의 실재감과 상호작용 효과에 대한 연구에서는 실재감은 학습자의 흥미와 관심에, 상호작용은 교육 내용의 이해도에 긍정적인 영향을 미친다는 것을 보여준다[6]. 학교 급별 학습자에 따른 가상현실 콘텐츠 제작 교육의 효과에 대한 연구에서는 VR 교육 후 학습자에게 미치는 동기부여의 영향을 비교하는 Keller의 ARCS 모델을 사용해 VR 교육의 효과에 대해 서술한다. 학습자의 교육 전후 학습만족도의 수준은 주의집중, 관계성, 자신감, 만족감에서 전체적으로 높은 성취수준을 보여준다[7]. VR 기반 시뮬레이션 프로그램을 활용한 구강해부학교육의 효과에 대한 연구에서, 해부학 수업에서 VR의 필요성에 대해 85.7%가 긍정적인 응답을 보였다. VR 시뮬레이션 학습 전후의 학습 흥미도와 몰입도는 통계적으로 유의미하게 상승하였으며, 이는 VR이 학습자의 흥미와 몰입도를 높여 학습 성취도를 증가시킬 수 있음을 보여준다[8]. 초등학생 대상 AR/VR 활용 영어교육의 효과를 메타분석으로 검토한 결과, 전체 효과 크기는 0.26으로 정의적 영역(0.43)이 인지적 영역(0.37)보다 높게 나타났다. 학년별로는 3~4학년(0.63)이 가장 높았고, 1~2학년(0.30), 5~6학년(0.20) 순으로 유의미한 차이를 보였다. 이를 통해 AR/VR 활용 영어교육이 학습자의 정의적 영역과 학습 몰입에 긍정적 효과를 미친다는 것을 보여준다[11].

이와 같은 연구 결과들은 VR 기술이 교육에서 학습 효과를 극대화하고 학습자의 몰입도를 향상시키는 중요한 도구가 될 수 있음을 시사한다.


Ⅲ. 시스템 설계 및 구현

3.1 시스템 개요

그림 1은 제안된 영어 교육 시스템의 구성과 흐름을 보여준다. 제안된 시스템은 클라이언트와 서버로 구성되어 있으며 클라이언트에서는 가상현실 영어교육 환경이 구축되고 서버에서는 사용자의 음성을 해석하고 적합한 답변을 생성한다. 클라이언트에서 XR 기기를 착용한 사용자는 가상현실 환경에서 음성을 통하여 NPC에게 영어를 이용한 대화를 진행한다. 사용자가 XR 기기를 착용하고 오른쪽 컨트롤러 A를 누르고 말하면 녹음이 되며, B를 누르면 녹음된 음성 파일이 음성 텍스트 변환(STT, Speech-to-Text) API를 통해 텍스트로 변환된다. 이렇게 사용자의 음성은 음성 텍스트 변환 과정을 거쳐 서버로 전송되고 서버 DB에 저장된다. 이때 음성 텍스트 변환(STT)은 주변 소음이 심하더라도 XR 기기의 마이크를 통해 데이터가 전송되기 때문에 정확하게 변환된다. 서버에서는 사용자 답변 생성 방식으로 사용자의 텍스트에 대해 즉각적인 답변을 생성하는 것이 아닌 일정한 주기로 응답을 주고 받는 폴링(Polling)방법을 적용하였다. 새롭게 DB에 입력된 사용자 텍스트는 프롬프트 스크립트(Prompt script)로 변환되고 AI 언어 모델로 입력된다. AI 언어 모델은 프롬프트 스크립트에 적절한 답변 형식을 생성하고 서버 DB를 업데이트한다.

Fig. 1.

System configuration and flow

업데이트된 서버 DB는 클라이언트로 사용자 텍스트에 대한 답변 텍스트를 보내게 되고 클라이언트에서는 이를 다시 텍스트 음성 변화 과정을 거쳐 NPC에 입력된다. NPC는 음성을 통하여 사용자의 음성에 적합한 답변을 수행한다.

3.2 음성 데이터 처리

제안된 시스템은 클라이언트-서버 구조로써 사용자의 음성 데이터를 오류 없이 서버로 전송하는 과정이 필요하다. 이를 위해 우리는 음성 데이터를 텍스트 형식으로 변환하여 데이터 전송에 대한 손실을 최소화하고자 하였다.

음성 데이터를 음성 텍스트 변환 기능을 이용한 테스트 과정은 다음과 같다.

  • (1) 음성데이터 입력
  • (2) WAV 헤더 추가 및 파일 생성
  • (3) Google Cloud Speech-to-Text API를 이용한 텍스트 변환[10]
  • (4) JSON 변환

우리는 음성 텍스트 변환을 위해 Google Cloud API를 사용한다. 이를 위해 먼저 WAV 포맷 음성 파일 생성 과정이 진행되며 API로 통해 만들어진 텍스트는 JSON 형식으로 변환된다. JSON 형식은 XML에 비해 불필요한 태그나 구조가 적어 파일 크기가 작고 빠르게 전송할 수 있는 장점을 가지고 있다. 그림 2는 변환된 JSON 데이터의 예를 보여준다.

Fig. 2.

Example of JSON

3.3 프롬프트 엔지니어링

본 연구에서는 자연어 처리 기반 AI 언어 모델로 ChatGPT 4.0을 활용하였으며, 프롬프트 엔지니어링 기법을 적용하여 AI 언어 모델로부터 사용자의 요구에 맞는 적절한 답변 형식을 도출하였다. 이를 위해 자연스러운 대화의 흐름을 유도하는 프롬프트 형식과 사용자의 답변에 대한 문법 피드백을 제공하는 프롬프트 형식을 정의하였다. 그림 3은 이러한 프롬프트 엔지니어링 과정의 구체적인 구성을 나타내며, 각 프롬프트가 대화의 맥락을 유지하면서도 사용자의 학습 효과를 극대화할 수 있도록 설계한 과정을 보여준다.

Fig. 3.

Response prompt engineering

그림 3그림 4는 프롬프트 엔지니어링을 통해 ChatGPT가 사용자의 질문에 대해 정확하고 적절한 응답을 이끌어내는 방법을 보여준다. 이 과정에서는 AI 언어 모델에게 편의점 직원 역할을 수행하도록 다음과 같은 지시를 내린다. AI 언어 모델은 편의점 직원으로서 정중하게 말하며, 모든 응답은 영어로 간단하게 표현한다. 사용자가 질문하거나 요청할 떄마다 상황에 맞는 적절한 답변을 제공하며, 만약 사용자가 부적절한 표현을 사용하면 응답을 다시 요청하도록 유도한다. 이러한 방식은 대화의 흐름을 자연스럽고 일관되게 유지할 수 있도록 하며, 보다 정확한 답변을 생성할 수 있다. 프롬프트 엔지니어링을 통해 기본적으로 AI 언어 모델에게 학습시킨 내용 이외에 새로운 질문을 하더라도 사용자는 상황에 맞는 자연스러운 답변을 받을 수 있다. 또한, 사용자의 응답을 다음 프롬프트에 누적시킴으로써 AI 언어 모델이 사용자의 이전 정보들을 기억할 수 있다. 이러한 프롬프트 엔지니어링은 AI 언어 모델이 정중하고 상황에 맞는 대화 흐름을 유지하게 하여, 사용자가 더 나은 학습 환경을 제공받을 수 있도록 돕는다.

Fig. 4.

Feedback prompt engineering

3.4 응답 생성

사용자의 입력 데이터에 대해 ChatGPT가 생성한 응답은 Google Cloud API의 텍스트 음성 변환(TTS, Text-to-Speech) 기능을 통해 음성으로 변환되어 사용자에게 전달된다.

그림 5는 사용자가 ChatGPT를 사용한 영어 문법 검사 기능을 통한 답변이 그림 4와 같이 사용자 화면에 텍스트 형식으로 실시간 제공되어, 사용자가 자신의 영어 표현에서의 문법적 오류를 즉시 파악하고 개선할 수 있게 한다. 이 과정에서 음성을 통한 응답은 사용자와의 실시간 소통을 원활하게 하며, 텍스트 피드백은 더욱 구체적인 영어 문법 피드백 정보를 제공하여 학습 효율성 상승에 기여한다.

Fig. 5.

Response for grammar check on the user's statement

음성 응답은 실제 영어 대화와 유사한 환경을 조성해 사용자가 발음과 억양을 자연스럽게 익힐 수 있도록 돕고, 실시간 소통을 통해 몰입감 있는 학습 경험을 제공한다. 이를 통해 사용자가 일상적인 대화 상황에서 자연스럽게 영어를 구사할 수 있도록 해 발음과 자신감을 향상시킬 수 있다.


Ⅳ. 학습 환경 구성 및 사용성 평가

우리는 제안된 시스템을 이용하여 가상현실 편의점 공간으로 영어 학습 환경을 구성하였다.

그림 6은 사용자가 가상현실 편의점 환경에서 NPC와 상호작용하며 영어 표현 교정을 텍스트 형식으로 제공받는 과정을 보여준다. 사용자가 문법적으로 정확한 문장을 구사했음에도 불구하고, 시스템은 텍스트 박스를 통해 해당 상황에 더 적합한 문장으로 재구성된 피드백을 제공한다. 이를 통해 사용자는 단순히 문법적 정확성을 넘어서, 맥락에 맞는 자연스러운 표현을 학습할 수 있다.

Fig. 6.

Process of the user interacting with an NPC and learning through English expression correction

본 논문에서 제안하는 가상현실 기반 실감형 영어 학습 공간에서의 학습 효과 및 몰입도를 검증하기 위해, 가상현실 기술에 익숙하고 영어 학습에 대한 관심이 높은 20대의 15명을 대상으로 20대 사용률이 가장 높은 기존 영어 스피킹 애플리케이션(산타)과 비교하여 사용성 평가를 진행하였다. 기존 영어 스피킹 애플리케이션과의 비교는 제안된 시스템의 학습 효과와 몰입도 측면에서의 상대적 우수성을 평가하고, 실제 사용자 경험과의 차별성을 검증하기 위함이다. 사용성 평가는 사용자들에게 영어 스피킹 애플리케이션을 사용하게 한 후, 본 논문에서 제안하는 가상현실 기반 실감형 영어 학습 시스템을 사용시켜 영어 스피킹 애플리케이션과 비교하였을 때 가상현실 기반 실감형 영어 학습 시스템의 학습 효과와 몰입도를 중심으로 평가를 진행하였다. 평가는 평가지를 통해 진행되었으며, 평가 항목은 다음과 같다.

Lyster와 Ranta가 발견한 6가지 유형의 수정적 피드백에 따르면 반복 피드백이 유창성 효과가 크며, 명료화 요구 피드백과 명시적 오류 수정 피드백이 정확성 향상에 크게 긍정적인 영향을 미치는 것을 알 수 있다[12].

표 1의 영어 실력 향상 체감(Q1) 및 피드백 구체성(Q3)은 VR 시스템을 반복적으로 사용하였을 때의 영어 문장 구성 능력 향상 정도 및 영어 문법, 발음, 표현 정도의 평가 항목이며, 이는 반복 피드백의 효과 정도를 고려하여 선정하였다. 표 1의 대화 상황에서의 유용성(Q2)은 해당 학습 시스템 사용 후, 실생활에서 영어로 비슷한 상황을 대처할 수 있을 것 같은지에 대한 항목으로, 이는 명료화 요구 피드백과 명시적 오류 수정 피드백을 고려하여 선정하였다.

Survey items for evaluating learning effectiveness

표 2의 몰입도 평가 항목은 IPQ(Igroup Presence Questionnaire) 평가 도구를 고려하여 선정하였다[13]. 각 문항은 5점 척도로 평가되며, 각 문항의 응답은 5점에 근접할수록 긍정의 정도가 높음을 의미한다. 각 항목의 응답 점수를 집계하여 항목별 평균값을 산출하였다.

Survey items for evaluating engagement

평가 결과, 그림 7과 같이 영어 실력 향상 체감(Q1)은 사용자 응답 평균 4.93으로 나타났다. 영어 대화 상황에서의 유용성(Q2), 피드백 구체성(Q3)은 각 평균 4.53과 4.86으로 나타났다.

Fig. 7.

Graph of survey responses on learning effectiveness evaluation

그림 8과 같이 VR 환경의 생동감(Q1)은 사용자 응답 평균 4.6, 점원(NPC)와의 상호작용(Q2) 및 흥미와 재미의 응답 정도(Q3)는 각 평균 4.6과 4.93으로 나타났다.

Fig. 8.

Graph of survey responses on immersion evaluation

사용성 평가 결과, 각 항목에 대한 응답이 5점에 근접하여 긍정적인 응답을 확인할 수 있었다. 이는 기존 영어 스피킹 학습 애플리케이션 사용과 비교하였을 때 가상현실 기반 영어 학습 공간에서의 학습이 사용자들에게 더 높은 학습 효과 및 몰입도를 제공할 수 있다는 결과가 나타났다.

본 연구는 VR 기반 교육이 학습자의 학습 몰입과 흥미를 높이는 데 긍정적인 영향을 미친다는 점에서 기존 연구들과 유사한 경향을 보인다. [5]에서는 VR, AR, MR 기술을 활용한 교육이 대학교육에서 학습 효과를 향상시키는 교수 설계로 유의미함을 입증한 메타분석 연구를 보여준다. [6]에서는 학습자의 인지적·정서적 몰입도를 증가시킨 연구를 제공한다. [7]에서는 초·중학생을 대상으로 전통적인 학습 방식보다 흥미와 몰입도를 높이는 효과를 확인한 연구를 제공한다. [8]에서는 VR 교육을 통한 자기효능감과 문제 해결 능력 향상을 입증한 연구를 제공한다. [9]에서는 간호대학생을 대상으로 간호 지식, 학습 자기효능감, 문제 해결 능력 향상에 기여함을 보고한다. [9]와 비교할 때, 학습자의 흥미와 몰입뿐만 아니라 사용성 평가를 통해 VR 교육의 실질적인 적용 가능성을 검증했다는 점에서 차별성을 가지며, 특정 교육 수준에 국한되지 않고 보다 다양한 교육 환경에서의 VR 학습 효과를 종합적으로 분석했다는 점에서 의의를 갖는다.


Ⅴ. 결론 및 향후 과제

본 연구는 가상현실 기반 실감형 영어 학습 공간이 사용자에게 유의미한 학습 효과를 제공함을 확인하였다. 시스템 사용 전후를 비교한 결과, 사용자들은 학습 효과뿐만 아니라 학습 경험에 대한 전반적인 만족도가 유의미하게 향상된 것으로 나타났다. 이러한 결과는 가상현실 환경에서의 몰입형 학습이 언어 학습에 긍정적인 영향을 미칠 수 있음을 시사한다.

개발된 가상현실 기반 실감형 영어 학습 공간은 다음과 같은 한계점을 가진다. 첫째, 사용자와 NPC 간 상호작용 시 NPC의 애니메이션이 구현되어 있지 않아 시각적 몰입감이 제한된다. 둘째, 프롬프트 엔지니어링은 초기 설정에 기반하여 작동하며, 추가적인 데이터가 제공되지 않으면 시간의 흐름에 따라 변화하는 의사소통 내용의 다양성이 부족할 수 있다. 셋째, 사용자와 시스템 간 일정한 주기로 이루어지는 폴링 작업을 통한 데이터 전송 과정에서 6초 정도의 딜레이가 발생하며, 이로 인해 실시간 상호작용에 부정적인 영향을 미칠 수 있다.

향후 연구에서는 NPC와의 상호작용에 립싱크와 애니메이션을 추가하여 사용자의 몰입감을 더욱 향상시킬 계획이다. 또한, 사용자와의 상호작용 데이터를 프롬프트 스크립트에 반영하여 AI 언어 모델의 학습 데이터를 확장함으로써 학습자가 보다 다양한 의사소통 내용을 경험할 수 있도록 개선할 예정이다. 현재 연구는 20대를 대상으로 실험을 진행하였기 때문에 연령층의 다양성 측면에서 한계가 존재한다. 따라서, 향후 연구에서는 연령층을 확대하여 다양한 집단을 대상으로 실험을 수행함으로써 연구 결과의 신뢰성과 일반화를 높이고자 한다. 또한, 실험 대상에게 제시하는 질문의 범위와 깊이를 확장하여 연구의 방법론을 강화하고, 보다 정교한 데이터를 수집함으로써 학습 효과와 몰입도에 대한 분석을 더욱 심화할 계획이다. 이와 함께, 사용자와 시스템 간의 즉각적인 피드백 시스템을 도입하여 상호작용 시 지연 시간을 줄이고 사용자 경험의 질을 향상시키고자 한다. 이러한 발전을 통해 개발된 가상현실 기반 실감형 영어 학습 공간이 사용자에게 더욱 몰입감 있는 환경을 제공하며 효과적인 교육 도구로 자리 잡을 수 있을 것으로 기대한다.

Acknowledgments

이 논문은 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원-지역지능화혁신인재양성사업의 지원을 받아 수행된 연구임(IITP-2025-RS-2023-00260267)

References

  • M. Dunleavy, C. Dede, and R. Mitchell, "Affordances and Limitations of Immersive Participatory Augmented Reality Simulations for Teaching and Learning", Journal of Science Education and Technology, Vol. 18, No. 1, pp. 7-22, Feb. 2009. [https://doi.org/10.1007/s10956-008-9119-1]
  • H. J. Lee and J.-Y. Lee, "A meta-analysis on the effects of AR/VR-assisted Metaverse English education", Korean Society for English Language Education, Vol. 22, No. 1, pp. 241-259, Feb. 2023.
  • A. Christopoulos, M. Styliou, N. Ntalas, and C. Stylios, "The Impact of Immersive Virtual Reality on Knowledge Acquisition and Adolescent Perceptions in Cultural Education",. Information, Vol. 15, No. 5, pp. 261, May 2024. [https://doi.org/10.3390/info15050261]
  • H.-Y. Park and J.-H. Joo, "Meta-Analysis of the Learning Effects of VR, AR, and MR Technology in University Education", Journal of Digital Contents Society, Vol. 24, No. 10, pp. 2409-2414, Oct. 2023. [https://doi.org/10.9728/dcs.2023.10.24.10.2409]
  • M. H. Yoo, J. H. Kim, Y. H. Koo, and J. H. Song, "A Meta-analysis on Effects of VR, AR, MR-based Learning in Korea", The Journal of Educational Information and Media, Vol. 24, No. 3, pp. 459-488, Sep. 2018. [https://doi.org/10.15833/KAFEIAM.24.3.459]
  • H. An, M. Seo, S. Lee, and H. Jung, "Study for the presence and the interaction in the VR solar system education contents", Proc. of Korean HCI Society conference, Jeongseon, Korea, pp. 903-906, Jan. 2018.
  • Y.-K. Kim, "A Study on the Effectiveness of Oral Anatomy Education Using a VR-based Simulation Program", Journal of the Korea Entertainment Industry Association, Vol. 18, No. 4, pp. 237-244, Jun. 2024. [https://doi.org/10.21184/jkeia.2024.6.18.4.237]
  • C. M. Nam, C. W. Kim, K. Hong, C. Cho, and J. Hong, "A Study on the Characteristics of Curriculum by School Level in Virtual Reality", Korea Association of Information Education, Vol. 24, No. 1, pp. 71-78, Feb. 2020. [https://doi.org/10.14352/jkaie.2020.24.1.71]
  • Y. S. Lee, J. Kim, J. Y. Lim, and G. M. Kim, "Effect of Psychiatric Nursing Practice Online Education Using Case-Based VR", J Korean Acad Psychiatr Ment Health Nurs, Vol. 30, No. 4, pp. 369-378, Dec. 2021. [https://doi.org/10.12934/jkpmhn.2021.30.4.369]
  • Cloud Speech-to-Text API, https://cloud.google.com/speech-to-text/docs/reference/rest, . [accessed: Dec. 16, 2024]
  • S. Kang and I. Shin, "Effects of English Education Using AR/VR for Elementary School Students: A Meta-Analysis", Korean Journal of Youth Studies, Vol. 31, No. 3, pp. 225-254, May 2024. [https://doi.org/10.21509/KJYS.2024.03.31.3.225]
  • M.-Y. Kim, "The effects of Korean undergraduate students' English speaking proficiency differentiated by corrective feedback types", Master’s thesis, Ewha Womans University Graduate School of Education, 2008.
  • K. Min, S. Jeong, Y. Kong, J. Y. Park, K.-S. Yu, and Y. Kong, "Development and Usability Evaluation of an Immersive Virtual Reality-Based Patient Education System for Enhancing Comprehension of Electrocardiogram Examination Procedures", Proc. of the Korean Society of Computer Information Conference, Jeju, Korea, pp. 779-782, Jul. 2024.
저자소개
김 지 원 (Jiwon Kim)

2020년 3월 ~ 현재 : 경상국립대학교 컴퓨터공학과 학사과정

관심분야 : 데이터 분석, 가상현실, 클라우드 컴퓨팅

구 슬 이 (Seuli Gu)

2022년 3월 ~ 현재 : 경상국립대학교 컴퓨터공학과 학사과정

관심분야 : 데이터 분석, 인공지능

공 도 원 (Dowon Gong)

2020년 3월 ~ 현재 : 경상국립대학교 컴퓨터공학과 학사과정

관심분야 : 가상현실, 데이터 분석

이 석 원 (Sukwon Lee)

2013년 2월 : 광주과학기술원 정보기전공학부 (공학석사)

2019년 2월 : 한국과학기술원 문화기술대학교 (공학박사)

2019년 6월~2024년 9월 : 한국전자기술연구원 선임연구원

2024년 9월 ~ 현재 : 국립강릉원주대학교 멀티미디어공학과 조교수

관심분야 : IMU 기반 저 비용 전신 모션 캡쳐, RGB/D 손 자세 추적, 전신 모션 합성

강 창 구 (Changgu Kang)

2010년 2월 : 광주과학기술원 정보기전공학부(공학석사)

2017년 8월 : 광주과학기술원 전기전자컴퓨터공학부(공학박사)

2018년 3월 ~ 현재 : 경상국립대학교 컴퓨터공학과 부교수

관심분야 : 컴퓨터 그래픽스, 증강현실, 인공지능

Fig. 1.

Fig. 1.
System configuration and flow

Fig. 2.

Fig. 2.
Example of JSON

Fig. 3.

Fig. 3.
Response prompt engineering

Fig. 4.

Fig. 4.
Feedback prompt engineering

Fig. 5.

Fig. 5.
Response for grammar check on the user's statement

Fig. 6.

Fig. 6.
Process of the user interacting with an NPC and learning through English expression correction

Fig. 7.

Fig. 7.
Graph of survey responses on learning effectiveness evaluation

Fig. 8.

Fig. 8.
Graph of survey responses on immersion evaluation

Table 1.

Survey items for evaluating learning effectiveness

No Question
1 Feeling the improvement in English skills
2 Usefulness of conversational situations
3 Specificity of feedback

Table 2.

Survey items for evaluating engagement

No Question
1 Liveliness of the VR environment
2 Interaction with the clerk
3 Interest and enjoyment