상호작용 기반의 카드형 AR 인터페이스 설계 및 교육 응용
초록
제4차 산업혁명 시대를 맞이하며 여러 분야에서 새로운 혁신 기술적용이 시작되고 있다. 다양한 혁신 기술적용 분야 중 가상현실과 증강현실 기반 기술을 적용한 교육콘텐츠 제작에 관한 관심이 높아지고 있다. HMD를 필요로 하는 가상현실과 달리 증강현실 시스템의 경우 카메라를 사용해 현실 기반 영상에 새로운 정보를 추가하는 형태로 교육, 훈련시스템에 적용되기 때문에 사용자 편의성이 뛰어나다. 본 논문에서는 증강현실 기술을 활용하여 사용자와 상호 작용할 수 있는 카드형 AR 인터페이스에 대해 제안하고 이를 실제 응용한다. 기존 카드형 마커가 단방향 정보를 제공하였지만 제안된 상호작용 기반의 카드형 AR 인터페이스의 경우 사용자의 행위에 따라 다른 정보를 제공할 수 있다.
Abstract
In the era of the Fourth Industrial Revolution, the application of new innovation technologies has begun in various fields. In particular, the interest in the production of educational content applied with virtual reality and augmented reality-based technologies is increasing among various innovative technology applications. In the case of virtual reality technology, it is increasingly applied to education and training fields that are difficult to experience due to problems such as dangerous areas and high cost. Augmented reality systems are being applied to education and training systems in the form of adding new information to reality-based images. In this paper, we propose a card-type AR interface that can interact with users using augmented reality technology and apply it in practice. Although existing card type markers provide unidirectional information, the proposed interaction based card type AR interface may provide different information according to user's behavior.
Keywords:
computer vision, object tracking, card type AR, educational ARⅠ. 서 론
최근 4차 산업혁명 시대를 맞이하며 증강현실(Augmented reality)과 가상현실(Virtual reality) 기술을 사용해 다양한 분야에서 혁신이 이루어지고 있다. 특히 증강현실과 가상현실을 이용한 교육 및 훈련 시스템이 최근 많은 관심을 받고 있다.
증강현실이란 카메라를 이용하여 영상을 취득하여 현실 기반 영역에 컴퓨터 그래픽스를 이용하여 정보를 증강해주는 형태로 구성된다. 지자계 센서나 영상의 특징점을 추출하여 3차원 공간상의 정보와 융합한 형태의 증강현실은 휴대전화를 이용한 포켓몬고와 같은 게임을 예를 들 수 있다. 현실 세계와는 다른 가상의 공간에서 현실과 같은 체험을 하게 해주는 가상현실은 컴퓨터 그래픽스로 구성된 가상세계의 영상 정보를 사용자에게 제공하며 현실 세계의 시야를 차단하여 사용자의 움직임 시점과 일치하는 컴퓨터 그래픽스 영상을 출력해주는 HMD(Head Mounted Display)와 같은 장치를 이용한 시스템을 예를 들 수 있다.
가상현실을 이용한 훈련 시스템은 최근 정부로부터 가상현실 콘텐츠 제작지원 등을 통해 민간 기업의 정비 교육 가상현실 훈련 시스템에서부터 군용 항공기에 대한 가상현실 훈련 정비 시스템까지 폭넓게 저변을 확대하고 있다. 특히 국내의 경우 5G 기반 통신망의 구축으로 초고속, 초저지연 데이터 전송이 가능하여 더욱 현실감 있는 가상현실 콘텐츠를 사용자에게 제공할 수 있도록 사회 환경도 변화하고 있다. 가상현실 훈련 시스템의 경우 몰입감을 위해 고가의 HMD 장치가 부가적으로 필요로 한다. 그에 반해 증강현실을 이용한 교육 시스템의 경우 카메라와 컴퓨터 비전 기술을 이용하여 상대적으로 저가의 형태로 증강현실 교육 시스템을 구축할 수 있다. 본 논문에서는 사용자의 피드백을 활용한 증강현실 교육 시스템 구축을 위해 카드 기반 증강현실 시스템을 제안한다. 2장에서는 관련 연구에 대해 간단히 살펴보고 3장에서는 제안한 사용자 피드백 활용을 위한 카드 기반 증강현실 시스템을 제안한다. 4장에서는 실험 결과를 보이고 5장에서 결론과 향후 연구과제를 논한다.
Ⅱ. 관련 연구
2.1 가상현실 기반 훈련 교육시스템
가상현실 기반 훈련 교육시스템은 교육생이 기존에 쉽게 접하지 못했던 분야에 대한 가상현실 체험을 위주로 훈련시스템을 구성하였다. NCS 기반의 교육용 가상현실 콘텐츠제작에 관한 연구[1], 대규모 플랜트 안전 훈련시스템에 관한 연구[2], 가상현실에서 언어 학습용 애플리케이션에 관한 연구[3], 치아 발치 훈련을 위한 가상현실 교육 콘텐츠에 관한 연구[4], 간호교육 분야의 가상현실 적용 연구[5], 소방분야에 가상현실을 적용한 연구[6] 등 분야를 초월하여 다양한 분야에서 가상현실 기반 훈련 교육시스템이 활발히 연구되고 있다.
2.2 증강현실 기반 훈련 교육 시스템
증강현실 기반 훈련 교육시스템은 주로 컴퓨터 비전 기술을 활용하여 현실 기반 영상에 새로운 정보를 증강 시켜 주는 형태로 연구를 진행하였다. 증강현실 기반 훈련 교육시스템은 유아 대상 증강현실 교수학습에 관한 연구[7], 증강현실 기반 에듀테인먼트 콘텐츠에 관한 연구[8], 유아 언어 교육을 위한 증강현실 애플리케이션 연구[9], 증강현실 기반 언어치료 프로그램에 관한 연구[10], 증강현실을 이용한 복원 영상 박물관 교육에 관한 연구[11] 등 주로 현실 영상에 새로운 정보를 추가해 주는 형태의 훈련 교육시스템에 관한 연구가 이루어지고 있다.
Ⅲ. 본 론
3.1 카드 인터페이스 설계
카드 형태의 인터페이스는 다양한 활동을 위해 빈번하게 사용된다. 어려서 숫자나 글자를 배울 때도 사용했고, 유치원과 초등학교에서도 많은 교구가 카드 형태이며 카드 기반의 보드게임도 많이 보편화되어 있다. 우선 제안하는 카드형 인터페이스에 관해서 설명한다.
카드 형태의 인터페이스는 카드 위치 및 회전 정보에 대한 6 DOF(Degree Of Freedom) 추적 외에도 사용자와 효과적인 상호작용을 지원할 필요가 있다. 이를 위해 제안하는 카드 인터페이스에서는 사용자가 카드 전면을 보고 있는지, 혹은 뒤집어서 후면을 보고 있는지, 그리고 다수의 카드가 제시되어 있을 때 어떤 카드를 선택했는지 알 수 있도록 설계했다. 이를 위해 그림 1처럼 카드 전면, 카드 후면을 서로 다른 형태의 마커로 구성했고, 카드 상태를 변경시킬 수 있는 좌우 카드 덮개를 사용한다.
우선 카드 전면은 균등하게 특징점이 배치되도록 설계된 AR 마커를 사용한다. 특정 영역에 특징점이 몰려있을 경우 다양한 기하학적 변형에 취약할 수 있기 때문이다. 이러한 목적을 위해 새로운 마커를 제안할 수도 있겠지만 여기서는 6면체 큐브를 효율적으로 추적하기 위한 제작된 Merge Cube[12] 패턴을 사용하였다. 이를 통해 카드의 6 DOF를 추적할 수 있다. 그리고 카드 전면 하단부의 검은색 영역은 카드를 잡는 부분으로 해당 영역을 검출해 카드가 선택됐는지 추정할 수 있다.
카드 뒷면은 QR 코드를 사용해 제작하였다. 뒷면의 경우 카드 전면처럼 가려지는 영역을 검출할 필요가 없으므로 손쉽게 마커를 생성할 수 있는 QR코드를 사용해 카드의 6 DOF를 추적한다.
그리고 다양한 목적을 위해 카드 상단에 카드를 덮어 둘 수 있는 구조물을 사용해 카드의 상태를 변경할 수 있도록 설계하였다. 이러한 구조의 인터페이스를 어떻게 활용할 수 있는지는 활용 절에서 설명하고 다음절에서는 일시적 가려짐 검출 알고리즘을 사용해 카드의 상태 변화를 검출할 수 있는 원리에 관해서 설명한다.
3.2 일시적 가려짐 검출
사용자가 카드를 선택하거나 카드 덮개를 사용해 카드를 가리면 카드의 상태 변경을 즉시 검출해 사용자와 실시간으로 작용해야 한다. 이러한 카드의 상태 변화는 그림 2(a)에서 처럼 특정 부분이 가려지기 때문에 해당 영역을 검출함으로써 상태 변화를 파악할 수 있다. 즉 손이나 덮개 등을 사용해 마커를 가리면 마커 검출이 안 되기 때문에 사용자가 해당 영역에 어떤 영향을 끼치고 있는지 알 수 있다. 따라서 카드를 선택했는지 알 수 있는 하단 영역과 카드 덮개로 인해 발생하는 상태 변화를 검출할 수 있는 상단에 별도의 AR 마커를 사용해 이러한 상태 변경을 검출할 수 있다.
그러나 그림 2(a)처럼 설계할 경우 상태 변화를 검출해야 하는 영역에 대한 마커의 크기가 작다면 이 부분에 대한 마커 검출이 어렵게 되고, 마커가 크면 가운데 영역의 크기가 줄어들기 때문에 전체 카드에 대한 6 DOF 추적이 어렵게 된다.
응용 분야에 따라 이렇게 설계하는 것이 적합할 수도 있지만 제안하는 카드형 인터페이스에서는 적합한 방법은 아니다.
더구나 그림 3처럼 가려짐으로 인해 일부 특징점 검출이 안 될 경우도 마커 추적 알고리즘이 일시적 가려짐에 매우 강인하므로 사용자가 마커 일부를 가리더라도 해당 부분이 가려졌는지 판단하기 어려울 수 있다.
이러한 문제는 그림 2(b)처럼 3개의 마커를 사용하지 않고, 1개의 마커를 사용하고, 특징점들이 가려졌는지 판단해 특정 영역에 대한 검출 여부를 판단하는 것이 더 효율적일 수 있다. 대표적인 AR SDK인 Vuforia 엔진에서는 이를 가상버튼이라 부른다. 그러나 이러한 방법은 카드와 카드를 촬영하는 카메라의 각도에 의해 검출되는 특징점의 수가 매우 적어 검출성능이 현저히 떨어질 수 있다.
따라서 제안하는 논문에서는 그림 2(c)처럼 상태 변화를 감지해야 하는 영역에 별도의 마커를 사용하지 않고, 카드 하나당 하나의 마커만 사용하고, 카드 상단과 하단의 검은색 부분에 대한 가려진 정도와 위치 정보를 추출해 상태 변화를 감지하는 방법을 사용했다. 카드의 하단 부분을 검은색으로 지정한 이유는 손으로 해당 영역을 가리면 손은 밝은 영역에 속하기 때문에 가려지는 영역이 어둡다면 밝기 변화를 검출해 카드를 집었는지 알 수 있다. 그리고 카드 상단 역시 덮개를 흰색으로 제작했기 때문에 대비 색인 검은색을 사용하였다.
3.3 카드 상태 변화 검출
여기서는 제안하는 카드 인터페이스에서 발생하는 상태 변화, 즉 카드면 검출, 카드 선택 제스쳐 검출, 카드 경계 영역 변화 검출 방법을 구체적으로 설명한다.
일반적으로 사용되는 카드를 보면 카드의 전면과 후면 모두 이미지나 숫자 같은 정보가 표현된 경우보다는 대부분 전면에 정보를 표시하고, 후면은 카드가 뒤집혀 있다는 의미로 사용된다.
본 논문에서는 그림 4처럼 전면과 후면을 서로 다른 마커를 사용해 이러한 상태를 구분한다. 그러나 개발에 사용한 Vuforia AR 엔진이 같은 마커에 대해서 객체 검출 및 추적을 지원하지 않기 때문에 후면마다 각각 서로 다른 마커를 사용했다. 따라서 4장의 카드가 필요하다면 전·후면 검출을 위해 전면용 마커 4개와 후면용 마커 4개, 총 8개의 마커를 사용해 구현했다.
컴퓨터를 사용하는 데 있어서 마우스 클릭처럼 카드를 선택하는 제스쳐는 매우 빈번히 발생하는데 카드 선택 제스쳐는 그림 5처럼 카드를 집는 제스쳐와 카드를 가리키는 제스쳐 두 가지로 구분된다. 본 논문에는 바닥에 놓여있는 카드를 가리키거나 카드를 드는 행위를 모두 카드에 대한 선택 제스쳐로 인식한다. 알고리즘에서는 이 두 가지 타입을 구분하지 않는다. 두 경우 모두 검은색 영역이 가려지기 때문에 가리키는 제스쳐와 집는 제스쳐를 구분할 수 없기 때문이다.
카드의 검은색 부분이 가려진 정도를 검출하기 위해서 그림 6(b)처럼 적응적 이진화 알고리즘을 사용하였다. 그리고 손가락 부분도 부분적으로 어둡고 밝은 부분이 있으므로 이를 상쇄시키기 위해 그림 6(c)처럼 closing 모폴로지 연산을 적용 후 검은색 부분의 비율을 계산하여 카드를 선택하는 제스쳐를 검출했다.
카드의 상태는 그림 7처럼 4개로 구분된다. 가려짐이 전혀 없을 때를 state 0, 왼쪽 영역에 대한 가려짐이 검출됐을 경우는 state 1, 오른쪽 영역에 대한 가려짐이 검출됐을 경우는 state 2, 그리고 상단 전체에서 가려짐이 검출됐을 경우는 state 3으로 구분했다. 그리고 state 3을 만들기 위해서는 왼쪽과 오른쪽에 정사각형 덮개 2개를 사용해도 되고, 긴 직사각형 덮개 1개를 사용해 표현할 수 있다. 응용 시나리오가 이진 상태만을 필요로 하면 직사각형 덮개를 사용하면 된다.
손가락에 의한 가려짐 검출과는 달리 덮개가 균일한 형태의 밝은 영역으로 이루어져 있으므로 적응적 이진화 알고리즘만 적용해 검은색 부분의 비율을 계산하여 가려진 영역을 결정하였다.
3.4 활용
여기서는 제안한 카드 인터페이스를 인지 재활 치료나 유아 교육용 교구로 활용할 수 있는 세 가지 사례를 제시한다.
그림 8의 사례는 제안하는 카드 인터페이스의 전·후면 검출을 활용한 경우이다. 카드를 뒤집어 가면서 같은 카드 두 장을 동시에 찾는 게임이다. 이러한 기억력 게임은 기억 강화를 위해 다양한 형태로 응용되고 있다. 물리적인 카드를 사용하거나 컴퓨터나 스마트폰을 사용해 마우스 클릭, 화면 터치를 통해 기억력 게임을 할 수 있지만, 증강현실로 구현할 경우 사용자가 잘못된 선택을 하거나 주어진 시간을 넘겼을 경우 다양한 연출이 가능하므로 몰입감을 가지며 훈련에 집중할 수 있는 장점이 있다. 본 논문에서는 3D 과일 모델링 데이터를 사용했지만, 동영상이나 3D 캐릭터를 사용함으로써 증강현실 미디어의 특성을 활용해 인지 재활과 교육의 효과를 강화할 수 있다.
그림 9의 응용 사례는 카드 인터페이스의 선택 제스쳐를 활용해 주어진 문제에 적합한 카드를 선택하는 유아 교육용 시나리오이다. 사용자는 문제에서 제시된 사과 카드를 손으로 가리키거나 카드를 집어서 자신의 의사를 표현해야 한다. 사용자가 해당 카드를 올바르게 선택할 경우 검은색 화살표를, 잘못 선택했을 경우 빨간색 화살표를 제시하는 등 사용자에게 피드백을 줄 수 있다.
그림 10의 응용 사례는 카드 상태 검출을 이용해 산술 연산을 훈련할 수 있도록 구현한 사례이다. 사용자는 세 종류의 동물을 더해서 여섯 마리를 만들기 위해서 고양이 두 마리, 오리 세 마리, 펭귄 한 마리를 표현해야 하는데, 이때 6장의 카드가 아닌 3장의 카드와 제안된 카드 덮개를 가지고 이를 표현할 수 있다.
Ⅳ. 실험 및 분석
실험에서는 제안하는 카드형 인터페이스의 성능을 검증한다. 카드형 인터페이스 제작은 그림 11 상단처럼 세 가지 타입의 마커를 사용하였다. QR 코드는 AR Card라는 텍스트 정보를 인코딩해서 제작되었다. 두 번째 타입은 일반 이미지이다. 마지막 세 번째는 모든 영역에서 특징점이 검출될 수 있는 Merge Cube[12]에서 제작된 패턴을 사용하였다. 이는 6면의 큐브 인터페이스를 위해 제작되었다.
우선 3가지 타입의 마커에 대한 특징점을 검출해 분석한다. 특징점 검출은 Vuforia 엔진을 사용하였다. 그림 11 하단의 이미지는 검출된 특징점에 관한 결과이다. 전체 특징점이 잘 보이지 않기 때문에 그림에서는 일부 영역을 확대해서 표기하였다.
QR 코드 타입은 이진 영상이기 때문에 조명 변화에 강인하다. 결과 그림에서 확인할 수 있듯 직각 부분의 가장자리에서 특징점이 추출되기 때문에 여러 기하학적 변화에 강인할 수 있다. 다수의 카드가 다양한 각도로 배치되는 제안하는 응용분야에 적합하다. 그러나 QR 코드에서 세 부분의 모서리 부분에서 특징점이 충분히 검출되지 않았다.
두 번째 일반 이미지의 경우 판다의 왼쪽 수풀처럼 너무 많은 특징점이 한곳에서 추출되기도 하고, 판다의 얼굴처럼 특징점이 충분히 추출 안 되는 영역도 있다. 일반적으로 특징점은 에지나 코너 등 밝기 변화가 급격히 발생하는 영역에서 검출되기 때문에 인위적으로 제작된 QR 코드나 Mege Cube 패턴과는 달리 일반 영상에서는 밝기 변화가 크지 않은 영역이 존재하게 된다. 따라서 다수의 카드 사용으로 가려짐이 발생할 수 있는 응용분야에서 일반 이미지를 사용할 경우 특징점이 균일하게 발생하는 영상을 사용해야한다. 특징점이 편중되어 있고 이영역이 가려질 경우 검출 성능이 떨어지게 된다.
마지막 Merge Cube 마커의 특징점은 전체 영역에서 특징점이 균일하게 검출된다는 것을 확인할 수 있다. 이는 6개의 모든 면에서 검출과 추적이 가능할 수 있도록 제작되었기 때문이다. 제안하는 카드 인터페이스에서는 다수의 카드가 함께 사용되고 사용자와 상호작용을 위해 일시적인 가려짐이 빈번히 발생하기 때문에 이와 같은 패턴이 매우 적합하다.
다음 실험으로 마커의 크기와 가려짐 비율에 따른 카드 검출 및 추적 여부를 측정하였다. 실험 결과 Merge Cube 마커의 추적 성능이 매우 뛰어나 마커 크기가 작더라도 추적이 가능했다. 여기서는 일시적 가려짐에 따른 객체 추적 성능에 대한 결과를 분석한다.
표 1의 실험 결과는 세 가지 마커 타입에 대해서 가려지는 영역이 19%, 32%, 61% 비율일 때 객체 추적이 가능한 마커 크기의 비율을 나타낸다. 가려지는 영역은 하얀 종이로 카드 중앙 부분을 비율만큼 덮어서 특징점이 검출되지 못하도록 구성하였다. 그리고 카메라에 카드 전체가 나오는 근거리에서 시작해서, 점점 거리를 늘려가면서 실험하였다. 카메라 해상도에 따라 성능이 달라질 수 있으므로 여기는 직접적인 픽셀의 크기가 아닌 입력 카메라 해상도에서 마커 크기(수평 해상도 비율)의 비율을 계산했다.
가려진 비율이 19%로 다소 작을 때는 마커의 크기가 카메라 수평 해상도의 6.1%까지 작아져도 추적이 가능했다. 즉 마커 타입에 상관없이 객체 추적이 가능했다. 그러나 가려진 비율이 32%로 커지면 QR코드는 크기가 작아질수록 추적 성능이 먼저 떨어졌다. 대략 12.9%에서 객체 추적이 불가능하고 Merge Cube 마커가 가려짐이 19%인 수준까지 추적이 가능했다. 실험에서 QR 마커를 사용할 때 보다 이미지 마커를 사용할 때 성능이 좋은 이유는 가려지는 영역을 영상의 중앙부로 했기 때문에 QR 마커보다 일반 이미지에서 특징점이 많이 검출되어 마커 검출과 추적이 용이 했기 때문이다. 실험 결과는 19%의 가려짐이 전혀 영향을 끼치지 않음을 의미한다.
표 1에서 실험 결과 수치는 객체 추적에 실패하게 되는 최소 비율을 의미한다. 카드 추적 성능은 객체의 크기와 가려짐 비율에 의해서 결정되는데 가려짐 비율이 61%라도 카메라와 카드가 가까이 있다면 많은 특징점이 검출되기 때문에 카드 추적이 가능하다. 실험에서 Merge Cube의 경우 61% 가려짐이 있을 때 11.9%의 의미는 그 이상의 되는 크기에서는 카드 추적된다는 의미이다. 즉 객체 검출 성능은 영상이 크면 그 만큼 특징점이 많이 검출되기 때문에 가려짐 영역에 덜 의존적이고, 영상이 작으면 분석할 특징점이 적기 때문에 가려짐 영역에 매우 의존하게 된다.
마지막으로 가려진 비율이 61%로 매우 높은 경우 QR코드와 이미지는 검출 및 추적이 불가능했다. 그리고 Merge Cube 마커도 카메라 해상도의 11.9% 크기로 작아졌을 때 더는 추적이 불가능했다. 이러한 실험을 통해서 Merge Cube 형태의 마커가 제안하는 시스템에 매우 적합함을 알 수 있다.
마지막 실험은 카드 선택 제스쳐 검출에 관한 실험이다. 그림 12처럼 카메라와 카드의 촬영 각도에 따라 기하학적 왜곡이 발생해 특징들이 충분히 검출되지 않기 때문에 Vuforia의 가상버튼 방법으로 가려짐을 검출할 수 없다. 반면 제안하는 방법은 검은색 영역이 손가락으로 가려졌을 경우 이를 확실히 검출할 수 있음을 확인할 수 있다. 따라서 왜곡이 심하지 않거나 카드를 선택하기 위해서 가려지는 영역 설정이 불가능한 시나리오에서는 Vuforia 가상버튼 방법을 사용하고, 왜곡이 심해서 특징점 검출이 어려운 상황에서는 제안하는 색 검출 방법을 사용하는 것이 효율적임을 알 수 있다.
V. 결론 및 향후 과제
카드 형태의 인터페이스는 실생활에서 다양한 교육 활동을 위해 빈번하게 사용되기에 본 논문에서는 사용자와 상호 작용할 수 있는 카드형 AR 인터페이스를 제안하였다. 제안하는 인터페이스는 단방향이 아니고, 사용자가 카드를 뒤집거나 카드를 선택하거나 카드의 상태를 변경할 수 있도록 설계하였다. 이를 통해 현실 기반 영상에 새로운 정보를 추가하는 형태로 교육 훈련시스템 개발이 가능하다. 그리고 유아 교육에 사용할 수 있는 3가지 사례도 함께 제시하였다. 향후 다양한 형태의 인터페이스 설계에 관한 연구와 여러 응용 사례 발굴에 관한 연구가 필요해 보인다.
Acknowledgments
이 논문은 2019~2020년도 창원대학교 자율연구과제 연구비 지원으로 수행된 연구결과임
References
- Cheol-Seung Lee, "Case Study on the Development of Virtual Reality Education Content based on National Competency Standards(NCS): Focusing on Maintenance of Car Engine", Journal of Digital Contents Society, Vol. 20, No. 7, pp. 1291-1298, Jul. 2019. [https://doi.org/10.9728/dcs.2019.20.7.1291]
- Jae Yong Lee, Hyoung-Jin Kim, Chunsik Lee, and Chan Cook Park, "A Study on the Safety Training System based on Virtual Reality in Large Scale Plant", Journal of the Korean Institute of Gas, Vol. 23, No. 2, pp. 55-60, Apr. 2019.
- CHEN, XIU XIU, and Seong Ju Kim, "An Analysis of VR Language Learning Applications Focusing on the Apps of Speaking and Vocabulary Learning", Journal of Dong-ak Language and Literature, Vo. 78, pp. 119-150, Jun. 2019. [https://doi.org/10.25150/dongak.2019..78.005]
- Jong-Tae Park, Ji Hyo Kim, and Jeong-hyun Lee, "Development of Educational Content for Dental Extraction Skill Training Using Virtual Reality Technology", Journal of the Korea Contents Association, Vol. 18, No. 12, pp. 218-228, Dec. 2018.
- Sun Kyung Kim, Mi Ran Eom, and Mi-Hyeon Park, "Effects of Nursing Education Using Virtual Reality - A Systematic Review", Journal of the Korea Contents Association, Vol. 19, No. 2, pp. 661-670, Feb. 2019.
- Jin Chae, "Study on Firefighting Education and Training Applying Virtual Reality", Fire Science and Engineering, Vol. 32, No. 1, pp. 108-115, Feb. 2018. [https://doi.org/10.7731/KIFSE.2018.32.1.108]
- Insook Kim, Yumi Jo, and Hyeyoung Ko, "Exploring the Possibility of Applying the Integrated Teaching and Learning Method based on AR for Environmental Education for Young Children", Journal of Korea Multimedia Society, Vol. 22, No. 8, pp. 950-959, Aug. 2019.
- Hee Kyung Cho and Sung Hoon Kim, "A Study on the Edutainment Contents Elements in Augmented Reality(AR) Educational Contents Design", Journal of the Korean Society Design Culture, Vol. 25, No. 1, pp. 441-452, Mar. 2019.
- Sanghoon Kang, Minwoo Shin, Minji Kim, and Hanhoon Park, "Mobile Augmented Reality Application for Early Childhood Language Education", Journal of Broadcast Engineering, Vol. 23, No. 6, pp. 914-924, Nov. 2018.
- Inho Bae, Heejune Park, Geunhyo Kim, and Soonbok Kwon, "Educational Application of Speech Therapy Program Based on Augmented Reality", Journal of speech-language & hearing disorders, Vol. 23, No. 2, pp. 139-152, Apr. 2014. [https://doi.org/10.15724/jslhd.2014.23.2.012]
- Kang-Sik Won, "Application Method of Image Restoration based on Augmented Reality to Museum Education", Journal of the Korea Contents Association, Vol. 10, No. 6, pp. 205-212, Jun. 2010. [https://doi.org/10.5392/JKCA.2010.10.6.205]
- https://mergevr.com/?cr=4100, [accessed: Sep. 15. 2019]
2006년 2월 : 한림대학교 컴퓨터공학과(공학석사)
2011년 2월 : 연세대학교 컴퓨터공학과(공학박사)
2016년 3월 ~ 현재 : 강남대학교 소프트웨어응용학부 교수
관심분야 : 가상현실, 증강현실, 모바일컴퓨팅, 기계학습, HCI
2003년 8월 : 고려대학교 전자정보공학(공학사)
2006년 2월 : 연세대학교 생체인식협동(공학석사)
2011년 2월 : 연세대학교 전기전자공학(공학박사)
2019년 9월 ~ 현재 : 창원대학교 문화테크노학과 부교수
관심분야 : 컴퓨터비전, 증강/가상현실, HCI