Home

최근 4차 산업혁명 시대를 맞이하며 증강현실(Augmented reality)과 가상현실(Virtual reality) 기술을 사용해 다양한 분야에서 혁신이 이루어지고 있다. 특히 증강현실과 가상현실을 이용한 교육 및 훈련 시스템이 최근 많은 관심을 받고 있다.

증강현실이란 카메라를 이용하여 영상을 취득하여 현실 기반 영역에 컴퓨터 그래픽스를 이용하여 정보를 증강해주는 형태로 구성된다. 지자계 센서나 영상의 특징점을 추출하여 3차원 공간상의 정보와 융합한 형태의 증강현실은 휴대전화를 이용한 포켓몬고와 같은 게임을 예를 들 수 있다. 현실 세계와는 다른 가상의 공간에서 현실과 같은 체험을 하게 해주는 가상현실은 컴퓨터 그래픽스로 구성된 가상세계의 영상 정보를 사용자에게 제공하며 현실 세계의 시야를 차단하여 사용자의 움직임 시점과 일치하는 컴퓨터 그래픽스 영상을 출력해주는 HMD(Head Mounted Display)와 같은 장치를 이용한 시스템을 예를 들 수 있다.

가상현실을 이용한 훈련 시스템은 최근 정부로부터 가상현실 콘텐츠 제작지원 등을 통해 민간 기업의 정비 교육 가상현실 훈련 시스템에서부터 군용 항공기에 대한 가상현실 훈련 정비 시스템까지 폭넓게 저변을 확대하고 있다. 특히 국내의 경우 5G 기반 통신망의 구축으로 초고속, 초저지연 데이터 전송이 가능하여 더욱 현실감 있는 가상현실 콘텐츠를 사용자에게 제공할 수 있도록 사회 환경도 변화하고 있다. 가상현실 훈련 시스템의 경우 몰입감을 위해 고가의 HMD 장치가 부가적으로 필요로 한다. 그에 반해 증강현실을 이용한 교육 시스템의 경우 카메라와 컴퓨터 비전 기술을 이용하여 상대적으로 저가의 형태로 증강현실 교육 시스템을 구축할 수 있다. 본 논문에서는 사용자의 피드백을 활용한 증강현실 교육 시스템 구축을 위해 카드 기반 증강현실 시스템을 제안한다. 2장에서는 관련 연구에 대해 간단히 살펴보고 3장에서는 제안한 사용자 피드백 활용을 위한 카드 기반 증강현실 시스템을 제안한다. 4장에서는 실험 결과를 보이고 5장에서 결론과 향후 연구과제를 논한다.

실험에서는 제안하는 카드형 인터페이스의 성능을 검증한다. 카드형 인터페이스 제작은 그림 11 상단처럼 세 가지 타입의 마커를 사용하였다. QR 코드는 AR Card라는 텍스트 정보를 인코딩해서 제작되었다. 두 번째 타입은 일반 이미지이다. 마지막 세 번째는 모든 영역에서 특징점이 검출될 수 있는 Merge Cube[12]에서 제작된 패턴을 사용하였다. 이는 6면의 큐브 인터페이스를 위해 제작되었다.

Fig. 11. 
Three types of image patterns and detected feature points

우선 3가지 타입의 마커에 대한 특징점을 검출해 분석한다. 특징점 검출은 Vuforia 엔진을 사용하였다. 그림 11 하단의 이미지는 검출된 특징점에 관한 결과이다. 전체 특징점이 잘 보이지 않기 때문에 그림에서는 일부 영역을 확대해서 표기하였다.

QR 코드 타입은 이진 영상이기 때문에 조명 변화에 강인하다. 결과 그림에서 확인할 수 있듯 직각 부분의 가장자리에서 특징점이 추출되기 때문에 여러 기하학적 변화에 강인할 수 있다. 다수의 카드가 다양한 각도로 배치되는 제안하는 응용분야에 적합하다. 그러나 QR 코드에서 세 부분의 모서리 부분에서 특징점이 충분히 검출되지 않았다.

두 번째 일반 이미지의 경우 판다의 왼쪽 수풀처럼 너무 많은 특징점이 한곳에서 추출되기도 하고, 판다의 얼굴처럼 특징점이 충분히 추출 안 되는 영역도 있다. 일반적으로 특징점은 에지나 코너 등 밝기 변화가 급격히 발생하는 영역에서 검출되기 때문에 인위적으로 제작된 QR 코드나 Mege Cube 패턴과는 달리 일반 영상에서는 밝기 변화가 크지 않은 영역이 존재하게 된다. 따라서 다수의 카드 사용으로 가려짐이 발생할 수 있는 응용분야에서 일반 이미지를 사용할 경우 특징점이 균일하게 발생하는 영상을 사용해야한다. 특징점이 편중되어 있고 이영역이 가려질 경우 검출 성능이 떨어지게 된다.

마지막 Merge Cube 마커의 특징점은 전체 영역에서 특징점이 균일하게 검출된다는 것을 확인할 수 있다. 이는 6개의 모든 면에서 검출과 추적이 가능할 수 있도록 제작되었기 때문이다. 제안하는 카드 인터페이스에서는 다수의 카드가 함께 사용되고 사용자와 상호작용을 위해 일시적인 가려짐이 빈번히 발생하기 때문에 이와 같은 패턴이 매우 적합하다.

다음 실험으로 마커의 크기와 가려짐 비율에 따른 카드 검출 및 추적 여부를 측정하였다. 실험 결과 Merge Cube 마커의 추적 성능이 매우 뛰어나 마커 크기가 작더라도 추적이 가능했다. 여기서는 일시적 가려짐에 따른 객체 추적 성능에 대한 결과를 분석한다.

표 1의 실험 결과는 세 가지 마커 타입에 대해서 가려지는 영역이 19%, 32%, 61% 비율일 때 객체 추적이 가능한 마커 크기의 비율을 나타낸다. 가려지는 영역은 하얀 종이로 카드 중앙 부분을 비율만큼 덮어서 특징점이 검출되지 못하도록 구성하였다. 그리고 카메라에 카드 전체가 나오는 근거리에서 시작해서, 점점 거리를 늘려가면서 실험하였다. 카메라 해상도에 따라 성능이 달라질 수 있으므로 여기는 직접적인 픽셀의 크기가 아닌 입력 카메라 해상도에서 마커 크기(수평 해상도 비율)의 비율을 계산했다.

가려진 비율이 19%로 다소 작을 때는 마커의 크기가 카메라 수평 해상도의 6.1%까지 작아져도 추적이 가능했다. 즉 마커 타입에 상관없이 객체 추적이 가능했다. 그러나 가려진 비율이 32%로 커지면 QR코드는 크기가 작아질수록 추적 성능이 먼저 떨어졌다. 대략 12.9%에서 객체 추적이 불가능하고 Merge Cube 마커가 가려짐이 19%인 수준까지 추적이 가능했다. 실험에서 QR 마커를 사용할 때 보다 이미지 마커를 사용할 때 성능이 좋은 이유는 가려지는 영역을 영상의 중앙부로 했기 때문에 QR 마커보다 일반 이미지에서 특징점이 많이 검출되어 마커 검출과 추적이 용이 했기 때문이다. 실험 결과는 19%의 가려짐이 전혀 영향을 끼치지 않음을 의미한다.

표 1에서 실험 결과 수치는 객체 추적에 실패하게 되는 최소 비율을 의미한다. 카드 추적 성능은 객체의 크기와 가려짐 비율에 의해서 결정되는데 가려짐 비율이 61%라도 카메라와 카드가 가까이 있다면 많은 특징점이 검출되기 때문에 카드 추적이 가능하다. 실험에서 Merge Cube의 경우 61% 가려짐이 있을 때 11.9%의 의미는 그 이상의 되는 크기에서는 카드 추적된다는 의미이다. 즉 객체 검출 성능은 영상이 크면 그 만큼 특징점이 많이 검출되기 때문에 가려짐 영역에 덜 의존적이고, 영상이 작으면 분석할 특징점이 적기 때문에 가려짐 영역에 매우 의존하게 된다.

마지막으로 가려진 비율이 61%로 매우 높은 경우 QR코드와 이미지는 검출 및 추적이 불가능했다. 그리고 Merge Cube 마커도 카메라 해상도의 11.9% 크기로 작아졌을 때 더는 추적이 불가능했다. 이러한 실험을 통해서 Merge Cube 형태의 마커가 제안하는 시스템에 매우 적합함을 알 수 있다.

마지막 실험은 카드 선택 제스쳐 검출에 관한 실험이다. 그림 12처럼 카메라와 카드의 촬영 각도에 따라 기하학적 왜곡이 발생해 특징들이 충분히 검출되지 않기 때문에 Vuforia의 가상버튼 방법으로 가려짐을 검출할 수 없다. 반면 제안하는 방법은 검은색 영역이 손가락으로 가려졌을 경우 이를 확실히 검출할 수 있음을 확인할 수 있다. 따라서 왜곡이 심하지 않거나 카드를 선택하기 위해서 가려지는 영역 설정이 불가능한 시나리오에서는 Vuforia 가상버튼 방법을 사용하고, 왜곡이 심해서 특징점 검출이 어려운 상황에서는 제안하는 색 검출 방법을 사용하는 것이 효율적임을 알 수 있다.

Fig. 12. 
Feature point and state transition area detection, (a) 270 degrees, (b) 300 degrees, (c) 320 degrees, (d) 340 degrees

카드 형태의 인터페이스는 실생활에서 다양한 교육 활동을 위해 빈번하게 사용되기에 본 논문에서는 사용자와 상호 작용할 수 있는 카드형 AR 인터페이스를 제안하였다. 제안하는 인터페이스는 단방향이 아니고, 사용자가 카드를 뒤집거나 카드를 선택하거나 카드의 상태를 변경할 수 있도록 설계하였다. 이를 통해 현실 기반 영상에 새로운 정보를 추가하는 형태로 교육 훈련시스템 개발이 가능하다. 그리고 유아 교육에 사용할 수 있는 3가지 사례도 함께 제시하였다. 향후 다양한 형태의 인터페이스 설계에 관한 연구와 여러 응용 사례 발굴에 관한 연구가 필요해 보인다.