Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 18, No. 12, pp.121-129
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Dec 2020
Received 05 Oct 2020 Revised 20 Nov 2020 Accepted 23 Nov 2020
DOI: https://doi.org/10.14801/jkiit.2020.18.12.121

인터랙티브 미디어 기반 체험형 콘텐츠의 제작기법

이현주* ; 유선진**
*창원대학교 문화융합기술협동과정 석사과정
**창원대학교 문화테크노학과 교수(교신저자)
Production Technique of Realistic Contents based on Interactive Media
Hyeonju Lee* ; Sunjin Yu**

Correspondence to: Sunjin Yu Dept. of Culture Technology, Changwon National University, 20 Changwondaehak-ro, Uichang-gu, Changwon-si, Gyeongsangnam-do, 51140, Korea. Tel.: +82-55-213-3098, Email: sjyu@changwon.ac.kr

초록

오늘날 예술과 기술이 융합된 사회로 거듭나며 ICT 기술들이 예술 작품에 활용되고 있고, 그 중 이용자와의 상호작용으로 완성되는 인터랙티브 아트가 각광받고 있다. 본 논문에서는 인터랙티브 미디어와 활용된 제작 기법인 증강현실에 대해 다루며, 역할갈등을 주제로 한 전시 'WAI project'를 중심으로 인터랙티브 미디어에 기반한 체험형 콘텐츠를 제안한다. 그리고 기술을 활용한 체험형 콘텐츠 제작 기법과 이용자와의 상호작용을 검증하고자 하였으며, 이용된 제작 기법은 실제 환경에 가상의 그래픽이 융합된 증강현실과 실시간 비디오 합성으로 각각 유니티와 vvvv를 활용해 제작한다. 마지막으로 이용자와의 상호작용을 확인하기 위해 설문조사를 실시했으며 도출한 결과를 토대로 체험형 콘텐츠의 향후 보완점과 적합성을 분석한다.

Abstract

Through convergenced on Art and technology, ICT is being used in art works. Interactive art that is completed through interaction with users is in the spotlight. In addition, we deal with interactive media and augmented reality, which are production technologies. And Focusing on the exhibition 'WAI Project' on the theme of role conflict, we propose experience-based content based on interactive media. The production technique used is augmented reality and real-time video synthesis in which virtual graphics are fused to the real environment, and is produced using Unity and vvvv, respectively. Finally, a survey was conducted to confirm the interaction with users, and based on the results derived, the future complementary points and suitability of the experience-based content were analyzed.

Keywords:

AR, interactive media, realistic contents, unity, vvvv, culture contents

Ⅰ. 서 론

현대 전시콘텐츠는 문화와 기술이 융합된 형태로 다양한 ICT 기술들이 예술에 활용되고 있다[1][2]. 이에 따라 순수 예술 중심이었던 전시는 단순 관람에서 탈피하여 첨단 기술을 활용한 새로운 형태의 전시콘텐츠로 발전하고 있다. 특히, 단순히 전시 콘텐츠를 관람하는 것을 넘어 이용자와의 상호작용이 가능한 ICT기술 기반의 전시가 많아지며, 관람객이 작품의 주체가 되어 전시를 함께 완성하는 새로운 유형의 전시가 나타나고 있다[3].

본 논문에서는 실제 환경에 가상의 그래픽이 융합된 증강현실(Augmented reality)과 실시간 비디오 합성 기법을 통해 이용자와 상호작용이 가능한 전시 작품 ‘WAI project’를 통해 새로운 형태의 전시 콘텐츠 제작 기법을 제안한다. 전시콘텐츠의 주제는 역할갈등으로, 양립할 수 없는 역할들이 전달되는 상황을 의미한다[4]. 문제 인식, 개인의 정서적 갈등 파악을 위해 증강현실을 적용한 어플리케이션을 이용하며, 시사점 제공을 위해 실시간 합성 비디오를 생성하여 전시의 기획의도에 부합한 전시콘텐츠를 제작한다. 체험형 전시 콘텐츠를 통해 이용자 스스로가 겪을 수 있는 사회문제를 다루며, 각각의 이용자가 전시에 직접 참여해 문제를 해결할 수 있게 인터랙티브 미디어(Interactive media) 기술을 접목했다.

본 논문은 인터랙티브 미디어와 증강현실 기술을 활용하고, 역할 갈등, 사회문제 등의 개념을 토대로 제작된 기술을 분석한다. 또한 인터랙티브 미디어를 활용한 체험형 전시 콘텐츠가 이용자에게 유용했는지와 흥미를 유발했는지 등을 설문조사를 통해 분석하고 도출한 결과로 향후 보완점과 인터랙티브 아트(Interactive art)의 적합성에 대해 서술한다.


Ⅱ. 배 경

2.1 인터랙티브 미디어

생산 및 제조업 중심이던 사회는 점차 IT(Information Technology)에 기반한 정보사회로 진화했고 오늘날 CT(Culture Technology)에 기반한 문화사회로 발전하고 있고, 따라서 인터넷 및 미디어가 널리 퍼져있다[5][6]. 문화의 발전을 따라 최근 예술과 테크놀로지의 융합에 대한 관심이 높아지고 있다[7]-[9]. 특히 예술 분야에서는 ICT 기술을 적극적으로 수용하며 이전과는 다른 양상을 보이고 있다. 또한 기술을 이용해 새로운 예술 작품을 만드는 것을 넘어 인터랙티브 아트가 등장했다. 인터랙티브 아트는 관객이 멀리서 작품을 감상하는 것이 아니라 직접 참여할 수 있는 미술 작품으로, 이는 쌍방향 개념으로 관객이 작품에 참여하며 작품이 비로소 완성된다는 특징을 가진다. 따라서 관객이 작품에 참여할 수 있는 활동 영역을 만들어 작품을 완성한다[10]. 인터랙티브 아트는 인간과 컴퓨터 간의 상호 작용 기술을 통해 완성되는 점에서 HCI(Human Computer Interaction)와 밀접한 관련이 있다. HCI 기술은 풍부한 사용자 경험, 시간에 따른 참여, 상호작용, 시청각 감각 등이 기반된다[11].

이러한 인터랙티브 아트에 또 다른 기초가 되는 개념은 인터랙티브 미디어로, 이는 쌍방향성 커뮤니케이션이 가능한 매개이며 이용자와 사물 간의 상호작용을 통한 다양한 반응을 나타낸다. 따라서 인터랙티브 미디어는 텍스트, 이미지, 소리, 영상자료, 가상현실(Virtual reality) 등에 의해 표현되는 정보 형태가 통합되어 네트워크를 기반으로 해 구축된다[12].

결론적으로 인터렉티브 아트는 단순히 기술에 기반하여 만든 작품을 칭하는 것이 아니라, 기술을 통해 이용자와 상호작용이 되는 작품을 의미하기 때문에 이용자는 인터랙티브 미디어 기반의 전시를 오감으로 관람하게 된다. 예술가의 완성된 작품을 본다는 선형적인 기존 작품과는 달리 예술가의 의도를 인터랙션(Interaction)을 통해 관객이 참여한다는 것이 기존 작품과의 차별적 요소이다. 단순 관람 위주였던 예술은 관람객과의 인터랙션으로 완성되고, 이는 관람객이 전시의 주체가 될 수 있는 계기가 된다. 따라서 인터랙티브 미디어 기반의 작품을 만들 때 관람객의 예상 행동을 예측해 잇따른 요소를 완성하는 것 또한 전시의 중요한 요소 중 하나가 된다. 인터랙티브 아트는 결국 다양한 디지털 활용 기술이 필요하고 이는 대부분 컴퓨터 프로그래밍을 통해 구현된다.

2.2 증강현실

증강현실은 실제 환경과 가상세계가 융합된 세계로, 실제 세계에 3차원 가상 객체를 혼합하여 실시간 상호작용이 가능케 하는 것을 의미한다[13]. 이를 통해 실제 환경에 가상의 사물이 실제로 있는 것처럼 표현한다. 이는 현실 속 사용자의 시야를 차단한 채 디지털 3차원 가상환경에서 구현되는 가상현실의 일환이지만, 증강현실은 실제와 가상을 합성한다는 점에서 차이가 있다. 따라서 증강현실은 현실을 완전히 가상으로 대체하는 것이 아니라 현실을 보완하는 개념이다.

그림 1은 현실과 가상 연속체와 그 사이의 혼합현실까지 다룬 것이다. 양 끝에 현실세계와 가상세계가 존재하며 그 사이를 혼합현실이라고 표현한다. 이 때 현실 세계에 근접해 가상된 이미지가 합성되는 것을 증강현실로 표현하며, 가상세계에 일부 현실 세계 이미지가 합성된 것이 증강 가상이라고 구분해 표현한다[14].

Fig. 1.

Virtual continuum defined by Milgram

Romald T. Azuma는 증강현실을 실제와 가상의 결합, 실시간 상호작용, 3차원이라는 세 가지 특성으로 정의하였다[15]. 또한 증강현실을 구현하는 매개는 대표적으로 세 가지 유형이 있다. HMD(Head Mount Display), 휴대용 디스플레이, 공간 디스플레이다[16]. 이 중 최근 가장 많이 쓰이는 것은 휴대용 디스플레이로 스마트폰 및 태블릿 PC가 있다. 증강현실은 결국 현실 세계와 가상 이미지를 겹쳐 보여준다는 점에서 현실과 가상 간의 상호작용을 하고 있으며, 널리 보급된 스마트폰 및 태블릿 PC로 구현할 수 있다는 점에서 높은 활용성을 보인다.

증강현실 디바이스가 대중들에게 폭 넓게 알려지게 된 사례는 2012년 발표된 구글사의 구글 글래스(Google Glass)[17]가 대표적이다. 그림 2와 같이 안경 형태의 투명 디스플레이로, 콘텐츠를 증강된 이미지로 보여준다. 현재 산업용으로 주로 쓰이며 대중들이 사용하는 경우는 거의 없다. 마이크로소프트사는 증강현실 기기인 홀로렌즈(HoloLens)[18]를 선보였고, 산업용, 군용으로 일부 사용되고 있다.

Fig. 2.

Google Glass

또한, 스마트폰의 보급에 따라 애플과 구글이 스마트폰으로 증강현실을 구현할 수 있는 키트를 선보이게 되었고, 증강현실의 상용화를 두고 연구와 개발은 지속되었으며, 그림 3의 포켓몬고(Pokémon GO)[19]가 2017년 대중들에게 선보이며 많은 관심을 끌게 되었다.

Fig. 3.

Pokémon GO

포켓몬고는 가상의 포켓몬 캐릭터 그래픽이 현실에 존재하는 것처럼 보이게 하여 선풍적인 인기를 끌었고 사람들은 희귀 포켓몬을 잡기 위해 위치를 공유하고, 타 지역까지 나서는 등 게임에 적극적인 모습을 보였다. 이렇듯 대중들은 생소한 증강현실을 게임을 통해 접하게 되었고 오락적 요소가 가미되었기 때문에 새로운 기술에 대한 거부감이나 어려움이 크게 없었다. 증강현실은 게임뿐만 아니라 엔터테인먼트, 스포츠, 쇼핑, 문화, 교육, 의료 등 많은 곳에 진출하고 있으며 지금도 많은 연구 개발이 진행되고 있다.


Ⅲ. 전시콘텐츠 제작 기법 제안

체험형 전시콘텐츠 제작 기법 제안을 위해 개발환경으로 유니티(Unity3D)[20]와 vvvv[21]를 활용한다. 유니티는 3D및 2D 비디오를 다루는 게임엔진으로, 폭 넓게 사용되고 있다. 주로 3D애니메이션과 건축 시각화, 가상현실 및 증강현실까지 다루며 언어로는 C#을 대표적으로 사용한다. 또한 vvvv는 실시간 비디오 인터페이스에 주로 사용되며 텍스트 라이브 프로그래밍 환경이다. 본 연구에서는 그림 4에서 제시한 전시의 3단계를 구현하는 것을 다룬다. 전시를 통한 문제 해결 프로세스 1단계인 ‘역할갈등 인지’와 2단계인 ‘개인의 정서적 문제 인지’ 부분을 유니티를 활용해 증강현실 어플리케이션을 제작해 구현한다. 그리고 vvvv를 활용해 키넥트로 실시간으로 비디오를 받아와 이를 합성해 두 가지의 인터랙티브 콘텐츠를 다룬다. 따라서 유니티를 이용한 증강현실, vvvv를 이용한 실시간 비디오 합성을 통해 인터랙티브 미디어 콘텐츠 제작 기법을 제안한다.

Fig. 4.

3 stages of the exhibition

3.1 유니티를 활용한 증강현실 어플리케이션

유니티를 활용한 증강현실 어플리케이션을을 통해 전시의 1, 2단계를 구현한다. 이는 역할 갈등을 인지하고, 역할 갈등으로 인한 개인의 정서적 문제를 인지시키는 과정으로 역할 갈등의 의미를 정확히 이해하며 전개되어야 한다. 따라서 어플리케이션을 실행하면 우선적으로 전시를 요약해놓은 아이콘의 메인페이지가 펼쳐지고, 이후 역할갈등을 간단히 안내하는 페이지를 만들어 구성한다. 페이지 하단에는 카메라 토글(Toggle)버튼을 두어 사용자가 카메라를 이용하는 행위로 자연스럽게 이어지게 한다. 마지막으로 버튼을 눌러 카메라가 활성화되면 전시장 내에 구비되어 있는 이미지의 패턴을 인식해 스케일에 맞춰 전시 관련 영상이 증강되어 나타난다. 이를 요약한 어플리케이션의 흐름도는 그림 5와 같다.

Fig. 5.

Proposed configuration diagram of application

증강현실 어플리케이션 구현을 위해 대표적인 증강현실 SDK(Software Development Kit)인 PTC사의 Vuforia[22]를 활용한다. Vuforia에서 증강현실 구현을 위해 마커를 기반으로 추적하는 개념인 Marker Tracking과 마커 없이 추적되는 개념인 Markerless Tracking을 지원하고 있다. Marker Tracking에는 하나의 단면 이미지를 인식하는 ImageTarget, 여러 개의 이미지를 인식하는 MultiTarget 마지막으로 3D 오브젝트를 인식하고 추적하는 3D Obejct가 있다.

이 중에서 단일 이미지를 ImageTarget으로 설정해 전시 관련 이미지를 삽입하고, 추적해 가상 그래픽을 입혀 증강현실 어플리케이션을 구현한다. 구현을 위해서 마커의 타입을 설정하고 추적될 이미지를 첨부한다. 이미지 인식의 정확도는 별 개수로 파악할 수 있으며 정확한 인식을 위해 명확한 패턴이거나 명암, 대비를 높인 이미지를 사용해 인식률을 높이는 게 좋다. 전시에 사용한 이미지는 글자를 이용해 뚜렷한 인식이 되었으며 배경 색과 상반되는 색을 통해 인식에 용이했다. 마커로 등록한 이미지의 데이터베이스를 적용하면 마커가 카메라를 통해 인식된다. 그리고 인식된 이미지 위로 가상 그래픽이 증강해 나타나기 위한 작업을 진행한다. 전시에서는 주제에 맞는 영상이 증강되기 때문에 나타날 영상을 삽입해 완성한다. 추가로 이용자가 정지 및 재생을 할 수 있게 증강된 영상 위로 토글 버튼이 나오게 설계한다.

그림 6은 증강현실을 구현할 준비가 갖춰지기까지의 시스템 구조이다. 어플리케이션 실행 후 마커 이미지가 인식되면 이미지의 크기에 맞춰 삽입한 영상이 증강된 채로 재생된다. 전시콘텐츠의 이해를 돕는 추가 페이지는 홈 화면과 전시 설명 페이지로, 화면 터치를 통해 넘어가게 구성하며 설명 페이지에서는 자연스럽게 증강현실 콘텐츠를 구동할 수 있게 카메라 모양의 토글 버튼을 배치해 누를 수 있게 제작한다. 어플리케이션은 두 개의 Scene을 가지고 있는데, 메인부터 설명까지 이어지는 Main Scene과 증강현실로 이어지는 Vuforia Scene이다. 따라서 화면이 전환된 후 증강현실을 구현한다.

Fig. 6.

AR camera system structure

따라서 어플리케이션은 그림 7과 같은 흐름에 의해 진행된다. 우측 실제 사용자 화면은 휴대폰에 관련 이미지를 띄웠을 때 이미지에 맞춰 입력해둔 Video인 애니메이션이 증강되어 나오는 장면이다. 이렇듯 이용자는 전시를 관람하며 자연스럽게 역할갈등의 개념을 인지하고, 체험형 콘텐츠를 통해 직접 역할갈등 사례를 시청하며 더욱 이해도를 높일 수 있다. 이렇게 구현한 어플리케이션은 마커이미지의 정확도가 높아 인식이 잘되며, 마커이미지에 가까이 가고 멀어질수록 크고 작아지는 이미지 전체 크기에 맞춰 영상이 송출된다.

Fig. 7.

Application flowchart

3.2 vvvv를 활용한 인터랙티브 콘텐츠

vvvv는 타 프로그래밍 환경과 다르게 직관적으로 구성되어 있다. 복잡한 수식 대신 박스 모양의 노드와 노드 사이를 연결해 프로그래밍한다. vvvv의 프로그래밍은 일반적으로 패칭(Patching)이라고 표현한다. 각 노드 상, 하단에 붙어있는 검은 점은 핀(Pins)으로 각기 다른 역할을 하는 입출력 매개 변수이다[23]. 따라서 핀을 알맞게 연결하는 것으로 원하는 프로그램을 패칭할 수 있다. 타 프로그래밍 환경에 비해 시각적 요소가 강해 사용이 용이하기 때문에 비전공자인 디자이너 및 미디어 아티스트가 주로 사용한다. 위 전시에서는 미디어 아트를 구현하기 위해 활용되었다. 이용자의 움직임 궤적이 잔상으로 남는 것을 표현하기 위해 카메라가 필요한데, 이는 키넥트(Kinect)[24]의 카메라를 사용했다.

따라서 그림 8과 같이 키넥트의 실시간 비디오를 가져와 vvvv에 적용하는데, 궤적을 만들기 위해 매 순간의 프레임을 받아와 누적하는 방식을 적용한다. 그리고 누적된 비디오를 빔프로젝터로 송출해 이용자가 스크린을 봤을 때 실시간으로 본인이 움직인 궤적이 남게 제작한다.

Fig. 8.

Real-time video system configuration diagram

그림 9처럼 키넥트의 카메라는 사각형 모양의 토글버튼을 통해 제어할 수 있으며, 카메라가 작동하고 있을 때 실시간 비디오를 받아와 한 노드에 압축시킨다. 노드는 vvvv에서 패치의 빌딩블록을 의미하며, 각각의 기능을 나타낸다. 이 과정에서 노드는 실시간 비디오를 받아와 압축한 것이다. 가져온 비디오는 잔상이 남게끔 계속 누적되는데, 본 논문에서 누적 주기는 0초에서 0.2초 사이에 두어 패칭하였다. 그리고 가져온 비디오는 프레임으로 변환되어 쿼드로 생산하며 확산 범위를 정하고, 그리드타입으로 생성한다. 그리드타입은 설정한 프레임 값의 제곱으로 나타난다.

Fig. 9.

vvvv patching

프레임이 누적될 때 겹쳐져 나타나기 때문에 블렌딩 모드와 투명도를 결정하는데, 이는 각 핀에서 조절 가능하다. 또한 프레임이 100개 이상 누적되면 가장 오래된 프레임이 사라지고 새로운 프레임이 누적되기 때문에 일정 시간 이후 없어지게끔 패칭하지 않더라도 계속 갱신된다.

패칭 후 실험했을 때 이용자의 움직임에 즉각적으로 반응하며 움직일 때마다 궤적이 투명하게 겹쳐져 나타나는 것을 볼 수 있었다. 반대로 움직이지 않을 때는 프레임이 계속 누적되어 선명하게 잔상이 남아있는 형태로 반영되었다. 그림 10 속 카메라를 들고 있는 좌측 이용자는 고정되어 있기때문에 잔상 없이 선명한 모습으로 나타났으며, 우측 이용자는 계속 움직였기 때문에 이동한 궤적이 겹쳐져 남아있다. 그리고 오래된 잔상은 서서히 없어진다.

Fig. 10.

Technology implementation on screen


Ⅳ. 실험결과

역할갈등을 주제로 한 인터랙티브 전시에 따른 이용자의 반응을 분석하기 위해 설문조사를 시행하였다. 설문조사는 10일 동안 제안된 제작기법으로 구현된 전시콘텐츠인 ‘WAI Project’를 관람한 인원을 통해 진행했다. 총 73명이 참여하였고 무응답 1명을 제외한 72명의 결과를 취합하였다. 전시의 타당성을 묻는 질문부터 이용된 기술에 대한 이용자 만족도를 다룬 질문으로 구성되어 있으며, 1점(매우 아니다)에서 5점(매우 그렇다)로 각 항목에 대한 정도를 선택하게 하였다.

그림 11은 전시 관람 전후의 변화를 나타낸 것이다. 전시 관람 전 역할갈등을 겪는다고 느낀 응답자가 45명이였으나 전시 관람 후 63명으로 증가하여 전시를 통해 25%(18명)에 해당되는 관람객이 증가하였다. 따라서 전시를 통해 스스로 자신의 역할갈등을 인지하게 되었음을 보여준다.

Fig. 11.

Satisfaction comparison of experience exhibition

이어서 그림 12와 같이 전시에 활용된 기술이 이용자와의 인터랙션을 활발히 이끌어냈는지 조사했다. AR어플리케이션을 통해 역할갈등의 개념을 인지하고, 역할갈등을 파악하게 되었다는 응답자는 92%(66명), 증강현실 활용이 전시에 유용했다고 응답한 이용자는 87%(63명)이였다. 대다수의 이용자가 증강현실을 통해 역할갈등에 대한 개념을 체험하고, 깊게 이해했음을 알 수 있었다. 또한 기술을 활용한 인터랙션이 잘 되었음을 보여준다. vvvv를 활용한 실시간 비디오 합성 인터랙티브 콘텐츠는 스스로가 역할갈등을 인지한 후 시사점을 제공하는 단계로 관람 후 자신의 역할갈등에 대해 생각하게 되었다는 이용자가 74%(53명)이였다.

Fig. 12.

Satisfaction with the exhibition using technology

따라서 대부분의 이용자가 기획의도에 부합한 응답을 보였으며 인터랙티브 아트를 통해 확실히 이해가 되었음을 알 수 있다. 마찬가지로 실시간 비디오 합성을 통한 인터랙티브 아트가 전시 관람에 유용했다는 이용자가 86%(60명)로 인터랙티브 아트가 전시의 의도에 부합했으며 이를 통해 이용자가 이해하고 체험했음을 알 수 있다. 마지막으로 인터랙티브 미디어 기반의 체험형 콘텐츠를 활용한 전시가 이용자에게 유효성이 있는지 분석하였다. 전시는 2가지 인터랙티브 미디어 기반의 체험형 콘텐츠와 2가지 비체험형 콘텐츠를 포함해 총 4가지의 요소로 구성되어 있었으며, 이를 비교해 어떤 전시 요소가 이용자들에게 만족을 주었는지 확인했다.

그림 13은 전시를 관람한 후 가장 인상깊었던 콘텐츠를 조사한 것이다. 이와 같이 인터랙티브 미디어 기반의 체험형 콘텐츠는 그렇지 않은 콘텐츠에 비해 64% 더 많은 만족도를 이끌어냈으며, 종합적으로 체험형 콘텐츠를 통해 이용자가 전시를 효과적으로 파악했음을 알 수 있다.

Fig. 13.

Analyzing the effects of interactive media

전시는 하나의 주제를 통해 인지부터 스스로 생각할 수 있는 시사점까지 던지는 것을 목표로 했으며, 이를 효과적으로 표현하기 위해 두 가지 기술을 활용했다. 설문조사를 통해 이용자를 분석했을 때, 전시를 통해 역할갈등을 인식한 이용자도 있었으나 대부분 자신이 역할갈등을 겪고 있음을 알고 있었다. 하지만 역할갈등 표현하기 위해 다룬 기술은 적합했음을 알 수 있기에 향후 목표로 역할갈등을 인지시키기보다 이용자들이 스스로 해결할 수 있게 전시의 내용을 발전시켜야 할 필요성이 있다.


Ⅴ. 결론 및 토의

전시콘텐츠는 최근 대두되는 예술과 테크놀로지의 융합인 인터랙티브 아트를 기반으로 제작되었다. 본 논문에서는 사회문제로 발전할 가능성이 있는 역할갈등을 주제로, 현대인에게 스스로 생각할 수 있는 시사점을 던져주는 전시콘텐츠를 제안한다. 관객이 자신이 겪고 있는 사회문제를 기반으로 하여 직접 체험할 수 있고, 단순한 시사점을 던지기보다 전시콘텐츠에 참여해 완성해간다는 것이 제안된 전시콘텐츠의 특징이다.

사람들이 어떤 각도에서 증강된 영상을 보는지, 스크린에 자신의 궤적이 어떻게 남을지는 각기 개인에 따라 다르게 나타난다. 따라서 이용자와 전시의 인터랙션이 발생할 수 있게 제작하였다. 전시에는 크게 두 가지 기술이 사용되었고, 이는 기획의도에 부합하였다. 주제를 인식하고 사례를 볼 수 있는 AR 어플리케이션을 유니티로 제작해 전시의 1, 2 단계에 활용했고, 시사점을 느낄 수 있게 실시간 합성 비디오를 vvvv로 제작해 자신이 현재 해당 주제로 삼고 있는 문제에 닥쳐있다는 것을 나타냈다. 설문 조사 결과 전시를 관람한 대부분의 이용자가 기술 활용에 대해 긍정적인 모습을 보였고, 관객과의 인터랙션으로 완성되는 전시가 지속적으로 발전 할 수 있음을 알 수 있었다. 기술적인 면과 주제에 부합한 인터랙션은 좋았으나, 추후 주 이용자를 분석하고 보다 심층 깊은 전시 주제를 선택해 전시 관람 전후가 확연히 차이나게 설정해야 할 필요성이 있다.

Acknowledgments

이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2020R1F1A1073866)

References

  • H. Y. Yoo, "A Study on the Interaction Type and Characteristics of New Media Arts" Journal of Digital Design, Vol. 15, No. 2, pp. 489-498, Apr. 2015. [https://doi.org/10.17280/jdd.2015.15.2.046]
  • C. Zhang and M. Y. Um, "Convergence of Art and Technology : Based on E.A.T."s Periodic Background and Characteristics of Works", Journal od the Korea Contents Association, Vol. 19, No. 4, pp. 477-489, Apr. 2019.
  • H. H. Jung, "A Study on the Aesthetic Characteristics of Digital Art", Journal of Digital Design, Vol. 12, No. 1, pp. 203-212, Jan. 2012. [https://doi.org/10.17280/jdd.2012.12.1.020]
  • Randall S. Schuler, "The effects of role perceptions on employee satisfaction and performance moderated by employee ability", Organizational Behavior and Human Performance, Vol. 18, No. 1, pp. 98-107, Feb. 1977. [https://doi.org/10.1016/0030-5073(77)90020-4]
  • Sangzo Nam, "Analysis of Correlation between Real-time Sales Ranking and Information Provided by Mobile Movie Platform: Focus on Nondescriptive Information in Google Play Store’s Best-selling Movies",  Journal of Advanced Information Technology and Convergence,  Vol. 9, No. 2, pp. 41-54, Dec. 2019. [https://doi.org/10.14801/JAITC.2019.9.2.41]
  • Seong-Hoon Lee, " An Analysis on the Changes of Logistics Industry using Internet of Things", Journal of Advanced Information Technology and Convergence, Vol. 9, No. 1, pp. 57-66, Jul. 2019. [https://doi.org/10.14801/JAITC.2019.9.1.57]
  • H. H. Cheon, "Art and Nanotechnology: Haptic Mimesis of Reality", Journal of History of Modern Art, No. 36, pp. 211-231, Dec. 2014. [https://doi.org/10.17057/kahoma.2014..36.008]
  • E. J Kang, Y. Y. Jang, and B. Rhee, "Case Analyses and Discussions about Convergent Art Creation based on Artificial Intelligence", The Korean Society of Science & Art, Vol. 35, pp. 1-13, Sep. 2018. [https://doi.org/10.17548/ksaf.2018.09.30.1]
  • E. S. Yi and S. Y. Kim, "A Study on KOPIS for Performing Arts Industry of the era of 4th Industrial Revolution", The Korean Society of Science & Art, Vol. 28, pp. 227-242, Mar. 2017. [https://doi.org/10.17548/ksaf.2017.03.28.227]
  • Kluszczynski, R. "Strategies of interactive art", Journal of Aesthetics & Culture, Vol. 2, No. 1, pp. 5525, Oct. 2010. [https://doi.org/10.3402/jac.v2i0.5525]
  • M. Jeon, R. Fiebrink, E. A. Edmonds, and D. Herath, "From rituals to magic: Interactive art and HCI of the past, present, and future", International Journal of Human-Computer Studies, Vol. 131, pp. 108-119, Nov. 2019. [https://doi.org/10.1016/j.ijhcs.2019.06.005]
  • Y. Y. Song, J. H. Lee, and S. Y. Kim, "Analyses on Satisfaction and Perception for Space according to Experiencing Interactive Media in Exhibition Halls", Korean Journal of Air-Conditioning and Refrigeration Engineering,  Vol. 24, No. 3,  pp. 271-280. Feb. 2012. [https://doi.org/10.6110/KJACR.2012.24.3.271]
  • K. H. Noh, H. K. Jee, and S. H. Lim, "Effect of Augmented Reality Contents Based Instruction on Academic Achievement, Interest and Flow of Learning", Journal of the Korea Contents Association, Vol. 10, No. 2, pp. 1-13. Feb. 2010. [https://doi.org/10.5392/JKCA.2010.10.2.001]
  • P. Milgram and F. Kishino, "A taxonomy of mixed reality visual displays", IEICE TRANSACTIONS on Information and Systems, Vol. 77, No. 12, pp. 1321-1329, Dec. 1994.
  • R. T. Azuma, "A Survey of Augmented Reality", Presence: Teleoperators & Virtual Environments, Vol. 6, No. 4, pp. 355-385, Aug. 1997. [https://doi.org/10.1162/pres.1997.6.4.355]
  • J. Carmigniani, B. Furht, M. Anisetti, P. Ceravolo, E. Damiani, and M. Ivkovic, "Augmented reality technologies, systems and applications", Multimedia tools and applications, Vol. 51, No. 1, pp. 341-377, Jan. 2011. [https://doi.org/10.1007/s11042-010-0660-6]
  • https://www.google.com/glass, [accessed: Sep. 08, 2020]
  • https://www.microsoft.com/hololens, [accessed: Sep. 08, 2020]
  • https://pokemongolive.com, [accessed: Sep. 08, 2020]
  • https://unity.com/, [accessed: Sep. 01, 2020]
  • https://vvvv.org, [accessed: Sep. 03, 2020]
  • https://developer.vuforia.com/, [accessed: Sep. 02, 2020]
  • https://vvvv.org/documentation/kr.patching-basics, [accessed: Sep. 01, 2020]
  • https://developer.microsoft.com/, [accessed: Sep. 05, 2020]
저자소개
이 현 주 (Hyeonju Lee)

2020년 8월 : 창원대학교 문화테크노학과(문화경영학사)

2020년 9월 ~ 현재 : 창원대학교 문화융합기술협동과정 석사과정

관심분야 : 문화기술융합, 컴퓨터비전, 증강/가상현실 HCI

유 선 진 (Sunjin Yu)

2003년 8월 : 고려대학교 전자정보공학(공학사)

2006년 2월 : 연세대학교 생체인식협동과정(공학석사)

2011년 2월 : 연세대학교 전기전자공학(공학박사)

2019년 9월 ~ 현재 : 창원대학교 문화테크노학과 부교수

관심분야 : 컴퓨터비전, 증강/가상현실, HCI

Fig. 1.

Fig. 1.
Virtual continuum defined by Milgram

Fig. 2.

Fig. 2.
Google Glass

Fig. 3.

Fig. 3.
Pokémon GO

Fig. 4.

Fig. 4.
3 stages of the exhibition

Fig. 5.

Fig. 5.
Proposed configuration diagram of application

Fig. 6.

Fig. 6.
AR camera system structure

Fig. 7.

Fig. 7.
Application flowchart

Fig. 8.

Fig. 8.
Real-time video system configuration diagram

Fig. 9.

Fig. 9.
vvvv patching

Fig. 10.

Fig. 10.
Technology implementation on screen

Fig. 11.

Fig. 11.
Satisfaction comparison of experience exhibition

Fig. 12.

Fig. 12.
Satisfaction with the exhibition using technology

Fig. 13.

Fig. 13.
Analyzing the effects of interactive media