키넥트 카메라를 이용한 인터랙티브 콘텐츠 시스템

Ⅰ. 서 론

자연과학이나 공학과의 융합 예술이 발달함에 따라 실험적인 인터랙티브 작품이 전시장에 점점 늘어가는 추세로 다양한 분야에서 활동하는 전문가들이 협업 구조를 이루어 세미나 및 포럼, 전시 등의 성과를 낸다[1]-[6]. 융합 예술의 경우 분야마다 이론적, 기술적, 표현적인 이바지를 하며 그 과정에서 시너지효과를 나타낸다[6]. 실시간 인터랙티브 작품은 관람객의 움직임과 행동을 컴퓨터로 분석하여 연계성으로 관객과 작품과의 직관적인 상호작용을 가능하게 만들어 준다. 동작인식 기능의 라이브러리를 활용할 수 있는 키넥트(Kinect)는 실시간으로 깊이 정보를 분석하여 게임이나 전시 등 인터랙티브 콘텐츠에서 매우 뛰어난 반응속도와 높은 동작 인식 정확도를 보여준다. 이러한 키넥트 카메라의 즉각적인 반응은 작가의 의도와 관람객의 행동에 따라 다양한 형태로 표현되는 인터랙티브 콘텐츠에서 효과적으로 사용된다.

본 논문에서는 키넥트 카메라를 이용하여 관람객과 작품 사이의 거리를 활용한 인터랙티브 미디어 아트 작품인 ‘To young youth Padam! Padam! Padam!’에 사용된 예술과 기술을 융합한 인터랙티브 콘텐츠 시스템을 제안한다. 이 작품은 우리 시대의 힘든 순간을 살아가는 모든 청춘으로 표현되는 관람객에게 두근거리는 순간을 느낄 수 있게 해주는 영상 작품을 작품과 관객 사이의 거리에 따라 3가지 영상이 출력되도록 설계하였다. 본 논문은 작품의 상징적 의미를 파악하고 작품에 쓰인 시스템에 대한 기술적 구성에 대해 논한다. 제안된 시스템에서는 ‘좌절’, ‘지옥의 문’, ‘스포트라이트’로 정의된 세 가지 비디오를 통해 청춘의 아픔과 꿈, 그리고 미래를 표현하였다. 본 논문에서 사용하는 기술은 작품과 관객 사이의 거리에 따라 인터랙티브하게 출력되는 영상의 구동 방식이다. 이를 위해 관객이 전시 공간의 밖에 있는 경우, 전시 공간으로 들어왔을 경우, 그리고 작품 앞으로 가까이 다가서는 경우 등 세 단계로 나뉘어 영사되는 작품의 기술적인 구조를 제시한다. 끝으로, 실제 전시장에서의 작품 설치 구조와 관람객의 참가 반응을 관찰한 결과와 향후 보완해야 할 점을 추가로 서술한다.

Ⅱ. To young youth Padam! Padam! Padam!

‘To young youth Padam! Padam! Padam!’는 2019년에 제작된 작품으로 관람객의 거리에 따라 변화되는 인터랙티브 미디어 아트 스토리 라인을 구축하였다. 'To young youth'는 ‘젊은 청춘들에게’라는 뜻을 의미하며, 'Padam Padam'이란 프랑스어로 ‘두근두근’, ‘콩닥콩닥’이란 뜻을 가지고 있다. 작품명인 ‘To young youth Padam! Padam! Padam!’에서 Padam!을 세 번 강조함으로써 젊은 청춘들에게 ‘두근거림’이라는 하나의 메시지를 전달한다. 작품은 거리에 따라 순차적으로 변화하는 영상과 심장 소리와 유사한 음향 효과를 활용하여 관람객이 작품의 메시지를 여러 방향으로 느낄 수 있도록 한다. 이번 장에서는 인터랙션 표현 방식이 유사한 작품을 소개하며 ‘To young youth Padam! Padam! Padam!’라는 작품이 가진 상징적 의미와 스토리라인, 작품의 인터랙션 디자인 형태를 제시한다.

2.1 사례 분석

그림 1은 미디어 아티스트 JB Song가 엔지니어로서 미술 영역에 들어갈 때 경험했던 공포와 열등감을 레이저 빛을 사용한 심리적 벽을 만들어 표현해 놓은 ‘Art Field’작품이다. 이는 거리센서를 활용한 작품으로 관람객이 일정 거리 안으로 접근하게 되면 밝은 녹색 레이저 벽이 생기게 된다[7].

Fig. 1.

Art Field(2013)

그림 2는 Rafael Lozano-Hemmer의 ‘Vanishing Points’로 두 벽면에 설치된 비디오 작품이다. 격자무늬를 생성하는 소프트웨어가 관람객들의 3D 위치와 방향을 고려하면서 실시간으로 그래픽을 변형시킨다. 두 명의 참가자가 상호작용 영역에 들어가면 두 개의 소멸 지점이 관점과 일치하도록 만들어진다. 그리고 관람객들이 물리적으로 가까워지면, 두 격자가 일치하고 서로 섞이면서, 약간의 다채로운 순간을 만들어 낸다[8].

Fig. 2.

Vanishing points(2018)

이러한 미디어 아트 작품들은 거리센서를 활용하여 관람객과 센서 사이의 거리에 따라 다른 형태의 영상이나 효과를 출력하여 작품을 표현하게 된다. 관람객 경험 중심의 인터랙션 공간 디자인은 전반적인 지각 가능한 모든 면에서 관람자가 참여, 사용, 관찰하고 상호 교감을 통한 가치 있는 경험을 발생시킨다[9].

2.3 작품의 상징과 디자인 요소

‘To young youth Padam! Padam! Padam!’에서는 세 가지 비디오를 통해 작품의 내용을 전달한다. 관람객이 작품에 가까워질수록 키넥트를 통해 거리를 측정하게 된다. 거리마다 각각 다른 주제와 의도를 가진 영상이 순차적으로 출력되도록 구성되었다. 표 1은 사용된 비디오의 주제와 의도를 설명한다.

Table 1.

Subject and intention of used videos

2.3.1 Video 1 : 좌절

그림 3에서와 같이 관람객이 키넥트 인식 범위 밖에 있을 때 출력되는 Video 1에서는 주저앉은 발레리나, 머리를 감싼 아티스트 등 나이와 직업이 한정 지어져 있지 않은 여러 가지 청춘이 좌절하고 있는 현실을 보여준다. 청춘의 이런 모습은 모두 같은 크기의 액자 속 사진으로 표현되며 심장 소리에 맞춰 한 컷씩 넘어가게 된다.

Fig. 3.

Frustrated day laborer – Video 1

2.3.2 Video 2 : 지옥의 문

그림 4처럼 관람객이 작품 앞으로 좀 더 다가가게 되면 Video 2가 상영된다. Video 2에서는 Video 1의 현실을 표현한 액자틀 속의 사진이 깨지며 그림 5와 같이 꿈과 현실, 새로운 갈림길의 선택지가 되는 ‘지옥의 문’이 나오며 영상이 시작된다.

Fig. 4.

A broken reality – Video 2

Fig. 5.

La porte de l'Enfer – Video 2

오귀스트 로댕은 원래 ‘지옥의 문’ 제작을 3년을 계획했으나 죽을 때까지 37년간을 매달리고도 완성하지 못했다. ‘지옥의 문’에는 로댕의 수많은 작품이 포함되어 있으며 대표적으로 ‘우골리노 델라 게라르데스카’와 ‘생각하는 사람’ 등의 독립작품이 있다. 패권싸움에서 진 우골리노 백작은 물 한 모금 없는 굶주림에 시달리게 되었고, 결국 짐승과 같이 기어가며 죽은 자식을 잡아먹는 식인을 하려고 하고, 로댕이 그 모습을 상상하여 만든 작품이다[10].

이렇듯 로댕의 ‘지옥의 문’은 인간의 운명을 바라보는 ‘생각하는 사람’의 시각이 아주 비극적으로 표현된 작품이라 볼 수 있다. Video 2는 현실의 힘든 삶을 살아가는 청춘들의 단면을 보여주던 Video 1의 틀을 깨니 현실은 더욱더 비참한 지옥 같은 모습으로 다가오는 것을 영상으로 표현하였다.

2.3.3 Video 3 : 스포트라이트

한 발자국 더 다가가면 Video 3이 이어지게 된다. 열리지 않을 것 같은 미완성의 지옥의 문이 열리며 끝없이 펼쳐진 별로 가득한 하늘이 그림 6처럼 나오게 된다.

Fig. 6.

A pile of stars – Video 3

꿈같은 미래가 펼쳐질 것 같은 그 순간, 그림 7과 같이 부귀영화를 상징하는 영상에서 그림 8과 같이 시궁창 같은 현실적인 낡은 집구석 바닥까지 한없이 떨어지는 영상으로 이어진다. 이는 현실과 꿈의 경계에서 꿈을 선택하여 문을 열었지만, 비극적인 현실에서 일어날 수 있는 상황이 되어버린 것을 극대화 시키는 요소이며, 부와 명예가 꿈이 될 수 없음을 의미한다.

Fig. 7.

Wealth and honor – Video 3

Fig. 8.

Fall into a ditch – Video 3

그림 9를 보면 바닥이 드러난 뒤에는 시점이 앞으로 향하면서 무표정과 웃는 입 모양, 또는 웃는 얼굴과 무표정의 입 모양 등의 다양한 청춘의 모습이 콜라주 방식으로 등장한다. 이는 힘든 현실 뒤에 가려진 희망적인 꿈의 모습, 희망적인 웃음 뒤에 가려진 현실적인 비참함 등을 이중적으로 표현한 방식이며 현실과 꿈의 교차로상태를 의미한다.

Fig. 9.

Intersection – Video 3

이후 현실적인 역경의 연속이 이어지는 장면들이 이어지고, 마지막에는 그림 10과 같이 스포트라이트가 관객을 향해서 비치게 되는데 이것은 영화에서만 주인공이 등장하는 것이 아닌 이 전시를 바라보고 있는 모두가 자신의 삶에서 주인공이 될 수 있음을 뜻한다. 스포트라이트를 받는 관객의 두근거리는 순간은 극대화가 되고 작품은 끝이 난다.

Fig. 10.

Spotlight – Video 3

Ⅲ. 상호작용 콘텐츠 시스템

관람객들에게 인터랙티브 콘텐츠를 제공하는 ‘To young youth Padam! Padam! Padam!’을 관람객이 관람할 때 별도의 휴대장치 없이 편안하게 작품을 체험하기 위해 키넥트 카메라를 사용했다.

3.2 제안된 시스템 개요

그림 11에서와 같이 본 논문에서 제안하는 인터랙티브 콘텐츠 시스템은 작품과 관람객의 사이의 거리를 측정하기 위한 센서로 사용되는 키넥트 카메라, 거리에 따른 인터랙티브 콘텐츠를 처리하기 위한 노트북, 관람객에게 청각적인 효과를 제공하여 작품을 즐길 수 있도록 지원하여 몰입감을 극대화 시켜 주는 우퍼스피커, 그리고 관람객과 작품 사이의 거리에 따라 인터랙티브 콘텐츠를 상영하기 위한 빔프로젝터로 구성된다. 작품에서 사용된 키넥트 센서와 노트북, 우퍼스피커, 그리고 빔프로젝터 등의 모든 시스템은 관람객의 동선을 방해하지 않기 위하여 전시장 천장에 설치하였다. 이러한 시스템은 관람객의 이동에 제한이 없어지기 때문에 자연스럽게 작품 자체에 몰입할 수 있는 환경을 제공한다.

Fig. 11.

Floor plan

또한, 본 시스템에서는 작품과 관람객 사이의 거리 정보를 획득하기 위하여 키넥트를 작품 공간 입구를 바라보는 맞은 편 방향에 설치하였다. 이때, 카메라 보정을 통해 측정 거리는 키넥트와 관람객사이의 거리가 아닌 작품 벽면과 관람객 사이의 거리로 보정하여 사용한다. 이러한 배치는 복합미디어아트 작품을 관람하는 관객의 물리적 위치의 차이가 몰입도의 차이 변화가 생기며 물리적 위치가 가까워질수록 몰입도가 확장되기 때문이다[13]. 이를 통해 작품의 몰입감은 극대화되고 전시장에서는 관람객의 동선에 따라 인터랙티브 콘텐츠가 제공된다.

3.3 거리 데이터 처리 인터랙션

본 논문에서는 현실이라는 프레임에 갇혀 현실과 꿈의 관계 속에서 무기력증에 빠진 모든 청춘이 영상과 음향, 빛 매체를 통한 짧은 경험으로 다시금 인생에서의 소중한 순간을 회상하며 두근거리는 순간을 가질 수 있도록 미디어 아트를 사용하여 표현하였다.

그림 12를 보면 제안된 방법은 카메라 보정을 통해 작품 벽면(0m)으로부터 6m까지 센싱 범위로 설정하였으며, 범위 내에서 사람의 몸이 검출되면 얼굴 조인트를 추적하여 카메라로부터 얼굴까지의 거리를 계산하였다. 범위 내에 사람이 검출되지 않으면 청춘들이 좌절하는 모습의 스틸 컷이 담긴 Video 1이 실행된다.

Fig. 12.

Proposed method

계산된 거리 데이터 값이 3ｍ보다 크고 4m 이하이면 Video1이 실행되어 깨지는 영상 모션이 연출된다. 다음으로 측정된 거리가 1m보다 크고 3m보다 이하가 되면 Video3이 실행된다.

그림 13에서와 같이 본 작품은 작품과 관객의 거리가 가까워질수록 현실의 틀을 깨게 되는 영상이 나오게 되고, 또한 실제 거리가 가까워질수록 영상 속 깊이감도 앞으로 나아가는 내용의 일치감을 주어 작품에 몰입할 수 있는 환경을 조성하였다. 또한, 작품이 진행되는 동안 거리에 따라 우퍼스피커를 통해 관람객이 두근거리는 사운드를 청각으로도 느낄 수 있도록 설계하였다.

Fig. 13.

Increased immersion with distance

Kinect v2는 FOV(Field of View)는 수평 70도, 수직 60도를 가지고 심도 취득 범위는 0.5m ~ 8m이다. 또한 이전 프레임과 동일한 프레임 속도는 30FPS를 제공한다[14]. 전시장 세로 길이는 6m 이므로 그 범위 안으로 사람이 검출되지 않으면 Video 1이 상영되도록 설정하였다. 키넥트 깊이 센싱 범위는 8m까지 가능하지만 사람관절을 안정적으로 추적할 수 있는 지점은 4.5m이내이다[15][16]. 그래서 전시장의 중간지점인 4m 지점에 서게 되면 Video 2가 나오도록 설정해 두었다. 4m 위치에는 천장에 우퍼스피커가 위치하기 때문에 관람객이 영상에 가장 몰입할 수 있다. 키넥트 인식 최젓값은 0.5m이며 관람객이 영상을 최대한으로 볼 수 있는 FOV을 확보하기 위하기 위해서는 1m이상의 거리가 있어야 한다. 그래서 거리가 1m에서 3m 사이가 되면 Video 3이 나오도록 하였다. 전시에 참여했던 60여명의 관람객을 상대로 ‘키넥트 카메라를 이용한 상호작용 콘텐츠 시스템 전시 체험 후 설문조사’를 진행하였다.

표 2자료를 보게 되면 키넥트를 이용한 상호작용 콘텐츠 시스템을 갖춘 전시는 동선에 불편함이 없었다에 ‘매우 그렇다’라고 응답한 인원은 37명(61.6%)이었다. 또한 거리가 화면과 가까워질수록 콘텐츠에 몰입도가 어땠는지 물어보는 질문에 ‘매우 그렇다’라고 응답한 인원은 37명(61.6%)이었다.

Table 2.

Survey data

마지막으로 그림 14를 보면 전시 체험 전 평소 일상에서 두근거리는 순간이 있냐는 설문에 ‘보통’으로 응답한 인원이 21명(35%)로 가장 높았다. 하지만 전시 체험을 통해서 두근거리는 순간을 경험 할 수 있었냐는 질문에 ‘매우 그렇다’라고 응답한 인원은 27명(45%)으로 가장 높은 수치를 보였다. 이를 통해 키넥트 이용한 인터랙티브 시스템이 작품 관람 시에 몰입감을 주고 두근거림을 줄 수 있는 시스템임을 확인할 수 있다.

Fig. 14.

Comparison of exhilaration moments before and after the exhibition experience

Ⅳ. 결론 및 토의

본 논문에서는 인터랙티브 콘텐츠 작품인 ‘To young youth Padam! Padam! Padam!’을 중심으로 기술과 예술의 융합을 통해 만들어지게 된 작품의 의미와 상징성을 파악하고 기술적인 제작과 구현에 대하여 논하였다. 또한, 실시간으로 키넥트 카메라를 통해 전시 공간의 관람객을 검출하고 관람객과 작품 사이의 거리를 측정하여 사전에 설정해 놓은 거리에 따라 영상과 음향 효과를 다양하게 적용하는 인터랙션 콘텐츠 시스템에 관해 연구하였다. 인터렉티브 작품 개발 과정에서 추가연구가 필요한 부분들을 발견하였다. 한 명 이상의 관람객이 들어와 관람할 때 오류가 없도록 센서가 맨 처음 사람만 트래킹 하도록 설정해 두었다. 그래서 뒤에 들어오게 된 관람객은 무조건 앞 사람의 전시 관람이 끝나야 관람이 가능했다.

향후 발전된 작품을 위해서는 다양한 경우의 수를 생각하여 센싱범위를 디테일하게 설정하는 방법과 관객의 수를 컨트롤 하는 방법 등을 연구할 예정이다. 키넥트 센서를 이용한 인터랙티브 콘텐츠의 기술적 분석은 관람객과 상호작용하는 실감형 콘텐츠에 관한 지속적인 연구의 발판이 될 수 있다. 향후 본 연구의 기술을 다른 작품에도 연결해 관람객의 거리와 행동에 따른 다양한 형태의 인터랙션 연구까지 발전해 나가게 된다면 더욱 좋은 연구결과로 이어지게 될 것이다.

Acknowledgments

이 논문은 2019~2020년도 창원대학교 자율연구과제 연구비 지원으로 수행된 연구결과임

References

• H. Xuan and K. S. Nam, "A Study on Case Analysis on Interactive Media in Exhibition Space - Around the Exhibition in Seoul", Proceeding of Conference on Korean Institute of Interior Design, Seoul, Korea, pp. 296-299, May 2018.
• H. Kim, "Aesthetic Characteristics in Interactive Media Facade", Journal of the Korea Contents Association, Vol. 16, No. 9, pp. 658-666, Sep. 2016. [https://doi.org/10.5392/JKCA.2016.16.09.658]
• D. Liu, T. Liu, Z. Lian, and Y. Hwang, "A Study on the Empirical Characteristics of Exhibition Space Using New Media - Focused on the cases of digital media art museum", Proceeding of Conference on Korean Institute of Interior Design, Kyungsan, Korea, Vol. 21, No. 1, pp. 350-353, May 2019.
• M. Lister, J. Dovey, and S. Giddings, "New media: A critical introduction (Second Edition)", Routledge, Dec. 2008.
• H. Lee and W. Lee, "A study on interactive media art to apply emotion recognition", International Journal of Multimedia & Ubiquitous Engineering, Vol. 9, No. 12, pp. 431-442, Dec. 2014. [https://doi.org/10.14257/ijmue.2014.9.12.37]
• J. N. Roh and S. W. Lee, "Design of 3D Interactive Particle System with Range Image Sensor: Case of Media Art Work in Vivo-Silico", Society of Design Convergence, Vol. 13, No. 2, pp. 83-98, Apr. 2014.
• http://jbsong.com/index.php/art-field/ [accessed: Mar. 16, 2020]
• http://www.lozano-hemmer.com/vanishing_points.php, [accessed: Mar. 18, 2020]
• Q. Y. Shi and K. S. Nam, "A Study on the Spatial Support of Interactive Media Art focused on the Viewers Experience", Journal of the Korean Institute of Interior Design, Vol. 28, No. 4, pp. 124-132, Sep. 2019. [https://doi.org/10.14774/JKIID.2019.28.4.124]
• S. U. Yu, "[World's Immortal masterpiece (1)] Rodin-The Gates of Hell", Monthly Art Magazine : Misulsegae, Vol. 1, No. 1, pp. 85-95, Feb. 1984.
• https://developer.microsoft.com/ko-kr/windows/kinect/, [accessed: Sep. 01, 2019]
• M. Naeemabadi, B. Dinesen, O. K. Andersen, and J. Hansen, "Influence of a Marker-Based Motion Capture System on the Performance of Microsoft Kinect v2 Skeleton Algorithm", IEEE Sensors Journal, Vol. 19, No. 1, pp. 171-179, Jan. 2019. [https://doi.org/10.1109/JSEN.2018.2876624]
• H. S. Kim and M. R. Jung, "Expansion of Commitment according to Viewer Location of Multi Media Art–Exh–bition - Focusing on ETERNAL RECURRENCE Exhibition", The HCI Society of Korea, pp. 859-862, Feb. 2019.
• C. Wang, Z. C. Lin, and S. C. Chan, "Depth Map Restoration and Upsampling for Kinect v2 Based on IR-Depth Consistency and Joint Adaptive Kernel Regression", 2015 IEEE International Symposium on Circuits and Systems (ISCAS), Lisbon, Portugal, pp. 133-136, Jul. 2015. [https://doi.org/10.1109/ISCAS.2015.7168588]
• https://social.msdn.microsoft.com/Forums/en-US/c95d3e40-6ed6-47a1-a206-5ff26c889c29/kinect-v2-maximum-range?forum=kinectv2sdk, [accessed: June. 03, 2020]
• B. V. Bien, B. T. Long, and N. D. Toan, "Improving the Depth Accuracy and Assessment of Microsoft Kinect v2 Towards a Usage for Mechanical Part Modeling", Journal of the Korean Society for Precision Engineering, Vol. 36, No. 8, pp. 691-697, Aug. 2019. [https://doi.org/10.7736/KSPE.2019.36.8.691]