ARKit을 활용한 모바일 AR 퍼포먼스 드로잉 콘텐츠 개발

2.1 퍼포먼스 드로잉

퍼포먼스 드로잉은 1960~70년대에 고전적인 드로잉 개념을 현대적으로 재해석하는 경향에서 생겨났다. 완결성보다 과정과 실험을 중요시하며 새로운 표현 방법을 모색한다[6]. 종이와 연필뿐만 아니라 디지털 디바이스와 같은 뉴미디어가 재료로 쓰인다. 표 1은 퍼포먼스 드로잉의 예를 보여준다. 표현 방식은 예술가가 직접 그림을 그리는 경우부터 신체가 붓이 되어 드로잉 하는 경우까지 다양하다. 주로 예술가가 실시간으로 드로잉을 진행하며, 관객의 호응이 어우러지는 연극적인 성격으로도 연출된다.

Table 1.

Performance drawing

이어서 표 2를 참고하며 뉴미디어 기술을 활용한 퍼포먼스 드로잉을 소개하고자 한다.

Table 2.

Performance drawing using technology

1. Drawn to Experience: A survey into Performance DrawingKellie O’Dempsey 작가의 실험적인 드로잉 전시로, 2013년 9월 브리즈번 POP 갤러리에서 진행되었다. 종이에 붓으로 드로잉 한 뒤 디지털로 드로잉 하여 종이에 비추는 중첩된 형식을 보였다. 이와 비숫한 형식으로 Draw to Perform 2(2015, 런던) 등에서도 퍼포먼스 드로잉을 선보였다[7].

2. VR Drawing Performance염동균 작가, 피오니 작가 등 많은 예술가들이 시도하고 있는 VR 드로잉 퍼포먼스는 가상현실 드로잉 애플리케이션인 Tilt Brush를 통해 가상 공간에 3D 퍼포먼스 드로잉을 펼친다[8]. 주로 가상 공간에서 그리는 과정이 연결된 디스플레이에 출력되고 그것을 관객이 관람하는 형식이다.

3. Paper WindowPaper Window는 이철성 배우가 연출하고, 하소정 화가가 드로잉을 한 사례로 설명할 수 있다. 실시간 드로잉 영상을 무대 벽에 송출하며 공연자와 관객이 함께 이야기를 풀어나가는 형식의 미디어 드로잉 체험 퍼포먼스이다.

위의 사례는 모두 작가의 기획에 따라 일반적인 드로잉 재료뿐만 아니라 뉴미디어 재료가 적극적으로 쓰인다. Kellie O’Dempsey 작가의 퍼포먼스 드로잉은 작가의 퍼포먼스를 한 공간에서 관람자가 관람하게 되지만, 염동균 작가나 피오니 작가의 VR Drawing Performance는 가상 공간에서 드로잉한 것을 관객들이 디스플레이 화면을 통해 감상한다는 점에서 공간상 차이점이 있다.

한편 Paper Window의 경우 관객들이 퍼포먼스 드로잉에 참여한다는 점이 작가가 드로잉하여 작품을 마치는 Kellie O’Dempsey 작가의 퍼포먼스 드로잉과 VR Drawing Performance의 구성과는 다른 점이다.

2.2 AR 기술을 활용한 모바일 미술 콘텐츠

표 3과 같이 기존 AR 기술을 활용한 모바일 미술 콘텐츠는 공간 혹은 얼굴을 추적한 뒤 가상 오브젝트를 증강해 작품 제작과 감상하는 방식 또는 이미지를 추적하여 미리 준비된 체험을 할 수 있는 방식의 콘텐츠가 주를 이룬다.

Table 3.

AR mobile art contents

1. SketchAR사진을 추적해 스케치 도안을 증강하여 그림의 가이드라인을 제공하는 어플이다. 사용자는 공간을 인식한 뒤 도안 크기를 정하고 스마트폰에 증강된 선을 자신이 그린 선과 비교하면서 그림을 그린다.

2. Quiver종이로 프린트된 그림의 이미지와 마커를 기반으로 3D 객체를 증강한다. 이때 색칠한 대로 렌더링해 보여주며 색칠한 그림을 활용한 게임을 즐길 수 있다.

3. AR Doodle삼성 갤럭시 모델 중 안드로이드 10 OS 업데이트한 카메라 애플리케이션에서 제공된다. 공간과 얼굴을 인식해 가상 그림과 글을 추가할 수 있다.

2.3 ARKit 모션 캡쳐 기술인 Body Tracking을 활용한 모바일 콘텐츠

1. Fajrianti, Evianita Dewi 외는 인체 해부학 교육을 위한 인체 추적을 통한 증강지능기술 애플리케이션을 제시하였다. ARKit의 Body Tracking 기술을 통해 해부학을 학습할 수 있는 교육 콘텐츠로 기존 문자 기반 학습에 비해 AR 학습에서 학습 결과가 개선된 것을 해부학 퀴즈를 활용한 실험에서 확인할 수 있다[9].

2. Reimer, Lara Marie 외는 ARKit을 활용하여 질병 예방 및 재활을 위한 모바일 모션 트래킹을 제시하였다. 운동과 관련한 3가지 실험을 통해 ARKit의 모션 트래킹이 질적 평가가 필요하나 미리 학습을 하지 않고 운동을 인식할 정도의 기능이 있음을 확인하였으며 ARKit으로 운동 평가, 운동 인식, 운동의 반복 횟수 계산할 수 있음을 결론으로 도출해 내었다[10].

관련 연구를 통하여 그림을 그리는 등의 예술 경험을 지원하는 AR 모바일 콘텐츠 중 실시간으로 신체를 인식하고 추적하는 기능을 이용하는 경우는 개발이나 연구가 더욱 필요한 것으로 보인다.

공간이나 이미지를 인식하는 기술을 사용한 AR미술 콘텐츠들은 예술적 경험을 더욱 확장할 수 있도록 도움을 준다. 그러나 관람자와 작품 간 상호작용을 더 강화하면서도 사용성과 접근성이 좋은 콘텐츠 또한 필요하다고 생각된다.

따라서 본 논문에서는 모바일 디바이스에서 사용할 수 있도록 경량화된 모션 캡쳐 기술인 ARKit의 Body Tracking을 통해 사람의 양손을 추적하여 증강된 선으로 퍼포먼스 드로잉을 체험할 수 있는 콘텐츠를 제안한다.

3.1 AR 퍼포먼스 드로잉 콘텐츠 설계

기존 AR 모바일 미술 콘텐츠는 대체로 공간 추적을 기반으로 사용자가 제작한 것을 가상 객체로 배치하는 것이 대부분이다. 그러나 본 논문에서 제시하는 퍼포먼스 드로잉 콘텐츠는 인체를 인식하는 기술을 활용하여 사용자가 손을 움직이며 퍼포먼스 드로잉을 체험하도록 제작되었다. 그리고 내용을 영상으로 확인하고 동영상 결과물로 받아본다는 점에서 기존 AR 모바일 미술 콘텐츠와 작동 방식이 다르다.

제안하는 콘텐츠의 사용자는 디바이스의 후면 카메라에 신체가 전체적으로 인식되어야 하므로 모바일 디바이스와 거리를 둔 상태에서 애플리케이션에 있는 기능을 제어할 수 있어야 한다. 해당 콘텐츠를 사용하여 퍼포먼스 드로잉을 표현할 때 증강된 선의 색상, 너비, 길이, 신체 추적 기능 다시 불러오기, 영상 녹화 중지 등을 제어할 수 있어야 사용성 있는 콘텐츠라고 할 수 있을 것이다.

그러므로 음성인식 기술 중 하나인 STT(Speech-to-Text)를 결합해 음성을 통해 콘텐츠 내의 기능을 제어할 수 있도록 한다. 사용자가 말한 단어를 텍스트로 받아와 해당 텍스트가 입력되면 그 단어와 연결된 기능이 출력되는 방식이다.

기존 콘텐츠와 다른 방식의 콘텐츠를 설명하기 위해 흐름도(Flowchart) 디자인이 필요하다. 사용자가 콘텐츠를 실행하는 동시에 AR 퍼포먼스 드로잉 화면에서 STT 기능이 활성화된다. 콘텐츠 내에서 필요한 설정을 한국어로 제어할 수 있다. 콘텐츠 흐름도의 자세한 내용은 그림 1을 통해 확인할 수 있다.

Fig. 1.

Contents flowchart

3.2 AR 퍼포먼스 드로잉 콘텐츠 개발

제안하는 콘텐츠는 Unity를 통해 제작되었다. Unity는 게임 및 애플리케이션 제작을 위한 엔진으로 AR 콘텐츠 개발을 위한 프레임 워크인 ARFoundation을 지원한다. 그 하위 개념인 ARKit은 iOS 운영체제를 위한 AR SDK(Software Development Kit)이다.

ARKit에는 인체 관절을 인식하고 모션 캡쳐할 수 있는 Body Tracking이 있다.

ARKit의 모션 캡쳐 기능인 Body Tracking을 구동하려면 iOS/iPadOS 버전 13 이상이거나 A12이상의 프로세서를 지닌 모바일 디바이스를 사용해야 한다. 이러한 성능을 지닌 기종은 iPhone 12, iPhone 12 Pro, iPad Pro 이후 버전이 있다.

본 연구는 Mac mini(2018)(macOS Version 13.4.1)환경에서 Unity 2021.3.15f1를 사용하여 ARFoundation 및 ARKit XR Plugin Version 4.2.7로 콘텐츠를 제작한 뒤 iPad Pro 12.9(5세대)(iPadOS Version 16.5.1)에 빌드하여 콘텐츠를 구현한다. 음성인식 API는 네이버 사의 CLOVA Speech Recognition(CSR)을 사용한다. 개발 환경은 아래 표 4에 요약되어 있다.

Table 4.

Development device and specification

Unity 내에서 AR 환경을 구축한 뒤 Body Tracking을 지원하는 기능인 AR Human Body Manager를 추가한다. AR Human Body Manager 내에서 인체를 3차원으로 추정할 것인지에 대한 여부를 묻는 Pose 3D를 사용할 수 있도록 체크박스를 클릭한다. AR 환경에서 왼손과 오른손 관절 위치를 추적한다. 추적된 위치를 기반으로 퍼포먼스 드로잉을 위한 가상 오브젝트인 선을 증강한다. 선을 시각화하기 위하여 가상 객체에 Trail renderer(트레일 렌더러)를 추가한다. Trail renderer는 궤적을 표현하는 그래픽 효과이다. 손의 출발 지점에서 선이 진하게 시작되며, 손이 지나간 위치에서는 서서히 사라지도록 설정되어, 사용자의 움직임에 따라 그려진 모양을 시각적으로 표현한다.

사용자 표현을 위한 다양한 기능을 갖추기 위해 UI를 제작한다. 그림 2에 보이는 것과 같이 Unity 캔버스에 각 색상 버튼을 추가한다. 현재는 '빨강, 노랑, 파랑, 하양, 검정, 무지개'색을 임의로 선정하여 색상을 선택할 수 있도록 갖춘 상태이다. 이후 선의 너비와 길이를 조절할 수 있는 슬라이더를 추가하여 더욱 다양한 표현을 할 수 있게 고안한다.

Fig. 2.

Contents implementation screen

모션 캡쳐 중 인체 추적이 중단되었을 경우 다시 인체를 추적하여 콘텐츠 사용을 지속할 수 있는 버튼과 화면 녹화를 완료 및 저장할 수 있는 버튼 또한 추가한다. 슬라이더 위쪽에는 음성인식을 입력하는 순간과 출력된 텍스트를 확인하는 흰색 패널이 마련되어 있다.

ARKit의 Body Tracking 기능은 후면 카메라로만 작동하므로 개별로 퍼포먼스 드로잉을 하면서 중간에 색상 등을 교체하기 어렵다는 문제가 있다. 이 문제를 Speech-to-Text(STT) 기술을 사용하여 해결하고자 한다. 사용자가 말하는 단어에 따라 선의 색상, 너비, 길이를 조정하고 인체 추적을 다시 부르거나, 녹화를 완료하는 기능을 제어한다.

STT 기술은 Unity에 내장된 네트워크 기능을 통해 네이버 사의 CLOVA Speech Recognition(CSR) API와 연결하여 사용한다. CSR은 HTTP 기반의 REST API로 제공된다. 한국어, 영어, 일본어를 지원하며, 1회 호출로 최대 60초까지 음성을 받아 글로 변환할 수 있다[11]. 이 콘텐츠에서는 한국어를 받아오는 것으로 설정한 상태이다.

앱이 실행되면 자동으로 사용자의 음성을 녹음하고 후에 녹음한 파일을 텍스트로 받는다. 녹음 시작과 텍스트 받아오기는 연속된다. 마이크가 켜지는 시점은 흰색 패널로 표시한다. 표시가 나타나는 시점에 단어를 말하면 잠시 후 인식된 텍스트에 따라 기능이 제어된다.

마지막으로 사용자가 콘텐츠를 통해 만든 결과물을 화면 녹화를 통해 동영상으로 받을 수 있도록 Apple의 ReplayKit 기능을 사용한다. ReplayKit은 화면의 비디오와 마이크의 오디오를 녹음하거나 스트리밍하는 iOS 프레임 워크이다[12].

ReplayKit의 화면 녹화 기능을 연결하면 애플리케이션 진입 때마다 카메라와 마이크 권한을 승인해야 한다. 승인 뒤 녹화가 진행되며 'StopREC' 버튼 또는 음성인식(키워드: "완료" 또는 "녹화 그만")으로 녹화한 내용을 확인 후 저장할 수 있다.

다만, 해당 화면 녹화 기능은 화면 공유 기능(AirPlay)을 통해 다른 디스플레이에서 콘텐츠를 실시간으로 확인할 경우는 사용할 수 없다.

4.1 실험 구성

실험 구성은 다음과 같다. 실험 전 퍼포먼스 드로잉의 개념과 콘텐츠 사용 방법을 약 5분간 설명한다. 본 논문에서 제안하는 콘텐츠를 체험하도록 안내하고 현장에서 실험 설문지를 받는다.

퍼포먼스 드로잉 체험 중 표현해야 하는 주제는 자유이다. 주제를 정하기 어려워하는 피험자에게는 현재 느끼는 감정을 몸으로 표현해 보도록 제안하였다. 피험자는 원하는 시간(5분에서 10분) 동안 콘텐츠를 체험한 후, 객관식 및 주관식 설문지 작성을 안내받았다.

실험 환경은 전기 사용이 가능하며 주변의 소음을 다소 차단할 수 있는 실내 공간이다. 피험자와 실험에 사용된 모바일 디바이스의 거리는 1.5m에서 2m 정도이다. 이 거리는 피험자의 신장(키)과 움직임에 따라 달라질 수 있다.

구현된 콘텐츠는 모바일 디바이스의 후면 카메라로 피험자를 인식한다. 이로 인해 피험자가 퍼포먼스 드로잉을 하는 모습을 즉시 확인할 수 없는 문제가 있다. 이를 해결하기 위해 화면 공유 기능인 AirPlay를 활용하여 피험자가 콘텐츠 화면을 볼 수 있는 외부 디스플레이를 마련하였다.

뿐만 아니라 음성인식 효율성을 높이고, 퍼포먼스 드로잉의 연극적인 특성을 고려해 무선 마이크를 사용하였다. 무선 마이크는 스피커에 연결되어 있다. 스피커가 출력한 소리는 모바일 디바이스에 내장된 마이크를 통해 입력된다. 이상으로 설명한 실험 환경은 그림 3을 참고할 수 있다.

Fig. 3.

Contents experiment environment design

본 실험에 사용된 설문지는 시스템 사용성 척도(System Usability Scale, SUS)이다. 이를 통해 제안하는 콘텐츠의 사용성이 어떠한지 객관식으로 응답받고자 한다. 표 5에 나타낸 시스템 사용성 척도는 모바일 서비스 등에서 매우 효율적으로 사용성을 측정할 수 있는 도구이다[13].

Table 5.

System usability scale

실험에 쓰인 설문은 표 6과 같이 한국어로 번역된 내용이다[14]. 설문은 총 10문항으로, 홀수 문항은 긍정 평가, 짝수 문항은 부정 평가이다. 응답은 ‘전혀 그렇지 않다’에서 ‘매우 그렇다’까지 5점 척도이다.

Table 6.

System usability scale (Korean)

4.2 실험 결과

실험은 경상남도 창원시에서 진행되었으며, 피험자 수는 총 30명이다. 피험자의 연령대는 20대부터 30대까지이다. 양손을 인식하면서도 음성인식으로 기능을 제어해야 하는 콘텐츠의 특성상 신체장애가 없고, 몸을 5분에서 10분가량 집중하여 움직여도 체력에 무리가 되지 않는 연령대를 대상으로 하였다. 피험자의 성비는 남 15명(50%), 여 15명(50%)으로 집계되었다.

콘텐츠 사용성 평가의 결과를 분석해 보고자 한다. 성별을 기준으로 통계를 도출해 보았을 때, 남성 평균 78.16점, 여성 평균 85.35점, 전체 평균 81.5점(95% 신뢰 구간: 81.5 ± 6.26 (75.2 ~ 87.8))으로 시스템 사용성 척도의 평균인 68점을 웃도는 점수를 받아 제안한 콘텐츠의 사용성이 우수함을 알 수 있다[15]. 또한 신뢰 구간이 상대적으로 좁아(75.21 - 87.79), 표본 평균이 모집단 평균을 잘 대표하고 있을 가능성이 높다. 실험 설문의 평균을 나타낸 통계는 그림 4의 그래프에 나타나 있다.

Fig. 4.

System usability scale(SUS) score

시스템 사용성 척도의 문항별 응답 분포도를 나타낸 그림 5를 참고하여 실험의 결과를 분석하고자 한다. 앞서 전체 평균 81.5점의 높은 점수를 받은 것을 확인했다. 그러므로 긍정 평가인 홀수 문항은 5점 ‘매우 그렇다’로 응답의 분포 되었고, 반면에 부정 평가인 짝수 문항은 1점 ‘전혀 그렇지 않다’로 응답이 분포되어 있다. 이러한 응답 분포 경향은 ‘7. 나는 대부분의 사람들이 이 시스템을 사용하는 방법을 매우 빨리 배울 것이라고 생각한다.’ 문항에서 ‘매우 그렇다’로 응답이 분포된 부분과 ‘8. 이 시스템을 사용하기가 매우 복잡하다는 것을 알았다.’ 문항에서 ‘전혀 그렇지 않다’로 응답이 분포된 부분에서 두드러진다.

Fig. 5.

Distribution chart of responses for SUS

문항별 응답 분포도에서 특징적인 부분은 ‘4. 이 시스템을 사용하려면 기술자의 지원이 필요하다고 생각한다.’ 문항의 응답이 ‘그렇지 않다’에서 ‘그렇다’까지 분포한 부분이다. 이는 음성인식을 통한 기능 제어나, 모션 캡쳐 기능을 활용한 퍼포먼스 드로잉 자체가 익숙하지 않아 실험 전 사전 설명 시간을 가진 후 체험을 진행했기 때문일 것이라고 예상된다.

이러한 해석의 근거는 주관식 설문을 참고하여 얻을 수 있다. 주관식 설문에 나타난 콘텐츠 사용에 관한 부정적 피드백의 대부분은 음성인식의 사용에 관한 내용(8명)이다. 몸을 움직이면서 동시에 음성인식을 시작하는 타이밍을 잡기가 어렵다는 의견이 있었다. 혹은 무선 마이크를 사용하는 것이 익숙하지 않아서 음성이 제대로 인식되지 않는 등의 기계적 문제가 설문에 나타났다.

긍정적 피드백은 대체로 퍼포먼스 드로잉 체험과 그에 사용된 모션 캡쳐 기술에 대한 새로움과 흥미, 즐거움을 표현한 것(14명)이다. 더불어 해당 콘텐츠가 제공하는 퍼포먼스 드로잉을 체험한다는 예술적 목적뿐만 아니라 교육, 운동 등의 목적으로도 발전할 가능성이 있다는 내용(6명)이 다수 나타났다. 실험 결과는 표 7에 요약되어 있다.

Table 7.

Summary of experiment results