얼굴 검출 기반 웹툰 커뮤니케이션을 이용한 힐링 콘텐츠

1.1 연구배경

최근, 문화와 기술을 융합한 다양한 형태의 콘텐츠에 관한 다양한 연구가 활발하다[1]-[3].

특히, 4차 산업혁명 시대를 맞아 문화와 새로운 기술의 만남은 더욱더 확산이 예상된다. 예를 들어, 선택권이 있어서 사용의 여부를 결정할 수 있는 ‘도구 미디어’와 생활의 필수 환경이 되어 사용하지 않고는 생활에 어려움이 따르는 ‘환경 미디어’가 있다면, 스마트폰이나 컴퓨터 등은 이미 환경 미디어와 같다. 그리고 이는 자연스럽게 문화산업과도 연관성이 생긴다. 문화산업을 기획하고 개발하는 것에서부터 제작에 이르기까지 정보통신 기술이나 디자인과 촬영 편집 관련 기술이 사용되기 때문이다.

다양한 분야의 문화산업 중에서도 대중성에 기반을 둔 만화, 웹툰과 기술의 융합에 관한 여러 연구가 있다[4][5]. 기존의 웹툰이 만화책처럼 보기만 하는 시각적 효과에 집중한다면, 기술이 융합된 웹툰은 시각적 효과에 국한되지 않는다. 네이버 웹툰에선 BGM 삽입이나 기타 음향 효과를 사용하고 있고, 다음 웹툰은 등장인물의 대사를 실제로 녹음한 더빙 효과를 사용하고 있다. 이렇듯 기존과 같이 멈춰진 시각적 표현으로만 연출이 가능했던 한계에서 벗어나, 작가가 표현할 수 있는 영역이 확장하고 있다. 또한, 웹툰과 독자 사이의 인터랙션(Interaction)도 있는데 ‘사이, 뜻하는 ‘Inter’와 ‘행동’을 뜻하는 ‘Action’을 서로 합친 단어로 상호작용이란 말과 같다. 즉, 작가의 웹툰과 독자 간의 커뮤니케이션을 뜻한다.

‘오비트 미디어’의 ‘오비트 코믹스’에서 쓰고 있는 비선형적 스토리 구성과 ‘Sutu사의 ‘Nawlz(www.nawlz.com)’에서 사용하는 인터랙티브 모션이 인터랙션에 속한다. 비선형적 스토리 구성은 단선적 내용 전개가 아닌 독자의 참여로 하여금 다양한 선택으로 다양한 전개가 이루어지게 하는 형식이다. 인터랙티브 모션은 마우스 커서를 롤오버하여 관람자의 반응에 따라 모션이 생성되어 관람자로 하여금 선택에 따른 상황의 의외성을 체험시켜준다. 웹툰과 기술이 융합된 인터랙션은 위와 같이 독자의 선택에 따라 변화하는 시각적인 요소와 스토리 전개에 몰입도를 증가시켜 주고 있다[6].

또한 인터랙션의 한 방법에는 얼굴을 검출하여 이용할 수도 있는데, 얼굴 검출의 방법으로는 기계 학습 메타 알고리즘인 Adaboost(Adaptive boosting)을 이용한 다양한 연구가 존재하는데, 얼굴의 특징데이터를 학습하고 생성을 하는 방식으로 얼굴을 검출 한다[7][8]. 본 논문에서는 비교적 사용하기 쉬운 프로그램인 Processing을 통해 이용한 간단한 얼굴 검출을 실행하도록 하였다.

2.1 웹툰의 정의 및 특성

‘만화’란 하나 또는 둘 이상의 구획된 공간에 실물 또는 상상의 세계를 가공하여 그림 또는 그림 및 문자를 통하여 표현한 저작물로서 종이 등 유형물에 그려지거나 디스크 등 디지털매체에 담긴 것을 말한다[9].

여기서 파생된 것이 웹툰이다. 웹툰은 인터넷을 뜻하는 ‘웹(Web)’과 만화를 의미하는 ‘카툰(Cartoon)’이 합쳐져 만들어진 신조어이며, 이름과 같이 제작될 때부터 웹의 속성을 짙게 띄고있다[10]. 예를 들면, 기존의 만화책은 칸에 기반을 두어 그려진 것을 횡 방향으로 넘기며 보지만 웹툰은 기존의 칸에 국한되지 않고, 이를 지우거나 흐릿하게 하여 만화에 대한 집중력을 높이고, 또한 횡 방향으로 넘기는 방식이 아닌 스크롤 방식으로 보는 것을 중심으로 한다. 또한, 스마트폰이나 휴대용 기기를 이용하여 더욱 간편하고 손쉽게 이용할 수 있고, 수많은 웹툰 중 대부분이 무료라는 점에서 현재 이용자 수가 꾸준히 증가하고 있다. 실제로 스마트폰을 이용하는 사람의 20%, 인터넷을 이용하는 사람의 30% 정도가 웹툰을 이용하는 것으로 조사되었고, 포털 사이트 중 접속자 수가 가장 많은 네이버 사이트의 웹툰 이용자 수는 한 달 평균 1,700만 명으로 추산된 바 있다[11].

2.2 웹툰 시장의 현황

만화산업은 지속해서 발전하고 있으며 이를 위한 정부의 지원도 꾸준히 진행되고 있다. 구체적으로 2018년 만화산업 총매출액은 1조 1000억 원으로 2014년 8,548억원 보다 2,252억원 증가하였고, 해외수출 규모는 2012년 1,710만 달러에서, 4000만 달러로 2배 이상 증가한 것으로 조사되었다[12]. 또한, 정부의 만화산업 지원 예산 역시 2011년 39억 9천만 원, 2012년 63억 원, 2013년 93억 1천만 원으로 급격한 증가 추이를 보인다. 한편 현 만화산업의 발전은 문화체육관광부가 발표한 ‘만화산업 발전계획'을 봐도 알 수 있다. 전망 있는 만화산업을 위해 부천에 2022년까지 '웹툰융합센터'를 지을 예정이며, 창작 공간, 입주실, 교육 공간이 구성되어 있다. 그뿐만 아니라, 최신 트렌드에 맞춰 5G 상용화 등 기술 환경 변화에 대응해 만화, 웹툰 분야의 신기술 융합연구와 콘텐츠 개발을 지원한다. 그리고 2020년 올해부턴 AR과 VR과 같이 신기술을 활용한 웹툰 개발을 지원하여 만화산업의 신성장 동력을 모색하고자 한다. 이를 통해 웹툰은 국내외적으로 꾸준히 상승 중인 판매액과 정부의 만화 관련 산업지원으로 인해 다양한 측면에서 강세를 보인다는 것을 알 수 있다[13].

웹툰은 다양한 문화콘텐츠의 원천 콘텐츠로 활용된다는 점에서도 주목받고 있다. 가장 친근한 경우는 영화 콘텐츠로의 연계 제작인데, Hun 작가의 <은밀하게 위대하게>는 장철수 감독, 김수현 주연의 영화로 제작되어 700만 명의 관객을 이끌었고, 1,000억원 이상의 경제 효과를 거두었다. 그 외에도 유명한 것은 강풀의 <아파트>와 <이웃 사람>, 윤태호의 <이끼>와 <내부자들>이 있고, 최근에는 주호민 작가의 <신과 함께> 웹툰이 영화화되었는데 이는 웹툰의 영화화로써 가장 성공한 사례다. 각각 1편과 2편으로 <신과함께-인과 연>과 <신과함께- 죄와 벌>로 제작되었다. 2편의 영화가 모두 1000만 관객을 돌파하면서 웹툰의 영화화에 대한 대표적인 예시가 되었다. 그리고 웹툰은 연극이나 뮤지컬 등의 콘텐츠로 재구성되는 경우도 있다. 강풀의 <순정만화>가 2005년 연극 공연을 시작하였고 <바보> 2007년, <그대를 사랑합니다>는 2008년에 공연을 시작하였다. 하일권의 <삼봉 이발소>와 이익수의 <새끼손가락>도 각각 2011년, 2012년에 공연을 시작하였다(송요셉, 2012). 하일권의 <목욕의 신>과 김규삼의 <쌉니다 천리마마트> 역시 출판, 영상뿐만 아니라 게임 콘텐츠로 제작이 이어져 웹툰의 대표적인 원소스멀티유즈(OSMU, One Source Multi Use) 사례로 꼽히고 있다[14].

2.3 웹툰의 또 다른 활용

OSMU와 같이 각각의 분야에서 활약하는 웹툰은 그 효용 범위가 더 넓어지고 있다. 그중 눈여겨볼 것이 바로 ‘힐링’이다.

푸드나 여행 등 다양한 분야에서 힐링이 사용되고 있다. 그만큼 힐링은 떠오르는 콘텐츠이고, 요즘의 삶에선 무엇을 하든 여행, 음식 관광과 관련하여 각종 다른 활동들에서도) 다들 많이 찾는 단어이며 생활과 밀접하게 관련되어있다. 21세기에 들어서 관광객들의 힐링 욕구가 높아졌을 뿐 아니라, 힐링에 대해서도 관심이 높은 것으로 나타났다[15].

‘힐링’은 액션, 공포, 유머 등 다양한 웹툰의 장르 중 하나로 인간의 정신적, 신체적 상태가 회복되는 것으로서 치유라고도 하고, ‘건강하도록 치료하거나 회복하는 행위 또는 과정’ 또는 ‘건강을 얻는 과정’으로 정의할 수 있다.

‘힐링’이란 단어는 2000년대 중후반 즈음에 들어서면서부터 TV 프로그램이나 인터넷에 나타난 비교적 최근의 주제이다. 이는 의미가 ‘웰빙’과도 비슷한데, ‘웰빙’은 물질적인 풍요를 내세우는 반면, ‘힐링’은 정신적 치유의 느낌이 강하다.

힐링 콘텐츠는 '범용성'과 '친환경'을 아우를 수 있고 콘텐츠 내에서 어떤 행위나 결과에 대해 '치료'와 '정화'란 개념이 키워드로서 중심축으로 개발 방향성을 가진 기능성 콘텐츠이다. 급속한 사회 변화와 함께 디지털 또한 빠르게 발전하고 있는 시점에서 사람의 심신에 무해한 내용물로 구성되어 있고, 특히 소외계층과 사회소수, 약자를 고려하고 위하며 치료 및 정화의 기능이 있는 긍정적인 콘텐츠이다. 게다가‘힐링’의 효용성이 웹툰으로써 보기만 하는 것으로 끝나는 것이 아니라 치유적인 측면에서 활용할 수 있는 영역까지 확장하고 있다[16].

본 논문에서는 사용자와 콘텐츠 간의 상호작용을 통해 해당 웹툰에 포함된 힐링 요소를 조금 더 직접적인 느낌을 받을 수 있도록 구현하는 것을 목적으로 하고 있다.

3.1 제안 환경

Processing 프로그램은 시각적 표현을 쉽게 표현하기 쉬운 프로그램으로, 3D 그래픽이나 영상 관련 제어에 대해서도 잘 구성된 라이브러리 덕분에 보다 쉽게 구현할 수 있다[17]. 컴퓨터 관련 전공자를 제외한 다른 직업군들이 기본적으로 많은 시간을 들여야 하는 어려운 프로그래밍이 아닌, 누구나 작업을 할 수 있도록 제작된 언어이다. 본 논문에서는 프로세싱 프로그램을 중심으로 얼굴 검출 기술을 사용하였다. 이를 토대로 웹툰과 사용자와의 상호작용을 위해 기본 라이브러리 예제 중 하나인 LiveCamTest를 응용하여 관람객의 얼굴을 검출하고, 이를 웹툰의 한 장면에 연동되도록 구성하였다.

본 연구를 통해 웹툰을 이용한 힐링이라는 개념을 단순히 웹툰으로 보는 것이 아닌, 웹툰과 관객이 상호 소통할 수 있도록 보완하여 감성적으로 느낄 수 있도록 설계하였다. 웹툰 명장면 속 캐릭터의 얼굴에 자신의 얼굴을 삽입함으로써, 웹툰에 더 집중하고 간접적으로 주인공이 되어 그 장면을 느끼도록 하는 것이 목표이다.

3.2 얼굴 검출

얼굴 검출을 하기 위해 우선 프로세싱의 기본 OpenCV 라이브러리를 이용하였다. 정면 상에서 얼굴 전면에 해당하는 부위의 검출을 통해 웹캠에서 입력되는 실시간 비디오에서 해당하는 범위를 추출하였다. 단, 정면 상에서의 얼굴 검출이기 때문에, 정해진 발판 위에서 시선은 웹캠을 향하고 있는 상태로 전시를 실시하였다.

우선 라이브러리에서 OpenCV와 Video라이브러리를 추가한 후 실시간 비디오와 얼굴 인식을 위한 변수들을 전역변수로 선언해준다. 스케치 창의 크기를 지정하고 실시간 비디오와 얼굴 검출을 위한 화면 크기를 설정해 준 다음 얼굴을 맵핑할 장면 이미지를 불러와 Image에 해당하는 변수에 각각 저장한다. 그리고 이미지에 등장하는 인물의 얼굴에 실시간 비디오를 크기에 맞게 지정하고, 관객이 앞에 서면 캐릭터의 얼굴이 관객의 얼굴로 덮어지게 된다. 그 상태에서 자기가 원하는 때에 Enter를 누르면 화면이 멈춰 한 장면이 될 수 있도록, 실시간 비디오를 키고 멈출 수 있는 토글 버튼을 Enter로 지정한다[18].

3.3 사용자 피드백을 통한 웹툰 참여 시스템

사용자 피드백을 통한 웹툰 참여 시스템에서는 Processing 프로그램에서 다중 영상 출력에 필요한 웹캠을 이용하여 맵핑 시스템을 설계하였다. 그림 1은 웹캠을 이용한 시스템 환경개요도이다.

Fig. 1.

System environment

전시의 형태를 띠기 때문에 전시할 때, 크기가 작아 눈에 잘 띄지 않는 노트북과 웹캠을 사용하였고, 영상 장치로는 미니 빔 프로젝터를 사용하였다.

위 작품 환경설계 과정에서 관객과 작품의 인터랙션을 위해 버튼이라는 요소를 사용하였다. 그리고 해당 버튼은 원래 엔터키의 1,700배를 확대한 형태로, 이 버튼을 사용한 목적은 첫 번째로 ‘엔터(Enter)’라는 것이 원래 컴퓨터 키보드의 중심영역에 배치된 키이며, 어떠한 문장이나 입력의 완료를 알리기 위해선 반드시 눌러야하기 때문에 사용자로 하여금 이러한 심리를 이용하여 누르고 싶게 만들고 적극적인 참여를 유도한다. 두 번째 이유는 푹신한 형태로 구성된 제품 특성으로 인해 큰 힘으로 누르거나 손으로 찍어 누름으로써 스트레스 해소의 효과도 경험할 수 있기 때문에, 본 연구의 핵심 주제인 힐링과도 의미가 이어질 수 있도록 사용하였다.

제안된 작품 환경을 실행하기 위한 조건은 다음과 같다.

(1) 빔 프로젝터의 특성상 영상을 충분히 투영하기 위해서 충분한 암막이 필요하다. 빔 프로젝터가 투영하는 영상의 밝기보다 주변이 더 밝아진다면 주변 밝기에 의해 빔이 묻혀버리기 때문에 작품의 몰입감이 방해된다.

(2) 웹캠에 관람객의 얼굴을 담았을 시, 관람객 주변은 이목구비가 충분히 보일 정도로 주변이 밝아야 한다. 위 조건과 같이 빔의 밝기는 한정적이기 때문에 영상이 투영될 수 있을 만큼 밝아야 하지만, 이와 반대로 암막에 치중하게 되면 웹캠에서 처리된 얼굴이 보이지 않게 된다.

3.4 사용자 얼굴 검출을 통한 웹툰 참여 시스템

본 논문에서 제안한 사용자 얼굴 검출을 통한 웹툰 참여 시스템은 5단계로 볼 수 있는데, 첫 번째, 사용자가 노트북을 통해 시스템을 시작함으로써 시작된다. 두 번째, 실행된 시스템은 외부에서 영상을 읽어 들이기 위해 웹캠을 선택하고, 세 번째, 이를 통해 실시간으로 영상프레임을 연속적으로 얻게 된다. 그리고 웹캠으로부터 받은 영상프레임들에 대한 데이터는 웹캠에 등장하는 사람들의 얼굴 수의 값을 얻을 수 있도록 한다. 해당 얼굴 수의 값을 사용하여 그 값이 0이 나온다면, 사람이 없는 것으로 간주하고 맵핑 시스템이 실행되지 않고, 만약 0보다 큰 값이 나온다면 사람이 있음을 판단하고 정상 실행하게 된다. 네 번째, 이로부터 얼굴인식이 실행된 시스템은 끝으로, 그 결과를 빔 프로젝터를 통해 관객들에게 보여준다. 위와 같은 맵핑 시스템에 대한 논리적 구조는 그림 2와 같다[19].

Fig. 2.

Mapping system’s logical structure

그림 3은 논리적 구조를 통해 실행했을 시 출력되는 영상이다. 인식된 얼굴의 수가 0이라면 맵핑 전의 영상프레임이 등장하고, 인식된 얼굴의 수가 1 이상이라면 맵핑 후의 영상이 나오게 된다.

Fig. 3.

Original, before mapping, after mapping

3.5 작품 환경

그림 4는 작품 환경을 나타낸 것으로, 그림 3과 같은 구조의 밝기와 ‘LG’의 ‘PH250’미니빔(아래 파란색 원)과 ‘Logitech’의 ‘C270’ 웹캠(아래 붉은색 원)을 이용하여 실험 환경을 조성하였다.

Fig. 4.

Experiment environment

전시작품에서는 관람객이 본인의 얼굴을 전면에 투사된 웹툰 상에 특정 위치에 존재하도록 직접 이동 후 빅 버튼을 누르는 형식의 직접적인 작품 참여 방식과 관람객이 특정 위치에 들어서면 관람객의 얼굴을 컴퓨터 비전 기술로 검출하여 웹툰에 관람객의 얼굴을 삽입하여 투사 하는 형태로 구성하였다. 이를 구현하기 위해 Processing 기반으로 웹캠 라이브러리와 OpenCV 라이브러리를 응용하였다[17][20].

3.6 웹캠과 프로세싱을 이용한 맵핑 시스템 구현

앞서 제시한 개요도와 논리적 구조를 토대로 시스템을 구현하면 다음과 같다. 그리고 이를 체험할 시 실행되는 작품 시스템의 다이어그램은 그림 5와 같다. 시스템이 실행되기 전 기본 화면은 수많은 웹툰의 썸네일 예시 그림 6에 나타난다.

Fig. 5.

Diagram for understanding work’s system

Fig. 6.

Webtoon’s thumbnail example

그 후 그림 7과 같이 설정된 가이드라인 위에 서서 해당 웹캠을 보게 되면 웹캠으로부터 검출된 얼굴의 수가 1 이상이 되어, 미리 선정된 웹툰의 한 장면 그림 8과 같은 화면이 나오게 된다.

Fig. 7.

Guideline and webcam

Fig. 8.

When the number of detected faces is 1 or more, screen of output

얼굴 검출이 된 후의 출력 화면이 나왔다면, 그 뒤엔 버튼을 눌러 직접 원하는 얼굴을 삽입하거나 특정 위치에 이동하여 자동으로 얼굴을 웹툰에 삽입한다. 관람객 얼굴이 삽입된 웹툰 화면의 예는 그림 9와 같다.

Fig. 9.

After face detection, screen of output pressing button

버튼을 눌러 직접 삽입할 때는 자신의 얼굴을 원하는 표정과 원하는 때에 자유롭게 넣을 수 있게 된다. 삽입이 완료된 후 버튼을 한 번 더 누르게 되면 고정된 맵핑이 해제되고, 다시 처음으로 돌아가게 되어 새로운 맵핑을 할 수 있게 된다.