Home

1980년대 초에서 2000년대 초에 출생한 밀레니얼 세대(M)와 1990년대 중반 이후부터 2000년대 초반에 출생한 세대(Z)를 통칭하는 MZ세대들은 장문의 텍스트 보다 적절한 타이밍에 보유한 이모티콘, 이미지 파일을 보내는 것에 더 흥미를 보인다[5]. 이렇듯 최근 SNS 상에서 의사소통 양상은 텍스트 위주로 소통하는 초기 모습과 다른 방식으로 빠르게 변화하고 있다. 특히 코로나 19의 판데믹 상황에서 비대면을 통한 온라인 환경에서 기존 텍스트 형태로 전달하기 어려운 미묘한 감정과 상황을 표현함에 있어서 이모티콘과 이미지 파일들은 전통적인 방법의 대안으로 채택되어 널리 사용되고 있다.

그림 2는 메신저 서비스를 통해 생성된 ‘고독방’을 보이고 있다. 참여 사용자들 간에 텍스트 형태로 대화하는 것이 아닌 이미지 파일만을 사용하여 대화를 진행한다.

Fig. 2. 
Example of an image-based communication channel ‘Solo Room’

한국의 스마트폰 보급률은 약 95%로 전세계에서 가장 높은 수치를 보이며, 스트리밍 기술의 발달로 인해 사람들은 끊어짐 없이 수시로 영상을 시청할 수 있게 되었다. 그 결과 최근 대표적인 동영상 공유 플랫폼인 틱톡, 인스타그램, 유튜브 등을 통해 숏폼 콘텐츠의 소비는 급증하며 콘텐츠 소비문화가 정착하였다[6]. 이와 더불어 여가활동이 다양해지고 소비할 콘텐츠 양이 방대해지면서 콘텐츠 소비에 있어서 시간적인 효율을 추구하는 경향이 나타나면서 효율적으로 콘텐츠를 소비하는 것을 선호하게 되었다. 또한 동영상 콘텐츠의 재생 시간이 단축되고 있으며 유튜브의 경우 5~10분의 짧은 영상을 게시하는 채널의 인지도가 높아지고 있으며 상위 채널의 평균 재생 시간은 12분인 것으로 나타났다.

기존 연구들로 이미지에 포함된 자막 영역을 식별 및 추출하는 알고리즘들이 제안되었다. 먼저 통계학적인 방법을 이용하여 색상극성을 결정하고 이에 따라 잡음을 제거하여 문자영역을 인식하는 방법은 지역 필터링(Region filling)과 색생 군집화(Color clustering) 기법을 사용하여 배경을 제거하고 문자영역을 추출한다[7]. 하지만 이러한 방안은 색상을 이용하여 문자영역의 여부를 결정하기 때문에 다양한 색상의 자막이 사용되면 정확도가 떨어질 수 있다. [8]은 배경과 자막 사이에 천이 영역이 있다는 것을 인지하여 자막영역을 추출하는 방법이다. 이 방법은 자막영역 인식률이 뛰어나지만, 실제 예능 같은 TV 프로그램에서의 자막영역을 추출할 때 자막이 아닌 다른 플로팅 데이터까지 추출할 수 있다. 또한 예능과 같은 영상에 자막이 정형화된 텍스트 모양으로 존재하는 것이 아니라 이모티콘 또는 다양한 심볼이 추가되는 특수 자막 유형에 대한 추출이 어렵다. 그러므로 최근 유튜브 및 예능 분야 동영상 콘텐츠에서 빈번하게 출현되는 영상에서의 자막 및 특수 자막 추출 방법이 필요하다. [9]은 인공 신경망을 이용하여 자막 픽셀의 수와 에지의 중앙 픽셀의 밝기들의 표준 편차 등의 특징들로 학습을 하여 자막을 인식한다. [10]은 자막 영역을 인식하는 방법을 제안하여 자막 영역의 모양을 학습하여 예측한다. 또한 자막 영역을 효율적으로 인식할 수 있도록 일부 개선된 모델이 OCR API로 제안되었다[11]. [12]는 자막 텍스트의 모양 식별을 위해 텍스트의 형상을 기반으로 에지를 추출하고, 후보 자막 영역을 도출 및 레이블링을 통해 비자막 영역을 식별한다.

비록 자막의 모양을 고려하여 자막 영역을 식별하지만 특수 자막에 해당되는 데이터를 반복적으로 적용한 기계 학습 모델이 존재하지 않기 때문에 다양한 형태의 특수 자막 및 비자막 식별이 어렵다. 따라서 기존에 제안된 방법들은 이미지에 포함된 모든 텍스트 추출을 목표로 하여 자막 영역에 포함되지 않은, 즉 자막 영역 이외의 배경 및 사물에 포함된 문자 이미지, 텍스트 등을 자막으로 인식될 수 있다. 따라서 이미지에서 자막영역 식별하고 자막영역으로부터 일반 및 특수 자막 추출을 위한 방법이 필요하다.

숏폼 콘텐츠 동영상을 프레임 별로 분리한다. 정확한 모폴로지 연산을 위해 선별된 프레임들을 1280x720로 고정한다. 동영상에 포함된 모든 프레임을 대상으로 자막 식별을 수행할 경우 중복 장면이 포함되며 연산 속도가 또한 느려질 수 있으므로 2초에 한 번씩 프레임을 추출한다.

기존에 이미지에서 문자 영역을 인식하는 다양한 알고리즘들이 제안되었다[14][15]. 그렇지만 기존방법들은 다양한 크기와 이모티콘을 사용하는 특수 자막을 인식을 못하는 경우가 발생한다. 따라서 제안 시스템은 특수 자막을 인식하기 위한 모폴로지 연산을 제안한다. 이를 위해 자막영역 인식은 다음과 같다. 먼저 1) RGB 이미지를 회색조(Gray scale) 변환 단계, 2) 기울기(Gradient) 연산을 통한 글자의 외곽선만 추출 단계, 3) 외곽선 중 특정 기준 값(threshold) 이상인 부분만 남기고 나머지 부분은 제거하는 이진 분류 단계, 4) 자막 부분을 하나의 영역으로 합치(Closing)는 단계, 마지막으로 5) 이미지에서의 윤곽(Contour)을 찾아 텍스트 영역 단위로 잘라내는 단계로 구성된다.

자막영역 인식 과정을 통해 자막영역이 인식된 데이터들에 대한 자막 여부 판별을 수행한다. 이를 위해 CNN 모델을 사용하여 개체 탐지, 이미지 분류, 랜드마크 식별에 널리 사용되는 MobileNet[16]을 이용한다. MobileNet으로 자막영역이 인식된 데이터들을 분류하고, 해당 영역이 자막이라 판단이 되면 OCR(Optical Character Recognition)을 적용하여 이미지에서 텍스트를 최종 출력한다. 이때 Kakao OCR을 이용하며 이미지와 텍스트 쌍은 키-값 형태로 저장한다. 키(Key)는 숏폼 이미지를 나타내며 값(Value)은 해당 이미지에 존재하는 자막에 표현한다.

제안 시스템의 실험을 위한 상세 환경은 표 1과 같다.

실험을 위한 자막 및 비자막 데이터 구축을 위해 숏폼 콘텐츠 동영상, 즉 7분~9분의 영상 50개(총 21,624 프레임)를 수집하였다. 이때 육안으로 자막 식별이 가능한 해상도인 1080이상의 화질의 영상을 수집하였다. 제안 시스템의 성능 평가를 위해 크게 두 가지 실험 데이터 집합으로 구분한다.

첫 번째 실험 데이터 집합은 기존 방법과 제안 시스템의 비교 평가를 위한 것으로 자막/비자막 데이터 각각 4,000개로 구성한다.

자막 데이터는 이미지에 존재하는 자막을 의미하며 하나의 이미지에는 여러 개의 자막을 포함할 수 있다. 비자막 데이터는 이미지에 포함된 임의의 텍스트를 의미한다. 또한 자막 데이터는 일반 자막과 특수 자막으로 구성한다. 특수 자막은 눈에 띄는 색상이나 크기, 다양한 그림 등을 통해 표현하여 정보 전달보다는 재미와 흥미 유도를 목적으로 사용하는 것을 뜻한다. 따라서 일반 자막과 특수 자막의 학습 데이터 집합과 테스트 데이터 집합은 각각 1,400개, 600개로 구성하고 비자막 데이터의 학습 및 테스트 데이터 집합은 각각 2,800개와 1,000개로 구성한다.

그림 4는 일반 자막, 특수 자막, 비자막을 낸다. 특수 자막은 그림 4의 (a) 녹색 영역에 해당하며 일반 자막은 그림 (b)의 녹색 영역과 같다. 비자막은 (a)와 (b)의 적색 영역에 나타난 텍스트를 나타낸다. 표 2는 실험용 자막(일반, 특수) 및 비자막 데이터를 학습데이터와 테스트 데이터로 구축한 건수를 보인다.

Fig. 4. 
Caption region and Non-caption region

두 번째 실험 데이터 집합은 모폴로지 연산의 성능을 실험 평가하기 위해 숏폼 콘텐츠로부터 추출한 이미지 1,500장으로 구성한다.

표 3은 위와 같은 방법으로 구축한 자막 데이터 건수를 나타낸다. 동영상에서 자막 또는 비자막의 개수가 편향될 수 있기 때문에 비교적 일반 자막이 많이 포함된 "제품 리뷰 영상", 특수 자막이 많이 포함된 "예능 영상", 비자막이 포함된 "게임 방송 영상"을 대상으로 데이터를 구축한다.

이 장에서는 제안 시스템의 성능을 평가하기 위해 두 가지의 방법으로 실험을 진행한다. 첫 번째로는 자막 유형에 따른 성능을 비교 평가 하는 것으로 이를 위해 4.2에서 정의된 첫 번째 실험 데이터 집합을 이용한다. 두 번째로 기존 방법과 제안 시스템을 비교하기 위해 4.2에서 정의된 두 번째 자막 데이터 집합을 이용한다.

4.3.1 다종 학습 데이터에 대한 자막 인식성능

첫 번째 실험은 일반 자막으로만 학습한 모델, 특수 자막으로만 학습한 모델, 일반 자막과 특수 자막 모두 포함하여 모델을 학습하고 학습 데이터에 따른 자만 인식 성능을 비교한다.

표 4는 일반 자막, 특수 자막, 일반자막 특수자막 혼용된 데이터에 대한 각각의 학습 정확도를 나타낸다. 학습 결과 일반 자막으로만 학습하였을 경우 일반 자막은 97%의 정확도로 식별하지만 특수 자막은 42%로 정확도가 낮아짐을 알 수 있다. 또한 특수 자막만을 대상으로 학습하였을 때 일반 자막에 대한 식별 정확도는 95%로 일반 자막 데이터만으로 학습한 결과와 성능이 비슷하지만, 특수 자막 데이터에 대한 정확도는 98%로 높다. 마지막으로 일반 자막과 특수 자막을 함께 모델에 학습한 경우는 97%의 정확도를 보이며 일반 자막, 특수 자막 각각을 개별로 학습한 모델보다 학습 성능이 향상됨을 알 수 있다.

Table 4. 
Accuracy at learning for each dataset.

Model		Normal captions	Special captions	Total
Captions
Normal	Number	582/600	570/600	588/600
	Accuracy	0.97	0.95	0.98
Special	Number	252/600	590/600	587/600
	Accuracy	0.42	0.983	0.978
Normal + special	Number	415/600	578/600	583/600
	Accuracy	0.69	0.963	0.971

그림 5는 신경망 모델의 자막 데이터 건수를 증가시키며 측정된 자막 인식 정확도를 나타낸다. 자막 데이터 개수가 초기 500개, 800개, 1,000개일 때의 정확도가 각각 87%, 94%, 97%로 점차 높은 성능 정확도를 보인다.

Fig. 5. 
Accuracy for the number of caption data sets