Home

얼굴 표정은 감정을 드러내어 다른 사람의 의도를 이해하는 데 도움이 되는 인간 의사 소통의 중요한 요소이다. 일반적으로 사람들은 얼굴 표정과 음성 톤을 사용하여 기쁨, 슬픔, 분노와 같은 다른 사람들의 감정 상태를 추론한다. 설문 조사[1]에 따르면, 언어적 요소는 인간 커뮤니케이션의 1/3을 전달하고 비언어적 요소는 2/3를 전달한다. 여러 비언어적 구성 요소 중 감정적 의미를 전달하는 얼굴 표정은 사람 간 커뮤니케이션의 주요 정보이다.

감정은 인간의 마음 상태를 표출하는 가장 중요한 요소로 가상 현실, 증강 현실, ADAS(Advanced Driver Assistance System)등 인간-컴퓨터 상호작용을 포함한 인공지능 기술에 중요한 부분이다. 감정의 형태를 나타내는 중요한 수단 중 하나가 얼굴 표정이고 따라서 얼굴 표정을 분류하는 기술도 반드시 필요하다[2]. 이러한 이유로 지난 수십 년간 표정 분류를 이용한 감정 인식 연구는 인지 과학뿐 아니라, 감성 컴퓨팅 및 컴퓨터 애니메이션 분야에 응용되어 왔다[3].

일반적인 표정 분류에 대한 연구는 기본적으로 가시광선 기반으로 많이 이루어졌다. 물체에서 반사된 빛을 측정하여 영상을 획득하는 가시광선 기반의 표정 분류 기술은 조명의 변화에 민감하다. 또한 감정을 숨기는 데 능숙한 사람들의 경우 원래 감정 상태와 인간의 가짜 감정 상태를 구별하는 데 어려움이 있다[4]. 인간의 피부색, 얼굴 모양, 질감, 윤리적 배경, 문화적 차이 및 눈의 다양성 역시 감정 인식의 정확도에 영향을 미칠 수 있다[5][6]. 특히, 통제되지 않은 환경에서의 가시광선 기반 표정 분류는 부정확한 감정 인식 정확도를 제공한다[7].

반면 열화상은 물체에서 방출되는 적외선 파장 형태의 에너지를 검출하여 측정된 복사열의 값을 기반으로 복사열 강도에 따라 서로 다른 색상으로 표현한다. 따라서, 조명 조건에 강하고 완전히 어두운 환경에서도 사용할 수 있다. 인간의 감정에 의해 영향을 받는 온도 변화를 포착할 수 있으므로 자발적인 감정과 가짜 감정을 구별하는 데 적용될 수 있다. 또한, 가시 광선에 비해 연기 또는 먼지 등에 의한 빛의 산란 영향도 덜 받는다. 따라서 최근에는 열화상이 정서적 감정 인식 분야에서 잠재적이고 보완적인 솔루션으로서 가시광선 영상의 단점을 보완하는 대체 수단으로 관심이 높아지고 있다[8-9].

그러나 열화상 데이터베이스는 가시광선 데이터베이스에 비해 그 숫자가 매우 적고, 공개된 열화상 데이터베이스도 거의 없다. 이에 본 연구에서는 감정 인식을 위한 열화상 얼굴 데이터베이스를 자체적으로 취득하기 위해 열화상 카메라로 16명의 피험자로부터 영상을 취득하였다. 얼굴 표정을 분류하여 감정 인식에 활용하기 위해 취득한 영상에서 얼굴 영역만 추출하여 새롭게 DB를 구성하였다. 구축한 데이터베이스가 감정 인식에 적합한지 확인하기 위해 기존 CNN 모델로 표정 분류 인식 성능을 평가하고 분석하였다.

2장에서는 열화상을 이용한 표정 분류에 대한 기존 연구를 간단히 설명하고, 3장에서 자체 취득한 열화상으로부터 감정 인식용 얼굴 영역 DB를 구축한 방법을 설명하고, 4장에서 구축된 데이터베이스 성능 평가를 위해, 각 CNN 아키텍처별로 표정 분류 인식률을 비교 분석하여, 구축된 데이터베이스의 유용성을 확인한다.

열화상 얼굴 영상에서 표정을 분류하기 위해, 자체 구축한 데이터베이스는 일반인 피험자 16명을 대상으로 조명과 배경이 한정된 공간에서 표 1에서 분류한 것과 같이 4가지 감정 상태별로 각각 60초간 취득하였다. 각 감정별 가이드 영상을 제시하여, 평온함, 기쁨, 슬픔, 두려움의 4가지 감정이 유도되도록 하였다. 피험자들이 가이드 영상을 시청하면서 자연스럽게 표현되는 표정을 취득하고, 프레임별로 나눠서 정지영상으로 표 1과 같이 원본 영상 데이터베이스를 구성하였다.

원본 영상은 FLIR 열화상 카메라를 이용하여 취득하였고, 해상도 HD(1080×1440), 열 해상도 80*60, 초당 8.57프레임, MPEG-4 파일 형식으로 저장이 되었다. 프레임별로 추출된 원본 이미지는 표정 분류에 사용하기에는 불필요한 배경과 데이터가 있으므로, YOLO 알고리즘[25]을 사용하여 얼굴 영역만 추출하여 새롭게 데이터베이스를 구축하였다.

먼저, 이미지에 대해 자동으로 얼굴 영역이 추출되도록 오토 라벨링 알고리즘을 구현한다.

Fig. 1. 
Auto labeling process, (a) Original image, (b) Binary mask, (c) Distribution value by channel (d) Extract facial area

원본 영상 데이터베이스의 일부 이미지에 대해 오토 라벨링 알고리즘을 적용하여 얼굴 영역을 추출한 바운딩박스 데이터셋을 만든다.

데이터셋은 훈련 데이터(70%), 검증데이터(15%), 테스트 데이터(15%)로 구분하여 YOLO 알고리즘에 적용하였다. 테스트 데이터를 사용하여 YOLO 알고리즘을 적용한 결과, 그림 2에서 확인할 수 있는 것과 같이 원본 이미지에서 얼굴 영역만 바운딩 박스 처리하여 추출해 내는 것을 확인할 수 있었다.

Fig. 2. 
Result of Yolo algorithm

데이터베이스 전체 이미지 각각을 YOLO 알고리즘을 적용하여 추출된 바운딩 박스 기준으로 잘라서 얼굴 영역만 저장하였다. 전체 1413개 이미지 중 2개를 제외한 모든 이미지가 YOLO 알고리즘을 통해 자동으로 얼굴 영역만 추출되었다. 얼굴 영역이 제대로 추출되지 않은 2개의 이미지에 대해서는 수동으로 잘라서 그림 5처럼 열화상 얼굴 데이터베이스를 다시 구성하였고, 구성된 데이터베이스의 유용성을 평가하기 위해 CNN 네트워크를 사용하여 테스트하였다.

Fig. 3. 
Cropped image database

구성한 DB가 표정 분류에 유용한가를 평가하기 위해, GoogLeNet, VGG16, Alexnet, ResNet-18 4가지의 CNN 아키텍처로 실험하였다. 얼굴 영역만 검출한 데이터셋 각각의 이미지는 원본 이미지에 따라 데이터 크기 차이가 있어서 224*224의 동일한 크기로 네트워크 입력에 사용하였고, 표 2에서 각 네트워크에 따른 인식 정확도와 학습 시간을 나타내었다.

그림 4에서 보는 바와 같이 AlexNet은 2개의 GPU로 병렬연산을 수행하기 위해, 2개의 병렬 구조를 사용하기 때문에 합성곱 계층을 그룹화 시켜서 더 좋은 성능을 나타낸다. 각 그룹이 겹치지 않는 추가 정보를 제공하므로, 열화상의 온도를 나타내는 조밀한 색상 분포에 대한 특징 정보가 잘 학습될 것으로 예상할 수 있었다.

Fig. 4. 
Structure of AlexNet

간단하고 직관적인 구조를 가진 VGG-16으로 구축한 데이터 셋을 학습시켰다. 표 2에서 확인할 수 있듯이, 다른 아키텍처에 비해 낮은 성능인 것을 확인할 수 있었다. 이것은 비교분석에 사용한 다른 아키텍처와 다르게 3*3 합성곱 계층만 사용하므로 1개의 커널로는 열화상 내의 다양한 밀집된 특징들을 잘 잡아내지 못했다고 판단했다. GoogLeNet을 사용하여 깊고 넓은 네트워크에서의 인식 성능을 평가하였다. 보통은 네트워크 깊이가 깊어질수록 데이터의 양이 부족하면 학습이 잘 안되는 단점이 있는데, GoogLeNet은 인셉션 모듈을 사용하여 다양한 필터를 병렬로 적용하기 때문에, 열화상 내의 다양한 특징의 상관관계까지 추출해서 더 좋은 성능을 보였다고 판단했다. 마지막으로 잔여 함수를 사용한 ResNet으로 구축된 DB의 성능평가를 진행하였다.

표 2에서 확인할 수 있듯이 ResNet의 성능이 가장 좋은 이유는 스킵 커넥션을 만들어서 LSTM과 유사하게 이전 스텝의 그레디언트를 좀 더 잘 전달되게 만드는 과정이 있고, 잔여 블록이 앙상블 모델을 구축한 것과 유사한 효과를 내기 때문이다.

표 2에서와 같이 각 네트워크별 인식 정확도와 학습시간을 비교한 결과, 표정 분류에 필요한 열 패턴 정보를 판단하는데 ResNet이 가장 좋은 성능을 나타내었다. 각 네트워크 별 평균 인식 정확도를 분석했을 때, 구축한 DB가 표정 분류 연구에 활용가능하다고 확인할 수 있었다.

표 3은 2장에서 언급한 기존 연구들에서 이용한 데이터베이스의 인식 성능과 본 연구에서 구축한 데이터베이스의 인식 정확도를 비교하여 나타내었다. NVIE 데이터베이스[24]를 이용한 기존의 표정 분류 연구에서 인식 정확도는 평균 62.63%이고, KTFE 데이터베이스[25]를 이용한 연구는 평균 인식정확도가 80.65%이다. 열화상 데이터베이스의 희소성으로 인해, 자제 구축한 데이터베이스를 이용한 기존 표정분류 연구들은 데이터셋 유형과 분류 성능을 평가한 알고리즘은 각기 다르지만, 평균 인식 정확도가 75.98%로 나타났다[26].

기존 연구들은 데이터 셋 유형에 따라 감정 인식에 사용된 방법이 얼굴 영역의 일부, 랜드마크, 얼굴 전체 등으로 달라서 단순 비교하기엔 무리가 있지만, 기존 연구에서 사용되었던 데이터베이스의 인식 정확도와 비교했을 때, 그림 5에서 확인할 수 있는 바와 같이 본 연구에서 자체 구축한 데이터베이스가 열화상 감정 상태 인식 프로세스에 적합한 기능을 제공한다고 평가할 수 있다.

Fig. 5. 
Recognition accuracy comparison between DBs

본 논문에서는 열화상 카메라로 획득한 영상으로부터 얼굴 영역을 추출하여 데이터베이스를 구축하고, 기존 CNN 네트워크 구조로 표정을 분류하여 자체 구축한 열화상 데이터베이스의 유용성을 평가하는 연구를 진행하였다.

구축한 데이터베이스의 원본 영상과 얼굴 영역만 자른 영상의 성능을 비교한 결과 데이터 크기에 따라 학습시간은 약 5배 차이가 나고, 검증 정확도는 평균 11.76% 더 높게 나타나는 것을 확인할 수 있었다. 기존 연구에서 표정을 분류하는 데 사용된 열화상 데이터베이스들의 평균 인식 정확도는 73.09%이고, 본 연구에서 구축한 열화상 데이터베이스의 평균 인식 정확도는 68.13%이다.

기존 연구의 표정 분류 인식 정확도와 비교했을 때, 본 연구에서 자체구축한 데이터베이스 역시 표정 분류를 통한 감정 인식 연구에 유용할 것으로 평가된다. 열화상 얼굴 데이터의 일부만 사용하거나, 전처리를 통한 새로운 특징을 추출하는 등의 방법과 표정 분류 성능을 개선하기 위해서는 앙상블 네트워크를 구성하여 입력 데이터에 대한 상관관계를 다양하게 추출 해내는 등의 알고리즘을 적용한다면 본 연구에서 자체 구축한 데이터베이스의 인식 정확도를 더욱 개선할 수 있을 것이다.