Current Issue

기존의 감정인식 모델은 텍스트나 이미지를 이해하는 하나의 형태에 중점을 두었다. 하지만 정확한 감정을 인식하기 위해서는 다양한 형태의 데이터를 통해 감정을 인식해야 한다. 최근에는 다양한 형태의 데이터를 이용한 감정인식 연구가 진행되었다[9]-[11].

[9]는 얼굴 영상과 음성을 이용한 감정인식 멀티모달을 제안했다. 얼굴 영상을 이용한 감정인식은 패턴인식 분야에서 사용되고 있는 방법인 2D-PCA(2D Principal Component Analysis)를 적용한 모듈로 구성했다. 음성을 이용한 감정인식은 MFCC(Mel-Frequency Cepstral Coefficient) 기법을 통해 특징을 추출했다. 멀티모달 감정인식 시스템의 성능 향상을 위해 특징 단계, 유사도 단계, 결정 단계로 구분하였으며 얼굴과 음성의 인식 결과를 유사도 단계에서 결합하여 최종 감정을 분류했다. 본 논문에서도 얼굴 정보와 텍스트 정보에 가중치를 적용하여 모델의 정확도를 비교한다.

[10]은 한국어 영상 데이터 감정 분류를 위한 멀티모달을 제안했다. 동영상과 음성에 특화된 딥러닝 모델을 구상했으며 동영상 모델은 3D 합성곱 신경망(3D convolution neural network)을 사용하여 특징을 추출하며 음성 모델은 MFCC 기법을 통해 음성 데이터를 시각화하여 표현할 수 있는 스펙트로그램 이미지로 만들었다. 두 가지 특징 추출방법을 통해 나온 특징 벡터를 병합하여 소프트맥스(Softmax) 함수를 통해 가장 확률이 높은 감정을 예측했다.

[11]은 음성과 텍스트를 이용한 멀티모달을 제안했다. 음성 감정인식은 ResNet(Residual Network) 모델을 사용했으며, 텍스트 감정인식 모델은 BERT(Bidirectional Encoder Representations from Transformers)를 사용했다. 멀티모달의 감정 분류는 음성 및 텍스트 모델에서 얻은 점수의 가중 평균을 사용했다. 가중 평균은 각 모델의 소프트맥스 계층(Softmax layer) 출력에 자연로그를 적용하여 계산하며 가장 높은 점수를 받은 감정 범주를 선택한다.

사람의 감정을 다차원으로 인식하기 위해 최근에는 매우 세밀한 연속적인 감정 정보인 VAD (Valence-Arousal-Dominance)를 이용한 감정인식 연구가 진행되었다[12]-[14]. 그림 1은 Russell이 제안한 다차원 감정 이론의 차원 축인 Valence, Arousal, Dominance에 매칭된 감정을 표현한 것이다[12]. 매칭된 감정들은 고유의 VAD 벡터값을 갖고 있다.

Fig. 1. 
VAD emotional dimensions

표 1은 VAD 차원 축의 의미이다. Valence는 감정이 어느 정도로 유쾌한지(Positive) 혹은 불쾌한지(Negative)를 나타낸 지표이며, Arousal은 감정으로 인해서 얼마나 신체적인 흥분 상태(Excited)인지 진정상태(Calm)인지, Dominance는 감정으로 인해 통제력을 제어할 수 있는지(Controllable) 제어할 수 없는지(Uncontrollable)를 나타낸다.

[13]은 상담 챗봇에서 내담자가 작성한 문장에서 감정을 정확하게 파악하기 위해 상담 챗봇의 다차원 감정인식 모델을 제안했다. 기존 텍스트 감정인식은 대부분 감정 키워드나 어휘를 분석하여 한가지 감정으로 분류하였다는 한계점이 있다. 해당 연구에서는 감정 키워드로 감정을 분석하는 것이 아닌 VAD 데이터를 통해 모델을 학습했다. Word2Vec 임베딩을 통해 단어를 벡터화시켰으며, LSTM(Long Short-Term Memory)의 단점인 정보 손실 문제와 기울기 소실 문제를 해결하기 위해 Attention으로 모델을 구성했다.

[14]는 VAD 신호를 이용하여 감정 분류를 수행하는 기술에 대해 다룬다. 기계 학습 기술인 SVM(Support Vector Machine), k-NN(k-Nearest Neighbor), MLP(Multilayer Perceptron) 알고리즘을 사용하여 VAD 신호에서 감정 분류를 수행하는 실험을 진행하였고, 각 알고리즘의 성능을 비교 분석했다. 실험 결과 MLP 알고리즘이 가장 높은 분류 성능을 보였다. 해당 연구는 VAD 신호를 이용한 감정 분류 기술이 가능하다는 것을 입증했다. 또한, 이 기술은 인간 감정인식이 어려운 상황에서 유용하게 활용될 수 있다는 가능성을 제시했다.

본 논문에서 제안하는 얼굴 영상과 다차원 감정 기반의 텍스트를 이용한 멀티모달 시스템은 그림 2와 같다. 멀티모달의 전체적인 구조는 얼굴 정보 처리 과정(Facial information processing)과 음성 정보 처리 과정(Voice information processing), 최종 감정 도출(Emotion recognition result)로 구성된다. 얼굴 정보 처리 과정에서 얼굴 감정인식을 위해 인간의 시각 처리 과정을 모방한 딥러닝 모델인 CNN(Convolution Neural Network) 모델을 사용한다[15]. CNN 모델을 통해 인식된 얼굴 감정은 소프트맥스 과정을 통해 모든 감정의 확률이 계산된다. 음성 정보 처리 과정에서는 음성을 텍스트로 바꾸는 STT(Speech-to-Text) 기법을 사용한다. STT 기법은 사람의 음성 인터페이스를 통해 텍스트 데이터를 추출한다. 음성인식은 음성에 대한 파형을 분석하는 것으로 시작하여 입력 음성이 들어오면 음성 전처리 단계를 거친다. 전처리 과정에서 특징 벡터 열 반환하여 패턴을 인식하고 언어처리 과정을 통해 텍스트 데이터로 변환이 된다. 변환된 텍스트는 감정인식 모델의 입력값으로 들어간다. 텍스트 감정인식 모델은 사전학습된 자연어처리 모델인 BERT를 사용한다[16]. BERT 모델을 통과한 텍스트는 회귀 과정을 통해 예측된 VAD 값이 나오며 VAD 감정 지표 벡터값을 통해 모든 감정의 코사인 거리를 계산한다. 최종 감정 도출은 각 모델의 출력으로 나온 감정을 수식을 적용한 우선순위를 계산하며, 우선순위가 높은 감정을 최종 감정으로 선택한다.

Fig. 2. 
Proposed multimodal system

본 절에서는 얼굴 정보의 감정을 인식하는 모델에 대하여 설명한다.

영상에서 사용자의 감정을 추출하기 위해 사용되는 얼굴 감정인식 모델의 구조는 그림 3과 같다. 입력 이미지를 받으며 합성곱(Convolution2D) 과정에서 필터를 통해 입력 이미지의 가중치를 계산하며 배치(Batch)마다 평균과 분산을 활용하여 데이터의 정규화 과정인 배치 정규화(BatchNormalization)를 거친다. 두 번의 과정을 거치면 입력 신호의 총합을 출력 신호로 변환하기 위해 활성화 함수 ReLU(Rectified Linear Unit)를 사용한다. ReLu 함수를 통과한 값들은 평균 풀링(AveragePooling2D) 과정을 통해 특징을 추출한다. 모델의 과적합 방지를 위해 드롭아웃(Dropout)은 0.5로 설정한다. 4번의 과정을 반복하면 합성곱 과정, 배치 정규화, 합성곱 과정 순서로 특징을 추출하며 글로벌 평균 풀링(Global AveragePooling) 과정을 통해 이미지의 크기를 줄이고 소프트맥스 함수를 통해 모든 감정에 대한 확률을 계산한다.

Fig. 3. 
Facial emotion recognition model structure

본 절에서는 다차원 감정 기반의 텍스트 감정인식 모델에 대하여 설명한다.

영상에서 받아 온 음성정보는 파이썬(Python)에서 제공하는 음성인식 패키지 SpeechRecognition를 통해 음성을 텍스트로 변환해주는 작업을 수행한다[17]. 다차원 감정을 인식 모델의 구조는 그림 4과 같다. STT를 통해 자연어로 변환된 데이터는 토큰화 과정(Tokenization)을 거쳐 자연어처리 모델인 BERT의 입력값으로 들어간다. 기존 BERT 모델은 분류의 문제를 해결하기 위해 모델이 구성되어있지만, 본 논문에서는 다차원 감정의 VAD 값을 예측하기 위해 출력층에 회귀계층(Regression Layer)을 추가하였다. VAD 값은 3개를 예측해야 하기에 마지막 출력층은 3개로 설정했다. 예측된 VAD 값은 VAD 감정 지표 값을 통해 모든 감정의 코사인 거리를 계산한다.

Fig. 4. 
Textual emotion recognition model structure

본 절에서는 멀티모달의 최종 감정 결정 방법에 관해 설명한다.

모델의 감정인식 분류는 분노(Anger), 혐오(Disgust), 두려움(Fear), 기쁨(Joy), 슬픔(Sadness), 놀라움(Surprise)으로 총 6가지이다. 얼굴 감정인식 모델에서는 소프트맥스 함수를 통해 모든 표정에 대한 확률을 구하여 감정의 우선순위를 정한다. 다차원 감정인식 모델은 BERT 모델을 통해 나온 VAD 값과 VAD 감정 지표 값을 이용한다. 표 2는 6가지 감정에 대해 NRC-VAD 사전에 매칭한 VAD 값을 나타낸다[18]. 각 감정은 VAD 차원에 매칭한 고유의 Valence, Arousal, Dominance의 벡터값이 존재한다. ‘Anger’는 (0.167, 0.865, 0,657), ‘Disgust’는 (0.052, 0.775, 0,317), ‘Fear’는 (0.073, 0.84, 0,293), ‘Joy’는 (0.98, 0.824, 0,794), ‘Sadness’는 (0.052, 0.288, 0,164), ‘Surprise’는 (0.875, 0.875, 0,562)의 VAD 벡터값을 갖는다.

VAD 감정 분류 알고리즘은 Algorithm 1과 같다. Line 1은 다차원 감정인식 모델이 출력한 VAD 값이다. Line 2~7은 각 감정의 고유의 VAD 벡터값이다. Line 8은 다차원 감정인식 모델이 출력한 VAD 값과 각 감정의 고유의 VAD 벡터값의 거리를 계산하는 함수이다. Line 9는 계산된 각 감정의 거리 값이 들어간다. Line 10~15는 각 감정에 대한 코사인 거리를 계산한다. 식 (1)은 코사인 거리의 수식을 나타낸다. Line 16은 계산된 거리가 가장 가까운 감정을 반환한다.

식 (2)는 최종 감정을 선택하는 수식이다. 두 개의 감정 정보를 융합하기 위해 얼굴 정보의 가중치를 부여한다. E_t와 E_s는 각각 얼굴과 텍스트에 대한 각 감정에 대한 우선순위를 의미한다. p는 얼굴 감정에 부여하는 가중치이며, 텍스트 감정에 대한 가중치는 (1 - p)로 모든 가중치의 합은 1이 된다. E_m은 두 개의 감정을 계산한 우선순위 값들이며 우선순위가 제일 높은 감정을 최종 감정으로 선택한다.

모델 학습을 위한 실험 환경은 표 3과 같다. 학습에 사용한 소프트웨어는 Python 3.8, Keras 2.3.1, PyTorch 1.13.1 버전을 사용했다. 얼굴 감정인식 모델의 학습 데이터는 48x48 그레이스케일 이미지로 구성된 얼굴 이미지를 7가지 범주 중 하나로 분류한 FER-2013 데이터셋을 사용했다[19]. 해당 데이터는 본 논문에서 제안하는 감정 분류의 맞게 6가지 감정으로 재분류를 했다. 다차원 감정인식 모델의 학습 데이터는 단어가 가지는 감성적인 특성을 파악하기 위해 영어, 한국어 등 여러 다국어 VAD 값이 있는 VAD-Lexicon 데이터셋을 사용했다[20]. 학습된 얼굴 감정인식의 모델의 정확도는 65%이며, 다차원 감정인식의 모델의 성능은 회귀 평가를 위한 지표인 MSE(Mean Squared Error)는 0.06이며 R2 score는 0.7이다.

본 논문에서 제안하는 멀티모달의 성능 평가를 위해 단일 모델일 때 성능을 확인하며, [10]에서 제안한 Seokho 멀티모달 모델과의 성능 비교를 위해 [10]에서 사용한 감정 분류 데이터셋을 이용하여 평가한다[21]. [10]은 영상과 음성을 사용하여 비교하였으며 본 논문에서는 영상과 음성을 텍스트로 변환한 과정을 거처 비교 평가를 진행했다. 모델의 감정인식 정확도 평가를 위해 혼돈 행렬을 이용하여 평가했다. 표 4는 개별 감정인식 모델을 사용하여 혼돈 행렬 형태로 도시화한 결과이다. 얼굴 감정인식에 대한 정확도는 65%, 텍스트 감정인식에 대한 정확도는 68%를 보였다.

표 5는 식 (2)를 적용한 얼굴 감정인식 모델과 다차원 감정인식 모델의 가중치의 따른 정확도를 보여준다. 본 논문에서 제안하는 멀티모달 시스템의 인식률은 얼굴 가중치가 0.6일 때 74%라는 성능을 보였다. 이는 얼굴만 이용한 결과 9%, 텍스트만 이용한 결과 6%의 향상된 정확도를 보였다.

표 6은 본 논문에서 제안한 멀티모달과 Seokho 멀티모달의 성능을 비교한 결과이며, 정확도는 0.5, F1-score는 0.4가 향상되었다.