Home

생체신호를 사용한 감정예측 모형은 심박변이도, 호흡주기, 뇌파와 같은 생체신호 변수를 입력으로 하고, 개인이 자기 보고한 감정 상태를 예측하는 모형을 의미한다. 감정예측 모형이 예측하는 감정 상태는 범주화된 감정유형[18]과 차원감정[19]으로 나눌 수 있다. 감정유형(Discrete Emotion)은 행복, 슬픔, 화남, 놀람과 같이 명확한 감정 상태을 나타내기에 용이하다. 그러나 기쁨, 후회와 같은 새로운 감정 유형이나 복합적인 감정 상태를 나타내기는 어렵다. 차원감정(Dimensional Emotion)은 감정의 긍·부정 수준을 의미하는 Valence와 감정이 느껴지는 강도를 의미하는 Arousal의 두 가지 점수로 감정을 나타낸다. 차원감정은 Valence-Arousal 점수로 다양한 감정 유형으로 변환이 가능하지만, 예측하기 어렵다는 단점이 있다[20]. Nicolaou et al.는 사람과 컴퓨터 상의 아바타가 대화하는 상황에서 수집된 얼굴 표정, 어깨 동작과 같은 비언어적 행동으로 Valence-Arousal 점수를 예측하는 인공신경망 모형에 대한 연구를 수행하였다. Lee et al.은 사람의 뇌파를 측정하는 EEG(Electroencephalogram)신호를 사용해 4단계로 구분된 Valence-Arousal 점수를 예측하기 위해 EMD(Empirical Mode Decomposition)와 서포트 벡터 머신을 이용하는 연구를 하였다[11].

심박변이도 중 시간 영역 분석(Time Domain Analysis)의 MeanRR은 심장박동 최고치(R peak) 사이 간격의 평균값으로, 값이 작을수록 간격이 좁다는 것을 의미한다. 따라서 MeanRR 값이 클수록 안정된 상태라고 할 수 있다. SDNN은 심장박동 간격의 표준편차 값으로, 높은 값이 외부 환경 변화에 대한 자율신경계의 적응 능력이 좋아 건강하고 스트레스에 대한 저항력이 뛰어남을 의미한다. RMSSD는 인접한 심장박동 간격 차이의 평균 편차를 나타내는 값으로 스트레스가 높을수록 부교감 신경의 상태를 나타내는 RMSSD가 감소한다[21].

Valence-Arousal 점수와 심장변이도를 사용하는 감정예측에 대한 대부분의 연구의 범주화된 감정유형을 예측하는 것을 목표로 수행되었다. Valence와 Arousal 점수를 각각 “높음”-“중간”-“낮음”의 3단계로 범주화된 차원감정을 예측하는 모형을 만들었다. Swangnetr et al.는 전기 피부 반응(GSR, Galvanic Skin Response)과 2가지 심박변이도를 입력으로 하는 인공신경망 감정예측 모형을 생성했다[22]. Valenza et al.는 서포트 벡터 머신으로 감정예측 모형을 만들어 Valence는 약 80%, Arousal은 83%의 예측 정확도를 달성하였다[23]. 또 다른 연구로 Nardelli et al.은 Valence는 2단계, Arousal은 4단계로 구분하고 2차 판별 분석(QDC, Quadratic Discriminant Classifier)으로 감정을 예측하였다[24].

한편, 본 연구와 유사한 연구를 추가로 더 살펴보자. 우선, 23명의 실험참가자들에게 시각자료를 이용하여 감정자극을 한 후에 심박변이도 변수를 측정하고 이를 토대로 Valence를 출력값으로 하는 감정예측 인공신경망을 구축한 연구가 있다[25]. 특히 해당 연구에서는 감정이 예측되는 과정을 함수를 화이트박스화 하여 제시한 것이 공헌점이다. 또한, 머니게임을 이용하여 25명의 참가자들을 감정을 유도한 후에 이들의 심박변이도 측정치를 토대로 감정을 예측하는 인공신경망을 제시한 연구도 있다[26]. 이러한 기존 연구들과 달리 본 연구에서는 음악을 이용한 청각자극으로 64명의 참가자들에게 감정을 유도하고 Valence와 Arousal을 출력값으로 하는 감정예측 인공신경망을 구축하였다. 그리고 본 연구가 갖는 또 하나의 차별화 포인트는 11개의 심박변이도 입력변수 간 상대적 중요도를 측정하는 방법을 제시한다는 점이다.

본 연구는 서울소재 대학교에 재학 중인 총 64명의 피험자를 대상으로 청각적 감성자극으로 감성을 유발하고 심전도를 측정하여 분석에 사용하였다. 실험에 참가한 피험자는 남성 32명, 여성 32명이고, 연령대는 19~27세로 평균연령은 22.96(SD=2.18)이다. 어떤 실험 참가자도 의학적 병력이나 향정신성 의약품 및 심혈 관계, 호흡기, 중추 신경계에 영향을 줄 수 있는 약물의 복용이 없었다.

본 연구 실험의 감성자극을 위해 긍정, 부정 감성을 유발하는 청각자극을 개발하였다. 긍정감성 청각자극은 차분하면서도 경쾌한 클래식 음악으로 구성되었다. 부정감성 청각자극은 귀에 거슬리는 환경소음과 슬픈 클래식 음악으로 구성되었다. 긍·부정 청각자극은 각각 6분 가량의 192k BPS의 소리파일로 만들어졌다.

• 긍정감정: 바흐 G선상 아리아, 비발디 사계-봄, 모차르트-두 대의 피아노
• 부정감정: 사이렌 소리, 여자 비명소리, 드릴 소리, 호랑이 소리, 베르디-레퀴엠

만들어진 청각자극은 전문가 검토 및 피험자 10명의 파일럿 테스트로 목표한 감정유발 효과를 검증하였다. 이후 본 연구의 실험에 활용하였다.

본 연구의 감정 측정은 피험자가 지각한 Valence 와 Arousal의 수준을 자기보고 방식으로 측정하였다. 측정도구는 SAM(Self-Assessment Manikin)을 사용하고[27], 측정 척도는 Valence는 불쾌한 정도에서 기분 좋은 정도를 1에서 9사이의 숫자로 선택하고, Arousal은 평온한 정도에서 흥분되는 정도를 1에서 9사이로 나타내도록 했다.

심전도 데이터 수집을 위해 Einthoven의 표준사지유도법[28]에 따라 양쪽 손목과 왼쪽 발목에 전극을 부착하고 5분간 안정을 취한 뒤 실험을 시작하였다. 표준사지유도에서 유도 Ⅰ은 왼손과 오른손의 전위차, 유도 Ⅱ는 오른손과 왼발의 전위차, 유도 Ⅲ은 왼발과 왼손의 전위차에 의해 기록된다. 심전도 신호는 BIOPAC MP150 하드웨어를 통해 증폭시키고 MP150 A/D 변환기와 AcqKnowledgev 4.1 프로그램을 이용하여 저장하였다. 안정적인 심전도 데이터를 얻기 위해 주파수가 1Hz ~ 35Hz인 밴드 패스필터를 적용하여 노이즈를 제거하였다.

실험은 그림 1과 같이 외부의 소음이 차단 된 공간에서 수행하였으며, 실험실에는 실험용 장비만 배치 피험자의 집중력을 방해하지 않도록 하였다. 피험자로부터 고품질의 심전도 데이터를 확보하기 위해 실험 참가 전날 피로하지 않도록 하였다. 심전도 센서를 부착 후 신호 왜곡과 노이즈의 발생을 방지하기 위하여 불필요한 얼굴과 몸의 움직임을 제한한 상태에서 실험이 진행 되었다. 실험완료 후 실험 참가자들에게 일정한 금액의 실험 참가비를 지급하였다.

Fig. 1. 
Collecting ECG data

본 연구의 실험 절차는 그림 2와 같으며 구체적인 실험 과정은 다음과 같다.

• ① 실험 설명: 실험 참가자에게 실험에 대한 사전 안내 및 실험 진행 과정에서 필요한 사항을 충분히 숙지시켰다. 이후 피험자의 실험 동의서를 작성받았다.
• ② 심전도 센서 부착 및 헤드폰 착용: 실험 참가자의 양쪽 손목과 왼쪽 발목에 각각 심전도 측정 센서를 부착하였다. 또한, 청각자극을 제시하기 위한 헤드폰을 착용하였다.
• ③ 표준 상태 심전도 측정: 실험 참여자가 21인치 모니터 상에 ‘+’표시가 되어있는 검은색 화면을 바라보며 안정을 취하는 상태에서 5분간 표준 상태의 심전도를 측정하였다.
• ④ 감정 상태 심전도 측정: 실험참가자에 따라 부정적/긍정적 소리 파일을 5분간 청취하여 감정을 유발하고, 감정 상태의 심전도를 측정하였다.
• ⑤ 감정 유발 확인: 감정 자극 직후 유발된 감정의 정도를 SAM으로 Valence와 Arousal을 측정하였다.
• ⑥ 사후 설명: 실험이 종료된 후 실험의 목적과 자극물에 대한 사후 설명(Debriefing)을 하였다.

Fig. 2. 
Experiment procedures

전체 64명의 피험자 중에서 실험도중 심전도센서가 떨어진 8명과 감정유도가 충분히 되지 않은 6명의 데이터를 제외하였다. 최종적으로 50명(긍정 26명, 부정 24명)의 심전도 데이터 샘플을 획득하였고, 이를 감정예측 모형의 학습데이터로 사용하였다.

실험으로 수집된 심전도 데이터에서 감정유발 전의 표준상태 및 감정유발 상태의 심장박동 간격(RR Interval) 데이터를 추출하여 각각 text파일 형태로 저장하였다. 이를 Kubios[29]를 사용하여 심박변이도를 계산하였다. 시간 영역 지표는 mean RR, SDNN, RMSSD를 추출하였다. 주파수 영역 지표는 VLF(ms2), LF(ms2), HF(ms2), Total Power, LF/HF(ms2)와 VLF(%), LF(%), HF(%)를 추출하였다. 총 11가지 표준 및 감정 상태의 심박변이도를 추출하였다. 감정유발에 따른 생체신호 변동을 파악하기 위하여, 다음과 같이 표준상태와 감정상태의 심박변이도의 변동비를 계산하였다[20].

감정예측 모형을 개발하기 위해 11가지 심박변이도 변동비를 입력으로 하고, Valence와 Arousal을 출력으로 하는 인공신경망 모형을 생성하였다. 인공신경망은 인간의 두뇌의 기본 구조 조직인 뉴런과 뉴런이 연결되어 일을 처리하는 것을 모방하여 수학적으로 모형화 한 것이다[30]. 인공신경망은 회귀분석과 달리 변수간의 엄격한 통계적 가정을 요구하지 않고, 학습성과 추론성이 뛰어난 특징이 있다.

인공신경망의 은닉층의 최적의 노드를 찾기 위해 은닉노드 수는 Kolmogrov정의[31]에 따라 1~2n+1(n: 입력노드의 수)개 사이로 설정하여 최적 노드 수를 찾고, 최종 은닉노드 수를 9개로 설정하였다. 본 연구에서 생성된 감정예측 인공신경망 모형은 그림 3과 같다.

Fig. 3. 
Neural network model for emotion prediction

입력변수인 심박변이도와 출력변수인 Valence-Arousal 점수 간에 복잡하고 비선형적인 관계를 모형화 하도록 비선형 2가지, 선형 1가지의 전이함수의 조합으로 은닉층을 설계하였다. 은닉노드의 전이함수는 하이퍼탄젠트(노드1~3), 선형(노드4~6), 가우시안(노드7~9)을 각각 3개 씩 설정하였다.

또한 인공신경망의 출력노드에 여러 개의 출력변수를 넣을 수 있는 특성을 활용하였다. 하나의 감정예측 모형에서 Valence와 Arousal이 동시에 예측이 되도록 출력 변수로 Valence와 Arousal를 넣었다. 모형의 과적합 방지 및 타성성을 확보하도록 10 Fold 교차 타당도 방식으로 모형을 학습시켰다.