Home

감정이란 외부의 물리적인 자극에 의한 감각, 지각으로부터 인간의 내부에 야기되는 심리적 체험[1]으로서, 이러한 감정 정보는 얼굴 표정, 음성, 심장 박동수, 혈압, 체온 등으로 접근할 수 있다[2]. 그중에서도 음성기반 감정인식은 사용자의 음성 신호를 분석하여 사용자의 감정을 자동으로 인식하는 기술이다[3].

아기는 태어나서부터 구강 조음기관의 조절이 가능하여 옹알이를 시작하는 생후 6개월까지 자신의 의사표현의 대부분을 울음이라는 방법으로 표현한다. 이 기간이 짧다고 소홀이 여길 수도 있지만 이 기간은 부모와의 많은 교감과 소통을 통해 집중적으로 관리해야하는 시기이며, 만약 이 시기를 적절하게 보낼 수 없다면, 성인이 된 후 정신 질환과 중독 위험성이 높아지고[4], 스트레스 호르몬인 코르티솔이 과다 분비되면서 뇌에 안 좋은 영향을 받게 된다[5]. 그러나 현대사회의 부모나 보호자들은 아기가 사용하는 언어(울음)를 정확하게 인식하기엔 충분한 시간과 경험을 갖지 못하고 많은 시행착오와 어려움을 겪는 경향이 있어, 본 연구에서는 최근 기술 분야에서 가장 활발하고 유용하게 사용되는 인공지능(Artificial intelligence) 기술을 활용하여 아기의 울음을 분석하고 그 상태를 보호자에게 정확하게 전달함으로써, 효율적으로 육아에 도움을 주는 방법을 제시하고자 한다.

본 연구에서는 음성 신호를 통하여 영아들의 감정 상태를 인식하는 접근 방법을 다룬다. 아기의 욕구에 맞게 분류된 울음소리를 음원으로 사용하고, 이를 Python 언어를 기반으로 시각화하여 분석하고 전처리하여 인공지능 기반의 심층신경망 모델의 학습데이터로 활용하였으며 학습된 모델을 이용하여 시스템을 구현하였다.

인간의 음성은 의사소통을 하기 위한 수단이자 감정을 전달하는 수단이며, 소리에 포함된 감정은 화자의 심리 상태를 표현한다. 그러나 일반적으로 음성 기반 감정 인식은 사람의 감정정보를 효과적으로 포함하는 특징의 부족으로 인하여 얼굴 표정인식과 같은 다른 감정 인식에 비해 낮은 인식률을 보인다[2].

음성을 이용한 감정인식의 연구 분야에서 사용되었던 감정 모델은 크게 두가지로서[6], 첫째는 인간의 감정을 감정에 대한 성향을 나타내는 Valence 축과 감정의 강도를 나타내는 Arousal 축의 2차원 영역으로 다양한 감정상태를 표현하는 Valence-Arousal 모델이다[7]. 그러나 이 모델은 감정 상태를 연속적으로 표현하여 다양한 감정을 선정할 수 있지만, 구분 짓기 힘든 애매모호한 감정이 존재하는 단점이 있기도 하다. 따라서 두 번째 모델로서 즐거움, 놀라움, 두려움, 화남, 슬픔 등의 대표 감정을 선정하여 감정을 인식하는 모델을 사용한다. 이 모델의 경우에는 감정의 표현이 명확하여 감정에 따른 분류가 쉬우므로 감정 인식분야에서 많이 사용되고 있다[3].

따라서 감정 인식에 적합한 음성 신호의 특징 벡터를 찾거나, 분류 방법론을 다르게 적용하여 정확도를 개선하려는 노력이 있어왔다[2][8]-[12]. 특히, [11]은 특징 벡터로 MFCC를 이용하였으며, [2]는 특징 벡터로 MFCC, MEDC, LPC, LPCC, IAV, DAMV, Tempo, ZCR의 8가지를 사용하여, 감정 카테고리간의 분리도를 비교분석하였다. [12]는 PLP(Perceptual Linear Prediction)을 이용하여 음성신호의 감정인식에 사용하였다.

최근에는 인공지능 기법이 급속히 발전하고 있고, 이를 음성 감정인식에 활용하려는 시도가 많아지고 있다. MFCC를 이용하여 특징벡터를 추출하고, SVM(Support Vector Machine) 분류기법을 사용하여 감정을 분류한 연구들[3][13]과, 음성신호를 스펙트로그램(Spectrogram)과 같은 특징 벡터의 이미지로 변환하여 CNN등의 심층 신경망(Deep learning)을 적용하여 3가지 범주의 오디오 장르를 분류하거나[14], 5가지 감정을 분류하고 인식하려는 연구도 있어왔다[15].

아기 울음의 경우에는 당장 필요한 욕구를 반영하게 되므로, 일반적인 음성을 통한 감정 인식에서 즐거움 등의 표현이 빠지고 별도의 울음 원인별 상태분류가 필요하게 된다. 즉, 아기는 배고픔, 불편함, 졸림, 지루함 등 모든 욕구와 생각을 울음으로 표현한다. 이는 아기의 가장 중요한 소통수단이며, 호흡기나 심혈관계 이상을 나타내는 생물학적 기능을 반영하는 수단이기도 하다. 이러한 아기울음의 중요성은 오래전부터 인지되어 그 중요성을 인정받아 다양한 연구가 진행되어왔다[16]-[20].

[18]은 모든 아기는 인종과 성별의 구분없이 원인별 울음패턴이 비슷하다는 것을 알아내고, 이를 특허출원 및 제품화하였다. 약 100명의 아기들의 울음을 수집하고 분석하여 Annoyed, Bored, Hungry, Sleepy, Stressed 총 다섯 가지의 주파수 패턴으로 아기의 울음패턴을 정의하였으며, 주파수 패턴 분석 칩을 개발하여 상용화하고 여러 병원에서 임상실험 결과 비교적 좋은 임상결과를 획득하였다고 주장한다.

또한, 호주의 Dunstan은 울음소리별 요구패턴에 대하여 의구심을 갖고 연구를 시작하였으며, 전 세계적인 연구 조사를 통해 인종, 피부색, 문화와 관계없이 모든 아기가 울기 전에 요구에 따라 5가지 패턴의 소리를 낸다는 것을 알게 되었고 이를 정리하여 ‘DBL(Dunstan Baby Language)’로 발표하였다[19]. 이는 Neh(배고픔), Owh(졸림), Eh(트림), Eairh(가스참), Heh(불편함) 등의 총 다섯 가지의 발음패턴으로 아기의 상태를 분류한다.

한편, [17]에 의해 배고픔과 통증에 따른 영유아 울음에는 평균 주파수가 다르다는 것이 알려졌으며, 졸릴 때와 트림할 때의 아기 울음소리에 패턴이 있음을 밝힌 연구[20]를 통해 Dunstan이 발표한 DBL에서 졸림 ‘Owh’와 트림 ‘Eh’ 소리가 검증되었다.

이와 같이 아기의 상태를 알아내기 위해 울음소리의 주파수 패턴을 분석하는 연구들이 있어왔으나, 아기의 울음소리를 특징 벡터의 이미지로 변환하여 심층 신경망에 적용하여 아기 상태 인식의 정확도를 높이려는 시도는 거의 없었다. 따라서 본 연구에서는 아기의 울음 패턴을 증명한 기존 연구결과들을 바탕으로, 울음소리를 시각화하고 CNN(Convolutional Neural Network) 합성곱 신경망 모델을 기반으로 학습을 진행하여 아기의 정확한 요구 사항이나 상태를 분류하고 인식하는 방법을 제시하고자 한다.

영아기의 아기는 오직 울음으로만 대부분의 자기 의사를 표현한다. 긴급한 상황에 대한 의사표현도 울음으로 하게 되는데 대부분의 보호자들은 울음소리만 듣고 아기가 전달하고자 하는 구체적인 의미를 알기 어려운 경우가 많다. 이와 관련하여 기존의 연구들은 음원의 주파수 평균을 이용하는 방식을 사용하였으나 이는 잡음에 매우 취약한 것으로 알려져 있다. 또한 현재까지 상용으로 출시된 아기울음 번역 제품과 어플리케이션[18][20]들은 높은 정확도를 얻기 위해 측정시 아기의 체중별 측정거리를 다르게 지정해야 할 정도로 사용자에게 많은 요구를 하고 있다.

본 연구의 목적은 이러한 기존 연구들의 단점을 극복하고, 가능한 높은 정확도를 가진 인공지능 기반의 음향을 이용한 아기 상태인식 시스템을 구현하여 그 유효성을 검증하는 것이다.

본 연구를 위한 음원 데이터는 전문가가 아니면 울음소리만으로 판별하기가 매우 어려우므로, 기존 연구에서 사용된 패턴별 아기음성 음원들을 저장한 후 트림, 가스참, 배고픔, 졸림, 불편함의 다섯 가지 범주로 분류하여 사용하였다. 본 연구에서는 이들 음원들을 시간 구간별 주파수 분리를 통해 스펙트로그램 형태의 이미지 데이터로 변형하여 시각화하였다. 이러한 전처리과정을 통한 데이터는 심층 신경망 기법인 CNN을 사용하여 90% 이상의 정확도를 가지는 상태 인식 결과를 보여주었다. 따라서 본 연구에서는 아기 울음을 인식할 수 있는 기존의 주파수 측정방식과는 다른 정확도 높은 우수한 모델을 설계하는 방법을 제시하였음을 확인하였다.

본 연구는 데이터를 수집하고 정제하는 과정 중에 실사용 데이터의 유효성 검증 및 연구 방향 설정을 위한 목적도 가지고 있으며, 이러한 관점에서는 비록 사용되는 데이터 양이 적음에도 불구하고 연구방향이 적절하다고 판단된다.

향후 본 연구 방법과 결과를 반영하여 전문가의 검증을 받은 충분한 음원데이터를 획득하고 활용하여 보다 발전된 연구를 진행할 계획이다. 따라서 이들 음원데이터를 이용하여 본 연구에서 제시된 CNN 모델로 학습을 진행한다면, 훨씬 높은 정확도를 가지는 시스템을 쉽게 구현할 수 있고, 이를 스마트 폰의 앱(Application)이나 전용기기의 형태로 실제 상용화도 충분히 가능할 것으로 기대된다.