Current Issue

얼굴 검출은 컴퓨터 비전 분야에서 활발히 연구되어왔다. 얼굴 검출은 이미지에서 경계 상자를 통해 얼굴의 공간적 위치를 검출해주는 것으로 얼굴인식, 표정 인식에서 첫 번째 프로세스로 사용된다[10]. 잘 가공된 데이터 세트가 아닌 경우 이미지에 사람 외에도 다양한 객체들이 존재하기 때문에 전처리 단계로 얼굴 부위만 검출할 때 사용된다.

객체 검출 연구는 2단계를 가진 검출 모델과 하나의 단계의 구조를 가진 검출 모델로 나뉘어 연구되었다. 그중 단일 단계 구조를 가진 검출 모델은 속도와 정확도의 균형 때문에 널리 사용되고 있다. 얼굴 검출 모델은 객체 검출 모델을 기반하므로 위의 두 가지 구조가 주로 연구되고 있다. 2단계 모델의 대표적인 예로는 Face R-FCN 모델이 있다[11]. Face R-FCN은 기존의 모델에서 position-sensitive average pooling과 다중 스케일 학습을 사용하여 얼굴 검출 성능을 높인 모델이다. 하지만, 이런 2단계 모델의 발전에도 경계 상자를 이용한 얼굴 검출에서는 예측 클래스가 하나이기 때문에 단일 단계 모델의 성능이 크게 떨어지지 않으며, 속도의 측면에서도 단일 단계 모델이 더 우수하다. 따라서 최근에는 단일 단계 얼굴 검출 모델이 더 활발히 연구되고 있다. 본 논문에서는 단일 단계 얼굴 검출 모델을 사용한다. Yolo v5 모델은 마스크 착용 모니터링과 같은 다양한 객체 검출 분야에서 활발히 사용되고 있다[12]. Yolo Face v2는 단일 단계 얼굴 검출 모델로 Yolo v5 모델을 기반으로 한다[13]. Yolo Face v2는 얼굴이 머리카락, 모자, 안경, 마스크 등과 같은 다른 물체로 가려져 있는 경우에도 얼굴 검출이 원활하도록 SEAM 모듈과 반발 손실을 사용하는 것을 제안하였고, 이미지상 존재하는 얼굴의 크기가 다른 것을 완화하기 위해 RFE 모듈을 설계하여 수용 필드를 향상시켰다. 본 논문에서는 적은 양의 데이터로 더 좋은 성능을 내기 위한 방법으로 Face Yolo v2를 전이 학습하여 사용하였다[14].

얼굴 감정인식은 이미지에 존재하는 표정의 특징을 추출하여 감정 클래스로 분류하는 것을 의미한다. 얼굴 감정인식 연구는 두 가지 방법론으로 나눌 수 있다. 첫 번째로 고전적인 방법론이다. 이미지의 특징을 추출하고 고전적인 기계학습 모델을 분류기로 사용하는 방법으로 분류기에는 서포트 벡터 머신, k-근접 이웃, 의사 결정 나무, 은닉 마르코프 모델이 사용된다. 이 방법론은 2010년대 초반까지 많이 연구되었다. 두 번째는 딥 러닝 기반 모델이다. CNN으로 구성된 모델로 특징 추출과 분류를 같이 하는 방법으로 최근 딥 러닝 기술과 하드웨어의 발전으로 딥 러닝 기반 모델이 활발히 연구되고 있다. Kai는 CNN과 Self-Attention 구조를 이용하여 AffectNet, FERPlus등의 데이터 세트에서 좋은 성능을 보였고, Yousif 또한, CNN 모델을 사용하여 FER2013 데이터 세트에서 좋은 성능을 보였다[15][16]. 하지만 여전히 딥 러닝 모델을 사용하는 연구가 많지 않으며, 특히 동양인 얼굴 이미지를 사용하는 연구는 많지 않다. 본 논문에서는 CNN 기반 딥 러닝 네트워크로 한국인 데이터에 대해 학습함으로써 이와 같은 한계점을 해결해보고자 한다.

본 연구에서는 그림 1과 같이 한국인 표정 데이터 세트를 활용한 감정인식 프로세스를 제안하고자 한다. 제안하고자 하는 전체 프로세스는 크게 두 가지이다. 첫 번째는 얼굴 검출로 한국인 데이터 세트를 입력으로 하여 학습된 Yolo 기반 얼굴 검출 모델을 이용하여 얼굴 영역만을 잘라 이미지를 전처리한다.

Fig. 1. 
Emotion recognition process using Korean facial expression dataset

이 전처리는 분류 모델이 얼굴 영역에 대해 집중할 수 있도록 도움을 준다. 두 번째는 제안하는 모델인 K-EmotionNet으로 이미지에 존재하는 얼굴의 감정 분류를 한다. 연구의 구체적인 내용은 다음 장에 자세히 기술하였다.

본 연구에서는 AI 허브에 공개된 한국인 감정인식을 위한 복합 영상 데이터 세트의 50만 장의 데이터를 두 종류의 모델을 위해 추출하여 사용하였다. 얼굴 검출 모델의 학습 및 검증에는 3,500장을 추출하여 사용하였다. 얼굴 감정 분류를 위해서는 49,000장을 사용하였으며, 표 1과 같이 분노, 슬픔, 불안, 상처, 당황, 기쁨, 중립(무표정)의 7개 클래스에 대해 클래스 불균형이 발생하지 않도록 균일하게 7,000장씩 분포하도록 데이터를 무작위 추출하여 구성하였다.

그림 2와 같이 데이터는 연기자와 일반인의 이미지가 혼합되어 있어 간혹 표정을 어느 한 클래스로 분류하기 어려운 경우가 존재하였고, 정답 라벨이 오 분류 된 경우가 존재하였다. 이에 대한 영향을 최소화하기 위해 데이터 세트의 JSON 파일에 담겨있는 어노테이터의 3명의 의견이 모두 일치하는 이미지를 우선순위로 포함하였다.

Fig. 2. 
Examples of invalid labels and background objects

현재 사용하고 있는 데이터는 1인 셀프카메라 시점의 이미지로 HD 화질 이상의 이미지들을 대상으로 한다. 이미지마다 해상도 크기가 달랐으며 이미지의 해상도가 2000이 넘어가는 경우가 빈번하였다. 이렇게 큰 이미지의 경우 그림 3에서처럼 분류 모델에 크기 변환만 하여 입력 이미지로 사용하기에 왜곡으로 인한 한계가 있으며 변환 시 정보 손실이 발생한다. 또한, 다양한 장소에서 촬영된 이미지로 배경에 여러 객체가 담겨있고 간혹 연예인 광고물, 행인, 인간 형태의 동상, 벽화 등의 사람 얼굴 형태의 객체들도 혼재되어 있다. 이미지에서 배경이 담고 있는 정보를 별도로 고려하지 않는 경우 배경이 분류 모델에 잡음으로 작용하여 분류 성능에 영향을 미칠 수 있다.

Fig. 3. 
Example of resize and crop

따라서, 제안하는 프로세스에서는 감정 분류 모델의 입력으로 들어가는 이미지가 얼굴 부위에 대한 정보를 집중적으로 담을 수 있도록 전체 이미지에서 얼굴이 존재하는 부분을 검출하고 해당 부분을 잘라서 분류 모델의 입력 이미지로 사용하였다. 또한, 경험적으로 얼굴 영역만 모델에 들어가는 경우 과적합이 발생할 수 있음을 우려하여 검출된 얼굴 주변에 적절한 배경을 포함하도록 데이터를 구성하였다. 이 과정에서 500x500으로 얼굴 비율에 왜곡이 생기지 않도록 마진을 주어 가공하여 사용하였다.

셀프카메라 이미지 특성상 전체 이미지에서 얼굴이 차지하는 비율이 최소 10%에서 최대 40%로 균일하지 않고, 인물의 각도와 인물의 위치가 이미지마다 다르므로 딥 러닝 모델을 사용하여 얼굴 검출 후 영역을 자르는 과정이 필요하였다.

본 논문에서 제안하는 프로세스에서 사용된 검출 모델은 Yolo Face v2 모델이며, 이는 Yolo v5를 기반으로 얼굴을 검출하기 위해 변형된 모델이며 얼굴 벤치마크 데이터 세트인 Wider Face에서 SOTA(State-of-the-Art) 성능을 내었다[17]. 이와 비교를 하기 위해 Open CV 라이브러리의 Cascade classifier 메소드를 사용하여 CNN 구조를 사용하지 않은 경우도 비교하고자 하였다.

얼굴 감정 분류 모델은 CNN 구조로 되어 있는 딥 러닝 모델을 사용하고자 하였고, 그 중 ResNet 구조를 기반하여 bottle neck 구조를 넣지 않은 54층 레이어를 가진 네트워크를 제안하는 프로세스의 분류 모델로 사용하였다.

본 연구의 태스크는 객체 검출과 분류로 나눠서 볼 수 있다. 따라서 각각에 대한 평가 지표를 사용한다. 평가 지표를 계산하기 위해 혼동 행렬(Confusion matrix)을 사용하였다. 객체 검출에 대한 평가 지표로는 가장 많이 사용되는 mAP를 사용한다. AP(Average Precision)는 정밀도(Precision)-재현율(Recall) 그래프의 아래 면적을 계산한 값이다[18]. 면적을 계산할 때는 계산의 편의성을 위해 식 (2), (3)과 같이 보간법을 적용하여 계산한다. 객체 인식에서 정밀도(식 (4))와 재현율(식 (5))은 식 (1)의 IoU 값이 임계치를 넘었을 경우 정답으로 보고 구할 수 있다. mAP는 각 클래스의 AP 값들의 평균으로 구할 수 있다. 본 논문에서 사용한 mAP@0.5는 IoU(Intersection Over Union)가 0.5 이상인 경우 TP(True Positive)로 분류하여 mAP를 계산한 것이다. mAP@0.5:0.95는 IoU가 0.5 이상인 경우부터 0.05씩 증가시켜 0.95까지의 수치에 대해 mAP를 구하여 평균으로 계산한 것이다. 분류에 대한 평가 지표로는 정확도를 사용한다. 정확도는 전체 샘플에서 정 분류된 비율을 의미한다. 정확도는 식 (6)을 통해 구할 수 있다.

표 2는 사용하는 데이터 세트의 구성을 보인다. AI 허브의 한국인 감정인식을 위한 복합 영상 데이터 세트 50만 장에서 무작위 추출과 전처리를 통해 데이터 세트를 구축하였고, 8:1:1의 비율로 나누어 실험하였다.

실험을 위해 Nvidia RTX 3090 24GB 한 대를 사용하였다. 요약된 실험 환경은 표 3을 통해 확인할 수 있다. 학습 에포크는 최대 150으로 맞췄으며 학습 중 검증 데이터의 정확도를 통해 가장 성능이 좋은 모델을 저장하였다. 옵티마이저는 Adam을 사용하였으며, 학습 데이터의 과적합을 막기 위해 Random Erasing을 적용하여 데이터 증강을 시도하였다[19].

본 논문에서는 Yolo Face v2 모델을 전이 학습하여 사용하였다. 서양 얼굴로 학습된 가중치를 한국인 얼굴 데이터 세트로 재학습하였고, 그 결과 mAP@0.5:0.95의 수치가 4.49 상승하였다. 검출 모델의 요약된 결과는 표 4에서 확인할 수 있다. 이렇게 학습된 모델을 사용하여 다음 단계인 얼굴 감정 분류 모델의 입력 이미지를 가공하였다.

본 논문에서는 얼굴 감정 분류 모델로 ResNet18, VGG19, K-EmotionNet을 사용하였다[20][21]. 실험은 얼굴 검출 전처리 종류를 변경하여 3가지 경우에 대해 진행하였다. 첫 번째로 AI 허브 한국인 감정인식을 위한 복합 영상 데이터의 원본 이미지를 모델의 입력 크기에 맞게 그림 3과 같이 이미지 크기 변경만 하여 모델을 학습하였다. 두 번째로 Yolo Face v2 모델 적용 구조와 비교하기 위해 Open CV의 Cascade classifier를 사용하여 얼굴 검출한 이미지로 모델을 학습하여 성능을 평가하였다. 마지막으로 한국인 이미지에 대해 학습한 Yolo Face v2 모델로 얼굴 검출을 한 이미지로 학습하여 성능 평가를 하였다.

반복 실험의 결과는 표 5에서 확인할 수 있다. 성능은 본 논문에서 제안하는 프로세스인 Yolo Face v2 모델로 전처리 후 K-EmotionNet을 사용한 경우의 정확도가 84.37%로 가장 우수했다. 그림 4는 제안하는 프로세스의 혼동행렬이다.

Fig. 4. 
Confusion matrix of proposed architecture

각 클래스에 대한 분류 성능을 확인할 수 있으며 불안과 상처, 슬픔과 상처 클래스가 다른 클래스들에 비해 혼동되는 것을 확인할 수 있다. 이는 분류에 사용된 데이터가 슬픔과 상처, 불안과 당황, 상처 클래스들의 표정이 유사한 특징을 갖고 있기 때문이다.