EfficientNet 기반 얼굴 영상 나이 인식 방법

2.1 딥러닝 기반 얼굴 나이 인식 기술

딥러닝 모델이 영상 인식분야에서 뛰어난 성능을 보여준 이후로 얼굴 영상의 나이 인식 연구에서도 딥러닝 모델이 활발히 활용되고 있으며, 특히 딥러닝 기술 중 영상 인식 분야에서 우수한 성능을 보여주는 CNN 모델 기반의 연구가 활발히 진행되고 있다. CNN을 활용하여 얼굴 영상으로부터 나이 특징을 추출하고 추출된 특징을 이용하여 나이를 인식하는 과정을 통째학습(End-to-end learning)함으로써 나이 인식 성능이 크게 향상되었다. W. Shen et al.[9]은 CNN과 Regression forest를 결합한 DRFs(Deep Regression Forests) 기반 얼굴 나이 인식 방법을 제안하여, 얼굴 나이 인식 문제를 비선형 회귀(Non-linear regression)문제로 정의하고 해결하였다. R. Rothe et al.[10][11]는 CNN 모델 중 VGG16[3] 모델을 기반으로 하는 DEX 방법을 제안하였다. X. Liu et al.[12]는 얼굴 나이 인식 모델의 경량화에 중점을 둔 연구를 진행하였다. 경량화 모델인 SuffleNetV2과 어텐션(Attention) 기법을 결합한 MA-SFV2(Mixed Attention-ShuffleNetV2)의 얼굴 나이 인식 모델을 제안하였다. C. Zhang et al.[13]도 모델의 경량화를 통해 모바일 환경에서도 동작할 수 있는 C3AE라는 얼굴 나이 인식 방법을 제안하였다. C3AE는 나이 분포(Age label distribution)와 나이 정보(Age label)를 캐스케이드(Cascade) 방식으로 인식하여 나이 인식 성능을 개선하였다. H. Pan et al.[8]는 CNN 모델로 얼굴 나이 인식을 수행할 때 나이 분포(Age distribution)를 보다 잘 학습할 수 있도록 소프트맥스(Softmax)와 함께 평균-분산 손실함수를 사용하는 방법을 제안하였다. 일반적으로 분류에 사용하는 소프트맥스 로스만을 사용하는 것에 비해 평균-분산 로스를 함께 사용하여 CNN을 학습할 때 나이 인식 성능이 더 향상되는 결과를 보여주었다.

I. Dagher et al.,[14]는 사전 학습된 CNN 모델을 기반으로 계층적으로 나이를 인식하는 모델을 제안하였고, G. George et al.,[15]은 기존 CNN 모델에서 변형된 모델을 사용하여 얼굴 영상의 연령대를 예측하는 모델을 제안하였다. B. Abirami et al.,[16]는 CNN과 Haar Cascades, caffenet을 이용하여 실시간으로 얼굴 영상에서 얼굴을 검출하고 나이와 성별을 인식하는 모델을 제안하였다. S. E. Choi[17]는 다양한 CNN 모델을 활용한 얼굴 나이 인식 방법들의 성능을 비교하는 연구를 수행하였다. S. E. Bekhouche et al.,[18]는 기존의 얼굴 나이 인식 방법에서 사용하는 제한된 특징 추출 및 비효율적인 계층적 표현 학습을 개선한 MSDNN(Multi-Stage Deep Neural Network)라는 모델을 제안하였다. Q. Zhao et al.,[19]는 연령대 분류와 정확한 나이 인식을 위한 계층적 딥러닝 모델을 설계하여 나이를 인식하는 방법을 제안하였다. 이와 같이 기존의 연구에서 다양한 CNN 모델을 기반으로 얼굴 영상의 나이를 인식하는 연구들이 수행되었다.

이와 같이 얼굴 나이 인식을 위한 다양한 연구가 활발히 이루어지고 있음에도 불구하고, 보안 등 실제 응용 분야에서의 활용을 확대하기 위해서는 기존 연구보다 더 높은 성능과 정확도를 제공할 수 있는 기술에 대한 연구가 필요하다.

2.2 EfficientNet

EfficientNet은 기존 CNN 모델의 성능에 영향을 주는 깊이, 너비, 해상도를 동시에 조정하는 복합 스케일링 방법을 사용하여 최적의 성능을 얻기 위해 제안된 모델이다. 이전의 연구들에서는 CNN의 성능 향상을 위해 깊이, 너비, 해상도를 개별적으로 조정하는 방식을 사용했으나, EfficientNet은 복합 스케일링 방법을 통해 세 요소를 효율적으로 조정하여 CNN의 성능을 최적화하였다.

CNN의 성능을 결정하는 깊이, 너비 및 해상도를 그림 1에서 보여준다. 모델의 깊이는 네트워크의 깊이를 의미하여, 네트워크를 구성하는 층(Layer)의 수를 나타낸다. 일반적으로 네트워크의 깊이가 깊어지도록 층을 늘리는 방법으로 설계하여 CNN의 성능을 향상시킬 수 있다. 이와 같이 네트워크의 깊이를 조정하여 성능을 향상시킨 대표적인 방법이 앞에서 언급한 ResNet이다. 네트워크의 깊이가 깊을수록 더 풍부하고 복잡한 특징을 추출할 수 있기 때문에 네트워크의 성능이 향상되지만, 깊이가 너무 깊어지면 기울기 소실(Gradient vanishing) 문제가 발생하여 네트워크를 학습하기 어려운 문제가 있다.

Fig. 1.

Depth, width, resolution of CNN

CNN 성능에 영향을 주는 요소인 너비는 네트워크의 채널(Channel) 수를 의미한다. 너비를 넓히는 것은 네트워크의 채널수를 증가시키는 것이고, 채널수가 증가하면 모델의 성능이 향상될 수 있다. 일반적으로 너비가 넓은 네트워크에서는 보다 세밀한 특징(Fine-grained feature)을 잘 찾아내고 학습할 수 있지만, 네트워크의 깊이가 증가하지 않고 너비만 증가하면 깊은 층에서 학습된 특징(High level feature)을 얻기 어려워지는 문제가 있다. 또 다른 요소인 해상도는 CNN의 입력 영상의 해상도를 의미하며, 일반적으로 입력 영상의 해상도가 클수록 영상의 세밀한 패턴(Fine-grained pattern)을 활용할 수 있다.

그러나 영상의 해상도 증가에 비례하여 네트워크의 성능이 증가하지는 않는다.

이와 같이 네트워크의 깊이, 너비, 해상도의 관계를 고려하지 않고 개별적으로 조정하여 CNN의 성능을 향상시키는 방법은 한계가 있다. 따라서 EfficientNet에서는 세 요소의 상호관계를 고려하여 최적의 성능을 얻을 수 있는 요소의 조합을 찾는 복합 스케일링 방법을 제안하였다. 복합 스케일링 방법은 동일한 연산량 조건에서 최적의 깊이, 너비, 해상도 변수의 조합을 찾는 방법이다. 일반적인 컨볼루션(Convolution) 연산의 연산량은 모델의 깊이가 α배 증가하면 α배 증가하고, 너비가 β배 증가하면 β²배 증가하며, 해상도가 γ배 증가하면 γ²배 증가한다. 이러한 특징을 기반으로 복합 스케일링 방법을 다음과 같은 식 (1)로 표현할 수 있다.

위 수식의 d는 깊이, w는 너비, r은 해상도를 의미하며, Φ는 복합 계수(Compound coefficients)로 그 값이 커질수록 모델의 크기가 커지게 되는 사용자가 설정하는 변수이다. α, β, γ는 상수값으로 작은 그리드 서치(Small grid search)에 의해 결정된다. 앞 식에 의해, 모델의 깊이, 너비, 해상도 변수는 각각 가중치 α, β, γ에 비례하며, α⋅β²⋅γ²값이 일정하게 유지되도록 설정함으로써 동일한 연산량을 유지하며 변수를 조정할 수 있다.

EfficientNet의 기본 모델(Baseline model)을 NAS(Neural Architecture Search)[20]를 이용하여 설계하였다. NAS는 최적의 딥러닝 모델을 찾기 위해 사용하는 방법으로 성능과 연산량이 최적인 모델을 찾아준다. NAS를 기반으로 설계된 기본 모델의 깊이, 너비, 해상도 변수를 작은 그리드 서치(Small grid search) 방법으로 찾은 모델을 EfficientNet-B0이라고 부른다. EfficientNet-B0를 기반으로 복합 계수(Φ)를 변경하며 모델 스케일링을 수행하여 EfficientNet-B1 ~ B7을 생성한다.

본 논문에서는 얼굴 나이 인식 성능을 향상시키기 위해, CNN의 성능을 최적화하기 위해 제안된 EfficientNet 모델을 활용하였다.

3.1 제안 방법

본 논문에서는 EfficientNet을 기반으로 얼굴 영상의 나이를 인식하는 방법을 제안하였으며, 제안된 네트워크를 보다 효율적으로 학습하기 위해 소프트맥스와 평균-분산 손실함수[8]를 함께 사용하였다. 본 논문에서 제안하는 얼굴 나이 인식 방법은 그림 2에서 보여준다.

Fig. 2.

Proposed method of facial age estimation using EfficientNet and mean-variance loss

3.2 EfficientNet 기반 얼굴영상 나이 인식

본 논문에서는 얼굴 영상의 나이 인식을 위해 EfficientNet을 활용하였다. EfficientNet에서 제안한 기본 모델인 EfficientNet-B0의 복합 계수(Φ)를 변경하며 모델 스케일링을 수행하면 EfficientNet-B1 ~ B7을 생성할 수 있다. 본 논문에서는 얼굴 나이 인식을 위해 기본 모델인 EfficientNet-B0와 모델 스케일링이 적용된 EfficientNet-B1, EfficientNet-B7 모델을 사용하였다.

3.3 평균-분산 손실 함수

EfficientNet 기반의 얼굴 나이 인식 모델이 보다 나이 정보를 잘 인식할 수 있도록 평균-분산 손실함수를 사용하여 학습하였다. Hongyu Pan[8]은 일반적으로 딥러닝 모델에서 다중 클래스 분류를 위해 주로 사용되는 소프트맥스 손실(Softmax loss)과 평균-분산 손실(Mean-variance loss)을 함께 사용하는 나이 인식 방법을 제안하였다. 실험 결과, 얼굴 나이 인식에서 평균-분산 손실을 함께 사용하면 얼굴 나이 인식 성능이 향상되는 것을 확인하였다. 본 논문에서도 나이 인식 성능을 보다 향상시키기 위해 기존 방법[9]에서 제안한 평균-분산 손실과 소프트맥스 손실을 함께 사용하여 EfficientNet을 학습하였다.

평균-분산 손실을 구하기 위해 H. Pan et al.[8]은 CNN 모델의 마지막 완전연결층(Fully-connected layer)에서의 출력과 소프트맥스 확률(Softmax probability)을 다음 식 (2)과 같이 표현한다.

z는 마지막 완전연결층의 출력, x_i는 i번째 샘플의 특징 벡터(Feature vector), θ는 마지막 완전연결층의 파라미터, f(x_i)는 완전연결층 이전 층의 출력, p_i,j는 부류 j에 속하는 샘플 i의 확률을 나타낸다. 식 (1)을 기반으로 모든 부류 K에 대해 샘플 i의 인식된 나이(Estimated age label)의 분포를 나타내는 p_i의 평균(m_i)과 분산(v_i)을 식 (3)과 같이 정의한다.

평균 손실(L_m)은 인식된 나이 분포(Estimated age distribution)의 평균(m_i)과 실제 나이(y_i)의 차이로 구하며, 다음과 같은 식 (4)로 계산된다.

식 (4)에서 N은 배치사이즈(Batch size)를 의미한다. 일반적으로 소프트맥스 손실이 분류(Classification) 관점에서의 오차를 표현하고, 평균 손실은 회귀(Regression) 관점에서의 오차를 표현하기 때문에 두 손실을 상호 보완적으로 사용할 수 있다. 분산 손실(L_v)은 인식된 나이 분포(Estimated age distribution)에 제한을 두는 역할을 하며, 다음과 같은 식 (5)로 표현한다.

기존 연구[8]에서 얼굴 나이 인식 모델을 학습할 때 소프트맥스 손실과 평균-분산 손실함수를 함께 사용하면 소프트맥스 손실만을 사용하는 것에 비해 성능이 향상된다는 것을 확인하였다. 본 논문에서도 EfficientNet기반의 얼굴 나이 인식 모델을 학습하기 위해 소프트맥스 손실과 평균-분산 손실함수를 함께 사용하였으며, 다양한 CNN 기반 모델과의 성능을 비교할 때도 동일한 방법을 사용하였다.

4.1 실험 설정

본 논문에서 제안하는 방법의 성능을 평가하기 위해 얼굴 나이 인식 분야에서 많이 사용되는 FG-Net[21], UTKFace[22], IMDB-WIKI[23] 데이터셋을 이용하였다. FG-Net[21]은 얼굴 나이에 관한 연구에서 많이 사용되는 데이터셋으로 82명의 유럽인을 대상으로 수집되었다. FG-Net은 한 사람당 연령대가 다른 여러 장의 사진으로 구성되어 있으며, 연령대는 0~69세 사이로 분포한다. 또한 포즈, 표정, 사이즈, 배경, 조명 등의 변화가 다양한 특징이 있다. UTKFace[22]는 다양한 인종으로 구성된 데이터셋으로 연령대는 1~116세 사이로 분포하며, 2000장 이상의 영상으로 구성되어 있다. IMDB-WIKI[23]는 IMDb와 Wikipedia에서 수집된 유명인의 얼굴 영상으로 구성되어 있다. IMDB-WIKI[23]는 IMDb에서 20,284명으로부터 수집한 460,723장의 영상과 Wikipedia에서 수집된 62,328장의 얼굴 영상을 포함하여 총 523,051장의 얼굴 영상으로 구성되어 있으며, 스크래핑을 통해 취득된 나이 정보를 함께 제공하고 있다.

각 데이터셋에서 제공하는 얼굴 영상은 포즈, 크기, 해상도 등이 다양한 특성이 있기 때문에, 나이 인식 정확도를 향상시키기 위해서 얼굴 영상을 정규화하는 과정이 필요하다. 본 논문에서는 얼굴의 주요 특징점을 기준으로 정규화를 수행하기 위해 FAN[24]을 이용하여 68개의 주요 특징점을 추출하였고, 이를 기반으로 얼굴의 크기, 기울기, 위치 등을 정규화하는 과정을 수행하였다. 그림3에서 FAN에 의해 추출된 68개의 얼굴 특징점을 보여준다. 이와 같은 방법으로 FG-Net, UTKFace, IMDB-WIKI 데이터셋의 얼굴 영상을 정규화하여 학습 및 테스트에 활용하였다.

Fig. 3.

68 facial landmarks extracted by using FAN

본 논문에서 제안한 모델은 먼저 IMDB-WIKI 523,051개 영상과 UTKFace 데이터셋 23,612개 영상을 이용하여 사전 학습하였고, 사전 학습된 모델을 FG-Net 데이터셋으로 미세조정(Fine-tuning)하였다. 또한 FG-Net 데이터셋을 평가데이터로 활용하여 나이 인식 성능을 측정하였다. FG-Net 데이터셋으로 평가를 수행할 때 동일인이 학습과 테스트 셋에 동시에 포함되지 않도록 LOPO(Leave-One-Person-Out) 방법[1]을 사용하였다. LOPO 방법은 FG-Net 데이터셋에 포함된 82명 중, 1명에 해당하는 10여장의 사진을 테스트 데이터셋으로 구성하고 나머지 81명의 사진을 학습 데이터셋으로 구성하는 방법이다. 실험을 위해 총 82-fold를 구성하였고, 각 fold 성능의 평균을 최종 성능으로 측정하였다.

성능 평가 지표로 식 (6), (7), (8)로 표현되는 MAE(Mean Absolute Error), RMSE(Root Mean Squared Error), CS(Cumulative Score)를 사용하였다.

MSE, RMSE를 계산하는 식 (6), (7)의 N은 테스트 데이터의 수, a_k는 실제 나이, $$ {\hat{a}}_k$$는 인식된 나이를 의미한다. CS는 식 (8)에 의해 계산되며, 식 (8)의 $$ N_{e\le th}$$는 인식 오류(e)가 임계값(th)보다 작은 테스트 데이터의 수를 의미한다.

제안된 모델의 학습에 사용된 하이퍼파라미터로 배치사이즈(Batch size) 8, 세대수(Epoch) 100, 학습률(Learning rate) 0.001을 사용하였다.

4.2 실험 결과

본 논문에서 제안한 EfficinetNet을 이용한 얼굴 영상의 나이 인식 성능을 표 1에서 보여준다. EfficientNet의 기본 모델인 EfficientNet-B0와 기본 모델에 스케일링을 적용한 EfficientNet-B1, EfficientNet-B7 모델을 사용한 경우의 성능을 비교하였다. 기본 모델인 EfficientNet-B0를 사용한 경우 MAE 3.06, 모델 스케일링을 적용한 EfficientNet-B1의 경우 MAE 3.09, EfficientNet-B7의 경우 MAE 2.85의 성능을 보였다. EfficientNet의 모델 스케일을 확장한 EfficientNet-B7에서 얼굴 영상의 나이 인식 성능이 가장 우수한 결과를 보였다.

Table 1.

Facial age estimation performance using EfficientNet

본 논문에서 제안한 나이 인식 방법과 기존 CNN을 사용한 나이 인식 방법의 성능을 비교[17]한 결과를 표 2에서 볼 수 있다. 기존 CNN 모델 중 가장 성능이 좋은 모델은 ResNet-34로, MAE 3.02의 성능을 얻었다. EfficientNet-B7을 사용한 경우 MAE 2.85로 ResNet-34 모델에 비해 성능이 보다 향상된 결과를 얻었다. 이 실험 결과를 통해 복합 스케일링 방법으로 모델의 스케일을 효율적이고 체계적으로 조정하는 EfficientNet이 얼굴 영상 나이 인식 분야에서 우수한 성능을 보임을 확인할 수 있다.

Table 2.

Facial age estimation performance using various CNN models and EfficinetNet (MAE)

얼굴 나이 인식 성능을 RMSE(Root Mean Squared Error)로 비교한 결과를 표 3에서 보여준다. 표 3에서 볼 수 있듯이, CNN 모델들의 성능을 RMSE로 비교한 결과 EfficientNet-B7이 다른 CNN 모델과 비교하여 성능이 가장 우수한 것을 확인하였다.

Table 3.

Facial age estimation performance using various CNN models (RMSE)

다음은 CS를 시각화하여 기존 CNN모델과 EfficientNet 기반 모델의 나이 인식 성능을 비교하였고, 그 결과를 그림 4에서 보여준다. 그림 4의 x축은 나이 인식 오차를 나타내며, y축은 CS를 나타낸다. CS를 시각화한 그래프가 위에 그려질수록 성능이 우수한 것을 나타낸다. 그림 4에서 볼 수 있듯이, CS 그래프에서도 EfficientNet-B7을 사용한 경우 성능이 가장 우수한 것을 확인하였다.

Fig. 4.

CS comparison between CNNs and EfficientNet face age estimation