Home

AI 분야 중 딥러닝은 이미지 인식, 음성 인식, 문장 예측 등 수많은 분야에서 다양하게 개발 및 연구가 진행되고 있다. 본 논문에서는 이미지 인식 분야를 다뤄 보려고 한다. 현재 이미지에 대한 인식(Recognition) 및 분류(Classification) 분야에 가장 흔히 쓰이는 알고리즘은 이미지의 공간 정보를 유지한 상태로 학습이 가능한 CNN(Convolution Neural Network)이다. 이는 심층 신경망의 한 종류로 동물의 시각 피질에서의 생물학적 작동 과정을 통해 영향을 받아 구현되었다[1].

기본적인 구성으로 그림 1과 같이 여러 개의 합성곱 계층과 풀링 계층, 완전 연결 계층 등으로 구성되어있다. 이미지 특징 추출을 위하여 그림 1과 같이 입력 데이터를 필터가 순회하며 합성곱을 계산하고, 계산 결과를 이용하여 특징 맵을 만든다[2].

Fig. 1. 
Basic structure of CNN

CNN을 기반으로 한 VGGNet[3]과 GoogLeNet[4] 등과 같은 다양한 네트워크는 합성곱 계층이 여러 층이 쌓여 있는 모델이다. 신경망이 깊게 구성되어 있어 적용되는 활성 함수의 수도 많다. 그러기 때문에 활성 함수는 신경망의 성능에 영향을 주는 중요한 구성요소라 할 수 있다. 또한, 딥러닝의 학습에서 입출력의 관계가 복잡해야 학습에 대한 성능이 향상되기 때문에 비선형 함수의 사용이 필수적이다. 초기 활성 함수로 시그모이드나 하이퍼볼릭 탄젠트를 주로 사용했지만 양 끝단에 수렴이 될 때 기울기 소실 현상으로 학습에 대한 어려움이 존재하였다. 그래서 등장한 ReLU는 계산이 간단하고, 학습도 빨라 비효율성을 해결해주면서 딥러닝 모델들의 성능이 상당히 발전하게 된다. 하지만 음수에서 미분값이 0이라 학습이 불가능해지는 Dying ReLU 현상이 있어 이런 단점을 개선하기 위해 다양한 활성 함수가 연구되었다. 그 중 Swish 함수가 부드러운 비단조성 곡선과 음의 경계값을 가지는 특성으로 대부분의 단점을 개선하였다.

본 논문에서는 Swish 함수의 기반에 추가적인 시그모이드 제곱식을 통해 매끄러운 곡선을 추가함으로써 비단조성과 비선형성을 더욱 확보하고 입출력 관계의 복잡성을 높여 새로운 활성 함수(CoS, Consist of Sigmoid)를 제안한다.

신경망의 모델에서 대부분 사용하는 활성 함수은 ReLU이다. 하지만 음의 영역에서 Dying ReLU 현상이 발생한다. 그러한 문제점을 Swish의 특성으로 해결하여 이미 좋은 성능을 보였다[8]-[10].

본 논문에서는 Swish의 형태를 기반으로 시그모이드 함수의 제곱 형태로 추가적인 부드러운 곡선을 조합하여 식 (5), 그림 8과 같이 시그모이드로 구성된 함수로 새로운 활성 함수(CoS, Consist of Sigmoid)를 제안한다.

Fig. 8. 
CoS function and differential graph

CoS는 추가된 시그모이드 함수의 제곱식을 x의 계수 5와 상수값 0.5으로 위치를 조절함으로써 Swish 모양과 비슷하게 만들어 Swish의 특성을 이용한다. 그리고 추가적인 부드러운 곡선을 가지고 있어 Swish보다 초기값과 학습률에 덜 민감하므로 일반화와 최적화에 강하다. 또한, 그림 7의 미분 그래프와 그림 8의 미분 그래프를 비교하면 추가적인 곡선으로 비단조성이 강조되어 기울기 변화에 따른 표현력 향상으로 네트워크의 정확도를 개선한다.

새롭게 제안한 활성 함수 CoS의 성능이 개선됨을 보이기 위해 3가지의 활성 함수 ReLU, Swish, CoS를 이용하여 ShuffleNet v2, MobileNet v2, SqueezeNet에 적용했다. 데이터셋은 CIFAR-10을 사용하여 epoch=200을 통해 정확도와 손실값을 비교하였다.

그림 9, 10에서 정확도와 손실값을 보면 3가지 활성 함수 중 CoS 함수가 평균적인 손실값이 낮은 편에 속하고 정확도는 평균적으로 높은 것을 알 수 있다.

Fig. 9. 
Comparison of loss value for ShuffleNet v2

Fig. 10. 
Comparison of accuracy value for ShuffleNet v2

표 1을 통해 수치적으로 보면 CoS 함수의 Top-1 loss는 0.4514로 가장 낮고 Top-1 accuracy는 ReLU보다 0.77% 높고 Swish보다 0.54% 높은 것을 확인할 수 있고 ShuffleNet v2 모델에서 CoS가 가장 좋은 결과를 볼 수 있다.

그림 11, 12에서 손실값을 보면 3가지 활성 함수 모두 비슷해 차이가 없고 평균적인 정확도에서 CoS가 높다는 것을 알 수 있다.

Fig. 11. 
Comparison of loss value for MobileNet v2

Fig. 12. 
Comparison of accuracy value for MobileNet v2

표 2를 통해 수치적으로 보면 CoS 함수의 Top-1 loss는 0.4561로 Swish의 Top-1 loss보다 높지만 Top-1 accuracy는 ReLU보다 0.46%높고 Swish보다 0.41% 높은 것을 확인할 수 있다. MobileNet v2 모델에서 CoS 함수는 학습 시간과 손실값은 좋지 못하지만 가장 중요한 요소인 정확도는 CoS 함수가 가장 좋은 결과를 볼 수 있다.

그림 13, 14에서 손실값을 보면 3가지 활성 함수의 손실값은 SqueezeNet 모델에서 또한 비슷한 것을 볼 수 있고 CoS 함수의 정확도가 평균적으로 높은 것을 알 수 있다.

Fig. 13. 
Compare loss value for SqueezeNet

Fig. 14. 
Compare accuracy value for SqueezeNet

표 3에서 수치적으로 보면 CoS 함수의 Top-1 loss는 0.3927로 Swish의 Top-1 loss보다 높지만 Top-1 accuracy는 ReLU보다 0.60% 높고 Swish보다 0.38% 높은 것을 확인할 수 있다. SqueezeNet 모델에서 또한 학습 시간과 손실값은 좋지 못하지만 가장 중요한 요소인 정확도는 CoS가 가장 좋은 결과를 볼 수 있다.

ShuffleNet v2, MobileNet v2, SqueezeNet 모델에서 활성 함수 ReLU, Swish, CoS를 비교하였을 때, 본 논문에서 제안하는 CoS 함수는 기존의 시그모이드 함수를 제곱의 형태로 추가적인 곡선으로 다른 활성 함수와 차별성을 두었고 부드러운 곡선의 추가로 일반화와 최적화의 기능을 향상시켰으며 계층 사이의 입출력 관계에 대한 복잡성을 높임에 따라 ShuffleNet v2에서 손실값, 정확도가 모두 개선된 결과를 보였다. MobileNet v2, SqueezeNet에서 손실값은 3가지 활성 함수 모두 비슷한 결과를 보여주어 차이가 없었지만 정확도의 성능 개선을 보였다.

3가지 모델 비교를 통해 CoS 함수는 제곱식이 포함되어 있어 학습 시간이 가장 느린 것을 알 수 있었다. 그렇지만 실제 이미지 인식에서는 학습이 완료된 모델을 가지고 적용하기 때문에 학습 시간보다 정확도가 중요하기 때문에 CoS 함수는 다른 함수들과 비교하여 개선된 성능을 보여준다.

그림 15는 MNIST 데이터셋을 사용하여 신경망 깊이에 따른 정확도를 활성 함수 ReLU, Swish, CoS를 적용하여 비교한 그래프이다. 본 논문에서 제안한 활성 함수(CoS)는 신경망이 깊어짐에 따라 Swish와 비슷한 정확도를 보이고 ReLU 보다 높은 정확도를 볼 수 있으며 깊은 신경망에 대한 정확도의 안정성을 확인할 수 있다.

Fig. 15. 
Accuracy according to layer depth

무작위로 초기화된 단순한 신경망에서 출력 환경에 대한 Landscape를 그림 16를 통해 비교했다. ReLU를 보면 날카로운 변화를 보이고 Swish는 부드러운 변화를 보인다. 본 논문에서 새롭게 제안하는 CoS도 부드러운 변화를 보이기 때문에 ReLU 보다 부드러운 최적화 기능을 제공하고 손실을 줄이면서 신경망에 대한 일반화를 높일 수 있다.

Fig. 16. 
Comparison of ReLU, Swish and CoS landscape

본 논문에서 새로 제안된 활성 함수인 CoS는 Swish의 형태를 기반에 시그모이드 함수의 제곱 형태로 추가적인 부드러운 곡선을 조합하여 Swish의 특성을 가지면서 정확도의 개선을 보였다.

ShuffleNet v2, MobileNet v2, SqueezeNet에 총 epoch=200을 수행하였고 정확도는 ReLU 보다 0.46%~0.77%, Swish 보다는 0.38%~0.54%가 높아 정확도에 대한 성능 개선을 확인하였다.

하지만 제안하는 함수는 제곱식의 형태 추가로 인해 기존의 활성 함수인 ReLU, Swish보다 연산량이 많아 학습 시간이 가장 느린 것을 확인할 수 있었다. 추후 연구에서 연산량을 줄이기 위해 다른 함수를 조합하거나 제곱의 형태가 아닌 함수로 대체하여 함수를 수정하면 연산량을 줄여 학습 시간과 정확도 개선으로 향상된 결과를 얻을 것으로 예상된다.