Home

1998년에 처음 소개된 콘볼루션 신경망(CNN, Convolutional Neural Networks)[1]은 이미지 처리에서 널리 활용되는 콘볼루션 연산을 포함한 다양한 연산을 활용하여 주어진 데이터로부터 특징(Feature) 정보를 정확하게 추출하는 기능을 갖고 있다[2].

이러한 특성에 기반하여, 콘볼루션 신경망은 이미지 분류와 세그먼테이션, 객체 탐지 및 추적과 같은 컴퓨터 비전 분야를 비롯하여 자연어처리, 시계열 분석 등 다양한 영역에서 널리 활용되고 있다[2]-[6].

최근의 콘볼루션 신경망은 이미지 또는 텍스트와 같이 복잡한 데이터의 인식 성능을 강화하기 위해 그 구조가 점점 복잡해지고 있다. 대표적으로 2015년에 발표된 ResNet[7]의 경우 입력 계층의 증가에 따른 데이터 전달 시 손실 문제를 해결하기 위해 잔차 연결(Residual connection)을 도입하였으며, 2017년에 소개된 DenseNet[8]은 각각의 계층의 입/출력을 다른 계층과 직접적으로 연결하는 여러 개의 댄스 블록(Dense block)으로 구성된다.

이처럼 콘볼루션 신경망의 구조가 복잡해짐에 따라 그것의 손실함수(Loss function)가 생성하는 해 공간(Optimal solution space)의 복잡도 역시 높아지게 되어 전역 최적 해(Optimal solution), 즉, 콘볼루션 신경망의 최적 가중치(Optimal weights)를 탐색하는 것을 더욱 어렵게 한다. 이는 결과적으로 콘볼루션 신경망의 학습 성능 저하로 이어지게 된다.

한편 콘볼루션 신경망을 포함한 심층 신경망 학습은 대부분 경사 하강법(Gradient descent)을 기반으로 한 일차 최적화 알고리즘(First-order optimization algorithm)을 통해서 이루어진다[9].

특히 현재 단계(Step)에서 관측되는 그레디언트(Gradient)와 과거의 여러 그레디언트들의 지수 가중 평균(Exponential weighted average)을 참조하여 최적 해의 탐색 방향을 적응적으로 결정하는 학습 알고리즘인 Adam[10]이 다양한 심층 신경망의 학습에 널리 사용되고 있다.

그러나 상기에서 설명한 바와 같이 최근 콘볼루션 신경망의 구조가 더욱 방대해지고 복잡해짐에 따라 Adam에서 제안한 방법만으로 콘볼루션 신경망을 학습시키는 경우 만족할 만한 수준의 학습 성능에 도달하지 못하는 문제점이 발생하게 되었다. 이에 따라 Adam에서 제안한 방법보다 더욱 정교하면서도 안정적으로 콘볼루션 신경망을 학습시킬 수 있는 강화된 최적 해 탐색 알고리즘에 대한 필요성이 대두되기 시작하였다.

따라서, 본 논문에서는 콘볼루션 신경망 학습 시 손실함수가 생성하는 전역 최적 해 공간에서 효과적으로 해 탐색을 수행하기 위한 그레디언트의 복합적 분석 및 활용 방법을 제안한다. 그런 다음, 제안한 방법을 활용한 새로운 콘볼루션 신경망 학습 방법인 CGAU-CNN(Complex Gradient Analysis and Utilization for CNN) 학습 알고리즘을 소개하고 그것의 구체적인 구현 방법을 보인다. 마지막으로, CGAU-CNN을 이용하여 실제 널리 사용되는 콘볼루션 신경망 모델을 학습시키고 그 결과를 분석함으로써 본 연구에서 제안하는 방법의 성능과 효용성을 입증한다.

본 논문의 구성은 다음과 같다. II 장에서는 콘볼루션 신경망과 학습 방법에 관한 기존 연구를 소개한다. III 장에서는 그레디언트의 복합적인 분석 방법과 이를 활용한 강화된 콘볼루션 신경망 학습 알고리즘인 CGAU-CNN을 제안한다. IV 장에서는 본 연구에서 제안한 CGAU-CNN과 5개의 기존 학습 알고리즘을 이용하여 실제 콘볼루션 신경망 모델을 학습시킨 후 학습된 신경망 모델의 정확도와 수렴 성능을 분석한다. 마지막으로 V 장에서는 본 논문의 내용을 요약하고 제안하는 방법의 의의와 한계점 및 향후 연구 방향을 설명하면서 본 논문을 마무리한다.

콘볼루션 신경망은 1979년 쿠니히코 후쿠시마(Kunihiko Fukushima)가 개발한 네오코그니트론(Neocognitron)[11]의 영향을 받아 1998년에 얀 르쿤(Yann LeCun)이 제안한 신경망 모델이다[1][12].

그림 1은 콘볼루션 신경망의 일반적인 구조를 보여주고 있다.

Fig. 1. 
General architecture of convolutional neural networks

콘볼루션 신경망에서의 학습 문제는 이미지 분류 또는 이미지 세그먼테이션과 같은 작업을 주어진 학습 데이터에 대해서 최적의 성능으로 수행할 수 있도록 콘볼루션 계층(Convolution layer) 상의 콘볼루션 필터(Convolution filter)와 그 외 여러 가중치에 대한 최적의 값을 탐색하는 최적화 문제(Optimization problem)로 정의할 수 있다. 이에 따라 얀 르쿤은 자신이 개발한 콘볼루션 신경망인 LeNet-5를 학습시키기 위해 오차 역전파(Backpropagation) 알고리즘을 활용하여 번호판 이미지를 정확하게 인식하는 데 성공하였다[1]. 오차 역전파 알고리즘은 콘볼루션 신경을 포함한 대부분의 신경망을 학습시키는 방법으로 널리 활용되고 있다.

오차 역전파 알고리즘의 핵심은 손실함수의 그레디언트를 활용하는 것으로써 가장 대표적인 방법으로 경사 하강법(Gradient descent)이 있다. 경사 하강법은 최적 해 공간 내에서 각 단계별로 관측되는 그레디언트가 가리키는 방향을 참조하여 점진적으로 최적 해를 탐색해 나가는 방법으로, 구현이 간단하고 계산량이 비교적 적다는 장점이 있으나 국소 또는 전역 최적 해 주변에서 탐색 경로가 심하게 진동하는 문제점을 갖고 있다. 이는 궁극적으로 최적 해 탐색의 속도를 느려지게 할 뿐만 아니라 자칫 국소 최적 해에 수렴함에 따라 전역 최적 해를 발견하지 못하는 현상을 야기할 수 있다.

이러한 문제점을 해결하기 위해서 해 탐색의 방향과 속도를 적응적으로 제어하여 최적 해의 품질과 수렴 성능을 향상시키기 위한 여러 방법이 제안되었다. 대표적으로 2014년에 발표된 Adam 알고리즘은 과거 관측된 그레디언트들의 지수 가중 평균인 모멘텀(Momentum)을 활용하여 탐색의 방향을 결정함과 동시에 탐색 강도(Strength)를 적응적으로 조절하는 방법을 도입하였으며, 그 결과 기존의 경사 하강법보다 더욱 빠른 수렴 속도와 높은 학습 정확도를 달성하였다. 이에 따라 오늘날 심층 신경망의 학습은 Adam 또는 그것을 기반으로 하여 개발된 “Adam 계열 학습 알고리즘”을 활용하여 수행하는 것이 일반적이다[9]. 최근 개발된 대표적인 Adam 계열 학습 알고리즘으로 AdaBelief[13]와 diffGrad[14], AngularGrad[15] 등이 있다.

그럼에도 불구하고, 이러한 기존의 Adam 계열의 학습 알고리즘들은 콘볼루션 신경망의 구조가 점점 더 복잡해지고 그 규모 또한 방대해짐에 따라 그것의 손실함수가 구성하는 대규모 최적 해 공간에서 효과적으로 전역 최적 해를 탐색하는 데 많은 어려움을 겪는다. 이에 본 논문에서는 Adam 계열 학습 알고리즘을 활용하여 전역 최적 해 탐색 시 발생하는 문제점들을 효과적으로 해결하기 위해 그레디언트 정보를 어떻게 복합적으로 활용할 수 있는가에 관하여 심층적으로 다루고자 한다.

앞서 II 장에서 설명한 바와 같이 현대의 콘볼루션 신경망은 각 계층별로 콘볼루션 필터와 서브 샘플링 연산을 포함하고 이에 더해 잔차 연결 및 댄스 블록과 같은 구조가 결합된 상당히 높은 복잡도를 갖는다. 이 경우, 콘볼루션 신경망의 손실함수가 생성(Span)하는 대규모의 가중치 해 공간(Weight solution space)의 형태(Surface)가 복잡해짐에 따라 손실함수를 최소화하는 전역 최적 해(즉, 최적 가중치 Optimal weights)를 탐색하는 데 많은 어려움이 발생한다. 특히, 심층 신경망 학습에 널리 사용되는 경사 하강법의 경우 각 단계별로 그레디언트가 가리키는 방향에 의존하여 최적 해 탐색을 수행한다. 이는 곧 그레디언트를 어떻게 활용하는가에 따라 최적 해의 품질과 학습된 모델의 성능에 중요한 영향을 미칠 수 있음을 의미한다. 실제로, 콘볼루션 신경망의 학습 과정에서 그레디언트를 다양한 방법으로 분석하고 활용함으로써 학습된 모델의 성능을 유의미하게 향상시킬 수 있음을 본 논문의 선행 연구인 “HyAdamC: A New Adam-Based Hybrid Optimization Algorithm for Convolution Neural Networks[16]”를 통해서 확인한 바 있다.

이에 따라, 본 논문에서는 최적 해 탐색 시 각 단계에서 측정되는 손실함수의 그레디언트를 다양한 방법으로 분석하여 최적 해 탐색에 복합적으로 활용하는 방법을 소개하고, 이를 결합한 새로운 Adam 계열의 학습 알고리즘인 CGAU-CNN을 제안한다. 그림 2는 CGAU-CNN에서 최적 해 탐색 방향과 강도를 결정하는 방법을 설명한 다이어그램이다. 현재 단계 t에서 그레디언트 g_t가 관찰될 때 CGAU-CNN은 세 가지의 그레디언트 분석 메커니즘을 복합적으로 활용하여 다음 단계 t+1에서의 해 탐색 방향을 결정한다. 그림 2에 표현된 세 가지의 그레디언트 분석 메커니즘을 구체적으로 설명하면 다음과 같다.

Fig. 2. 
Gradient analysis mechanisms of CGAU-CNN

3.1 그레디언트의 복합적 분석 방법

3.1.1 FMG(First-Momentum Generator)

그레디언트는 매 단계에서 최적 해 탐색 방향을 결정하는 가장 중요한 요소로서 해 품질에 중요한 영향을 미친다. 그러나 각 단계에서 발견되는 그레디언트가 항상 최적 해 방향을 가리키지는 않으므로 과거 그레디언트들의 지수 가중 평균인 일차 모멘텀(First-momentum)을 참조하여 해 탐색 방향을 결정하는 것이 일반적인 방법이다. 그러나 일부 단계에서 관측되는 그레디언트가 기존의 탐색 방향과 크게 어긋나는 경우 이를 일차 모멘텀에 그대로 반영하면 일차 모멘텀이 가리키는 최적 해 탐색 방향이 계속해서 왜곡되는 문제점이 있다[16]. 결과적으로 해 탐색의 정확도를 향상시키기 위해서는 일차 모멘텀 계산 시 이와 같은 아웃라이어(Outlier) 경향을 보이는 그레디언트의 반영 비율을 감소시켜야 한다. 이러한 그레디언트를 본 논문에서는 아웃라이어 그레디언트(Outlier gradient)[17]라 정의한다.

이를 위해 FMG에서는 먼저 현재의 그레디언트와 과거에 탐지된 일차 모멘텀 사이의 차이를 계산하고, 이에 기반하여 현재 그레디언트와 이전 그레디언트들의 탐색 경향 간의 상이한 정도를 측정한다. 이는 아래의 식 (1)과 같이 계산할 수 있다[16].

qt+1=2nn+∑j=1ngt,j-mt,j2vt,j+ϵ-1

(1)

위의 식 (1)에서 n은 차원의 수(Dimension)를 나타내며, v_t는 그레디언트 g_t의 각 요소(Element)에 대한 분산(Variance)을 나타낸다. 식 (1)을 분석하면 기존의 일차 모멘텀 m_t와 현재 관측된 그레디언트 g_t가 상이할수록 q_t+1의 크기가 감소하게 된다. 이를 일차 모멘텀 계산 시 계수(Coefficient value)로 활용하면, q_t+1의 값이 작아질수록 해당 그레디언트의 반영률을 감소시킴으로써 해 탐색 방향이 급격하게 변화하는 것을 예방할 수 있다. 이를 수식으로 표현하면 다음과 같다.

mt+1=Qt+qt+1-1Qtmt+qt+1gt

(2)

이때, 식 (2)에서 사용되는 Q_t는 q₁부터 q_t까지의 지수 가중 평균으로 q_t+1의 갑작스러운 변화에도 불구하고 일차 모멘텀 계산 시 계수가 안정적으로 변화할 수 있도록 아래와 같이 계산된다.

Qt+1=2-β1-1Qt+qt+1

(3)

FMG에서 일차 모멘텀을 계산하는 원리를 정리하면 다음과 같다. 일차 모멘텀 m_t+1 계산 시 그레디언트 g_t와 이전의 일차 모멘텀 m_t 간의 상이함의 정도가 클수록 식 (2)에서 그레디언트 g_t의 계수인 q_t+1/(Q_t+q_t+1)가 작아지게 된다. 반면에, m_t의 계수인 Q_t/(Q_t+q₊₁)는 상대적으로 더욱 커지게 되어 결과적으로 m_t+1을 계산할 때 그레디언트 g_t의 반영률이 감소하고 기존의 모멘텀 m_t의 반영률이 더욱 강화된다. 이는 곧 현재 단계에서 관측된 그레디언트가 아웃라이어의 경향을 보이면 그 정도에 따라 일차 모멘텀 계산 시 그것의 반영률이 감소하게 됨을 의미한다.

이후 CGAU-CNN은 FMG에서 계산된 일차 모멘텀 m_t+1이 가리키는 방향을 참조하여 최적 해 탐색을 진행한다. 이에 대한 구체적인 구현 방법은 3.2장에서 자세히 설명한다.

3.1.2 SMG(Second-momentum Generator)

FMG에서 생성된 일차 모멘텀 m_t+1이 해 탐색의 방향(Direction)을 결정한다면, 이차 모멘텀(Second-momentum)은 각 차원별로 탐색의 강도를 적응적으로 제어한다. 기존의 Adam에서는 그레디언트의 각 요소를 제곱한 결과에 대한 지수 가중 평균을 구함으로써 이차 모멘텀을 계산한다. 그러나 이와 같은 방법은 그레디언트 각 요소의 크기에 따라 탐색 강도가 과도하게 영향을 받는 문제점이 있으며, 이는 최적 해 탐색 성능을 저하시키는 원인이 된다. 이러한 문제점을 보완하기 위해서 본 연구에서는 현재 시점 t에서 관측된 그레디언트 g_t와 식 (2)에서 계산된 g_t가 반영된 일차 모멘텀 m_t+1을 사용하여 이차 모멘텀을 계산한다[13]. 이를 식으로 나타내면 다음과 같다.

st+1=β2st+1-β2mt+1-gt2

(4)

한편, 식 (4)에서 이차 모멘텀 계산 시 탐색 단계 t에 따라 점진적으로 이차 모멘텀의 영향력을 강화할 수 있다. 이는 해 탐색 과정 초기에는 탐색의 다양성을 유지하되 탐색이 진행될수록 그레디언트를 집중적으로 활용하는 것이 최적 해 탐색에 유용하기 때문이다. 이를 식으로 표현하면 다음과 같다.

st+1*=st+1+δt

(5)

상기 식 (5)에서 δ/t는 탐색이 진행됨에 따라 0으로 수렴하게 된다. 즉, limt→∞⁡st+1*=st+1이기 때문에 해 탐색이 진행될수록 해 탐색의 강도를 조절하는 과정에서 δ/t의 영향은 줄어듦과 동시에 이차 모멘텀 s_t+1이 점진적으로 완전하게 반영된다. 이렇게 계산된 이차 모멘텀 st+1*은 식 (2)에서 계산된 일차 모멘텀 m_t+1에 각 요소별로 곱해짐으로써 일차 모멘텀 각 차원의 탐색 강도를 적응적으로 조절하게 된다.

3.1.3 CGA(Consecutive Gradients Analyzer)

SMG와는 달리 CGA 메커니즘은 바로 직전 단계에서 관측된 그레디언트 g_t-1에서 현재 그레디언트 g_t로의 변화 정도에 따라 탐색 강도를 적응적으로 조절하는 방법이다[16]. 그림 3은 CGA에서 두 그레디언트 g_t-1과 g_t를 이용하여 탐색 강도를 조절하는 간단한 예시를 보여주고 있다. 그림 3에서 구간 (A)는 그레디언트가 급격하게 변화하는 경우를 나타낸 것이다. 이는 주변에 전역 또는 국소 최적 해가 위치할 때 주로 발생하며, 이러한 상황에서는 탐색 강도를 낮추어 해 탐색 시 자칫 해당 최적 해를 지나치지 않도록 세밀하게 탐색을 제어해야 한다.

Fig. 3. 
Control mechanism of CGA in CGAU-CNN

반면에 (B)는 그레디언트가 일정하게 유지되는 구간을 표현한 것으로, 이는 주변에 최소점이 존재하지 않음을 의미한다. 따라서 이 경우에는 현재의 탐색 강도를 계속 유지하거나 더욱 강화하여 수렴을 촉진하는 것이 바람직하다[14]. 아래의 식 (6)은 현재 및 직전에 관측된 두 그레디언트 g_t와 g_t-1의 변화 정도에 따라 탐색 속도를 제어하는 방법을 수학적으로 모델링한 것이다.

ψt+1=11+e-gt-gt-1

(6)

상기 식 (6)을 통해 계산된 Ψ_t+1은 각 요소별로 0.5에서 1 사이의 값을 갖는다. 결과적으로 Ψ_t+1은 전역 최적 해 탐색 시, 두 그레디언트 사이의 변화 정도에 따라 각 차원의 탐색 강도를 최대 절반으로 감소시킬 수 있는 계수로써 활용될 수 있다[14][16]. 이는 Ψ_t+1을 일차 모멘텀 m_t+1에 각 요소별로 곱하는 연산(Element-wise multiplication)을 통해 구현될 수 있다.

본 논문에서는 그레디언트의 복합적인 활용을 통해 콘볼루션 신경망의 학습 성능을 더욱 강화하는 새로운 학습 알고리즘인 CGAU-CNN을 제안하였다. CGAU-CNN은 그레디언트를 활용한 탐색 방향 결정 시 아웃라이어 그레디언트의 영향력을 최소화함과 동시에 현재의 그레디언트와 직전 단계에서 관측된 그레디언트 사이의 변화율에 따라 해 탐색 속도를 적응적으로 조정한다. 그뿐만 아니라, 과거에 관측된 그레디언트들의 평균 이동 방향과 현재 그레디언트를 활용하여 최적 해 탐색 속도를 적응적으로 제어한다. 이를 통해 Adam을 포함한 기존의 여러 Adam 계열 학습 알고리즘보다 더욱 정교하게 최적 해 탐색을 수행할 수 있다.

이를 구체적으로 입증하기 위해서 CGAU-CNN을 포함한 총 6개의 Adam 계열 학습 알고리즘을 이용하여 대표적인 콘볼루션 신경망인 ResNet-18과 DenseNet-169 모델을 학습시키고 학습된 두 모델을 활용하여 CIFAR-10 데이터셋의 이미지에 대한 분류 정확도를 평가하는 실험을 진행하였다.

실험 결과 기존의 Adam 및 Adam 계열 학습 알고리즘과 비교했을 때, CGAU-CNN으로 학습시킨 ResNet-18과 DenseNet-169 모델이 더욱 안정적인 수렴 성능을 보임과 동시에 높은 정확도로 CIFAR-10 데이터셋의 이미지를 분류할 수 있음을 확인하였다. 이는 곧 콘볼루션 신경망의 손실함수가 구성하는 대규모의 최적 해 공간에서 그레디언트의 복합적인 활용이 전역 최적 해 탐색의 성능을 향상시키는데 유의미하게 기여할 수 있음을 의미한다.

그럼에도 불구하고, 이미지 분류 응용에만 국한하여 CGAU-CNN의 성능 평가를 진행한 점은 본 연구의 한계점이라 할 수 있다. 이에 따라, 향후 연구에서는 이미지 세그먼테이션 및 객체 탐지와 같은 다양한 응용에 대해서도 성능 평가를 진행하여 최적 해 탐색에 영향을 주는 다양한 요인들을 도출하고 나아가 CGAU-CNN의 학습 성능을 더욱 고도화하기 위한 연구를 수행할 예정이다.