[ Article ]

The Journal of Korean Institute of Information Technology - Vol. 15, No. 12, pp.1-7

ISSN: 1598-8619 (Print) 2093-7571 (Online)

Print publication date 31 Dec 2017

Received 21 Sep 2017 Revised 30 Nov 2017 Accepted 03 Dec 2017

DOI: https://doi.org/10.14801/jkiit.2017.15.12.1

적응적 역전파를 이용한 신경망 기반의 가우시안 프로세스 회귀 처리 및 해의 안정성 모델링

양정연^*

*목원대학교 지능로봇공학과

Adpative Back Propagation-based Neural Network for Gaussian Process Regression and Its Stability Model

Jeong-Yean Yang^*

Correspondence to: Jeong-Yean Yang Dept. of Intelligent Robotics Engineering, Mokwon University, Tel.: +82-42-829-7523, Email: jyyang@mokwon.ac.kr

초록

본 논문은 공간 내 확률적 분포를 가진 함수 또는 잡음 신호를 확률 기반의 신뢰 구간으로 표현하기 위해, 기존의 역전파 신경망 기법을 변형하여 가우시안 프로세스의 회귀에 의한 결정 공간의 추종방식을 제안하고자 한다. 신경망 기법의 역전파 과정에 사용되는 오차 함수를 부호에 따라 가변적 가중치를 가지도록 설계하고, 이를 가우시안 함수에 기반한 표준 편차 처리에 적합하도록 변형함에 따라, 가우시안 확률 분포 함수의 조합에 의한 결정 경계의 추종 및 신경망 노드의 합성에 의한 가우시안 프로세스의 회귀 처리 과정을 수행하고자 한다. 수정된 오차 함수의 경우, 불연속성에 기인한 해 탐색 과정의 불안정성이 존재하기에 이를 회피하기 위해 저역 통과 필터의 개념을 이용한 안정성 방법에 대해 논하고자 한다.

Abstract

This paper describes a study on a modified neural network model to cover the Gaussian process regression method, which supports for probabilistic confidence interval of functional distribution and noisy signals. Discrimination function is redesigned to handle deviated errors under normal gaussian distribution. This modified error function is combined with typical back propagation process. Thus, the results become the superposition of weighted Gaussian functions and the decision boundaries, as in the case of conventional Gaussian process regression methods. Owing to the discontinuity of discrimination function, the stability of the proposed error function becomes deteriorated. The concept of low pass filtering is applied to improve the unstable problems of weight updating process.

Keywords:

neural network, gaussian process regression, adaptive back propagation, neural network stability

Ⅰ. 서 론

신경망 이론은 지난 40여년간 주목받는 지능형 방법론으로 자리 잡고 있다. 최근의 연산 능력의 비약적 향상에 따라 네트워크의 방대한 연산량에 대한 우려를 불식시키고 센싱, 인식 분야를 기반으로 신경망 기반의 서비스 영역을 확대하고 있다.

신경망 구조는 네트워크 하의 각 노드 간의 가중치와 비선형 함수를 다 계층으로 구성하여 다차원, 다량의 데이터를 처리하기 적합한 장점을 가지고 있으며, 최근 고 계층의 네트워크 연산에 적합한 컨볼루션 방식의 적용에 따라 고용량 데이터 처리에도 해 탐색 과정의 안정화에 기여한 바 있다[1].

최근, 신경망 연구의 대표적 분야인 인식 및 지능 분야 뿐 아니라 로봇의 모션 및 제어의 경우 또한 기존의 모델링에 따른 결정론적 사고방식을 탈피하고 확률 분포 기반의 방법론으로 전환되고 있는 추세이다. 로봇의 움직임은 수학 모델 기반의 제어 방식을 토대로 전개되어 왔으나 공간 상의 움직임을 확률 분포로 정의하고 이를 추종하는 제어 방식으로 전환되고 있다.

이러한 시간에 따른 공간상의 변화에 대한 확률적 접근에서 가장 주목받고 있는 서비스는 모방 학습 분야이다. 인간의 움직임 또는 로봇과의 물리적 상호작용에 따른 로봇의 움직임을 공간내의 확률적 분포로 정의하고 이를 가우시안 혼합 모델로 표현, 이를 추종하는 제어 방식을 사용하고 있으며[2], 또한 공간상의 확률 기반의 동적 움직임을 기술하기 위한 동적 움직임 요소모델을 개발, 적용하고 있는 실정이다[3][4].

최근 이러한 확률적 접근은 가우시안 프로세스(GP, Gaussian Process)로 관심이 집중되고 있으며, 기존의 시간과 공간을 분리하여 확률적 분포를 얻어내는 방식의 한계성 때문에 시간 축 상의 프로세스를 직접 다루는 가우시안 프로세스 회귀(GPR, GP Regression) 방법의 중요도가 높아졌다

GP의 경우, 다차원 함수와 그 함수 간의 선형 또는 비선형 커널을 행렬로 표현하여[5], 주어진 데이터를 다중 함수의 조합을 통해 확률적으로 분포시키는 것을 목적으로 한다[6]. 이는 시간의 흐름에 대한 프로세스상의 확률 분포로도 표현 가능하여, 로봇의 움직임 생성 및 로봇 제어[7], 음성 및 음향 신호와 같은 시간 변화에 따른 공간상의 데이터 분포 연구[8] 등에 적합한 장점을 가진다.

본 논문에서는 다차원 커널 행렬의 학습을 통한 GPR 방법과 달리, 가우시안 함수 기반의 역전파 신경망의 함수 구조를 변화하여 함수 위의 확률 분포를 찾아내고자 한다. 다차원 커널 함수에 의해 GPR의 학습과정이 복잡한 반면, 제안하는 역전파 신경망의 오차 함수의 경우, 신뢰 구간 추출을 위해 기존 신경망 기법을 그대로 적용가능한 장점이 있다.

제안하는 오차함수가 적응적 구조를 채택함에 따라 미분에 의한 가중치 업데이트 과정에서 불안정성을 초래할 수 있어 이에 대한 분석과 해결 방안을 제시하고자 한다.

이를 통해, 신경망 모델 기반의 회귀에 의해, 인식 또는 모션 학습 분야에서의 결정 경계(Decision Boundary) 습득에의 적용과, 기존의 가우시안 혼합모델 기반의 마하라노비스(Mahanobis) 거리를 얻는데 제안된 방법의 적용이 가능할 것으로 기대된다.

본 논문은, 함수의 확률분포로 대표되는 GP의 특징, 신경망의 역전파 과정에 대한 소개와 주 내용인 가변적 오차함수에 기반한 적응적 역전파 모델, 모의실험에 의해 제안된 방법론의 결과 및 수렴성 평가, 최종적으로 결론으로 구성된다.

Ⅱ. 가우시안 프로세스 회귀 방법

가우시안 프로세스는 다음과 같은 함수에 대한 분포로 정의된다.

f ~ G P μ, k

각각 μ는 평균 함수이고 k는 커널 함수이다. 이는 다시 N개 함수에 대해 다음처럼 표현가능하다.

f x 1 ⋯ f x N ~ G P μ x 1 ⋯ μ x N, κ x 1, x 1 ⋯ κ x N, x 1 ⋮ ⋱ ⋮ κ x 1, x N ⋯ κ x N, x N

(1)

이러한 GP기반의 분포에 따르면 함수는 일반적으로 다음 그림 1의 분포를 갖게 된다. 그림상의 점선은 표준편차에 따른 신뢰구간을 의미한다. 일반적으로 GPR의 경우, 주어진 데이터에 대해 공분산 및 커널로 구성된 커널 행렬, κ를 구하고 선형성에 따른 오차에 따라 다계층이 비선형 커널 함수를 쓰게 된다. 따라서 커널 행렬 κ는 다음처럼 표현한다.

κ x n, x m = ∅ x n T ∅ x m

Fig. 1.

Gaussian process-based function distribution

커널 함수에 방사형 기반 함수(RBF, Radial Based Function)를 적용하면, 다음처럼 표현가능하다.

κ x n, x m = exp ⁡ - x n - x m 2 σ

일반적인 GPR의 경우, 데이터에 대한 추종을 통해 커널 행렬의 커널 파라미터를 결정하고, 이에 따라 주어진 데이터에 대해 오차를 줄이는 방향으로 학습이 진행된다. 이를 통해, 데이터 분포에 대한 확률 기반의 경계를 정의할 수 있고, 이를 인식 분야의 결정 경계로 활용가능하다.

Ⅲ. 적응적 역전파 기반 신경망 모델링

3.1 신경망 역전파(Back Propagation)

일반적인 신경망의 목적함수는 다음과 같다.

J = 1 2 N ∑ i N y^i - y i 2 = 1 2 N ∑ i N e i 2

(2)

이처럼 신경망의 목적함수는, 주어진 데이터와 신경망 내 가중치와 커널 함수간의 차이를 스칼라형태로 표현하고 이를 최소화함에 따라 가중치를 수정하는 방식으로 학습이 이루어진다.

신경망 학습의 오차는 평균 제곱근 오차(MSE, Mean Squared Error)이며 이를 최소화하기 위한 역전파 과정의 가중치 학습은 다음 수식과 같다.

∂ J i ∂ w = ∂ J i ∂ e ∂ e ∂ w = 1 N ∂ y^i ∂ w = 1 N ∂ y^i ∂ w 1 k, w 2 k

(3)

이에 따라 잡음이나 함수자체의 분포가 존재하는 경우, 신경망 학습의 결과는 MSE의 최소화에 따라 여러 함수 또는 데이터 분포의 평균값에 수렴한다. 이는 식 (1)상의 GP 평균함수 μ(x)의 결과와 같다.

3.2 적응적 신경망 역전파

본 논문에서는 오차 함수의 특징을 이용하여 적응적 역전파 과정을 제안하고자 한다.

신경망에서 목적함수의 이론적 최소값은 오차가 0인 경우이다. 이는 샘플값과 네트워크 결과 사이의 오차의 총합이 0임을 의미하며, 각 오차는 식 (2)에서와 같이 제곱근에 의해 0 또는 양수에 해당한다. 각 오차 제곱은 동등한 비율로 합을 유도, 최종적인 목적 함수를 이루게 된다.

이와 달리, 특정 샘플값의 오차에 가중치를 부여하면, 해당 오차의 가중치가 반영된 목적함수를 최소화함에 따라 네트워크상의 함수 결과가 변화된다. 예를 들어 특정 샘플값의 오차에 1 이상의 가중치가 부여되면, 목적함수 최적화 결과에 따라 특정 샘플값 이외의 오차에 덜 민감한 즉 오프셋이 남는 네트워크 결과를 생성한다.

이러한 MSE의 특징을 이용하여, 오차의 부호에 따른 적응적 오차 함수의 가중치를 적용하는 경우. 오차의 가중치에 따라 신경망 학습 결과에 변형을 줄 수 있다.

그림 2의 경우, 양의 오차에 대한 가중치가 음의 오차에 비해 크면, 주어진 샘플값에 대한 양의 오차가 목적함수에 더 큰 부분을 차지하게 된다. 이에 따른 네트워크 학습 결과는 오른쪽 그림처럼 양의 오차를 더 줄이기 위해 위로 오프셋이 존재하게 된다. 또한 양의 구간과 음의 구간에 대해 반대의 오차 가중치를 적용하면 음의 구간에 더 민감한 네트워크 결과를 얻을 수 있다.

Fig. 2.

Adaptive error function and results

3.3 적응적 역전파를 이용한 신뢰구간 추출

이러한 오차 함수 변형을 역전파 네트워크에 적용하여 GPR에서의 표준편차에 따른 신뢰 구간을 추출하고자 한다. 식 (2)의 오차 함수를 변형하여, 아래와 같은 가중치 오차 함수를 설계하였다.

∅ e = α e - μ + δ 2, e ≥ μ + δ 1 α e - μ + δ 2, e ≤ μ + δ = α e - μ^2, e ≥ μ^1 α e - μ^2, e ≤ μ^

(4)

또한 위험 함수(Risk Function)는 다음과 같다.

ζ = ∫ - ∞ ∞ P e ∅ e d e P e = 1 2 π σ E x p - 1 2 σ 2 e - μ 2

이는 식 (1)의 MSE 방식이 일반적으로 0이라는 평균값 주위에 분포하는 반면에, 적응적 오차함수는 0 이외의 평균값과 주어진 신뢰구간에 분포할 경우의 위험 함수로 정의된다. 위험 함수가 최소값을 가질 때, 식 (4)의 적응적 오차 함수의 파라미터 α 가 결정된다. 이때 z와 Ω는 각각 다음처럼 정의하고,

z e - μ σ, Ω = δ σ

이를 토대로 다음처럼 위험 함수, ζ를 전개한다.

ζ = ∫ μ^∞ 1 2 π σ E x p - 1 2 σ 2 e - μ 2 α e - μ^2 d e + ∫ - ∞ μ^1 2 π σ E x p - 1 2 σ 2 e - μ 2 1 α e - μ^2 d e = ∫ Ω ∞ σ 2 2 π E x p - 12 z 2 α z - Ω 2 d z + ∫ - ∞ Ω σ 2 2 π E x p - 12 z 2 1 α z - Ω 2 d z = 1 + 2 + 3 + 4 + 5 + 6

1 : ∫ Ω ∞ σ 2 2 π E x p - 12 z 2 α z 2 d z = α σ 2 2 π Ω E x p - 12 Ω 2 + π 2 1 - E r f Ω 2

2 : - 2 ∫ Ω ∞ σ 2 2 π E x p - 12 z 2 α z Ω d z = 2 α σ 2 Ω 2 π E x p - Ω 2 2

3 : σ 2 α Ω 2 ∫ Ω ∞ 1 2 π E x p - 12 z 2 d z = σ 2 α Ω 2 Pr ⁡ Ω

4 : ∫ - ∞ Ω σ 2 2 π E x p - 12 z 2 1 α z 2 d z = σ 2 α 2 π - Ω E x p - 12 Ω 2 + π 2 1 + E r f Ω 2

5 : - 2 ∫ - ∞ Ω σ 2 2 π E x p - 12 z 2 1 α z Ω d z = 2 σ 2 Ω α 2 π ∫ Ω 2 ∞ E x p - s d s = 2 σ 2 Ω α 2 π E x p - Ω 2 2

6 : σ 2 Ω 2 α ∫ - ∞ Ω 1 2 π E x p - 12 z 2 d z = σ 2 Ω 2 α 1 - Pr ⁡ Ω

이 때 Pr은 정규 분포 확률값이며 최종적으로 위험 함수는 다음의 형태로 정리가능하다.

ζ = α σ 2 2 π Ω E x p - 12 Ω 2 + π 2 1 - E r f Ω 2 - 2 α σ 2 Ω 2 π E x p - Ω 2 2 + σ 2 α Ω 2 Pr ⁡ Ω

Erf는 에러함수, Exp는 지수함수를 의미한다. 위험 함수의 최소화를 위해 함수 G를 정의하고, δ에 대해 다음처럼 미분을 수행한다.

∂ ∂ Z ∫ Z ∞ 1 2 π E x p - 12 z 2 d z = - 1 2 π E x p - 12 z 2 = - G z

이에 따라, 최종적으로 위험함수의 최소값은 다음으로 정리된다.

∴ ∂ ζ ∂ δ = 2 σ G Ω - α + 1 α + Pr ⁡ Ω Ω α - 1 α + Ω α = 0 ∴ 1 2 π E x p - 12 Ω 2 - α + 1 α + Pr ⁡ Ω Ω α - 1 α + Ω α = 0

(5)

위험함수의 최소화 결과로 얻어진 식 (5)에 표준 편차 1의 신뢰구간을 대입하는 경우, 식 (4)의 파라미터 δ는 즉 표준편차 σ를 의미하게 된다. 따라서 Ω는 1이 되고, 식 (4)에 대입하면 다음 식처럼,

1 2 π E x p - 12 Ω 2 - α + 1 α + Pr ⁡ Ω Ω α - 1 α + Ω α = 0 → - 0.0832 α - 1 α + 1 α = 0 ∴ α = 3.608

가중치 기반 오차 함수의 기울기 값인 α을 얻게 된다. 이에 따라 오차의 부호에 따른 적응적 오차함수는 식 (4)에 따라 평균값을 0으로 갖는 MSE로 다음처럼 정의된다.

e t e = α e 2, e ≥ 0 1 α e 2, e ≤ 0

(6)

이 때, α는 3.608로 표준편차 1에 해당한다.

3.4 불연속성에 대한 안정성

제시된 식 (6)을 통한 신경망 학습은 오차가 0인 경우 불연속성에 의해 미분결과가 요동치는 단점을 가지고 있다. 그림 3은 학습 횟수에 대한 목적함수값을 표현하고 있다. 이 때 왼쪽은 식 (6)을 대입한 결과로 오차가 작아질 때, 목적함수가 더 이상 작아지지 않으며 값이 떨리는 현상을 볼 수 있다. 이는 식 (6)이 오차가 0인 주위에서의 불연속성을 잘 보여주는 사례이다.

Fig. 3.

Effects of discontinuity compensation

이러한 미분치의 불연속성 제거를 위해 저역 통과 필터의 개념을 적용하고자 한다. 오차가 0에 가까워짐에 따라 미분을 사용한 식 (3)의 벡터 절대값은 0 주위에서 급격히 변하는 고주파 성분을 가지게 된다. 해 수렴 과정의 급격한 변화를 막기 위해 식 (6)와 함께 오차가 적은 영역에서의 정규화 값을 사용, 저역 통과 필터 방식을 적용하고자 한다.

따라서 오차가 큰 영역에서는 식 (6)을 적용하고, 오차가 작은 영역에서는 식 (2)를 적용하는 방법을 적용하였다. 이는 오차 영역에 대한 적응적 방법으로 작은 오차에서 미분가능 구간을 사용하였다.

J = 1 2 N ∑ i N e i 2 e < ε

이 때, ε는 학습 파라미터로 결정하며, 해 탐색 시 매우 작은 오차 구간을 의미한다. 그림 3의 오른쪽에서는 보정된 학습 진행 과정이 묘사되어 있으며, 작은 오차 영역에서의 고주파 성분이 제거되어 최종적인 목적함수의 수렴 성능이 개선되었다.

Ⅳ. 모의실험 및 학습 결과

제안된 방법론의 적용을 위해 RBF커널을 이용하고, 이의 적응적 역전파 과정을 통해 신경망을 학습하였다. 이는 다음 수식과 같다.

y 2, i = exp ⁡ ∑ j X j - w i j 2 b i 2 y 3 = ∑ w y 2 + b ∂ J i ∂ w = ∂ J i ∂ e ∂ e ∂ w = 1 N ∂ y^i ∂ w = 1 N ∂ y^i ∂ w 1 k, w 2 k ∂ y^i ∂ w 1 k = y^i 2 x - w 1 b 2

(7)

이를 통해, 잡음이 섞인 함수에 대해 식 (6)를 적용한 결과를 그림 4에 표기하였다. 주어진 샘플의 평균 함수의 경우, 일반적인 식 (2)의 오차 함수를 적용하고, 표준편차 1인 신뢰구간의 상단부는 α가 3.608, 하단부는 반대로 α가 1/3.608인 값을 대입하여 위, 아래의 경계 지점을 학습한 결과를 얻었다. 또한 그림 4의 경우, 평균함수에 대한 상대적 결과로 샘플의 분산 변화에 따른 추종 결과이다.

Fig. 4.

Result of adaptive error function with one sigma (top) and distribution(bottom)

그림 5는 제안된 방법과 가우시안 혼합모델 및 회귀(Gaussian Mixture Model and Regression)를 이용한 로봇의 궤적 생성 결과물 [5]의 비교결과이다.

Fig. 5.

Comparison between GMM-based method(top) and the proposed method (bottom)

로봇이 사람을 모방함에 있어 결과를 단순 추종하지 않고, 가우시안 혼합 모델에 따라 회귀 처리된 궤적의 결과가 표현되어 있다. 사람이 G라는 글자를 쓰고 이를 가우시안 회귀로 표현한 궤적 정보와 제안한 신경망 기반의 회귀 결과를 비교하였으며, 2차원 평면위에서의 로봇 관절각의 변화 및 생성된 패턴이 유사한 것을 볼 수 있다. 이는 모방학습에서 주요한 기능으로 궤적의 패턴 또는 스킬 학습의 한 사례이다.

Ⅴ. 결 론

본 논문은 GP의 주요 기능인 함수 분포를 기존의 신경망 이론에 적응적 오차 함수 및 역전파 과정을 사용하여 결정 경계 영역을 추종하였다.

이는 보편적인 신경망 기법을 확장을 통해, 오차함수의 설계 기법의 적응적 방식을 사용하고, 또한 역전파 과정을 그대로 이용 가능한 장점을 가지고 있다. 최근 GP분야의 장점이 부각됨에 따라 해당 연구결과의 다양한 확장이 요구되고 있다. 관련 연구 결과는 다차원화하거나 또는 다양한 표준 편차의 가중치 조절이 용이하여, GP 형태의 함수 및 회귀 기능의 추가 적용에 적합할 것으로 기대된다.

References

Y. LeCun, Y. Bengio, and G. Hinton, "Deep Learning", Nature, 521, p436-444, (2015).
S. Calinon, F. Guenter, and A. Billard, "On Learning, Representing, and Generailizing a Task in a Humanoid Robot", IEEE Trans. on Systems, Man, and Cybernetics, Part B, 37(2), p286-298, Mr.), (2007. [https://doi.org/10.1109/tsmcb.2006.886952]
S. Schaal, "Dynamic Movement Primitives: A Framework for Motor Control in Humans and Humanoid Robots", in Proc. of IEEE/RSJ Conf. on Intelligent Robots and Systems, IEEE, p261-280, Mar.), (2016. [https://doi.org/10.1007/4-431-31381-8_23]
F. Meier, D. Kappler, N. Ratliff, and S. Schaal, "Towards Robust Online Inverse Dynamics Learning", Int'l Symposium on Adaptive Motion of Animals and Machines, p12-20, Sep.), (2003. [https://doi.org/10.1109/iros.2016.7759594]
K. P. Murphy, "Machine Learning: A Probabilistic Perspective", MIT Press, p517-526, (2012).
C. Rasmussen, and C. Williams, "Gaussian Process for Machine Learning", MIT Press, p16-28, (2006).
Y. Okadome, Y. Nakamura, K. Urai, Y. Nakata, and H. Ishiguro, "HUMA: A human-like musculo skeletal robot platform for physical interaction studies", Humanoid Robots 2015, IEEE-RAS 15th Conf, p676-683, Nov.), (2015. [https://doi.org/10.1109/humanoids.2015.7363427]
Jae-Young Jo, and Yoon-Ho Kim, "Back Propagation Neural Network based Melody Pattern Creation Algorithm", Journal of Korean Institute of Information Technology, 6(6), p161-166, Dec.), (2008.

저자소개

양 정 연 (Jeong-Yean Yang)

2001년 : KAIST 기계공학석사

2011년 : KAIST 기계공학박사

2014년: KAIST HRI 센터 연구교수

2016년 ~ 현재 : 목원대학교 지능로봇공학과 조교수

관심분야 : 인공 지능, 지능 로봇