Home

신경망 이론은 지난 40여년간 주목받는 지능형 방법론으로 자리 잡고 있다. 최근의 연산 능력의 비약적 향상에 따라 네트워크의 방대한 연산량에 대한 우려를 불식시키고 센싱, 인식 분야를 기반으로 신경망 기반의 서비스 영역을 확대하고 있다.

신경망 구조는 네트워크 하의 각 노드 간의 가중치와 비선형 함수를 다 계층으로 구성하여 다차원, 다량의 데이터를 처리하기 적합한 장점을 가지고 있으며, 최근 고 계층의 네트워크 연산에 적합한 컨볼루션 방식의 적용에 따라 고용량 데이터 처리에도 해 탐색 과정의 안정화에 기여한 바 있다[1].

최근, 신경망 연구의 대표적 분야인 인식 및 지능 분야 뿐 아니라 로봇의 모션 및 제어의 경우 또한 기존의 모델링에 따른 결정론적 사고방식을 탈피하고 확률 분포 기반의 방법론으로 전환되고 있는 추세이다. 로봇의 움직임은 수학 모델 기반의 제어 방식을 토대로 전개되어 왔으나 공간 상의 움직임을 확률 분포로 정의하고 이를 추종하는 제어 방식으로 전환되고 있다.

이러한 시간에 따른 공간상의 변화에 대한 확률적 접근에서 가장 주목받고 있는 서비스는 모방 학습 분야이다. 인간의 움직임 또는 로봇과의 물리적 상호작용에 따른 로봇의 움직임을 공간내의 확률적 분포로 정의하고 이를 가우시안 혼합 모델로 표현, 이를 추종하는 제어 방식을 사용하고 있으며[2], 또한 공간상의 확률 기반의 동적 움직임을 기술하기 위한 동적 움직임 요소모델을 개발, 적용하고 있는 실정이다[3][4].

최근 이러한 확률적 접근은 가우시안 프로세스(GP, Gaussian Process)로 관심이 집중되고 있으며, 기존의 시간과 공간을 분리하여 확률적 분포를 얻어내는 방식의 한계성 때문에 시간 축 상의 프로세스를 직접 다루는 가우시안 프로세스 회귀(GPR, GP Regression) 방법의 중요도가 높아졌다

GP의 경우, 다차원 함수와 그 함수 간의 선형 또는 비선형 커널을 행렬로 표현하여[5], 주어진 데이터를 다중 함수의 조합을 통해 확률적으로 분포시키는 것을 목적으로 한다[6]. 이는 시간의 흐름에 대한 프로세스상의 확률 분포로도 표현 가능하여, 로봇의 움직임 생성 및 로봇 제어[7], 음성 및 음향 신호와 같은 시간 변화에 따른 공간상의 데이터 분포 연구[8] 등에 적합한 장점을 가진다.

본 논문에서는 다차원 커널 행렬의 학습을 통한 GPR 방법과 달리, 가우시안 함수 기반의 역전파 신경망의 함수 구조를 변화하여 함수 위의 확률 분포를 찾아내고자 한다. 다차원 커널 함수에 의해 GPR의 학습과정이 복잡한 반면, 제안하는 역전파 신경망의 오차 함수의 경우, 신뢰 구간 추출을 위해 기존 신경망 기법을 그대로 적용가능한 장점이 있다.

제안하는 오차함수가 적응적 구조를 채택함에 따라 미분에 의한 가중치 업데이트 과정에서 불안정성을 초래할 수 있어 이에 대한 분석과 해결 방안을 제시하고자 한다.

이를 통해, 신경망 모델 기반의 회귀에 의해, 인식 또는 모션 학습 분야에서의 결정 경계(Decision Boundary) 습득에의 적용과, 기존의 가우시안 혼합모델 기반의 마하라노비스(Mahanobis) 거리를 얻는데 제안된 방법의 적용이 가능할 것으로 기대된다.

본 논문은, 함수의 확률분포로 대표되는 GP의 특징, 신경망의 역전파 과정에 대한 소개와 주 내용인 가변적 오차함수에 기반한 적응적 역전파 모델, 모의실험에 의해 제안된 방법론의 결과 및 수렴성 평가, 최종적으로 결론으로 구성된다.

가우시안 프로세스는 다음과 같은 함수에 대한 분포로 정의된다.

각각 μ는 평균 함수이고 k는 커널 함수이다. 이는 다시 N개 함수에 대해 다음처럼 표현가능하다.

이러한 GP기반의 분포에 따르면 함수는 일반적으로 다음 그림 1의 분포를 갖게 된다. 그림상의 점선은 표준편차에 따른 신뢰구간을 의미한다. 일반적으로 GPR의 경우, 주어진 데이터에 대해 공분산 및 커널로 구성된 커널 행렬, κ를 구하고 선형성에 따른 오차에 따라 다계층이 비선형 커널 함수를 쓰게 된다. 따라서 커널 행렬 κ는 다음처럼 표현한다.

Fig. 1. 
Gaussian process-based function distribution

커널 함수에 방사형 기반 함수(RBF, Radial Based Function)를 적용하면, 다음처럼 표현가능하다.

일반적인 GPR의 경우, 데이터에 대한 추종을 통해 커널 행렬의 커널 파라미터를 결정하고, 이에 따라 주어진 데이터에 대해 오차를 줄이는 방향으로 학습이 진행된다. 이를 통해, 데이터 분포에 대한 확률 기반의 경계를 정의할 수 있고, 이를 인식 분야의 결정 경계로 활용가능하다.

제안된 방법론의 적용을 위해 RBF커널을 이용하고, 이의 적응적 역전파 과정을 통해 신경망을 학습하였다. 이는 다음 수식과 같다.

이를 통해, 잡음이 섞인 함수에 대해 식 (6)를 적용한 결과를 그림 4에 표기하였다. 주어진 샘플의 평균 함수의 경우, 일반적인 식 (2)의 오차 함수를 적용하고, 표준편차 1인 신뢰구간의 상단부는 α가 3.608, 하단부는 반대로 α가 1/3.608인 값을 대입하여 위, 아래의 경계 지점을 학습한 결과를 얻었다. 또한 그림 4의 경우, 평균함수에 대한 상대적 결과로 샘플의 분산 변화에 따른 추종 결과이다.

Fig. 4. 
Result of adaptive error function with one sigma (top) and distribution(bottom)

그림 5는 제안된 방법과 가우시안 혼합모델 및 회귀(Gaussian Mixture Model and Regression)를 이용한 로봇의 궤적 생성 결과물 [5]의 비교결과이다.

Fig. 5. 
Comparison between GMM-based method(top) and the proposed method (bottom)

로봇이 사람을 모방함에 있어 결과를 단순 추종하지 않고, 가우시안 혼합 모델에 따라 회귀 처리된 궤적의 결과가 표현되어 있다. 사람이 G라는 글자를 쓰고 이를 가우시안 회귀로 표현한 궤적 정보와 제안한 신경망 기반의 회귀 결과를 비교하였으며, 2차원 평면위에서의 로봇 관절각의 변화 및 생성된 패턴이 유사한 것을 볼 수 있다. 이는 모방학습에서 주요한 기능으로 궤적의 패턴 또는 스킬 학습의 한 사례이다.

본 논문은 GP의 주요 기능인 함수 분포를 기존의 신경망 이론에 적응적 오차 함수 및 역전파 과정을 사용하여 결정 경계 영역을 추종하였다.

이는 보편적인 신경망 기법을 확장을 통해, 오차함수의 설계 기법의 적응적 방식을 사용하고, 또한 역전파 과정을 그대로 이용 가능한 장점을 가지고 있다. 최근 GP분야의 장점이 부각됨에 따라 해당 연구결과의 다양한 확장이 요구되고 있다. 관련 연구 결과는 다차원화하거나 또는 다양한 표준 편차의 가중치 조절이 용이하여, GP 형태의 함수 및 회귀 기능의 추가 적용에 적합할 것으로 기대된다.