Home

AB는 이진 분류 기계학습 알고리즘이며 주로 데이터의 직선 분류에 용이한 특성을 갖는다. 정확도가 검증되지 않은 약 분류기(Weak Classifier)들을 이용하여 정확도가 뛰어난 강 분류기(Strong Classifier)를 만드는 방법으로 이 과정에서 가중치라는 개념을 사용하게 된다[4].

AB의 학습 흐름은 그림 4와 같다. 먼저 모든 학습데이터들의 중간값을 경계로하는 약 분류기를 만들고 동일한 가중치를 갖도록 한다. 다음으로 각 분류기의 에러율을 반복 계산하여 가중치를 결정하고 해당 분류기에 곱해준다. 에러율이 낮은 약 분류기에는 높은 가중치를 곱해주고, 에러율이 높은 약 분류기에는 낮은 가중치를 곱해준다. 이렇게 계산된 약 분류기들을 모두 더해주면 강 분류기가 되며 식 (2)와 같다.

Fig. 4. 
Adaptive boosting analysis flowchart

식 (2)의 α는 가중치, h는 분류기를 의미하며 이 식이 AB의 학습결과 값이다[4][5].

SVM은 곡선으로 데이터를 분류하는 이진분류기로서 확률 기반이 아닌 기하학적으로 최적의 결정경계(Decision Boundary)를 선정하는 방법이다. 아래 그림 5와 같이 +1영역과 –1 영역으로 표시된 데이터 그룹이 있을 때 데이터들을 가장 효율적으로 구분하는 직선을 결정하는 것이다.

Fig. 5. 
SVM optimal separating hyperplane

여기서 효율적이라는 의미는 그림 5처럼 두 영역의 데이터 중 서로 가장 가까이 위치한 두 개의 Support Vector의 거리를 최대로 구분 짓는 구분선(Optimal Separating Hyperplane)을 선택하는 것이다[1][6].

그림 5에서 평면상의 결정경계는 wㆍx+b=0인 직선이 된다. +1 영역은 wㆍx+b≤1이고, 이때 클래스 y_i는 +1이며, -1 영역은 wㆍx+b≤1이고, 이때 클래스 y_i는 –1이다. 이 두 가지 조건을 하나로 정리하면 y_i(wㆍx_i+b)-1≥0이 된다. 평면의 임의의 점 x에서 결정경계인 직선까지의 거리인 마진은 2/ ‖W‖로 표현되고 SVM은 y_i(wㆍx_i+b)-1≥0라는 제약조건(Constraint)이 주어질 때 마진 2/ ‖W‖를 최대로 만드는 w와 b를 구하는 것이다[6][7].

최종 구분선은 w^*ㆍx_T+b^*로 정의되고 데이터를 식 (3)에 대입하여 영역을 구분한다.

DT 기법은 분류와 회기 문제에 널리 사용되는 머신러닝 학습기법으로 어떤 속성에 대한 질문에 ‘예’ 또는 ‘아니요’ 답을 이어 가면서 최종 결정트리를 생성하는 학습방법이다.

DT 기법은 질문에 따라서 결정트리의 복잡도가 결정되기 때문에 어떤 질문을 하느냐가 굉장히 중요한 요소이다. 따라서 분류과정에서 가장 간단한 결정트리를 만들기 위한 수학적 도구로 불확실성을 계량화하는 엔트로피 값을 사용한다. 엔트로피는 식 (4)와 같으며 엔트로피 값이 크면 불확실성이 높아져 분류의 도구로서 우선순위가 낮아지고 질문의 가치가 떨어지게 된다. 반대로 엔트로피 값이 작아지면 불확실성이 낮아지기 때문에 질문의 우선순위가 높아지게 된다[4][8].

식 (4)에서 D는 데이터로 이뤄진 집합이고 c는 총 사건의 개수, p_i는 해당 사건이 발생할 확률이다. 예를 들어 어떤 두 가지 사건이 일어날 확률이 절반일 때와 90%, 10%일 때 엔트로피 값을 비교해보면 후자가 작은 값을 갖게 된다. 직관적으로도 90%의 확률을 갖는 사건을 선택하는 것이 불확실성이 줄일 수 있는 선택이기 때문이다.

여러 개의 특성 중 가장 먼저 수행할 질문을 선택하기 위한 결정은 정보 이득이라는 값으로 계산되며 식 (5)와 같이 정의된다.

첫 번째 항은 전체 데이터 집합에 대한 엔트로피 값이고 두 번째 항은 데이터가 갖는 속성을 이용하여 분류하였을 때 엔트로피 기댓값이다. 즉, 전체 데이터 집합에 대한 엔트로피값은 데이터가 결정되면 고정되는 값이고, 어떤 속성을 선택함으로써 감소된 불확실성값인 엔트로피 값을 빼줌으로서 최종 정보 이득을 계산한다. 만일 어떤 속성을 선택했을 때 불확실성이 많이 낮아지면 작은 엔트로피 값을 빼주기 때문에 정보이득의 값은 높게 유지되게 되고 분류의 기준이 되게 된다.

이처럼 높은 정보이득을 유지할 수 있는 속성을 선택하면서 계속해서 분류를 수행하게 되는데 이때 몇 개의 질문을 수행할 것인가라는 문제가 발생한다. 학습데이터에 완벽히 결정트리를 맞추기 위해 너무 많은 질문을 하면 일반성이 떨어지는 과대적합이 발생할 수 있다. 반대로 데이터량에 비해 질문의 개수가 너무 적으면 과소적합이 발생할 수 있다. 이 부분에 있어서는 정해진 답은 없다. 데이터의 구성을 파악하는 것이 중요하고 프로그래머가 데이터 구성에 맞게 복잡도를 제어해야 한다. 그럼에도 불구하고 결정트리는 과대적합이 발생하는 경향이 많은데 이때는 결정트리 앙상블 기법을 이용하여 그 경향을 완화시킬 수 있다[8].

350개의 데이터를 각각의 클래스 별로 OAA 방식으로 학습하였고 학습결과에 350개의 시험 데이터를 입력하여 시험을 수행하였다. 강 분류기를 만들기 위한 반복 학습은 20회 이상에서 수렴하였으며 총 50회 반복 수행하였다.

그림 6은 AB의 학습 결과로 각각의 클래스가 갖는 분류기준을 적색과 청색으로 표현하였고 그림 6과 그림 3을 비교하면 AB 분류기의 성능을 가시적으로 확인할 수 있다. 예를들어, 재밍이 없는 경우는 그림 3의 (a) 영역이므로 그림 6의 (a)가 같은 영역으로 분류되었는지 비교해볼 수 있다.

Fig. 6. 
Learning results of AB

시험결과 총 350개의 데이터 중 27개의 오분류가 발생하여 92.3%의 정확도를 보였고 모호성이 발생한 영역을 kNN 기법을 이용하여 추가 분류한 결과 92.6%로 정확도가 증가하였다.

SVM의 학습 변수를 r₁, r₂로 정의하고 비선형 분포를 분류하기 위해 식 (6)의 RBF(Radial Basis Function) 커널(Kernel) 함수를 적용하였으며 6개 클래스 분류를 위한 멀티 클래스 구현을 위해 OAA방법을 적용하였다[1].

식 (6)의 σ는 SVM 곡선의 첨예도를 조절할 수 있는 요소로 그림 7은 σ=1일 때 분류 결과를 보여준다.

Fig. 7. 
Learning results of SVM

앞서의 경우와 마찬가지로 그림 3과 비교하여 가시적인 정확도를 확인할 수 있으며 AB와 달리 곡선분류기인 SVM 특성을 그림으로 확인할 수 있다. 학습결과 24개의 오분류가 발생하여 93.1%의 정확도를 보였고 kNN 기법을 이용하여 추가 분류한 결과 97.1% 까지 정확도가 증가하였다.

DT 학습방법으로 그림 8의 결정트리와 그림 9의 학습 결과 그래프를 얻을 수 있다. r₁, r₂ 값을 기준으로 분류가 이뤄졌음을 확인할 수 있으며 결정트리에서 A, D, C 클래스는 트리의 우측에는 포함되지 않고 좌측트리에서 결정됨을 확인할 수 있다. 이것은 높은 정보이득을 갖는 최상위 노드를 선정하였음을 의미한다. 나머지 클래스인 B, E, F는 결정트리의 좌, 우측에서 결정된다. 또한, 그림 9에 여러 클래스가 맞닿아 있는 (0,0) 근처에서 하나의 클래스 사이에 다른 클래스가 분류된 것을 볼 수 있다. 이것은 결정트리의 문제점 중 하나인 과대적합을 보여주는 것이다.

Fig. 8. 
Final decision tree learned by DT technique

Fig. 9. 
Test data classification result using DT technique

학습된 결정트리에 시험 데이터 350개를 입력하여 테스트를 수행한 결과 표 2와 같이 총 11개의 오분류가 발생하였으며 96.9%의 정확도를 보였다. 표 2와 그림 9를 비교하면 A, B, E, F가 맞닿아 분포하는 영역에서 집중적으로 오분류가 발생한 것을 확인할 수 있다.

앞서 수행한 각각의 머신러닝 기법 정확도를 표 3으로 정리하였다. 기존의 논문에서 제시한 SVM과 kNN을 동시에 적용한 기법이 97.1%로 가장 높은 정확도를 보였다. 하지만 단독기법을 이용한 방법 중 가장 높은 정확도를 보인 기법은 DT로 96.9%의 정확도를 보였으며 한 가지 기법을 적용하였음에도 두 가지 기법을 적용한 결과와 아주 근접한 정확도를 보였다.

각 기법의 정확도는 변수값 설정에 따라 달라질 수 있다. 예를 들어 AB는 에러율 계산을 몇 번 반복하느냐에 따라 달라질 수 있고 SVM의 경우는 어떤 커널 함수를 선택하느냐에 따라 달라질 수 있다. 결정트리의 경우도 질문의 개수에 따라 혹은 앙상블 기법을 적용하느냐에 따라서 달라질 수 있다. 본 논문에서는 이 변수의 값을 조절하여 과대적합이 발생하지 않는 결과를 제시하였다.