Home

학습콘텐츠 자동분류시스템은 그림 1과 같이 크게 2가지로 나눌 수 있다. 초기 학습콘텐츠 메타정보를 활용하여 최적화된 자동분류 모델을 만들어야 한다. 데이터 수집관리, 전처리, 학습관리, 모델 관리, 재학습 등의 자동분류를 위한 학습 프로세스 모듈로 구성되게 된다. 이러한 자동 분류 모델이 완성되면, 자동분류 모델을 활용한 추론 서비스를 구성할 수 있다. 학습콘텐츠가 유입되는 경우 첫 번째 온라인 학습 관리시스템에 학습콘텐츠를 등록한다. 온라인 학습관리시스템에서는 학습콘텐츠 메타 정보를 관리하게 되고 이 메타 정보를 학습콘텐츠 자동분류시스템의 추론 서비스에 보내게 되고 해당 학습콘텐츠 메타 정보를 통해 자동 분류된 결과를 온라인 학습관리시스템으로 제공하게 된다. 모델에 맞지 않은 새로운 콘텐츠 유입 증가 등 요인으로 주기적으로 모델을 재학습할 수 있다.

Fig. 1. 
Auto classification of learning contents

자동분류에 오랫동안 연구되고 사용했던 머신러닝 기반의 전통적인 텍스트 분류모델은 키워드 중심으로 새로운 분유와 업무에 맞지 않아 딥러닝 모델의 등장으로 점차 적용분야가 줄어들고 있다.

자동분류에 오랫동안 연구되고 사용했던 머신러닝 기반의 전통적인 텍스트 분류모델은 키워드 중심으로 새로운 분유와 업무에 맞지 않아 딥러닝 모델의 등장으로 점차 적용분야가 줄어들고 있다. 표 1과 같이 딥러닝 분류모델의 대표적인 BERT 모델이 전통적 분류모델에 비해 장점이 훨씬 우월하다.

액티브러닝은 레이블링이 된 데이터의 양이 작거나 레이블링 비용이 클 때 전체 데이터를 잘 대표하는 데이터 또는 모델이 잘 모르는 세부 데이터를 샘플링 하는 방식으로 주어진 레이블링 시간과 비용 내에서 가장 높은 성능을 도출하기 위해 레이블링을 부여한 데이터를 선택하는 최적의 전략 방법론이다. 즉 제한된 레이블링 환경에서의 딥러닝 모델의 효율적인 학습을 위한 방법론 연구이며, 정확도 개선에 크게 기여하는 데이터 식별 및 레이블링을 통한 재학습 체계이다.

첫 번째 레이블링된 데이터을 활용하여 모델을 학습한다. 두 번째 학습된 모델을 통해서 레이블링 되지 않은 데이터를 선별하며, 세 번째 사람(Human annotator)이 직접 레이블링한다. 네 번째로 새로 레이블링 된 데이터를 기존 데이터 셋과 합친다. 목표성능에 도달할 때까지 첫 번째부터 네 번째 과정을 반복한다. 새로 레이블링된 데이터를 기존 데이터 셋과 합친다. 목표성능에 도달할 때까지 첫 번째부터 네 번째 과정을 반복한다.

전체 과정은 그림 2와 같은 흐름으로 진행된다. 먼저 레이블이 없는 데이터 셋에서 샘플링 알고리즘을 통해 전체 데이터의 순위를 정하고 높은 순위부터 일정한 수의 샘플 데이터를 선택한다. 어노테이터는 선택된 샘플에 대한 레이블링을 진행한다. 레이블링된 샘플 데이터(Labeled sample data)를 기반으로 모델을 학습하고 다음 학습에 용이한 샘플 데이터를 추출한다. 해당 과정을 반복하면서 레이블이 추가된 학습 데이터가 축적되게 된다.

Fig. 2. 
Active learning components and progression cycle

액티브러닝은 모델 학습에 필요한 데이터를 준비할 때 모델이 분류하기 어려운 데이터 등 특징적인 초기 데이터를 선별하여 학습하게 함으로써 적은 훈련시간으로 더 좋은 성능의 모델을 만들기 위한 방법론이다. Settles(2009)는 모델 학습에 유용한 데이터를 선정하여 우선적으로 레이블링하여 학습 데이터에 추가하는 액티브러닝(Active learning)기법을 제안하였다[4][5]. 이러한 액티브러닝 방법론을 활용하기 위해서 필수적으로 고려되어야 하는 핵심은 학습을 위한 샘플링을 추출하는 접근법이다. 액티브러닝의 학습을 위한 데이터 샘플링 추출 접근법은 1) 모델이 분류하기 어려운 불확실성(Uncertainty) 접근법, 2) 데이터의 실제 분포와 유사하도록 데이터를 선별하는 다양성(Diversity)접근법, 3) 모델이 학습에 영향을 많이 받게 되는 데이터를 선별하는 Expected Model Change 세가지 접근법으로 나눌 수 있다[6]-[8]. 세 번째 접근법인 딥러닝이 적용된 Expected Model Change의 대표적인 방법론인 EGL 방법론은 모델에 영향을 많이 받고, 다른 실험에서 가장 낮은 성능을 보였다는 실험결과가 있으며[7], 액티브러닝을 연구하는 최근 논문에서는, 비교실험에서 제외되었다[6][8]. 따라서 액티브러닝의 데이터 접근 전략은 다양하나, 딥러닝에 적합하고 검증이 된 전략 중 액티브러닝의 두가지 관점인 Uncertainty의 Entropy Uncertainty와 Diversity의 대표적인 기법인 Core-set을 비교 실험하였다. Entropy Uncertainty 접근법은 딥러닝 모델에서도, 우선적으로 사용해보는 기준선(Baseline) 접근법이며 적용된 연구가 많이 이루어지고 있으며 텍스트 분야에서도 적용된 연구가 있다[9]. Core-set 접근법은 이미지 관련 딥러닝에 액티브러닝을 적용한 연구논문이 발표된[10], 이후 딥러닝을 활용한 액티브러닝으로 많은 비교실험 및 연구가 진행되고 있다. Core-set 접근법을 간단히 요약하면, 각 문서 Representation Vector들의 거리를 계산하고, K-Center Problem 알고리즘으로 Center에 해당하는 문서를 대표 문서로 정한다.

학습콘텐츠 분류를 위한 대상 데이터는 정부 및 공공에서 제작되는 내부 학습콘텐츠와 민간 등 외부에서 Open API 등으로 수집되는 외부 학습콘텐츠이다. 학습콘텐츠에서 콘텐츠 제목, 개요(요약), 내용 등 학습에 활용할 수 있는 데이터를 추출 로직에 의해 추출하여 학습 데이터로 활용하게 된다. 학습데이터 70%, 검증데이터 15%, 테스트 15%의 비율로 나누었다. 이렇게 학습 데이터 준비가 완료되면, 액티브 러닝을 적용하는 프로세스를 진행하게 된다.

그림 3과 같이 액티브러닝을 활용하는 경우, 첫 번째 중요 데이터 탐색을 하게 된다. 사전에 최초 분류 모델을 만들기 위해서 사용되는 학습데이터는 무작위 추출(Random sampling)로 진행한다. 그 다음부터는 중요 데이터를 탐색한 뒤, 액티브 러닝 데이터 접근 전략 중 대표적인 접근법인 ① Uncertainty 접근법과 ② Core-set 접근법으로 데이터를 추출한다. 두 번째, 추출된 해당 데이터에 대해서는 사람이 직접 레이블링을 하게 된다. 세 번째, 레이블링 된 데이터를 적용하여 분류모델을 학습한 뒤, 네 번째 정확도에 대한 목표치 확보 등 모델 성능개선을 위한 작업을 반복하게 된다[11].

Fig. 3. 
Automatic classification model based on active learning

모델의 성능에 대한 검증은 모델의 정확도 비교, 데이터 수 대비 정확도 비교, 모델의 학습 시간 비교 등으로 진행할 수 있다. 이렇게 검증되고 평가된 액티브러닝을 활용한 자동분류 모델은 학습콘텐츠 자동분류시스템에 탑재하여 학습 플랫폼에서 학습콘텐츠 자동분류를 위한 추론서비스로 사용하게 된다. 학습콘텐츠의 변화 등 주기적으로 모델을 재학습 할 수 있다.

학습 데이터의 원천 시스템인 온라인 학습 시스템에서 학습데이터의 메타 정보를 추출하였다. 이 메타정보를 전처리 한 뒤 실험하기 위한 통제된 클라우드 환경의 학습 서버로 이관하였다. 학습콘텐츠 메타정보는 형태소 분석 처리를 하게 된다. 문장을 형태소 분석을 통해 의미 단위로 분리하게 되는데 예를 들어 “내장산국립공원 대표관광지”의 경우 → “내장산/NNP 국립/NNG 공원/NNG 대표/NNG 관광지/NNG”로 단어를 토큰화 한다. 또한 단어를 더 작은 단위로 분리하여 Out-Of-Vocabulary가 줄어들도록 한다. 또 다른 예를 들면 “인천신공항단지” 의 경우 → “인천@@ 신@@ 공항@@단지”로 분리 한 뒤 단어사전에 추가하고 도메인 데이터에서 빈도수 높은 단어를 추가한다.

액티브러닝의 적합성 비교를 위한 기준선(Baseline)을 위해 첫 번째 Random Sampling 방식, 두 번째 AI 모델이 분류하기 어려운 데이터를 선택하는 Uncertainty 접근법, 세 번째 데이터 셋 전체를 대표하는 텍스트를 선택하는 Core-set 접근법, 이 세가지 방식으로 실험을 진행하였다.

표 2와 같이 액티브러닝 성능 비교 때는 이 방식을 적용하였다. 표 2에서 나오는 지표에서 수렴 Iteration은 기준선(Baseline) 성능에 도달하여, 더 이상의 액티브러닝이 불필요한 시점을 의미한다. 또한 총 액티브러닝의 학습시간은 (중요 데이터 탐색 + 모델학습시간) × Iteration 횟수이다.

액티브러닝의 성능 비교에서 액티브러닝의 목표는 1. 적은 데이터(= 적은 Iteration)로 ‘기준선(Baseline)’(빨간 점선)성능에 도달하고, 2. Random Sampling(검은 선)보다 높은 정확도이다.

성능 및 정확도 비교 실험 결과 표 2, 표 3과 같이 Random Sampling보다 액티브러닝이 적용된 성능이 뛰어나며, Core-set 접근법이 Uncertainty 접근법보다 더 높은 성능을 가지고 있다.

액티브러닝을 위한 레이블링은 키워드 기반 묶음(머신러닝)으로 업무 전문지식이 있는 어노테이터가 2주간 8시간, 총 80시간 작업을 하였다. 또한 약 7% 데이터 만으로도 기준선(Baseline)의 성능에 도달 및 상회할 수 있음을 확인하였다. 즉 액티브러닝의 적용을 통하여, 레이블링 비용을 매우 효과적으로 줄일 수 있음을 확인하였다. 머신러닝을 사용하지 않거나 키워드 기반이 아닌 레이블링을 진행할 경우 훨씬 더 많은 시간이 소요된다. 표 4와 같이 액티브러닝을 사용할 경우 레이블링 시간이 91% 단축 가능함(80시간 → 약 6시간)을 알 수 있으며, 무작위로 샘플링하여 레이블링 하는 것보다 다른 액티브러닝의 효과가 좋은 것으로 분석되었다. 감안해야 될 사항으로 데이터의 난이도가 증가할 경우 Test Accuracy가 낮아질 가능성이 높으며, 레이블링 및 액티브러닝 학습 시간이 증가할 수 있다. 그러나 전체 데이터 레이블링 < 무작위 샘플링 <액티브러닝 기법이 상대적으로 효율성이 있다는 점은 변하지 않는다.