Journal Archive

데이터 셋의 클래스 불균형은 머신러닝 모델의 성능에 큰 영향을 미치는 문제 중 하나이다. 이 문제를 해결하기 위해 본 연구에서는 동적 확률 가중치 로직을 적용하였다. 이 로직은 각 클래스에 대한 데이터 수가 적은 클래스에 높은 확률을 부여하여, 증강 과정에서 그 클래스의 데이터가 더 많이 생성되도록 한다. 확률 가중치는 각 라벨 i에 속하는 데이터의 개수 N(i​)를 전체 데이터의 개수 N를 활용하여 동적으로 적용한다. 여기서 N은 ∑i=1KNi로 계산한다. 이렇게 확률 가중치 로직을 적용하게 된다면, 데이터가 생성될 때마다 확률 가중치가 실시간으로 조정되어 부족한 클래스의 데이터를 더 많이 생성할 수 있다.

동적 확률 가중치 로직(Dynamic probability weighting logic)은 식 (1)로 표현할 수 있다. 클래스별 데이터량의 상대적인 비율을 나타내는 R을 식으로 표현하면 Ri=NNi로 표현이 가능하며, 여기서 N은 전체 데이터의 수, N(i)는 각 클래스 I에 속하는 데이터의 수이다.

K는 전체 클래스 수를 의미한다. 가중치 R(i)이 크다는 것은 클래스 i의 데이터가 전체 데이터 셋에서 차지하는 비율이 낮다는 것을 의미하기에 R(i)이 큰 클래스에 가중치를 더 높게 부여함으로 가중치 정규화를 통해 모든 클래스에 대한 가중치 합이 1이 되도록 정규화 하여 모든 클래스에 대해 균일하게 데이터를 생성할 수 있도록 한다.

이러한 동적 확률 가중치 로직은 데이터 량의 변화에 따라 동적으로 확률이 조정되어 부족한 클래스에 대한 불균형 문제를 해결하는데 유연하게 적용될 수 있다. 사용할 데이터 셋은 6가지 감정 클래스로 구분되어 있고, 로직을 적용한 결과, 그림 1과 같이 데이터량이 다른 각 클래스마다 의도한대로 데이터가 생성되어 균일한 데이터 셋이 되었음을 확인할 수 있었다.

Fig. 1. 
Percentage of data by class

가중치 로직으로 증강시킬 데이터 클래스가 결정되었다면, GPT 모델은 데이터 증강을 위해 어떤 클래스의 감정 데이터를 생성해야 하는지 결정한다. 이어서 GPT의 자연스러운 텍스트 생성 능력을 이용해 품질이 뛰어나고 넓은 다양성을 가진 데이터를 생성하기 위해서는 GPT에게 세밀하고 적절한 프롬프트를 설계하여 지시해야 한다[15]-[17]. 본 논문에서는 감정 데이터 생성을 위해 크게 Generative Prompt와 Conditional Prompt전략을 사용하여 그림 2와 같이 프롬프트 엔지니어링을 적용했다.

Fig. 2. 
Prompt engineering

Generative Prompt는 모델의 창의성을 높이기 위해 사용하는 초기문맥(Initial context)전략으로, 자연어 모델이 문장 또는 문단을 생성하기 시작할 때 주어지는 초기 입력을 의미한다. 기존 데이터의 참조 없이 새로운 주제를 가진 문장을 생성하려면, GPT에 구체적이고 창의적인 프롬프트를 제공하는 것이 필요하다. 이를 통해 Generative Prompt를 진행할 때, GPT는 기존 데이터의 내용을 참조하지만 다른 컨텍스트와 주제를 가진 문장을 생성하도록 지시받게 되며, 이는 데이터 셋의 다양성을 향상시키는 데 중요한 역할을 한다. 이러한 접근 방식은 모델이 기존 데이터셋과는 다른 새로운 상황과 시나리오를 학습하게 하여, 데이터의 다양성과 일반화 능력을 증진시킬 수 있다.

Conditional Prompt는 모델이 특정 조건을 만족하도록 하는 조건 토큰(Conditioning tokens)방법으로, 생성 모델에 특정 조건을 부여하는 데 사용되는 특수한 입력 토큰을 의미한다. 여기서는 GPT 모델이 가중치 로직에서 결정된 데이터 클래스의 감정을 받아서 문장이 생성될 때, 해당 감정을 반영하도록 하는 것을 목표로 한다. 또한 글자 수가 너무 적거나 많지 않게 위해 기존 데이터와 큰 차이가 나지 않도록 생성 글자 수를 조절하도록 하였고, 자연스러운 문장이 생성되도록 하는 조건을 추가하여 목적에 맞는 문장이 생성될 수 있도록 지시하였다.

이 연구에서는 GPT 모델이 데이터 증강 명령을 보다 효과적으로 이해하고 처리할 수 있도록, Prompt Clarification과 쿼리 재구성(Query reformulation) 기법을 적용하였다. 이는 그림 2의 Clarification이 적용된 예시 문장처럼 필요한 프롬프트를 재구성하여 모델이 보다 정확하게 파악하고 관련된 데이터를 효과적으로 생성할 수 있도록 한다. 이러한 접근은 GPT 모델이 프롬프트를 더 명확하게 이해하고, 감정 데이터의 다양성과 품질을 높이는 데 기여한다.

이렇게 프롬프트 엔지니어링을 통해 원본 데이터의 복잡성을 유지하면서 기존 데이터가 가지고 있지 않은 다양성을 보강하여 품질 좋은 데이터가 증강된 데이터 셋으로 모델이 전보다 개선된 성능을 보이게 된다.

실험에 사용할 데이터는 AI Hub의 감성대화 말뭉치 데이터 셋을 사용했다[18]. 이 데이터 셋은 6가지 감정 대분류 코퍼스를 가지고 있는 다중분류 학습을 위한 데이터 셋이다. 한국어 감정 데이터 셋을 사용함에 따라, BERT를 활용해 만들어졌고 한국어에 특화되어있는 KoBERT 모델을 사용해 실험을 진행했다. 데이터 증강에 따른 모델의 성능 평가를 위해 원본 데이터만 학습한 모델, 그리고 그림 3의 증강과정을 통해 만들어진 데이터 셋을 바탕으로 증강 데이터의 품질과 다양성을 확인하기 위해 증강 데이터만 학습한 모델, 증강 데이터가 실제로 원본데이터만 사용했을 때보다 다양성이 증가하여 성능 향상을 보임을 확인하기 위해 원본과 증강 데이터를 50%씩 추출한 데이터를 학습한 모델, 그리고 원본 데이터 셋에 생성된 데이터가 합쳐져 증강된 데이터를 학습한 모델을 비교하며 실험을 진행했다.

Fig. 3. 
Augmentation process

앞서 설명한 데이터 증강 방법으로 GPT 모델이 데이터를 생성한 결과, 표 1이 보여주는 것처럼 데이터가 생성됨을 확인하였다. 생성된 데이터가 실제로 모델의 성능 향상에 기여하는지 평가하기 위해, 먼저 데이터 불균형을 해소하였는지 확인하였다.

그림 1에서처럼 의도한대로 데이터를 생성할 때 더 적은 수의 데이터를 가진 클래스를 대상으로 샘플이 생성한 것을 확인할 수 있었다. 이어서 데이터 품질을 검증하기 위해 문장의 자연스러움과 복잡성을 측정하는 가독성 점수(Readability scores)를 측정하였다.

Flesch Reading Ease와 Gunning Fog Index는 텍스트의 가독성과 복잡성을 측정하는 지표다. FRE는 206.835-1.015(총 단어 수/총 문장 수) - 84.6(총 음절 수/총 단어 수)의 공식을 가지며 값이 높을수록 텍스트가 읽기 쉽다는 것을 의미한다. GFI는 0.4((총 단어 수/총 문장 수)+100(세 음절 이상 단어 수/총 단어 수))의 공식을 가지며 값이 낮을수록 읽기 쉽다는 것을 의미한다. 표 2의 결과로 원본 데이터와 생성 데이터의 값이 큰 차이를 보이지 않고 비교 군으로 부자연스러운 데이터가 GFI에서 큰 차이를 보이고 있으므로 생성된 데이터의 품질이 부족하지 않음을 확인하였다.

이어서 생성된 데이터의 다양성을 검증하기 위해 문장의 유사성 측정으로 비슷한 토픽을 다루고 있는지 Cosine Similarity with TF-IDF Vectors와 LDA Topic Modeling을 측정하였다. 코사인 유사도는 문서 내 단어의 벡터간의 유사성을 측정하여 주제적 유사성을 수치적으로 평가하는 방법이며, LDA는 문서 집합에서 주제를 찾아내는 토픽 모델링 방법으로 데이터셋 내에서 주제들의 분포를 파악해 주제를 식별하여 기존 데이터 셋과 얼마나 주제적으로 유사한지를 평가한다. 원본과 다른 상황을 생성한 데이터의 다양성을 확인하기 위해, 원본의 상황을 참조해 생성한 데이터를 비교 군으로 두고 측정했다. 표 3의 결과로 평균 코사인 유사도와 동일 도미넌트 토픽에서 원본과 다른 상황을 생성한 데이터가 낮은 값을 보이고 있으므로 생성된 데이터의 다양성이 확장되었음을 확인하였다[19].

추가적으로 PCA, t-SNE 그래프를 그림 4와 같이 생성하여 확인한 결과, 원본과 생성 데이터가 서로 유사한 형태를 보임으로 데이터의 품질이 큰 차이가 없음을 알 수 있었으며, 생성 데이터가 원본 데이터의 영역을 커버함을 보여줌으로써 데이터의 다양성이 향상될 수 있음을 재확인 할 수 있었다.

Fig. 4. 
PCA, t-SNE graph

이렇게 클래스 불균형 문제점을 해소하고 생성된 데이터의 품질과 다양성을 확인하여 GPT기반 생성 데이터가 유효한 데이터임을 확인하고 KoBERT 모델에 4가지 데이터 셋을 학습한 결과, 학습 과정에 있어 데이터 증강이 모델에 보다 다양한 특징을 잘 학습하게 하였고, 그림 5와 같이 기존 데이터 모델 대비 10% 이상의 학습 성능 개선을 보였다.

Fig. 5. 
Training accuracy graph

학습된 모델을 테스트 해본 결과, 표 4와 그림 6에서 볼 수 있듯이 증강된 데이터 셋으로 학습한 모델이 원본 데이터만 학습한 모델보다 평균 18%의 성능 향상을 보였다.

Fig. 6. 
Test accuracy graph

기존 데이터로만 학습한 모델이 77%정도의 정확도를 보였는데, 생성된 데이터의 성능 향상을 확인하기 위해 원본 50%와 생성 50% 데이터를 학습한 모델이 보다 높은 정확도를 기록함으로 생성된 데이터가 성공적으로 모델 성능 향상을 끌어냈음을 보여주고 있으며, 최종적으로 원본 데이터에 생성 데이터가 증강된 모델에서는 95%정도의 높은 정확도를 보여주었다.