Current Issue

전통적인 AES 모델은 기계 학습(Machine learning)을 활용하여 단어 수, 단어 길이, 문장 길이와 문법과 같은 에세이를 표현하는 자질을 수작업(Hand-craft feature)으로 추출하는 방식으로 진행되었다.

[11][12]는 베이지안 모델과 k-NN(k-Nearest Neighbor) 모델을 사용한 연구이다. [13]는 베이지안 선형 회귀를 사용하여 학습한 도메인 외에 다른 도메인에서도 사용 가능한 모델을 제시하였다. [14]-[16]는 SVD(Singular Value Decomposition) 방법을 사용하여 에세이의 의미적 벡터를 생성하고 벡터간의 유사도를 측정하는 잠재 의미 분석(LSA, Latent Semantic Analysis) 방법을 사용한 연구이다. 이러한 기계 학습 접근 방법은 에세이를 평가하고 채점하기 위해 사람이 직접 자질을 추출해야 하고 모델의 성능이 추출된 자질에 의존한다는 문제점이 있다. 따라서 이러한 수작업 없이 자동으로 에세이와 레이블링 된 점수 사이의 관계를 학습하기 위해 심층 신경망을 이용한 연구가 이어졌다.

심층 신경망을 이용한 초기 연구는 [17]-[19]로 순환 신경망 모델인 RNN과 LSTM을 사용한 연구이다. 순환 신경망 모델은 입력 데이터를 순차적으로 처리한다는 특징이 있지만 시퀀스-투-시퀀스(Sequence-to-sequence) 모델로 BERT에 비해 장기 기억에 취약하고 학습 속도가 느린 문제가 있다[20].

BERT는 트랜스포머의 인코더 구조를 활용한 언어 표현 모델이다. [21]는 여러 개의 BERT를 활용하여 AES에 접근한 연구로 토큰 단위(Token-scale), 세그먼트 단위(Segment-scale)와 문서 단위(Document-scale)로 다양한 단위(Scale)로 나눠서 에세이를 평가한다는 특징이 있다. 에세이의 임베딩 표현을 다양한 단위로 나눠서 함으로써 보다 정밀하게 에세이 점수를 산출할 수 있다는 장점이 있지만 각 단위마다의 에세이 임베딩 표현이 적절히 학습되기에는 어렵다는 단점이 있고 제안 방안은 하나의 BERT 모델을 사용하여 에세이 임베딩 표현이 AES 작업에서 영향을 끼치는 정도를 알아보고자 하기에 해당 연구와는 성격이 다르다.

최근 대조 학습은 좋은 성능을 보이며 이미지처리 분야나 자연어처리 분야 등 다양한 분야에서 활발히 연구되고 있는 기술이다. 대조 학습은 이미지처리 분야에서 처음으로 사용되었으며[22] 이미지처리 분야에서 쓰인 대조 학습 연구는 다음과 같다. [23]-[25]은 각 이미지에 대해 잘라내기, 회전등의 이미지 변환 방식으로 두 가지의 이미지를 생성하고 잠재 공간(Latent space)에서 서로 가깝게 만든다. [23]은 InfoNCE[26]라 불리는 정규화된 템퍼레이쳐 스케일(Temperature scale) 기반의 교차 엔트로피 손실(NT-Xent)을 손실 함수로 사용하여 정규화된 임베딩에서 더 나은 임베딩 표현을 보였다.

최근 대조 학습은 자연어처리(NLP, Natural Language Process) 분야에서도 활발히 사용되고 있다. [27]은 BERT 모델 위에 CNN(Convolutional Neural Network) 레이어를 추가하고 글로벌 문장 임베딩과 해당 로컬 문맥(Context) 간의 상호 정보(MI, Mutual Information)를 최대화하는 학습 방안을 제안한다. [28]는 [24]와 유사한 구조를 채택하고 데이터 증강을 위해 역번역을 사용한다. 하지만 역번역은 거짓 정보를 생성할 수 있다는 단점이 존재한다. [29]는 [23]의 아키텍처를 활용하여 대조 학습과 마스크 언어 모델(Masked language model)을 함께 학습한다. 그러나 의미의 유사도를 최대화하는 범위(Span) 내에서만 대조 학습을 사용한다는 단점이 존재한다.

제안 모델은 에세이 임베딩의 더 나은 표현을 위해 대조 학습을 활용하여 에세이를 평가한다. 또한, 대조 학습에서 양성과 음성 샘플을 구성하기 위해 점수별로 에세이 벡터들을 평균 내어 점수별 에세이 특징 벡터를 추출했다는 점에서 기존 대조 학습 연구와는 다르다. 또한, 중앙값을 기준으로 양성과 음성 샘플을 분리시킨 점에서도 기존 대조 학습 연구와는 다르다.

본 논문의 대조 학습을 활용할 때의 양성과 음성 샘플의 구성은 에세이의 개별 임베딩이 아닌 점수별 평균 임베딩으로 구성된다. 점수별 평균 임베딩을 사용하는 이유는 다음과 같다. 같은 점수의 에세이일지라도 에세이에 담긴 내용은 다를 수 있다. 하지만 에세이 점수가 서로 같다면 두 에세이의 특징은 유사할 것이다. 즉, 에세이의 내용이 아닌 점수별 에세이의 공통적인 특징을 고려하는 벡터를 샘플로 구성한다. 여기서 점수별 에세이의 공통적인 특징은 “이해하기 쉬운 글인가?”, “명확한 표현을 사용하였는가?”, “주장에 대한 근거가 타당한가?”와 같이 문법과 문체를 고려한 특징이라고 할 수 있다. 점수별 평균 벡터는 이러한 점수별 에세이의 공통적인 특징인 문법과 문체를 내포한다. 점수별 에세이의 공통적인 특징 벡터를 추출하기 위해서는 해당하는 작업에 맞게 학습된 모델이 필요하다. 따라서 교차 엔트로피 손실 함수만을 사용하여 첫 번째 미세조정 단계(Fine-tuning)를 통해 모델을 일차적으로 학습시킨다. 그리고 이렇게 학습된 모델을 이용하여 Algorithm 1을 통해 점수별 평균 벡터를 생성한다. 점수별 평균 벡터를 구한 방식은 다음과 같다. 첫 번째 미세조정 단계를 마친 BERT 모델을 사용하여 추출된 단어별 임베딩 값 중 [CLS] (Classification) 벡터만을 추출한다. 추출된 [CLS] 벡터를 사용하여 Algorithm 1을 통해 점수별 평균 벡터를 그림 2와 같이 생성한다. 여기서 추출된 [CLS] 벡터는 다른 모든 단어 벡터를 모두 참고한 문맥 벡터의 역할을 한다.

Fig. 2. 
Generating the mean embedding vector per essay score

Algorithm 1의 입력 데이터는 첫 번째 미세조정 단계을 통해 학습된 BERT 모델에서 학습 데이터를 1 에폭(epoch) 만큼 진행하여 출력된 [CLS] 벡터, 학습 데이터의 라벨 값과 평균 벡터를 저장할 리스트이다. Line 1은 학습 데이터의 라벨 값 중 중복된 것을 제거한 점수를 라벨 리스트로 설정한다. 예를 들어 학습 데이터의 라벨이 [1,1,2,2,3]이라면 라벨 리스트는 [1,2,3]이다. Line 2는 for 문에서 라벨 리스트의 원소를 한 개씩 반복하며 실행한다. Line 3은 하나의 점수에 해당하는 [CLS] 벡터들을 하나의 변수에 저장한다. Line 4는 저장된 하나의 점수에 해당하는 [CLS] 벡터들의 평균 벡터를 구한다. 이때 히든 사이즈는 유지한 채 각 [CLS] 벡터들에 대한 평균을 계산한다. Line 5는 생성한 평균 벡터를 리스트에 추가한다. 반환 값은 평균 벡터들을 점수별로 모은 리스트이다.

그림 2의 cⁿ(mp점)은 학습 데이터에서 n번째 학습 데이터의 에세이에 레이블링 된 점수 m를 의미한다. e¯l은 l점의 평균 벡터를 의미한다.

제안 방안의 샘플링 방식은 중앙값 기준으로 점수 범위를 나누어 나눈 두 개의 점수 범위에서 각각 하나씩 점수를 선택한다. 그리고 선택된 두 개의 점수의 평균 벡터를 각각 양성 샘플과 음성 샘플로 설정한다. 예를 들어 입력 데이터의 점수가 1점이고 그림 3과 같이 점수 범위가 1~6점으로 점수 범위의 값이 짝수 개라면 중앙값 3.5점을 기준으로 3.5점보다 큰 값과 3.5점 이하의 값으로 점수 범위를 나눈다. 양성 샘플은 입력 데이터와 같은 점수의 평균 벡터로 설정한다. 즉, 입력 데이터의 점수가 1점이므로 1점의 에세이 평균 벡터를 양성 샘플로 설정한다. 음성 샘플은 양성 샘플과 다른 점수 범위에서 무작위로 하나의 점수를 선택하여 해당 점수의 평균 벡터로 설정한다. 반면 그림 4와 같이 점수 범위가 2~12점으로 점수 범위의 값이 홀수 개라면 마찬가지로 점수 범위를 중앙값 7점을 기준으로 7점보다 큰 값과 7점 이하의 값으로 나눈다. 양성 샘플은 입력 데이터와 같은 점수의 평균 벡터로 설정하고 음성 샘플은 양성 샘플과 다른 점수 범위에서 무작위로 하나의 점수를 선택하여 해당 점수의 평균 벡터로 선택한다.

Fig. 3. 
Boundary decision for positive and negative samples(# of score bins is even)

Fig. 4. 
Boundary decision for positive and negative samples(# of score bins is odd)

그림 3과 같이 에세이의 점수 범위에 해당하는 값의 개수가 짝수 개라면 값을 크기순으로 나열했을 때 가장 중앙에 위치하는 값이 유일하지 않고 두 개가 될 수 있다. 이 경우 그 두 값의 평균을 중앙값으로 설정하여 중앙값보다 큰 값과 중앙값 이하의 값으로 점수 범위를 나눈다.

그림 4와 같이 에세이의 점수 범위에 해당하는 값의 개수가 홀수 개라면 값을 크기순으로 나열했을 때 가장 중앙에 위치하는 값이 유일하게 되고 그 값을 중앙값으로 설정하여 중앙값보다 큰 값과 중앙값 이하의 값으로 점수 범위를 나눈다.

중앙값보다 큰 값과 중앙값 이하의 값으로 점수 범위를 나누는 이유는 에세이를 평가할 때 점수가 높은 글인 잘 쓴 글과 점수가 낮은 글인 잘 쓰지 못한 글로 구분하여 대조 학습에서 입력 데이터와 다른 성격을 띄는 쌍과는 서로 멀리 떨어지게 학습하기 위함이다.

Algorithm 2의 입력 데이터는 Algorithm 1에서 생성한 평균 벡터 리스트, 중앙값과 미니 배치의 라벨 값이다. Line 1은 중앙값을 정수형으로 변환한다. 예를 들어 중앙값이 1.5라면 소수점 값을 내려서 1로 정수 값을 반환한다. Line 2~3은 배치 데이터의 에세이 점수를 하나씩 불러오며 for문을 반복한다. Line 4는 에세이 점수와 같은 점수의 평균 벡터를 양성 샘플로 선택한다. Line 5~9는 그림 5와 같이 중앙값을 기준으로 점수 범위를 나누고 에세이 점수와는 다른 점수 범위에서 무작위로 점수 하나를 뽑아 해당 점수의 평균 벡터를 음성 샘플로 구성한다.

Fig. 5. 
Example of sampling positive and negative samples

그림 5과 같이 에세이 점수 범위가 1~6점이고 에세이 점수가 1점이라면 중앙값 3.5점을 기준으로 점수를 나누게 되고 양성 샘플의 점수는 입력 데이터의 점수와 같은 1점의 평균 벡터를 양성 샘플로 분류하고 양성 샘플이 속한 점수 범위와는 다른 점수 범위에서 무작위로 하나의 점수를 선택하여 해당 점수의 평균 벡터를 음성 샘플로 구성한다.

CLES-BERT의 미세조정 단계의 입력값은 한 에세이 씩 들어간다. ASAP 데이터셋에서 프롬프트 1의 경우 에세이당 평균 단어 수는 350개이다. 에세이 당 하나의 레이블링 된 점수를 라벨값으로 사용한다. 제안 모델은 미세조정을 2번 하는 학습 과정을 거치는데 1단계 미세조정의 손실 함수는 식 (1)과 같이 교차 엔트로피 손실 함수만을 사용한다. 이때 P(x)는 실제 라벨값을 나타내고 Q(x)는 모델이 추정한 확률값을 나타낸다.

교차 엔트로피 손실 함수는 클래스마다 추정된 확률값에 대하여 정답 클래스에 해당하는 추정 확률값이 1에 가까워질수록 손실 값은 작아지는 특성이 있다. 따라서 입력값으로 에세이가 들어가면 레이블링 된 점수 값으로 분류되도록 학습을 진행하게 된다.

2단계 미세조정의 손실 함수는 식 (3)과 같이 기존의 교차 엔트로피 손실 함수에 본 논문에서 제안한 대조 학습 손실 함수를 추가한다. e_i는 입력 데이터의 임베딩, e_p와 e_n은 각각 양성 샘플과 음성 샘플을 의미한다. dist는 유클리드 거리와 sim은 코사인 유사도를 의미한다. λ₁과 λ₂는 초매개변수이며 모든 실험에서 각각 5와 10으로 설정하였다.

식 (2)에서 대조 학습 손실 함수는 p와 q로 이루어져 있다. 입력 데이터의 임베딩이 양성 샘플과 유클리드 거리가 작고 음성 샘플과는 클수록 p의 값이 작아지게 된다. 한편 입력 데이터의 임베딩이 음성 샘플과 코사인 유사도가 작을수록 q의 값이 작아지게 된다. 즉, 입력 데이터 임베딩이 양성 샘플과는 유사하고 음성 샘플과는 상이할수록 손실 값이 작아져 그림 6와 같이 학습이 진행되게 된다.

Fig. 6. 
Contrastive learning based on mean embedding vectors

전체 손실 함수(Loss_TOTAL)는 식 (3)과 같이 교차 엔트로피 손실 함수(Loss_CE)에 대조 학습 손실 함수(Loss_CL)를 더한 값이 된다. α는 초매개변수이며 모든 실험에서 0.5로 설정하였다.

그림 6에서 ep→와 en→은 양성과 음성 샘플에 해당하는 벡터를 의미하고 ei→는 입력 데이터의 임베딩을 의미한다. 따라서 대조 학습 시 입력 데이터의 임베딩은 양성 샘플과는 가까워지고 음성 샘플과는 멀어지게 학습을 진행하게 된다.

ASAP 데이터셋은 8개의 서로 다른 프롬프트로 구성되어 있다. 본 실험은 1~8의 8개의 프롬프트 중 프롬프트 7~8은 점수 범위가 0~30과 0~60으로 넓으므로 분류 문제를 해결하기에는 적절하지 못하기 때문에 제외했다. 따라서 1~6의 에세이 프롬프트만 사용하여 실험을 진행하였다. 학습과 테스트셋은 8:2 비율로 분할한다. 표 1은 실험한 ASAP 데이터셋의 6개의 프롬프트에 대한 에세이 수, 에세이당 평균 단어 수, 에세이 점수 범위, 에세이 주제를 나타낸다. 에세이 점수가 높을수록 명확하고 설득력 있는 에세이고 낮을수록 모호하거나 이해하기 어려운 에세이다.

표 2는 실험에 사용한 컴퓨터 사양을 나타낸다. 딥러닝 모델인 BERT를 학습하기 위해 Python 3.7, PyTorch 1.8 그리고 CUDA 11.1을 사용하였다. 또한, 사전 학습 모델은 BERT-base 모델을 사용하였다.

표 3는 BERT 학습 시 미세조정 단계에 사용한 초매개변수이다. 표에 제시된 파라미터 값을 적용했을 때 가장 좋은 결과를 보인다. 해당 에폭을 넘어가면 과적합으로 모델의 정확도가 떨어지게 된다.

모델의 정확도는 식 (4)와 같이 모델이 에세이 점수 분류를 올바르게 했는지 평가하기 위해 평가 에세이 수와 점수 분류를 맞힌 에세이 수의 비율을 통해 계산한다.

표 4는 혼동 행렬에서의 분류 모형 평가 지표로 각 요소의 의미는 True Positive(TP)는 맞는 것을 올바르게 예측한 것, True Negative(TN)은 아닌 것을 올바르게 예측한 것, False Positive(FP)는 아닌 것을 올바르지 않게 예측한 것과 False Negative(FN)은 맞는 것을 올바르지 않게 예측한 것을 의미한다.

제안 방안의 성능 평가로 표 2의 하드웨어 사양과 표 3의 초매개변수 값을 사용하여 각 프롬프트에 대해 기존 모델과 제안 모델의 에세이 점수 분류의 정확도를 비교 실험하였다. AES 문제는 선형회귀문제로 선형회귀, 로지스틱 회귀, SVM(Support Vector Machine)의 분류 모델을 사용하여 에세이 점수 분류 문제를 해결하였다. 하지만 최근에 앙상블 모델인 RF(Random Forest)와 GBM(Gradient Boosting Machine) 모델이 선형 회귀, 로지스틱 회귀, SVM의 분류 모델보다 더 높은 성능을 내는 것으로 밝혀졌다[30,31,32]. 따라서 본 실험에서는 선형 회귀, 로지스틱 회귀, SVM의 분류 모델은 비교 실험하지 않았다. 비교 실험으로 사용한 모델은 RF, GBM, Bi-LSTM, BERT, 제안 모델인 CLES-BERT로 총 5개의 모델을 사용하였다.

그림 7은 실험한 모든 프롬프트에 대해 기존 모델과 제안 모델의 평균 분류 정확도를 비교한 결과이다. RF의 평균 정확도는 62.5%로 61.7%인 GBM과 60.7%인 Bi-LSTM보다 평균 정확도가 높다. 이는 에세이의 다양한 자질을 기준으로 에세이 점수를 분류하는 것이 AES 작업에 효과적임을 알 수 있다. 또한, GBM과 RF 모델 모두 텍스트 데이터와 같은 고차원 데이터에서도 잘 동작하고 입력 데이터의 차원이 높아지더라도 과적합 문제를 잘 다루며 각각의 결정 트리에서 분류 기준을 임의로 선택하므로 데이터의 노이즈에 대한 강건성이 높다. 또한, 텍스트 데이터와 같은 데이터에서 중요한 특징을 찾아내는 능력이 뛰어나므로 분류 성능이 높다.

Fig. 7. 
Results of main AES models

딥러닝을 사용한 점수 분류의 성능 비교는 다음과 같다. Bi-LSTM의 평균 정확도는 60.7%이고 제안 모델의 평균 정확도는 70.2%로 정확도가 약 10% 차이가 난다. 같은 딥러닝 모델이라도 AES 작업에서 성능 차이가 크게 나는 이유는 Bi-LSTM은 입력 데이터를 각각 정방향과 역방향으로 순차적으로 처리하여 그 결과를 병합하는 방식으로 문맥을 이해하는 모델인 반면 BERT는 양방향 트랜스포머를 기반으로 입력 데이터를 동시에 양방향으로 학습하므로 입력 데이터의 문맥을 더 잘 이해할 수 있기 때문이다. 또한, BERT는 대량의 텍스트 데이터를 사용하여 사전학습된 언어 모델이기 때문에 텍스트 데이터에 대한 사전 지식을 효과적으로 활용하여 텍스트의 의미와 문맥을 이해한다.

따라서 사전 학습된 모델 사용 유무가 AES 작업에서의 임베딩 표현에 영향을 주고 AES 작업에서 에세이 임베딩을 잘 표현하는가 그렇지 못한가에 따라 성능이 크게 달라질 수 있음을 확인할 수 있다. 제안 모델의 평균 정확도가 70.2%로 69.2%인 BERT의 평균 정확도보다 높은 것을 보아 AES 작업에서 제안 방안의 대조 학습 방법이 BERT 모델만 이용한 것보다 에세이의 임베딩을 보다 잘 표현하는 데 효과적임을 알 수 있다. BERT는 에세이의 의미를 내포하는 벡터를 표현하여 에세이 점수 분류를 하게 된다. 하지만 AES 작업에서 에세이의 점수가 같을지라도 에세이의 담긴 내용은 서로 다를 수 있다. 에세이의 점수가 같다는 것은 에세이의 내용이 아닌 글의 전달력, 명확한 표현 사용, 근거의 타당성과 같은 에세이의 특징이 비슷하다는 것을 의미한다. 따라서 좀 더 정확한 에세이 점수 분류를 위해서는 에세이의 특징을 고려해야 한다. 제안 모델은 대조 학습 방식을 이용하여 이러한 에세이의 특징을 고려하였기 때문에 기존 모델보다 높은 성능을 보인다.

그림 8은 프롬프트 1부터 프롬프트 6에 대해 기존 모델과 제안 모델의 에세이 점수 분류 정확도를 를 비교한 결과이다. 비교 결과 프롬프트 1에서 베이스라인 모델인 BERT는 57.7% 정확도를 보였고 제안 모델의 정확도는 60.7%의 정확도를 보여 약 3% 향상으로 BERT와 비교 했을 때 가장 높은 성능향상을 보인다. 프롬프트 1의 점수 범위는 2~12로 잘 써진 글과 그렇지 않은 글을 구분하기에 충분하다. 따라서 프롬프트 1과 같이 적당히 넓은 점수 범위의 경우 제안 방안의 대조 학습 방식이 유용하게 동작함을 알 수 있다. 또한, 실험을 진행한 모든 프롬프트에서 제안 모델의 정확도가 각각 60.7%, 75%, 73.1%, 72.6%, 68.7%, 71.1%로 가장 높다. 이는 에세이에 사용된 구성이나 표현인 문법과 문체를 점수별 공통적인 특징으로 고려하는 것이 AES 작업에서 효과적임을 보여준다.

Fig. 8. 
Results of main AES models per prompt

점수 범위에 따른 실험 결과는 프롬프트 1을 제외한 프롬프트 중 좁은 점수 범위는 0~3이고 넓은 점수 범위는 1~6에 해당하기 때문에 에세이 점수 범위가 2~12로 다른 프롬프트보다 점수 분류 범위가 넓은 프롬프트 1이 상대적으로 낮은 정확도를 보인다. 또한, 분류 범위가 좁은 프롬프트 2~6의 정확도를 비교하면 분류해야 할 에세이 점수의 개수가 4개에서 6개까지는 분류 정확도에 크게 영향을 끼치지 않는 것으로 보인다.

에세이 길이가 분류 성능에 미치는 영향은 프롬프트 2에서 대부분 모델의 정확도가 다른 프롬프트보다 높은 것으로 보아 길이가 짧은 에세이의 점수 분류보다 길이가 긴 에세이의 점수 분류가 더 쉽다는 것을 알 수 있다. 에세이 길이가 길수록 좀 더 많은 정보를 싣게 되므로 이러한 정보들이 에세이 분류 모델의 성능에 영향을 주기 때문이다. 프롬프트 1의 에세이 길이도 긴 편이나 분류해야 할 점수의 개수가 많아 다른 프롬프트보다 성능이 낮다. 따라서 에세이 점수 분류 시 에세이의 길이보다 분류해야 할 에세이의 점수 개수가 AES 작업에서 더 많은 영향을 끼침을 알 수 있다.