Current Issue

과거에는 전통적인 AES(Automated Essay Scoring) 모델에서는 기계학습을 활용하여 에세이를 평가하기 위해 단어 수, 단어 길이, 문장 길이 및 문법과 같은 특징을 사람이 직접 추출하는 방식을 사용했다. 또한, AES는 회귀 분석이 이 문제를 해결하는 데 적합하여 베이지안 모델[10][11]과 k-NN 모델, 베이지안 선형 회귀[12], SVD[13]-[15] 방법 등이 성능을 향상했다. 그러나 이러한 기계학습 접근 방식은 수작업이 필요하고 모델의 성능은 추출된 특징에 의존하는 한계가 있다.

따라서 최근에는 딥러닝 기술이 발전하면서 자동으로 에세이와 레이블 된 점수 간의 관계를 학습하기 위해 딥러닝[16]-[22]을 사용한 연구가 진행되고 있다. 초기 연구에서는 RNN과 LSTM과 같은 순환 신경망 모델을 사용했으나 장기 기억의 어려움과 학습 속도 저하와 같은 문제점이 있다[23].

BERT는 트랜스포머의 인코더 구조를 활용한 언어 표현 모델로, AES에 적용하기 위해 여러 개의 BERT를 사용한 연구가 있다[9]. 기존의 BERT 모델은 문서와 토큰 단위를 사용하여 성능을 도출하였다면 [9]의 다중계층 BERT 모델은 문서 단위와 토큰 단위에 세그먼트 단위를 추가하고 다양한 손실함수를 통해 정확도를 10%가량 높였다. 다양한 단위로 에세이를 분할하여 정밀한 점수 산출이 가능하다는 장점이 있지만 각 단위의 에세이 임베딩 표현을 적절히 학습하기 어렵다는 단점이 있다.

최근에는 대조 학습(Contrastive learning)이 이미지 처리 및 자연어처리 분야를 포함하여 다양한 분야에서 활발하게 연구되고 있다. 이미지 처리 분야에서는 대조 학습이 처음으로 도입되었으며, [24]에 따르면 이미지 처리 분야에서 사용된 대조 학습 연구는 [25]-[27]와 같다. 이 연구들은 각 이미지에 대해 자르기, 회전 등의 이미지 변환을 통해 두 가지 이미지를 생성하고 잠재 공간에서 서로 가깝게 만든다. [24]에서는 InfoNCE(정규화된 템퍼레이쳐 스케일 기반의 교차 엔트로피 손실)라는 손실함수를 사용하여 정규화된 임베딩에서 더 좋은 임베딩 표현을 보인다.

최근에는 대조 학습이 자연어처리 분야에서도 활발히 사용되고 있다. [28]에서는 BERT 모델 위에 CNN(Convolutional Neural Network) 계층을 추가하고 글로벌 문장 임베딩과 로컬 문맥 간의 상호 정보(MI, Mutual Information)를 최대화하는 학습 방법을 제안한다. [29]은 [26]와 유사한 구조를 사용하고 데이터 증강을 위해 역번역을 사용하지만, 역번역은 가짜 정보를 생성할 수 있는 단점이 있다. [29]에서는 [25]의 아키텍처를 사용하여 대조 학습과 마스크 언어 모델(Masked language model)을 함께 학습하지만, 의미 유사도를 최대화하는 범위 내에서만 대조 학습을 사용하는 단점이 있다.

제안된 모델은 에세이 임베딩의 향상된 표현을 위해 대조 학습을 사용하여 에세이를 평가한다. 또한, 기존의 대조 학습 연구와는 다르게 양성과 음성 샘플을 구성하기 위해 점수에 따라 에세이 벡터를 평균 내어 점수별 에세이 특징 벡터를 추출하고 중앙값을 기준으로 양성과 음성 샘플을 분리한다. 이는 기존의 대조 학습 연구와는 차별화된 점이다.

이 절에서는 먼저 기존의 BERT 모델을 설명하고 [9]의 다중계층 BERT 모델을 비교하며 설명하겠다.

그림 1은 기존의 BERT 모델의 계층이다. 그림 1를 보면 기존의 BERT 모델은 에세이가 입력으로 들어오면 전체 문서를 학습한 전체 문서 벡터와 토큰별로 학습한 토큰 벡터를 이용해 에세이의 특징 벡터를 얻었다.

Fig 1. 
Traditional BERT model

그림 2는 다중계층 BERT 모델의 계층이다. 그림 2를 보면 다중계층 BERT 모델은 기존의 전체 문서 벡터와 토큰 벡터뿐만 아니라 세그먼트 벡터의 정보가 추가된 것을 볼 수 있다. 세그먼트 벡터는 에세이 데이터가 있다면 주어진 세그먼트 값에 따라 전체 토큰을 세그먼트 값씩 잘라 여러 세그먼트로 나눈 후 BERT의 입력 데이터로 학습한 특징 벡터이다. 예를 들어 150개의 토큰이 있다면 세그먼트 값이 30이라면 150개의 토큰을 30개씩 자른다. 30개씩 잘린 세그먼트 데이터들을 BERT 모델의 입력으로 들어가면 세그먼트 벡터가 생성된다. 그래서 다중계층 BERT 모델은 토큰, 문서, 그리고 세그먼트 레벨의 3단 구조를 통해 학습한다.

Fig 2. 
Multi-scale BERT model

이 절에서는 다른 목적으로 사용되는 4가지 손실함수를 소개한다. 기존의 BERT 모델은 손실함수로 평균제곱오차(MSE)만을 사용하여 손실함수를 계산했다. 다중계층 BERT에서는 손실함수를 MSE뿐만 아니라 코사인 유사도(SIM)와 순위 손실함수(MR)를 결합한 손실함수를 이용하여 학습을 진행한다.

먼저, MSE는 예측 점수와 실제 점수 사이의 오차를 제곱하여 평균값을 측정한 것으로 식 (1)과 같이 정의한다.

P(x)와 Q(x)는 각각 i번째 에세이의 예측 점수와 실제 점수이고, N은 에세이의 개수이다.

두 번째 손실함수인 SIM은 두 벡터 간의 코사인 각도를 이용하여 두 벡터의 유사도를 측정하는 것으로 식 (2)와 같이 정의한다.

SIM은 유사한 벡터 쌍에 큰 값을 부여하여 모델이 에세이 배치 간의 상관관계에 대해 더 많이 고려되도록 한다.

세 번째 손실함수인 MR은 배치의 각 에세이 쌍에 대한 순위를 측정한다. 에세이의 정렬 속성이 채점의 핵심 요소이기 때문에 MR 손실을 도입하여 식 (3)과 같이 정의한다.

y_i와 yi^는 각각 i번째 에세이의 예측 점수와 실제 점수이다. N^은 에세이 쌍의 수이다. b는 하이퍼 매개변수이다. 실험에서는 0으로 설정했다.

마지막 손실함수로는 대조 학습을 사용한다. 대조 학습은 이미지 처리나 자연어처리 등에 연구되고 있는 기술로 의미가 유사한 쌍의 벡터는 서로 가깝게 유도되고 의미가 다른 쌍의 벡터는 멀어지도록 유도하여 훈련하는 모델이다.

[30]에서 대조 학습의 양성과 음성 샘플을 구하기 위해 점수별 평균 임베딩 방법을 사용했다. 점수별 평균 임베딩을 사용한 이유는 에세이의 내용이 아닌 점수별 에세이의 공통적인 문법과 문체를 고려한 특징 벡터를 추출하기 위해서다.

첫 번째 미세조정 단계에서 BERT 모델을 사용하여 추출된 벡터를 점수별로 리스트를 만든 후 해당 리스트를 이용해 점수별 평균벡터를 생성한다. 여기서 평균벡터는 모든 단어 벡터를 참고한 문맥 벡터의 역할을 한다. 대조 학습의 양성 샘플과 음성 샘플을 선택하는 방법은 중앙값을 기준으로 점수 범위를 나눈다. 그 후 입력 데이터가 들어오면 양성 샘플은 입력 데이터와 같은 점수의 평균 벡터를 선택하고 음성 샘플은 다른 점수 범위에서 무작위로 하나를 점수의 평균벡터로 선택한다. 하지만 표 2의 ASAP 데이터 세트의 점수의 범위를 보면 광범위한 점수 범위를 가지고 있는 프롬프트 1, 7, 8은 점수별 평균 임베딩 방법을 구하기 위해 아래와 같은 추가적인 방법을 사용한다. 프롬프트 1은 2~12까지의 점수 범위를 가지고 있고 프롬프트 7은 0~30까지의 점수 범위를 가지고 있다. 또한, 프롬프트 8은 0~60까지의 점수 범위를 가지고 있다. 그래서 광범위한 점수를 범위를 갖는 프롬프트는 그림 3과 같이 점수 범위를 6등분하여 대조 학습 시에 1~6의 점수로 변환한다.

Fig 3. 
Extensive example of score conversion

대조 학습 기반의 손실함수를 적용하기 위해 두 단계의 미세조정을 시행한다. 1단계 미세조정에서는 식 (4)과 같이 교차 엔트로피 손실함수만을 사용한다. 이때 P(x)는 실제 라벨값을 나타내고 Q(x)는 모델이 추정한 확률값을 나타낸다.

교차 엔트로피 손실함수는 각 클래스에 대한 추정 확률값과 실제 정답 클래스에 대한 확률값 간의 차이를 최소화한다. 이 손실함수를 사용하여 에세이와 레이블링 된 점수 사이의 거리를 줄여, 입력값으로 들어간 에세이가 적절한 레이블로 분류되도록 학습을 진행하게 된다.

2단계 미세조정에서 식 (6)과 같이 기존의 교차 엔트로피 손실함수에 대조 학습 손실함수를 추가한다. e_i는 입력 데이터의 임베딩, e_p와 e_n은 각각 양성 샘플과 음성 샘플을 의미한다. dist는 유클리드 거리와 sim은 코사인 유사도를 의미한다. λ₁과 λ₂는 초매개변수이며 모든 실험에서 각각 5와 10으로 설정하였다.

식 (5)에서 대조 학습 손실함수는 p와 q로 이루어져 있다. 입력 데이터의 임베딩이 양성 샘플과 유클리드 거리가 작고 음성 샘플과는 클수록 p의 값이 작아지게 된다. 한편 입력 데이터의 임베딩이 음성 샘플과 코사인 유사도가 작을수록 q의 값이 작아지게 된다. 즉, 입력 데이터 임베딩이 양성 샘플과는 유사하고 음성 샘플과는 상이할수록 손실 값이 작아진다.

전체 손실함수(Loss_TOTAL)는 식 (6)과 같이 교차 엔트로피 손실함수(Loss_CE)에 대조 학습 손실함수(Loss_CL)를 더한 값이 된다. α는 초매개변수이며 모든 실험에서 0.5로 설정하였다.

제안한 모델의 손실함수는 식 (7)와 같다. β₁, β₂, β₃, β₄는 데이터 세트의 성능에 따라 조정되는 하이퍼 파라미터다.

표 3는 실험에 사용된 컴퓨터 환경과 BERT 딥러닝 모델 학습에 관한 내용이다. 실험에서는 Python 3.8, PyTorch 1.10 및 CUDA 11.1을 이용하여 BERT 모델을 학습했다. 사전 학습 모델로는 BERT-base를 활용했다.

또한, 표 4는 BERT 모델의 미세조정 단계에 적용된 초매개변수(Hyperparameters)를 보여준다. 표4에 제시된 파라미터 값을 사용하였을 때, 가장 우수한 결과를 얻을 수 있다. 다만, 해당 에폭(epoch)을 초과하게 되면 과적합으로 인해 모델의 정확도가 감소하는 현상이 발생한다. 따라서 적절한 에폭을 선택하여 모델을 학습하는 것이 중요하다.

모델의 성능을 측정하기 위해 QWK(Quadratic Weighted Kappa)을 사용한다. QWK는 두 명 이상의 평가자들이 같은 대상을 평가하는 경우의 일치도를 측정하기 위한 통계적 지표이다. QWK는 일치도를 –1부터 1 사이의 값으로 나타내며, 1에 가까울수록 평가자들 간의 높은 일치도를 의미한다. 0 또는 음수의 값은 불일치 정도를 의미한다.

QWK 계산 방법으로는 NxN 히스토그램 행렬 O를 구성한 후 O_i,j에 i(실제 값)과 j(예측된 값)의 차이를 기반으로 NxN 무게 행렬 w_i,j를 식 (8)과 같이 계산한다.

그 후 NxN 히스토그램 행렬 E를 계산하고, 마지막으로 세 개의 행렬을 식 (9)를 대입해 QWK를 계산한다.

또한, 피어슨 상관 계수(PCC, Pearson Correlation Coefficient)는 두 변수 간의 선형 관계의 강도와 방향을 측정하기 위해 사용하는 지표이다. 상관 계수의 값도 - 1부터 1까지의 범위를 가지고 있다. 1에 가까울수록 두 변수는 양의 선형 관계를 갖는다. 하나의 변수가 증가하면 다른 변수도 증가하는 경향이 있다는 것이다. -1에 가까워진다면 두 변수는 음의 선형 상관관계를 갖는다.

하나의 변수가 증가할 때 다른 변수도 감소하는 경향이 있다는 것을 의미한다. 0에 가깝다면 두 변수 산의 선형 상관관계는 약한 것으로 간주한다. 피어슨 상관 계수는 두 변수 간의 선형 관계만을 측정한다. 만약 두 변수 간의 관계가 비선형적이거나 다른 형태의 관계를 갖는다면 상관 계수는 정확한 결과를 제공하지 못한다. 상관 계수의 공식은 식 (10)으로 계산한다.

x_i와 y_i는 각각 두 변수의 관측값을 나타내며, x-와 y- 는 각각 두 변수의 평균값을 나타낸다.

본 실험에서는 세 개의 실험을 진행했다. 첫 번째 실험은 기존의 BERT 모델의 성능과 다중계층 BERT 모델의 성능을 비교하여 어떤 영향을 미치는지 알기 위해 비교 실험했다. 또한, BERT 모델과 다중계층 BERT 모델의 손실함수를 변경하거나 본 연구에서 제안한 대조 학습을 추가하며 성능에 어떤 영향을 주는지 비교 실험하였고 두 번째 실험은 프롬프트별 실험을 진행하여 다중계층 BERT 모델과 제안한 모델을 성능을 비교하였다. 세 번째 실험은 제안한 모델에 배치 크기를 변경하였을 때 성능에 어떤 영향을 주는지 비교 실험했다.

그림 4는 프롬프트 2를 활용하여 기존의 BERT 모델과 다중계층 BERT 모델의 성능을 손실함수를 변경하며 비교한 결과이다. 그림 4에서는 피어슨 상관 계수와 QWK 사용하여 모델의 성능 평가하였다.

Fig 4. 
Comparison of BERT model and multi-scale BERT model performance

그림 4를 보면 ‘MSE’는 손실함수인 평균제곱오차만을 활용하여 성능을 측정한 것이다. ‘MSE+SIM’는 MSE와 SIM 손실함수를 결합하여 성능을 측정한 것이고 ‘MSE+MR’은 MSE와 MR 손실함수를 결합하여 측정한 것이다.

‘MSE+SIM+MR’은 MSE, SIM, 그리고 MR인 세 가지 손실함수를 모두 결합하여 측정한 것이다. ‘MSE+SIM+MR+CL’은 기존의 세 가지 손실함수인 MSE, SIM, MR에 대조 학습을 추가하여 측정한 것이다.

그림 4의 손실함수로 MSE만을 사용하여 성능을 비교한 결과를 보면 기존의 BERT 모델의 피어슨 상관 계수는 0.664를 보여준다. 그런데 대조 학습 기반의 다중계층 BERT 모델은 0.695로 기존의 BERT 모델보다 3~4%가 상승한 것을 볼 수 있다. 또한 QWK를 이용해 비교한 결과를 봐도 기존의 BERT 모델은 0.652를 보여주지만 대조 학습 기반의 BERT 모델은 0.681로 3~4%가 상승한 것을 볼 수 있다. 이로써 에세이를 평가할 때 단어 규모와 문서 규모의 척도만을 이용하여 예측한 것보다 세그먼트 규모의 척도를 포함한 것이 성능이 향상된 것을 볼 수 있다. 이는 문서 규모와 단어 규모의 정보만을 이용하여 점수를 매기는 것보다 세그먼트 규모의 정보를 이용하여 점수를 매겼을 때 성능 향상에 효과적인 것을 보여준다.

그림 4의 여러 손실함수를 결합하며 비교한 결과를 보면 손실함수에 대조 학습을 추가했을 때 가장 성능이 좋았다. 대조 학습을 사용한 기존의 BERT 모델의 피어슨 상관 계수는 0.707를 보여주지만 대조 학습 기반의 다중계층 BERT 모델은 0.744로 피어슨 상관 계수를 사용해 비교한 결과 중 가장 좋은 결과를 보여준다. 또한 QWK를 이용해 비교한 결과를 보면 기존의 BERT 모델은 0.697이지만 대조 학습 기반의 다중계층 BERT 모델은 0.714로 QWK도 대조 학습을 사용한 후 가장 높은 성능을 보여줬다. 이는 기존의 문제점인 서로 의미가 다르더라도 높은 유사성을 보여주는 문제점을 해결한 것을 알 수 있다.

표 5는 다중계층 BERT 모델과 제안한 모델의 프롬프트 1~8까지에 대한 성능을 비교한 결과이다. 손실함수인 MSE와 SIM, MR을 결합한 ‘MSE+SIM+MR’와 결합한 손실함수에 대조 학습을 추가한 ‘MSE+SIM+MR+CL’를 프롬프트별 피어슨 상관 계수와 QWK를 사용해 성능을 비교한 것이다.

표 5의 프롬프트 1에서 피어슨 상관 계수를 이용해 비교한 결과를 보면 손실함수에 대조 학습을 추가하지 않은 ‘MSE+SIM+MR’은 0.845를 보여준다. 하지만 대조 학습을 추가한 ‘MSE+SIM+MR+CL’은 0.867로 약 3% 향상된 것을 볼 수 있다. QWK를 이용해 비교한 결과를 보면 ‘MSE+SIM+MR’은 0.822를 보여주지만, 대조 학습을 추가한 후 0.846으로 약 3%의 성능 향상을 보여준다. 특히 점수 범위가 적은 프롬프트 1~6은 피어슨 상관 계수는 약 3~5%의 성능이 향상된 것을 보여준다. 그리고 QWK는 3~4%의 성능이 향상된 것을 보여준다.

하지만 점수 범위가 넓었던 프롬프트 7, 8은 피어슨 상관 계수는 약 1~4%를 보여주고 QWK는 약 1~2%의 성능 향상을 보여준다. 이는 손실함수로 대조 학습을 사용할 시 성능이 향상된 것을 보여주지만, 점수 범위가 좁은 형태를 구분할 때 훨씬 더 효과적인 것을 알 수 있었다.

표 6은 프롬프트 2를 활용하여 대조 학습 기반의 다중계층 BERT 모델에 배치 크기를 달리했을 때의 QWK과 피어슨 상관관계로 성능을 비교한 것이다. 표 6을 보면 배치 크기가 4였을 때는 피어슨 상관 계수는 0.658, QWK는 0.646으로 가장 낮은 성능을 보여준다. 배치 크기를 10으로 늘린 후 성능을 비교한 결과 피어슨 상관 계수는 0.696, QWK는 0.653으로 전 배치 크기와 비교하면 성능이 각각 4%, 1% 정도 향상된 것을 볼 수 있다. 또한, 배치 크기를 20으로 늘린 후 피어슨 상관 계수는 0.728, QWK는 0.700으로 성능은 3%, 5%로 대폭 성능이 향상되었다. 최대 배치 크기인 24로 늘린 후 피어슨 상관 계수는 0.744, QWK는 0.714으로 성능이 2%, 1%로 미묘하게 향상되었다. 결국, 최소 배치 크기인 4와 최대 배치 크기인 24의 성능을 비교하면 피어슨 상관 계수는 8% 향상되었고 QWK는 5% 향상되었다. 배치 크기가 작으면 노이즈와 변동성이 크게 영향을 주지만 배치 크기가 커지면 이러한 노이즈와 변동성의 영향을 상쇄시킬 수 있고 대조 학습 시 더 많은 데이터를 고려하여 더 정확한 패턴을 학습할 수 있다. 하지만 배치 크기가 20이 넘어가면 성능 향상의 차이가 급격히 줄어드는 것을 볼 수 있다.

표 7은 대조 학습 기반 손실함수에 필요한 양성과 음성 샘플 예시이다. 입력 에세이, 양성 및 음성 샘플의 점수는 각각 5점, 5점, 2점이다. 입력 에세이와 양성 샘플은 에세이 품질면에서 유사하지만 음성 샘플은 큰 차이가 있다는 것을 알 수 있다.