BERT를 활용한 AR-KNU+ 감성사전 기반의 대학 평판도 평가

2.1 BERT

BERT는 대용량 코퍼스를 이용하여 학습하고 이를 다양한 도메인의 문제해결에 적용할 수 있는 Transformer 기반의 언어 모델이다[7]. BRET는 Self-Attention 개념을 활용한 transformer 모델을 적용하여 대용량 코퍼스에 대한 사전학습 후 미세조정을 통해 자연어처리에서 해결하고자 하는 다양한 분야의 문제(기계 번역, 분류, 개체 인식 등)를 해결하는데 널리 적용되고 있다[8]. BERT의 장점은 양방향성을 지닌다는 점이다. 기존 언어 모델은 다음 단어의 예측 확률을 계산하는 모델이지만 BERT는 양방향으로 예측할 수 있도록 문장 내에 단어 일부를 마스킹하고 마스킹 된 단어를 예측하게 한다. 그리고 두 문장이 주어졌을 때 문맥상 첫 번째 문장이 두 번째 문장 바로 뒤에 위치하는지 판별하는 문제를 통해 문장 간 의미 관계 즉, 양방향성을 파악할 수 있게 된다.

2.2 감성 분석 기반의 대학 평판도 평가

[4]는 대학 평판도를 평가를 위해 1년 동안 게시된 온라인 뉴스 기사를 기반으로 AR-KNU 감성 사전을 구축하고 대학 평판도를 측정하는 알고리즘을 제안하였다. 대표적인 군집화 알고리즘인 EM 군집화 알고리즘으로 상위 3개 대학의 대표 주제를 도출하고 상위 3개를 제외한 나머지 대학의 기사를 다중분류 신경망을 사용하여 주제별로 분류하였다. 분류된 주제에 대하여 감성 사전에 표현된 긍정·부정 양상을 도출하여 대학 평판도 평가를 수행하였다. [4]에서 제안된 평가 방법과 기존의 설문 조사 방법들을 적용한 대학 평판도 평가 연구들과의 비교 평가를 수행하여 감성 분석이 대학 평판 측정에 유의함을 보이고 있다. 그렇지만 실험에 사용된 뉴스 기사 데이터는 1년에 한정된 것으로 해당 1년 동안에 공개된 각 대학의 뉴스 데이터양이 큰 편차를 보였으며 주제 어휘가 특정 분야로 편향되는 문제점이 발생하여 대학 평판도 측정 결과 또한 정확하지 않을 수 있음을 보였다.

[5]는 [4]에서 보였던 실험 데이터의 한계점을 극복하기 위해 수집 기간을 확장하여 데이터를 수집하여 신규 감성 어휘를 반영한 AR-KNU+ 감성 사전을 구축하였다. 확장된 감성 어휘 사전을 통해 대학 평판도의 정확도가 향상됨을 보이고 대학 평판도의 추이를 분석하였다. 이를 위해 3년 동안의 데이터 사용하여 단어 임베딩을 통해 100차원으로 전처리 후 가우시안 기반의 EM 알고리즘을 사용하여 주요 주제 3가지를 도출하였다. 그리고 다중 클래스 분류로 대학 평판도 순위를 측정하였다. 마지막으로 연도별 데이터 크기 및 실험 방법에 따른 종합적인 평판도를 비교하고 3년 동안 나타난 시계열 데이터를 이용하여 대학 평판도의 추이 변화를 분석하였다. 그 결과 대학 평판도 추이 분석 및 감성 어휘에 대한 분류 정확도 향상에는 유의미한 결과를 도출하였지만 F1값(0.89)이 다소 낮은 결과를 보인다.

이 논문에서는 감성 분석 기반의 대학 평판도 평가의 신뢰도 및 정확도를 높이기 위해 BERT 모델을 활용하여 대학 평판도 실험을 수행한다. 또한, 기존의 감성 사전을 활용하여 대학 뉴스 기사의 감성 문장을 도출한다. 그리고 대학 뉴스 기사의 주제를 도출하고 BERT의 사전 학습과 파인 튜닝을 통해 각 대학의 주제별 분류를 수행한다. 마지막으로, 기존 연구와의 분류 정확도 비교 평가를 수행하고 각 대학의 감성 문장을 사용해 종합적인 평판도와 주제별 평판도 순위를 도출한다.

3.1 대학별 감성 분석

이 절에서는 대학의 평판도 평가를 위해 뉴스 기사 데이터를 수집하여 기존 논문에서 구축한 AR-KNU+ 감성 사전을 기반으로 각 대학의 문장에 감성 점수를 부여한다. AR-KNU+ 감성 사전은 3년 동안의 온라인 뉴스 기사를 기반으로 구축한 감성 사전이다. 형태소 분석을 수행하여 명사, 동사, 형용사, 부사, 감탄사로 품사별 감성 어휘에 대하여 표 1과 같은 5점 척도로 감성 점수를 측정한다.

Table 1.

Sentiment degree of sentiment words

AR-KNU+ 감성 사전을 이용하여 각 대학의 문장에 대해 감성 점수를 부여한다. 대학에 따른 문장의 감성 어휘의 합이 음수일 경우 부정적인 문장, 양수일 경우 긍정적인 문장으로 분류한다.

3.2 대학 주제 추출

이 절에서는 대학의 공통 주제 도출을 위한 방안을 기술한다. 대학별 감성 분석의 결과에서 나온 감성 문장의 개수가 많은 k개의 대학을 추출하여 기존 연구에서 사용한 가우시안 혼합 모델기반의 EM 알고리즘을 수행한다[5]. 그리고 클러스터링과 클러스터링 합병을 통해 상위 k개의 대학의 문장에 대한 공통 주제 3가지를 추출 후 라벨링을 진행한다.

3.3 BERT Pre-training

이 절에서는 BERT 모델을 이용하여 사전학습 방안을 기술한다. 먼저 사전학습을 위해 10년 동안의 뉴스 기사 데이터 중 7년 동안의 데이터를 이용하여 사전학습을 수행한다. 사전학습 방식으로는 그림 2와 같은 입력 문장을 Token embedding과 Sentence embedding, Position embedding으로 임베딩하여 합친 다음 임의의 토큰으로 마스킹한다. 학습 방식은 마스킹 된 토큰을 예측하는 방식인 MLM(Masked Language Model)와 두 문장이 있을 때 첫 번째 문장 뒤에 두 번째 문장이 바로 다음에 오는지 예측하는 방식인 NSP(Next Sentence Prediction)로 수행한다.

Fig. 2.

BERT Pre-training model

3.4 BERT Fine-tuning

이 절에서는 BERT 파인 튜닝을 위해 학습 및 상위 k개를 제외한 나머지 대학의 3가지 공통 주제에 대한 분류하는 방안을 기술한다. 사전 훈련된 BERT를 통해 문장 임베딩 벡터 추출 후 추출된 벡터를 Fully connected layer와 소프트맥스 함수를 적용하여 공통 주제 3가지에 대해 분류할 수 있도록 구성한다. 감성 문장이 많은 상위 k개 대학의 문장과 EM 알고리즘을 통해 나온 라벨 값을 정답 데이터로 사용하여 학습을 수행한다.

3.5 대학 평판도 측정

이 절에서는 각 대학의 종합적인 평판도 및 주제별 평판도 측정을 위해 문장의 감성 점수에 따른 긍정·부정 비율과 감성 점수의 평균을 이용한다. AR-KNU+ 감성 사전을 기반으로 각 대학평판의 긍정·부정 양상과 순위를 측정할 수 있다.

4.1 실험 데이터

이 절에서는 BERT 사전학습 및 기존 논문과의 비교 평가를 위해 실험 대상인 23개 대학의 키워드를 이용하여 10년 동안의 온라인 뉴스 기사의 사회, 교육면을 자동으로 수집한다. 그리고 실험을 위해 수집한 데이터를 문장 단위로 전처리한 개수는 표 2와 같다.

Table 2.

Number of collected by year

2004년부터 2014년 동안의 700,984개 문장은 BERT 사전학습을 위해 사용되며, 기존 논문과 같은 데이터인 2014년~2016년 동안의 620,593의 문장은 BERT 파인 튜닝 및 기존 논문과의 비교 평가를 위해 사용된다.

4.2 대학별 감성 분석 및 주제 추출

각 대학의 감성 문장 도출 및 주제 추출을 위해 4.1절에서 수집된 2014년~2016년 동안의 뉴스 기사를 문장 단위로 파싱하고 AR-KNU+ 감성 사전을 이용하여 각 문장의 감성 점수를 추출한다. 그리고 각 대학 중 감성 문장이 가장 많은 상위 3개의 대학에서 공통 주제 추출을 위해 BERT를 활용하여 각 감성 문장을 768차원의 벡터로 전처리 후 군집화를 수행한다. 군집화를 위해 EM 알고리즘을 사용하며, 파이썬의 머신러닝 패키지 scikit-learn의 GaussianMixture 모델을 이용하여 구현한다. EM 알고리즘으로 도출된 군집 중 상위 3개의 공통 군집을 추출하고 단어 빈도수를 통해 각 군집의 주제를 파악 후 라벨링을 수행한다.

표 3은 각 군집을 레이블링한 결과이다. 주제 추출 결과는 대표적으로 ‘취업(Employment)’, ‘입학(Entrance)’, ‘학생활동(Student activities)’ 주제로 분류된다. 또한, 입학이라는 주제에서 단어 빈도수를 측정해 나온 결과 중 ‘대입’, ‘입시’, ‘등록금’, ‘수시’라는 단어가 상위 순위에 있어 단편적인 주제가 아닌 세부적인 주제임을 알 수 있다.

Table 3.

Topic labeling result

표 4는 상위 3개 대학(U1, U2, U3)에 대한 군집화 및 3가지 주제별 긍정·부정 양상을 보여준다. 대학 관련 뉴스 기사에서 전체적으로 부정적인 견해가 높을 것을 알 수 있다.

Table 4.

Topic labeling result

4.3 BERT Pre-training 실험

이 절에서는 대학 뉴스 기사로 구성된 7년 동안의 데이터를 사용하여 BERT 모델을 사전 학습한다. 표 2의 데이터로 SentencePiece를 사용하여 8,000개의 Vocabulary를 생성하고, 모델 타입은 BPE(Byte-pair Encoding) 방식을 사용한다. 입력 단어의 15%를 마스킹하고 마스킹 된 단어를 예측하는 MLM 방식과 두 문장이 있을 때 두 번째 문장이 첫 번째 문장의 바로 다음에 오는 문장인지 예측하는 방식을 사용하여 BERT 사전학습을 수행한다.

학습에는 GeFoce RTX 3080 2장을 사용하여 약 2주일 정도 소요되었고, 학습 수행 후 학습 데이터 중 30%인 테스트 데이터에 대해 NSP 정확도는 약 92%, MLM에 대해서는 약 63%의 정확도를 보였다. 학습에 사용되었던 대표적인 파라미터와 하이퍼 파라미터는 다음 표 5와 같다.

Table 5.

Pre-training parameters

4.4 BERT Fine-tuning 및 분류 비교 평가

이 절에서는 3년 동안의 대학 기사로 구성된 데이터 중 감성 문장이 많은 상위 3개 대학의 문장을 이용하여 파인 튜닝을 진행한다. 먼저 앞에서 사전 학습한 모델을 이용하여 ‘졸업’, ‘입학’, ‘학생활동’에 대한 3가지 주제 분류를 위해 출력층에 Fully connected layer와 소프트맥스 함수를 추가한다. 그리고 모델의 학습 데이터를 token index와 segment index를 합쳐 입력 데이터를 구성한다. 만든 학습 데이터에 대해 20번 반복하여 파인 튜닝을 수행한다. 그리고 10%의 검증 데이터를 구축하여 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1 점수(F1 Score)로 측정한다.

표 6은 기존 논문의 대학 뉴스 기사를 다중 클래스 분류 모델로 분류한 검증 결과와 제안 논문의 BERT를 이용하여 분류한 모델의 검증 결과이다. 표 6에서 대표적으로 F1 점수를 보면 기존 논문보다 제안 논문의 결과가 약 2.4%p 더 좋은 성능을 보인다.

Table 6.

Model verification results

표 7은 검증 데이터를 이용하여 주제별로 분류한 기존 논문의 다중 클래스 분류와 제안 논문의 분류를 통해 도출한 감성 문장이 많은 상위 3개 대학의 대한 정량적인 지표이다. 표 7을 통해 기존 논문보다 제안 논문이 예측된 데이터의 개수가 많아 제안 논문의 분류 정확도에 대해 더 좋은 성능을 보인다.

Table 7.

Top-3 university predicted number of data

4.5 대학 평판도 측정 결과

표 8은 AR-KNU+ 감성 사전을 이용하여 상위 3개 대학을 제외한 나머지 대학 중 주제별 감성 문장의 개수가 많은 상위 10개의 대학에 대한 긍정·부정 비율을 나타낸다. 표 8을 통해 주제별 대학 기사의 긍정·부정 양상을 알 수 있다. 각 대학의 주제별로 도출된 순위를 합하여 종합적인 평판도를 측정한다.

Table 8.

Top-10 university analysis result by topic

23개 대학의 평판도 순위 측정을 위해 주제별로 긍정, 부정 비율을 통합하여 최종적으로 대학 평판도 종합적인 순위를 도출한다. 표 9는 3년 동안의 데이터를 이용하여 기존 논문과 제안 논문의 종합적인 평판도 순위를 도출한 결과이다. 표 9를 통해 실험에 방법에 따른 순위가 다른 것을 알 수 있다. BERT를 활용하여 기존 연구의 알고리즘보다 분류 정확도 부분에서 우수한 성능을 보여 제안 논문의 대학 평판도 순위가 더 신뢰성 있다.

Table 9.

Comparison of university reputation ranking by experiment methods: ranking order