Home

기존 관련 연구[6][7]는 주로 딥러닝 모델을 통해 인터넷 채팅과 같은 상황에서 악성 단어들을 필터링하는데 초점이 맞추어져 있다. 이 방식은 여전히 필터링 된 단어를 유추할 수 있는 경우가 많아 사용자들에게 경각심을 주기에 미흡하며 어떠한 이유로 딥러닝 모델이 결과를 도출했는지 사용자들이 알기 어렵다. 그러나 제안 시스템은 모욕죄 판례를 기반으로 학습하며 입력된 문장과 유사한 판례를 제공하기 때문에 사용자가 해당 결과를 쉽게 이해할 수 있도록 설계하였다. 따라서 기존 딥러닝 기반 비속어 방지 시스템의 단점을 극복할 수 있을 것으로 기대한다.

자연어처리 기법 중 본 연구에서 활용한 LSTM과 Transformer 모델에 대해 소개한다. 장단기 메모리(LSTM, Long Short-Term Memory)은 순환 신경망(RNN, Recurrent Neural Network) 기법의 하나로 셀, 입력 게이트, 출력 게이트, 망각 게이트를 이용해 기존 RNN의 문제인 기울기 소멸 문제(Vanishing gradient problem)를 방지한 모델로, 기존 RNN에 비하여 형태소 기반 텍스트 데이터에서 높은 정확도와 빠른 예측 결과를 제공한다[4][5].

BERT[8]는 2018년 Google의 Devlin이 제안한 전이 학습 방법으로, 사전 학습된 대용량의 레이블링 되지 않는 데이터를 이용하여 언어 모델을 학습하고, 이를 토대로 자연어 처리 작업을 위한 신경망을 추가하는 구조를 지니고 있다. 이러한 BERT 모델은 대용량 데이터를 통해 사전 학습할 경우 상대적으로 적은 자원만으로 높은 성능을 보인다. 그러나 영어 기반으로 사전 학습되어 있어 한국어의 경우 성능이 하락한다.

본 연구에서는 한국어 기반으로 사전학습된 SKTBrain의 KoBERT[4]를 사용하였다. 형태소 분석기로는 성능과 속도 모두 뛰어난 오픈소스 라이브러리인 KoNLPy[4]의 Okt를 사용하였다.

Transformer[9]은 기존 seq2seq 모델의 정보 손실 문제를 개선한 모델로, 어텐션을 이용한 인코더 디코더의 구조로 이루어져 있다. 번역 성능에서도 RNN보다 우수한 성능을 보여 실험 모델로 선정하였다. Transformer의 디코더 구조로 설계된 GPT 모델도 고려하였으나 아래의 이유로 채택하지 않았다. 첫째, 비지도 학습으로 문장을 생성하는 모델이기 때문에 사용자가 신뢰할 수 있는 정보를 주기 어려우며, 둘째, 모욕성 문장을 학습한 GPT 모델이 이를 다른 질문의 답변으로 활용할 위험성이 있다.

그림 1은 본 논문에서 제안하는 시스템의 전체 구조와 처리과정이다.

Fig. 1. 
Architecture of insult sentence analysis system

• 1) 데이터 크롤링을 통해 사전에 수집한 판례 데이터를 전처리한 후 데이터셋을 구축하여 모델 학습에 사용한다.
• 2) 사용자 문장을 입력받아 머신러닝 모델을 통해 모욕죄 유죄 확률을 예측한다.
• 3) 코사인 거리를 이용하여 유사 모욕죄 판례를 탐색한다.

모욕죄 관련 판례를 수집하기 위해 법률 검색 시스템인 리걸서치와 케이스노트 사이트를 선정하였다. Python Selenium 라이브러리를 사용한 동적 웹 크롤링을 통해 두 사이트로부터 사건명에 ‘모욕’이 포함된 판례들의 사건번호와 주문, 판례 전문을 추출했다. 이후 사실심 판결 등 범죄 사실이 드러난 판례만 저장하여 쟁점이 된 모욕 문장들을 추가로 파악하였다. 각 판례의 주문을 확인하여 유무죄 여부를 구분했다. “항소를 기각한다”, “원심판결을 파기한다” 등 주문에 구체적인 형벌 사항이 나타나지 않은 판례는 이전 판결을 확인하여 유무죄 여부를 수기로 저장하였다. 중복 판례 제거 후 187개의 판례 데이터를 우선 수집하였다. 수집한 판례 데이터는 총 403개의 문장, 3827개의 어절로 이루어져 있다. 이중 유죄 판례는 152개, 무죄 판례는 35개이다.

또한 머신러닝 모델의 학습 성능을 높이기 위해 다음의 3가지 텍스트 증강 작업을 수행하였다[10]. 먼저, Random Swap은 특정 단어들의 위치를 바꾸는 기법으로 단어의 위치에 따라 모델이 편향적으로 학습하는 것을 방지하기 위해 진행하였다. 두 번째로 Translation은 문장을 특정 언어로 번역한 후 다시 역번역하는 증강 기법이다. 데이터셋에 사용된 유사한 단어도 모델 학습에 사용하여 일반화 성능을 높이기 위해 사용하였다. Random Insertion은 단어 사이에 특정 단어를 삽입하는 증강 기법으로, 모델이 여러 파생 문장을 학습할 수 있도록 한다. 구현 방법으로는 앞에서 설명한 텍스트 증강 기법을 한국어에 맞춰 구현한 ktextaug 패키지[11]를 활용하여 진행하였다. 그 결과 187개이던 판례 데이터를 935개로 증강하는데 성공하였다. 하지만 유죄 데이터 760개, 무죄 데이터 175개로 클래스 불균형이 여전히 존재하였고, 이를 해결하기 위해 AI Hub[12]의 한국어 SNS 데이터셋을 샘플링하여 무죄 데이터를 추가하여, 최종적으로 1,520개의 실험 데이터셋을 구축하였다.

데이터셋의 전처리는 다음과 같이 진행하였다. 첫째로 정규 표현식을 수행하여 중복되는 문장을 제거하고 공백 값을 제거하였다. 둘째로 단어를 토큰화하고 형태소를 분석하였다. 셋째로 불용어 사전을 이용하여 불용어를 정의하고 해당하는 토큰을 처리하였다.

본 시스템은 판례 데이터를 기반으로 학습된 모델을 통해 대상 문장의 모욕죄 성립 가능성을 예측하는 기능을 제공한다. 이를 위해 세 가지 분류 모델을 선정하여 모욕죄 유죄 혹은 무죄로 라벨링 된 데이터셋을 학습시켜 정확도를 비교하였다. 실험을 위해 3.2절에서 구축한 판례 데이터셋을 훈련, 검증, 시험 세트(5:3:2)로 분할하여 사용하였다.

로지스틱 회귀는 모욕죄 예측을 위한 기준 실험 모델로 선정하였고, 사이킷런의 선형모델 라이브러리를 사용하여 통해 구현하였다. L2 규제를 활용하여 과적합을 방지하였으며, C가 1.0일 때, 시험 데이터셋의 성능이 제일 높아 해당 파라미터를 최적으로 설정하였다. LSTM 모델은 RNN 모델보다 형태소 기반 텍스트 데이터에서 높은 성능을 보이기 때문에 선택하였다. 임베딩층을 100개로 두었으며, 은닉층을 128개로 두었다. 출력층에는 시그모이드 활성화 함수를 사용하였다. 에포크는 50으로 설정하였으며, 0.5724에서 시작한 훈련 데이터의 손실은 0.0356일 때 수렴하는 양상을 보였다. Transformer 모델은 한국어 텍스트 데이터셋에 대하여 가장 높은 성능을 보이는 모델로, 768개의 은닉층을 두었으며, Dropout 기법을 0.1로 적용하여 과적합을 방지하였다. 배치 크기는 64이며 학습률은 5e-5이다. 일반적으로 높은 성능을 보이는 옵티마이저 AdamW와 CrossEntropyLoss를 활용하였다. 그레디언트 클리핑을 사용하여 1로 두고 학습률을 최적화하였다. 에포크는 50으로 설정하였으며, 에포크 43부터 학습 데이터의 손실이 0.0014로 수렴하였다.

본 시스템은 사용자로부터 입력된 대상 문장과 비슷한 맥락으로 모욕죄 판결을 받은 판례를 탐색할 수 있다. 판례 데이터셋 내의 모욕 문장들과 대상 문장 간의 코사인 유사도를 구하여 유사 판례를 탐색하였다. KoNLPy의 Okt를 사용해 모든 문장을 토큰화하고, scikit-learn의 TfidfVectorizer를 사용해 입력된 문장과 판례 데이터셋 벡터들의 코사인 유사도를 계산하여 유사 판례를 10개를 추출한다.

표 2와 같이 훈련 데이터셋에 대한 정확도는 Transformer와 로지스틱 회귀가 가장 높았다. 시험 데이터셋 정확도는 Transformer, LSTM, 로지스틱 회귀의 순서이다. 학습 데이터의 손실까지 고려하면 Transformer 모델이 0.0014로 가장 좋은 모델이라고 볼 수 있다. 그러나 Transformer 모델은 서비스로 구현했을 때 응답 속도가 1분 이상 길어지는 문제점이 있었다. 이중 LSTM 모델에 대해 실제 사례 대비 정확도를 확인하기 위한 정성평가를 진행하였다. 표 3은 네이버 지식in에 올라온 모욕죄 관련 질문[13]-[15]과 실제 변호사의 답변을 자체 각색하여 실험한 결과이다. 두 예측 결과가 대체로 일치하는 것을 확인할 수 있다.

모욕죄의 성립 요건에는 모욕의 대상이 누구인지 인지할 수 있어야 한다는 ‘특정성’이 존재한다. 표 4와 같이 맥락이 비슷하지만, 특정성의 정도가 다른 문장들을 실험하였고, 특정성이 짙은 문장일수록 모욕죄 유죄 확률이 높게 나타나는 것을 알 수 있다.

표 5는 유사 판례를 탐색한 결과이다. 본 연구 결과를 웹에서 활용할 수 있도록 웹사이트를 개발하였다. 웹 서버는 Python 기반 웹프레임워크인 Flask를 사용하였고, MariaDB 데이터베이스를 사용하여 판례 데이터셋을 저장하였다.

Fig. 2. 
Search result of similar case sentence