Current Issue

신조어의 의미를 제공하는 서비스에는 ‘네이버 오픈사전’, ‘위키백과 대한민국 인터넷 신조어 목록’ 등이 있다[7]. 네이버 오픈사전은 사용자 참여형 사전으로 약 207개의 신조어가 등록되어 있다. 위키백과 또한 사용자 참여형 사전으로 270개의 신조어가 등록되어 있으나, 단어의 의미 외에 용례 정보는 제공하지 않는다. 이 사이트들은 공통적으로 사용자가 신조어를 직접 등록하는 방식으로 정보 신뢰도가 낮고, 제공되는 신조어의 개수가 적으며 업데이트가 느리다는 문제점이 있다. 이러한 문제는 실제로 신조어가 사용되는 다양한 커뮤니티 사이트에서 데이터를 크롤링하고 머신러닝 기술로 신조어를 수집 분류하는 방법을 통해 개선할 수 있다.

기존의 신조어 분류 연구로, J. W. Kim et al., 연구[6]에서는 신조어 추출을 위해 soynlp를 이용한 비지도 학습 방법을 사용하였고, H. J. Kim의 연구[8]에서는 로지스틱 회귀를 활용하였다. W. Li의 연구[9]에서는 바이두 인덱스의 검색 트렌드 기능을 이용하여 중국 인터넷 신조어의 발생 시기, 연대적 검색 트렌드 등을 제시하였다. 그러나 본 연구에서 제안하는 검색 빈도 데이터 기반의 신조어 분류 알고리즘에 대한 연구는 현재까지 사례를 찾기 보기 어렵다.

CNN 모델은 일반적인 다층 신경망 딥러닝 프레임워크로 이미지 분류에 탁월한 성능을 보인다[10]. CNN은 일반적으로 광학 문자, 붓꽃 등 실제 사물에 대한 이미지를 분류하는 데에 활용되지만, 본 연구에서는 검색 빈도 데이터 그래프 자체를 이미지로 간주하여 그 패턴을 기준으로 분류하고자 하였다. 이를 위해 네이버 데이터랩에서 제공하는 단어의 검색 빈도 데이터 그래프를 이미지 파일(PNG)로 변환하여 CNN 모델의 학습을 수행하였다.

제안 시스템의 신조어 분류 과정은 다음과 같다.

• 1) 세 개의 웹사이트에서 크롤링한 말뭉치를 전처리하여 초기 데이터셋을 생성한다.
• 2) 데이터셋에서 전처리하여 수집한 단어에 대한 검색 빈도 데이터를 네이버 데이터랩 API를 통하여 획득한다.
• 3) 훈련 데이터셋에서 추출한 각 단어의 검색 빈도 그래프를 분석하여 신조어, 일반어, 이슈어로 라벨링한다.
• 4) CNN 모델로 데이터를 학습하고 신조어, 이슈어, 일반어로 다중 클래스 분류를 수행한다.
• 5) Streamlit으로 구현된 웹사이트에 신조어 순위, TF-IDF, 검색 빈도 그래프, 단어 뜻, 예문 정보를 출력한다.

그림 2는 본 연구에서 제안하는 시스템의 전체 구조를 나타낸 것이다.

Fig. 2. 
Structure of newly-coined words classification system based on search data

신조어 분류를 위한 데이터 수집을 위해 네이트판, DC인사이드, 네이버뉴스를 대표 사이트로 선정하였다. Python BeautifulSoup 라이브러리를 사용한 웹 크롤링을 통해 최근 일주일간의 말뭉치를 수집하였다. 수집한 말뭉치의 범위는‘네이트판 베스트 게시물의 제목, 본문, 댓글’,‘DC인사이드의 베스트 게시물의 댓글’,‘네이버뉴스의 기사 제목과 본문’을 포함한다.

일반 단어사전을 기반으로 하는 형태소 분석기를 신조어에 적용하였을 때 온전한 단어 추출에 어려움이 발생한다. 가령‘마용성’을 기존 형태소 분석기로 토큰화하면‘마’와‘용성’의 형태로 나뉘어 추출된다. 이 문제를 해결하기 위하여 KoNLPy의 OKT를 활용하여 어절 추출을 진행한 뒤 공백이 포함된 어절과 중복된 단어를 제거하고, ranks.nl의 불용어, 한 글자 단어, 외국어, 특수문자, 숫자, 자체 제작 불용어는 제거하였다. 다음으로 일반어 제거를 위하여 표준국어대사전에 등재된 단어들과 검색 빈도에서 일반어의 패턴을 보이는 단어를 제거하였다.

본 연구에서는 단어 유형을 네이버 데이터랩의 검색 빈도 패턴에 따라 신조어, 일반어, 이슈어로 구분하였다. 데이터가 제공되는 총 7년간의 기간 중 최근에 급격하게 검색 빈도가 높아진 후 일정 기간 유지되는 단어를 신조어로 분류하고(그림3-a), 전체 데이터 기간 동안 검색 빈도가 고르게 나타나는 단어는 일반어(그림3-b)로 분류한다. 그리고 검색량이 간헐적으로 급격히 높아지는 단어를 이슈어(그림3-c)로 판단한다.

Fig. 3. 
Frequency graph of word types

수집된 단어들을 일반어, 이슈어, 신조어 범주로 라벨링하여 로지스틱 회귀와 CNN 모델로 지도 학습을 진행하였다. 데이터셋은 8:2로 분할하여 훈련 세트과 검증 세트로 사용하였다. 로지스틱 회귀 모델은 사이킷런의 선형모델 라이브러리를 사용하여 구현하였다. CNN 모델은 은닉층에 3개의 합성곱층과 최대 풀링층 쌍, 2개의 밀집층을 두었고, 출력층에는 소프트맥스 활성화 함수를 사용하였으며 옵티마이저로는 Adam을 사용하여 구현하였다. 표 1은 네이트판 데이터셋에 대해서 CNN과 로지스틱 회귀 모델의 신조어 분류 성능 지표를 비교한 것이다.

그림 4와 같이, CNN의 분류 정확도가 모든 지표에 대하여 로지스틱 회귀보다 유의미하게 우수함을 보였으며, 이 결과에 따라 CNN 모델을 제안 시스템의 기본 신조어 분류 알고리즘으로 채택하였다.

Fig. 4. 
Comparison of accuracy and F1 score between two models

표 2는 CNN으로 다중 분류한 신조어, 일반어, 이슈어의 예시이다. 각 사이트별로 추출한 신조어의 특징에 차이가 있다. 네이트판(NP)과 DC인사이드(DC)에서는 전형적인 신조어가 주로 등장하는 반면, 네이버뉴스(NN)에서는‘생성형’등 최근 이슈어와 신조어가 혼동되어 분류되고 있다.

본 연구 결과를 바탕으로 분류된 신조어의 실시간 정보 웹사이트를 구현하였다. 사이트별 신조어의 등장 빈도 순위, TF-IDF, 최초 출현일, 검색 빈도수 그래프, 단어 뜻, 출현 문장 정보를 제공한다. 신조어의 의미는 생성형 AI인 구글 바드의 API를 통해 획득하였다.

신조어의 활용 사례는 해당 신조어가 추출된 실제 출처 문장을 통해 제공한다. 또한 사용자가 신조어를 입력하면 실시간으로 신조어 여부를 분류 알고리즘으로 판별 후 등록하는 기능을 구현하였다. 그림 5는 추출된 신조어에 대한 확장 정보 화면이다.

Fig. 5. 
Extended ranking (Nate pann)