사전학습모델 기반 소비자심리보조지수(S-CCSI) 개발

2.1 비정형 텍스트를 활용한 심리지표 개발

비정형 텍스트를 활용한 심리지표 개발에 대한 선행연구로서 M. C. Song and K. S. Shin(2017)[2]은 온라인 뉴스 기사 비정형 텍스트 데이터를 활용하여 ‘소비자의 경기심리지수’를 생성하였다. 소비자의 경기심리지수 생성을 위해 감성사전(Sentiment lexicon)를 구축하고 이를 기반으로 뉴스 기사에서 추출된 어휘의 감성을 긍정, 부정, 중립으로 분류해 각 감성의 어휘 수를 산출식에 대입하여 소비자의 경기심리지수를 생성하였다. 또한, 경제분석에서의 활용 가능성을 검토하였다. Y. S. Kim et al.(2017)[3]는 소셜 미디어에 내재된 소비자의 직접적이고 즉시성 있는 의견을 경제적 측면에서 활용할 수 있는 온라인 소비자감성지수(e-CCSI) 모형을 제시하고 구현하였다. 온라인 소비자감성지수 생성을 위해 어휘분류체계(온톨로지)와 감성사전을 구축하고 감성분석을 실시하여 생활형편, 경제상황, 소비와 수입 4가지 영역의 소셜 감성지수를 도출하였다. K. Seki et al.(2021)[4]은 경기에 대한 기업의 심리를 정량화한 기업경기실사지수인 ‘S-APIR’을 개발하였다. 이를 위해 일간 신문 기사로부터 기업 심리가 반영된 비정형 텍스트 데이터 각 기사의 내용을 문장 단위로 감성 분류하였다. 또한, 특정 사건이 예측된 S-APIR에 얼마나 영향을 미쳤는지를 시계열 분석을 통해 살펴보았다. H. J. Kim et al.(2019)[5]은 온라인 경제뉴스 기사에 내포된 심리를 반영한 ‘뉴스 경제심리지수’를 개발하여 현행 경제심리지수(ESI, Economic Sentiment Index)를 보조하는 지수로서의 유용성을 검증하였다. 뉴스 경제심리지수 작성을 위해 각 기사를 BSI/CSI에 맞게 분류하고 어휘사전을 기반으로 극성을 긍정/부정으로 분류하여 BSI/CSI 보조지수를 각각 산출하고, 이를 결합한 ESI 보조지수를 생성하였다. 추가적으로 생성된 ESI 보조지수를 이용하여 실질 GDP와 같은 거시 경제활동 지표와의 연관성을 추이 분석(Trend analysis)을 통해 살펴보았다.

2.2 경제예측

경제예측에 관한 선행연구로서 S. G. Jung et al.(2022)[6]은 국민총생산(GDP)이 가진 시차라는 제약을 해소하기 위해 GRU(Gated Recurrent Unit)와 LSTM(Long-Short Term Memory) 기반의 각 경제성장률 예측모형을 구축하여 경제성장률을 예측하였다. S. S. Lim and H. S. Choi(2021)[7]은 온라인 뉴스의 비정형 텍스트 데이터를 활용하여 DNN 알고리즘을 적용해 기업경기실사지수, 소비자동향지수를 예측하고 예측된 기업경기실사지수, 소비자동향지수를 설명변수로 설정하여 실질 GDP(RGDP, Real Gross Domestic Product)를 실시간으로 예측하는 모형을 구축하였다.

본 연구는 설문조사 기반 소비자심리지수의 한계점을 보완하기 위해 소비자 관련 경제 뉴스 기사의 텍스트를 지수화한 소비자심리보조지수를 개발하며, 생성된 소비자심리보조지수의 유용성을 검토하고자 한다. 비정형 텍스트를 활용한 심리지표 개발에 관한 선행연구는 대부분 사전접근방법(Sentiment lexicon-based approach)을 활용함으로써 감성사전을 구축하고 이를 기반으로 감성 어휘 단어의 수를 계산하여 심리지표를 산출하였다. 이러한 사전접근법의 경우 감성사전 구축 과정에서 많은 비용이 발생과 연구자의 주관이 반영 그리고 감성 단어의 수를 계산하는 데 중점을 두어, 문맥상의 의미나 어휘 간 복잡한 관계를 포착하지 못하는 한계점을 가진다. 본 연구는 선행연구와 달리, 사전접근법이 아닌 KB-BERT를 사용하여 텍스트 데이터를 문맥적 특성과 어휘 간 복잡한 관계가 고려된 임베딩 데이터로 변환하여 이를 딥러닝 알고리즘 활용해 기존 소비자심리지수를 보조할 수 있는 심리지표의 개발 모형을 제시하였다.

3.1 연구 프로세스

그림 1은 연구 프로세스를 도식화한 그림이다. 본 연구는 먼저, 소비자의 경제 상황과 관련 키워드를 바탕으로 온라인 뉴스 기사를 웹 크롤링(Web crawling)을 사용해 수집하고 중복 및 광고성 기사를 배제하는 데이터 필터링(Data filtering) 작업과 텍스트 데이터를 인공지능 모형에 활용할 수 있도록 변화하는 데이터 전처리(Data preprocessing) 과정을 수행한다.

Fig. 1.

Research process

다음으로 각 기사 제목의 텍스트를 경제·금융 도메인에 특화된 사전학습모델인 KB-BERT를 거쳐 학습 모델이 이해할 수 있는 수치화된 형태로 임베딩한다. 이를 통해 수치화된 데이터는 문장 내 복잡한 특성과 의미 구조를 담고 있다. 이후 임베딩된 데이터를 Input Layer의 Input Node로 구성하여 DNN 알고리즘 기반의 소비자심리보조지수 모델을 구축하고 월별 소비자심리보조지수를 산출한다.

마지막으로 월 단위로 산출된 소비자심리보조지수를 기존 기업경기실사지수(BSI), 경제심리지수(ESI)와 비교 분석하고 GDP 경제성장률 예측 모형에 소비자심리보조지수 활용유무에 따른 예측력 차이를 통해 보조지수로서의 유용성을 검토하고자 한다.

3.2 데이터

소비자심리보조지수 작성을 위한 뉴스 기사는 웹 크롤링 기법을 사용하여 네이버 온라인 뉴스에서 수집하였다. 웹 크롤링은 인터넷에 노출된 데이터를 직접 다운로드하여 수집하여 방식이다. 키워드 ‘가계 경기’를 설정하여 웹 크롤링을 통해 관련 기사를 수집하였다. 데이터 수집기간은 2013년 1월부터 2022년 12월로 설정하여 약 10년간의 데이터 56,307건을 수집하였다.

뉴스 기사의 본문이 아닌 뉴스 기사의 제목을 분석 대상으로 설정하였다. 뉴스 기사의 본문은 복합적인 주제가 포함된 내용으로 인해 주제에서 벗어난 정보가 포함될 가능성이 있기 때문이다. 반면 제목은 기사의 전체적인 논조를 반영하여 본 연구는 뉴스 기사의 제목을 분석대상으로 설정하였다.

3.2.1 데이터 필터링 & 전처리

웹 크롤링을 통해 데이터를 수집하는 경우 정형화된 데이터를 입수하는 것과 달리 인터넷 포털의 운영 상황이나 방침에 따라 중복된 뉴스 기사 또는 광고성 기사가 함께 수집된다. 이는 데이터의 정확성, 유효성이 보장되지 않아 데이터 무결성을 해친다는 것을 의미한다. 이를 처리하기 위해 중복된 기사를 배제하고 기사의 본문 내용이 비어있는 기사를 배제하는 데이터 필터링 작업을 수행하였다.

또한, 웹 크롤링을 통해 수집된 뉴스 기사는 원본 형태의 원천 데이터로, 이러한 텍스트 데이터는 모델 학습에 적합하지 않다. 따라서, 수집된 뉴스 기사를 모델 학습에 활용할 수 있도록 변환하는 전처리 과정이 필요하다.

본 연구에서 수집된 뉴스 기사는 자연어 처리에 방해가 되는 특수기호나 특수문자 등이 포함되어 있다. 이러한 문제를 해결하기 위해 특수기호나 특수문자를 제거하는 전처리 과정을 수행하였다. 이 과정에서 활용되는 도구로 정규표현식(Regular expression)을 사용하였다. 이 도구는 특정한 규칙을 가진 문자, 문자열을 추출, 제외, 변환하는 데 유용하다. 본 연구에서는 파이썬(Python)에서 제공하는 ‘re’ 라이브러리를 활용하여 구현하였다. 표 1은 전처리 전후 데이터 수를 비교한 표이다.

Table 1.

Comparison of data quantities before and after preprocessing

3.3 KB-BERT 임베딩

본 연구에서는 인간이 사용하는 자연어를 인공지능 모형이 이해할 수 있는 형태로 변환하기 위해 경제·금융 도메인에 특화된 KB-BERT를 사용하여 임베딩 작업을 수행하였다.

이러한 과정은 기계 번역, 감성분석, 문서 분류 등 다양한 자연어 처리(NLP) 태스크의 성능에 많은 영향을 미치기 때문에 중요하다. 본 연구에서 사용한 KB-BERT는 2018년 공개된 Google BERT를 Base Model로 하는 사전학습 언어모델로, 문맥을 반영한 임베딩(Contextual embedding)을 사용하고 있다. 문맥을 반영한 임베딩 방식은 원-핫 인코딩(One-hot encoding)과 같은 전통적인 언어모델부터 시작하여 Word2Vec, GloVe 등의 의미기반 언어모델의 한계를 극복하기 위해 나온 언어모델이다[8].

원-핫 인코딩은 단어 집합 내 표현하고자 단어의 인덱스만 1로 표시하고, 이외 다른 단어의 인덱스는 0으로 표시하여 단어를 벡터로 나타낸다. 예를 들어, ‘가계 대출’, ‘소비자물가’라는 2개의 단어만 존재한다고 했을 때, ‘가계 대출’은 [1, 0], ‘소비자 물가’는 [0, 1]로 표현된다. 이러한 전통적인 언어모델은 단어 간의 의미적 관계를 전혀 표현하지 못하며, 단어 집합의 크기에 따라 차원 수가 증가하여 자연어 처리 과정에서 많은 컴퓨팅 자원 소모와 시간적 비용을 발생시킨다는 단점이 있다. Word2Vec, GloVe 등의 의미기반 언어모델은 단어 간의 의미적인 연관성을 반영하여 언어를 표현한다. 의미를 고려한 언어표현을 위해 언어모델은 중심 단어를 주변 단어들로부터 예측하거나 주변 단어들을 중심 단어로 예측하도록 학습함으로써, 유사한 의미를 지닌 단어들이 벡터 공간상 가까운 거리에 분포된다. 이는 원-핫 인코딩의 한계를 극복했지만, 문맥 정보를 반영하지 못한다는 한계를 가진다. 예를 들어, ‘길거리에 많은 은행들이 땅에 떨어져 있다’와 ‘은행에서 돈을 인출했다’와 같이 같은 문자임에도 사용되는 문맥에 따라 다른 의미 지니는 데 이러한 차이를 구분하지 못한다[9]. 반면 문맥기반 언어모델인 BERT는 주어진 문장 내에서 단어의 위치에 따라 단어의 의미가 어떻게 변화하는지 문맥을 학습하여, 결과적으로 문맥에 따른 단어의 의미 차이를 구분이 가능하다.

그러나 BERT는 사전학습에 사용된 말뭉치의 특성에 따라 하위 태스크의 성능에 많은 영향을 미치기 때문에 영어 위키백과와 Book-Corpus로 학습된 Google BERT는 본 연구에 필요한 한국어 경제 및 금융 관련 텍스트 처리에는 적합하지 않다고 판단하였다[10]. 이러한 문제점을 근거로 한국어 위키백과, 경제 및 금융 뉴스 및 문서로 구성된 말뭉치로 사전학습된 KB-BERT가 본 연구에 필요한 도구로 적합하다고 판단하여 임베딩 작업에 활용하였다. S. H. Park et al.(2023)[11]는 온라인 뉴스 감성 분류에 KB-BERT를 사용함으로써 온라인 뉴스를 활용할 수 있는 방안을 확인하였다.

본 연구에서는 뉴스 기사 제목의 텍스트를 변환하기 위해 정보 손실 최소화와 컴퓨팅 자원을 고려하여 주어진 텍스트 데이터를 모델이 처리할 수 있는 최대 토큰 수를 45개로 설정하여, 자연어 형태인 각 기사의 텍스트 데이터를 768차원의 수치형 데이터로 변환하였다.

3.4 소비자심리보조지수(S-CCSI) 모델

본 연구는 대표적인 딥러닝 알고리즘인 DNN 활용하여 소비자심리보조지수 모델을 구축하였다. 소비자심리보조지수 생성을 위해 KB-BERT를 거쳐 임베딩된 데이터를 DNN 모델의 Input Layer로 구성하고 Hidden Layer와 Output Layer를 구성하였다. 텍스트 기반 심리지수 개발에 관한 선행연구는 대부분 감성 어휘의 수를 분류하여 지수를 산출하는 방식을 사용하였다. 이러한 방식은 특정 감성 단어가 포함된 양을 계산하는 데 중점을 두지만, 문맥상의 의미나 어휘 사이의 복잡한 관계를 완전히 포착하지 못하는 경우가 존재한다. 이러한 문제점을 인식하고 보완하기 위해 본 연구는 단어의 문맥적 관계와 의미 변화를 포괄적으로 이해하고자 소비자심리보조지수 개발에 임베딩된 데이터를 입력변수로 활용하였다. J. Devlin et al.(2019)[12]는 문맥기반 언어모델인 BERT를 다양한 NLP 태스크에 적용하여 각 태스크의 성능을 기존 언어모델과 비교했을 때 우수한 성능을 입증하였다. 이는 문맥기반 언어모델이 전통적인 언어모델, 의미기반 언어모델보다 단어의 문맥적 관계와 의미 변화를 더 잘 포착할 수 있음을 시사한다. 본 연구는 대표적인 딥러닝 알고리즘인 DNN 활용하여 소비자심리보조지수 모델을 구축하였다. 소비자심리보조지수 생성을 위해 KB-BERT를 거쳐 임베딩된 데이터를 DNN 모델의 Input Layer로 구성하고 Hidden Layer와 Output Layer를 구성하였다. 텍스트 기반 심리지수 개발에 관한 선행연구는 대부분 감성 어휘의 수를 분류하여 지수를 산출하는 방식을 사용하였다. 이러한 방식은 특정 감성 단어가 포함된 양을 계산하는 데 중점을 두지만, 문맥상의 의미나 어휘 사이의 복잡한 관계를 완전히 포착하지 못하는 경우가 존재한다. 이러한 문제점을 인식하고 보완하기 위해 본 연구는 단어의 문맥적 관계와 의미 변화를 포괄적으로 이해하고자 소비자심리보조지수 개발에 임베딩된 데이터를 입력변수로 활용하였다. J. Devlin et al.(2019) [12]는 문맥기반 언어모델인 BERT를 다양한 NLP 태스크에 적용하여 각 태스크의 성능을 기존 언어모델과 비교했을 때 우수한 성능을 입증하였다. 이는 문맥기반 언어모델이 전통적인 언어모델, 의미기반 언어모델보다 단어의 문맥적 관계와 의미 변화를 더 잘 포착할 수 있음을 시사한다.

DNN 모델은 입력층 512개의 노드, 중간층 256개의 노드로 2층, 출력층 1개의 노드로 구성하였다. 과적합 방지를 위해 드롭아웃(Dropout) 비율을 0.3로 설정하여 적용하였다. 출력값은 sigmoid 함수를 사용하여 0~1범위의 값으로 출력하고 설문조사 기반의 심리지표와 동일하게 0~200범위를 가지는 지수값으로 조정하여 초기 월별 소비자심리보조지수를 산출하였다. 이후, 초기 소비자심리보조지수 고도화를 소비자심리지수 데이터를 목적변수로 설정하여 초기 소비자심리보조지수를 피팅(Fitting)하였다. 뉴스 기사는 시장의 중요한 이슈나 경제 동향을 반영하므로, 이를 통해 얻은 정보를 기존 소비자심리지수에 피팅함으로써 시장 변화를 반영할 수 있다. 이러한 과정은 보조지수의 타당성을 강화하고, 기존 지수의 한계를 보완할 수 있다.

4.1 소비자심리보조지수 산출

소비자심리보조지수는 0~200범위를 가지는 지수값으로 조정하여 2013년 1월부터 2022년 12월까지의 월별 소비자심리보조지수를 산출하였다. 표 2는 현행 소비자심리지수와 비교한 표이다. 소비자심리지수와 소비자심리보조지수와의 상관계수는 0.84으로 강한 상관관계가 나타났으며, 이는 소비자심리보조지수가 기존 소비자심리지수를 대체할 수 있음을 시사한다.

Table 2.

Monthly CCSI & S-CCSI

4.2 기업경기실사지수(BSI) 및 경제심리지수(ESI) 비교

산출된 소비자심리보조지수를 기존의 공식 심리지표인 기업경기실사지수(BSI)와 경제심리지수(ESI) 월 단위로 작성하여 비교 분석하였다.

기존의 두 심리지표와의 비교 분석한 결과, 그림 2와 같이 소비자심리보조지수는 두 심리지표와 전반적으로 유사한 흐름을 보이는 것을 확인할 수 있다. 특히, 흐름이 전환되는 변곡점을 기준으로 살펴보았을 때 소비자심리보조지수가 이러한 변곡점을 두 심리지표보다 신속하게 포착하는 것을 확인할 수 있다. 예를 들어, 그림 2를 보면 소비자심리보조지수는 국내 코로나 19 첫 확진자가 발생한 2020년 1월에 포착하여 특정 이슈가 기업경기실사지수보다 빠르게 심리지수에 반영되는 것을 확인할 수 있다.

Fig. 2.

Trend comparison with original sentiment index

다음으로 표 3은 소비자심리보조지수를 교차상관분석 결과이다. 분석 결과 소비자심리보조지수는 소비자심리지수에 약 1개월 선행하고 0.68의 상관관계를 보인다. 또한, 경제심리지수에는 약 2개월 선행하며 0.81의 강한 상관관계를 보인다.

Table 3.

Cross correlation analysis results

본 연구에서 제시하는 소비자심리보조지수와 기업경시실사지수 및 경제심리지수를 비교 분석한 결과, 소비자심리보조지수는 두 지수와 강한 상관관계를 보이며, 약 1~2개월 선행하는 것을 확인했다. 이는 소비자심리보조지수가 두 심리지표의 선행지표로서 유용하다는 것을 시사한다.

따라서 소비자심리보조지수를 주 단위로 작성한다면 월별로 발표되는 기존의 소비자심리지수가 가진 정보 이용 시점에 대한 한계점을 보완할 수 있을 것이며, 이는 정보이용자가 신속하게 정보에 접근하여 신속한 경기판단에 도움이 될 것으로 기대된다.

4.3 GDP 경제성장률 예측

본 연구는 보조지수로서 또 다른 기능인 시너지 효과(Synergy effect)를 검증하기 위해 거시경제지표인 GDP 경제성장률 예측모형을 구축하여 소비자심리보조지수의 활용 유무에 따른 예측력 차이를 비교한다.

GDP 경제성장률은 특정 기간 동안 각 경제활동 부문이 생성한 부가가치의 연간 증가율을 측정하여 경제의 성과를 평가하는 주요 지표로 사용된다. 그러나 GDP 경제성장률은 분기별로 발표되기 때문에, 데이터의 적시성에 제약을 받는다는 중요한 한계를 갖고 있다. 따라서 이러한 문제를 해결하고자 분기별 GDP 경제성장률 데이터를 월별 데이터로 세분화하여 추정하였다. 또한, 기존 관련 연구(e.g, 오현희, 2021; 김덕파·강성진, 2020)를 바탕으로 국내총생산과 연관성이 높을 것으로 기대되는 월별 자료로 예측모형의 설명변수를 설정하였다.

또한, 최근 경제예측모형에 관한 연구에서 많이 활용되고 있는 LSTM(Long-Short Term Memory)을 기반으로 예측모형을 구축하였다. LSTM은 전체 체인을 관통하는 셀 스테이트(Cell state)를 통해 과거 학습결과를 큰 변함없이 전달하는 구조로 과거의 RNN(Recurrent Neural Network)이 가지고 있는 단기 기억(Short memory) 한계점을 극복하여, 장기간 정보를 유지할 수 있어 시계열 데이터 분석에 적합하다[13]. 뿐만 아니라, 비선형적이고 동적인 관계를 더 잘 파악할 수 있다는 특징을 가진다.

본 연구는 먼저, 소비자심리보조지수 활용 유무에 따른 GDP 경제성장률 예측력을 비교하고 다음으로, 현재 시점부터 미래의 여러 예측 시점의 GDP 성장률을 예측하여 선행연구 결과와 비교하였다. 연구에서 사용된 학습 데이터(Training data)는 2013년 1월부터 2020년 10월까지이며, 테스트 데이터(Test data)는 2021년 1월부터 2022년 12월까지이다.

아래의 표 4는 소비자심리보조지수의 활용 유무와 과거 자료 활용 정도에 따른 GDP 성장률 예측 결과를 보여준다. 예측의 정확성은 평균 절대 오차(MAE, Mean Absolute Error)를 사용하여 측정하였다. 결과적으로, 소비자심리보조지수를 함께 사용했을 때 예측 성능이 전반적으로 높게 나타나는 것을 확인할 수 있다. 이는 소비자심리보조지수가 기존 소비자심리지수와의 함께 활용될 수 있음을 시사한다. 또한, 설명변수의 과거 자료를 많이 활용할 수 더 많이 활용했을 때 예측력이 높게 나타났다.

Table 4.

Results of GDP growth rate prediction(MAE)

다음으로 5개월의 과거 자료를 이용하여 현재 시점부터 여러 미래 시점의 GDP 성장률을 예측하고 이를 기존 선행연구(e.g, 정수관·표동진, 2022)와 비교했을 때 소비자심리보조지수를 포함한 본 연구의 예측모형의 예측력이 높게 나타나는 것을 확인하였다[6]. 표 5는 선행연구와 비교한 결과이다. 이러한 결과는 소비자심리보조지수가 경제예측에 있어 중요한 도구로 활용될 수 있음을 시사한다.

Table 5.

Results of GDP growth rate prediction per time point(MAE)