Korean Institute of Information Technology

Journal Archive

The Journal of Korean Institute of Information Technology - Vol. 17 , No. 4

[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 17, No. 4, pp.119-129
Abbreviation: Journal of KIIT
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 30 Apr 2019
Received 04 Nov 2018 Revised 17 Apr 2019 Accepted 20 Apr 2019
DOI: https://doi.org/10.14801/jkiit.2019.17.4.119

유사도 분석을 이용한 콜센터 IVR 초기 서비스 추천에 관한 연구
류기동* ; 김우제**
*이씨에스텔레콤 통신기술연구소
**서울과학기술대학교 글로벌융합산업공학과 교수(교신저자)

A Study on Initial Service Recommendation of Call Center IVR Using Similarity Analysis
Ki-Dong Ryu* ; Woo-Je Kim**
Correspondence to : Woo-Je Kim Dept. of Global Convergence of Industrial Engineering, Seoul National University of Science and Technology, 232, Gongneung-ro, Nowon-gu, Seoul, 139-743, Korea. Tel.: +82-2-970-6449, Email: wjkim@seoultech.ac.kr

Funding Information ▼

초록

IVR(Interactive Voice Response)은 고객이 상담사와의 연결 없이 직접 셀프서비스를 할 수 있는 콜센터의 핵심 채널이다. 하지만 IVR의 터치톤 사용자 인터페이스의 특성 때문에 고객은 항상 사용에 어려움과 불편함을 느낀다. 이에 개인화되고 최적화된 초기 서비스 메뉴를 제공하기 위한 IVR 초기 메뉴 추천 시스템을 제안한다. 제안 시스템은 고객들의 IVR 사용 패턴을 유사도 분석 기법을 사용하여 군집화 하고, 고객의 콜이 IVR에 인입되면 기존 사용 패턴을 기반으로 군집의 사용자들이 최근 사용한 서비스를 추천한다. 실제 콜센터 IVR 사용 데이터를 통해서 추천에 대한 적중률을 검증한 결과, 제안한 시스템은 기존의 빈도 기반 추천에 비해서 적중률이 12.8% 향상 되는 것을 확인 할 수 있었다.

Abstract

Interactive Voice Response (IVR) is a key channel in a call center where customers can self-service themselves without having to connect with an agent. However, due to the characteristics of the IVR's touch-tone user interface, customers always find it difficult and inconvenient to use. so, this paper proposes an IVR initial menu recommendation system to provide personalized and optimized initial service menus. The proposed system clusters customers' IVR usage patterns using similarity analysis techniques, and recommends services recently used by users in the cluster based on existing usage patterns when a customer's call is placed to the IVR. The actual call center IVR usage data confirm that the proposed system achieves a 12.8% improvement in the hit rate compared to the previous frequency based recommendation.


Keywords: IVR, ARS, recommendation, similarity analysis, call center, inital service recommendation

Ⅰ. 서 론
1.1 콜센터 IVR 시스템의 개요

최근 기업의 고객 접점이 오프라인에서 온라인으로 변하면서 비대면임에도 불구하고 고객과 직접 음성 대화를 통해 대면의 효과를 발휘하는 콜센터가 고객 접점으로써 기업의 비즈니스에 대한 중요도가 높아지고 있다[1].

콜센터는 그림 1과 같이 전화 기능을 처리하기 위한 교환기(PBX), 전화와 컴퓨터 시스템 간의 연동을 위한 CTI(Computer Telephony Integration), 그리고 전화상에서 음성으로 셀프서비스를 할 수 있는 IVR(Interactive Voice Response System)과 상담사의 업무 처리를 위한 어플리케이션 시스템용 데이터베이스와 Web/Was 서버, 통화 녹음을 위한 녹취 서버 등이 기본적으로 구성된다.


Fig. 1. 
Architecture of call center system

고객에게 음성기반으로 셀프서비스를 제공하는 시스템을 해외에서는 통상적으로 IVR 또는 VRU(Voice Response Unit)라고 칭하며[2][3] 국내에서는 IVR과 ARS(Automatic Response System)를 혼용하여 사용하고 있다[3]. IVR과 ARS를 굳이 구분하자면 ARS는 사전에 녹음된 안내 음성을 사용자가 접속하면 자동으로 재생하는 서비스를 말하며, IVR은 고객이 입력한 고객 주민등록번호나 생년월일 등의 정보를 기반으로 DB서버 등과 연계하여 입력한 정보에 맞는 응답을 제공하는 서비스를 말한다[4]. 그래서 본 논문에서는 IVR이란 용어로 통일하여 사용한다.

1.2 연구의 목적

최근에는 콜센터가 인터넷의 발전과 고객의 다양한 채널 요구사항에 따라 영상 상담, 채팅 상담 등 전화 외의 멀티미디어 채널을 수용하는 컨택센터로 개념이 확장되고 있다[2]. 그중에서 고객이 전화로 스스로 업무를 처리할 수 있는 셀프서비스 기능을 제공하는 IVR의 중요성은 더욱 커지고 있다[3]. 특히 금융권의 경우 전체 콜의 90%가 IVR에서 처리되고 있다[5]. 하지만 IVR 시스템은 전화기반의 시스템으로써 음성만으로 모든 서비스를 선택하고 응답하는 인터페이스 제공해야 한다. 즉, 전화기 버튼을 누를 때 발생하는 DTMF(Dual Tone Multi Frequency)에서 정의된 숫자와 *, # 기호만을 사용해서 입력 데이터를 전송하는 TTI(Touch Tone Interface) 방식의 UI(User Interface)를 사용하기 때문에 사용자가 메뉴를 선택하기 위해서 전체 안내 음성을 들어야 하므로 서비스 선택에 많은 시간이 필요하고, 잘못 선택했을 경우 다시 다른 서비스를 선택하기가 쉽지 않다[6].

게다가 IVR의 경우 Top-Down 방식의 메뉴 구조이기 때문에 초기 서비스 선택이 중요하고, 초기 서비스 선택을 위해 전체 안내 멘트를 들어야 하므로 시간이 많이 걸린다. 금융소비자연맹의 조사 자료에 따르면 시중은행의 경우 평균 9.7개의 초기 메뉴를 안내하고 있으며 안내 시간은 평균 37초가 소요 되고 있다. 특히 상담사 연결 전까지 IVR에서 소요한 전체 시간이 평균 72초인데 초기 서비스 안내에만 37초로 50%의 시간을 소비하고 있다[7]. 이로 인해 사용자들은 이용 시간, 이용 절차 및 메뉴에 대한 불만 비중이 전체 불만의 절반가량을 차지하는 중요한 불만의 원인으로 꼽혔으며[4], 구성단계 간소화를 중점적으로 개선해야 할 서비스로 지적하였다[3](그림2 참고).


Fig. 2. 
Discomfort point of using IVR[4]

이에 본 연구에서는 고객의 IVR 사용성 및 만족도를 향상하고 IVR의 생산성 향상을 위해서 고객이 IVR에 접속하였을 때 고객에게 가장 적합한 IVR서비스를 추천하는 초기 메뉴 추천 시스템을 제안한다.

본 연구는 I장에서는 연구배경 및 필요성에 대해 간략히 살펴보고, 2장에서 선행 연구 및 이론적 배경을 살펴보고 3장에서 IVR 초기 서비스 추천 모델을 제시하고 실험 결과 분석을 통해 효과성을 검증하고, 4장에서 결론 및 향후 과제에 대해서 설명한다.


Ⅱ. 선행 연구 및 이론적 배경

ARS의 초기 메뉴 추천을 위해서 추천 시스템에 대한 선행 연구에 대해서 알아본다.

추천 시스템이란 사용자의 과거 선호도, 구매기록, 클릭 패턴 등의 정보를 이용하여 사용자가 선호할 만한 적절한 아이템을 추천해 주는 것으로 Amazone, NetFlix, CDNow등 많은 업체에서 사용하고 있다[8][9].

추천시스템은 정보 필터링, 연관성 분석, 기타방식으로 구분된다[10]. 정보 필터링 기법은 다시 콘텐츠 필터링, 협업 필터링(Collaborative Filtering) 방식이 있다.

2.1 콘텐츠 필터링

콘텐츠 필터링 기법은 정보검색(IR, Information Retrieval) 기술을 기반으로 하여 아이템 간 또는 아이템과 사용자 선호도 간의 유사성을 분석하여 이를 토대로 고객에게 아이템을 추천하는 방식이다[11].

콘텐츠 필터링은 아이템을 속성들의 집합으로 표현하는데, 속성은 구조화가 가능한 속성과 텍스트로 된 설명과 같은 비구조화된 속성으로 구성된다. 많은 콘텐츠 필터링 시스템들은 이런 텍스트 속성들을 구조화 시기키 위해 텍스트에서 키워드를 형태소 분석 등을 통해 추출하고 아이템-키워드 간의 테이블을 만들고, 그들 간의 관계에 대한 가중치를 수치화하기 위해 TF-IDF(Term Frequency-Inverse Document Frequency)를 사용한다[12].

wt,d=tft,dlogNdftitfti,d2logNdfti2(1) 

식 (1)에서 w(t,d)는 아이템 d의 키워드 t에 대한 가중치 값이다. tft,d는 아이템 d에서 키워드 t의 발현 빈도이다(Term Frequency). dft는 키워드 t가 있는 아이템의 개수이다. 그리고 유사성을 분석하기 위해서 코사인 유사도 등을 사용하여 유사도를 측정하여 사용자가 선호하는 아이템과 가장 유사도가 높은 아이템을 추천하는 방식이다.

하지만 본 연구의 IVR서비스는 텍스트 기반의 아이템이 아니기 때문에 키워드를 통한 분석이 불가능하여 콘텐츠 필터링은 IVR서비스 추천에 적용하기에는 적합하지 않다.

2.2 협업 필터링

Amazon.ocm, CDNow등에서 사용되는 협업 필터링이 가장 성공적인 기법으로 알려져 있고 전자상거래에서 많이 사용되고 있다[8]. 협업 필터링은 유사한 구매 패턴을 가진 이웃들을 그룹화 시키고 이들이 선호하는 아이템을 추천하는 방식이다. 콘텐츠 필터링이 사용자와 아이템의 정보에 기반하는 반면, 협업 필터링은 사용자가 아이템을 평가하거나 구매한 이력 정보를 사용해 선호도를 예측하는 것이 가장 큰 차이점이다[10].

예를 들면 표 1과 같이 사용자가 아이템을 평가한 정보가 있다면, 사용자가 평가하지 않은 아이템의 평가값(표상의 물음표 표시 부분)을 예측하는 것이다. 이것을 예측하는 방법은 크게 두 가지 방법이 있다. 첫 번째는 기억 기반(Memory Based) 방식이 있고, 두 번째는 모델 기반(Model Based) 방식이다[13].

Table 1. 
Example of user-item matrix
Item1 Item2 Item3 Item4 ItemM
User1 5 ? 3 4 4
User2 ? ? 4 3 3
User3 2 ? 1 ? 3
UserN 3 4 ? ? ?

(1) 기억 기반 방식

기억 기반 방식을 또 다른 말로는 이웃 기반 방식(Neighborhood Method)이라고도 한다[14]. 기억 기반 방식은 사용자 기반 방식과 아이템 기반 방식으로 구분된다. 사용자의 선호도를 기준으로 유사한 이웃 사용자를 구분하고, 구분된 이웃이 공통으로 선호하는 아이템을 추천해 주는 방식이다. 아이템 기반 방식은 아이템을 기준으로 사용자들의 평가 점수가 유사한 이웃 아이템을 선별하고 이웃 아이템을 평가한 사용자의 평가 점수를 기반으로 사용자의 아이템에 대한 선호도를 예측한다[8].

사용자 u가 아이템 i에 대한 평가에 대한 가중 합을 통한 예측값 r^u,i는 아래 식 (2)와 같다.

r^u,i=jIuΦi,jru,jjIuΦi,j(2) 

식 (2)에서 Φ(i,j)는 아이템 i와 아이템 j의 유사도 함수이고, Iu는 사용자 u가 평가한 아이템의 집합이다. 유사도 함수는 피어슨 상관계수(Pearson Correlation Coefficient), 코사인 유사도, 스피어만 순위 상관계수 등을 사용할 수 있다[10].

식 (3)Φp 는 피어슨상관계수로 유사도를 측정하는 식이며, x¯,y¯ 는 아이템 xy에 대한 사용자의 평가 평균이다.

Φpx,y=i=1dxi-x¯yi-y¯i=1dxi-x¯2i=1dyi-y¯2(3) 

식 (4)Φc는 코사인 유사도로 아이템 xy에 대한 유사도를 측정하는 식이다.

Φcx,y=xTyx2y2(4) 
(2) 모델 기반 방식

기억 기반 협력 필터링은 추천이 요구될 때마다 휴리스틱 기법을 통해 결과를 도출하는 방식이다. 하지만 사용자의 수가 증가함에 따라 데이터의 희소성이 증가하여 추천의 성능이 떨어지는 문제가 발생하였다[9]. 이를 개선하기 위해 학습 데이터를 통해 모델을 학습하여 고객에게 아이템을 추천하는 모델 기반 협력 필터링이 개발되었고 우수성이 최근 입증되었다[10].

일반적으로 사용자 선호도를 범주형으로 구분하는 데이터에서는 나이브베이즈와 같은 분류 모델을 사용하고, 연속형 데이터에서는 회귀분석이나 특이값 분해 기법이 사용된다[8].

특히, 행렬인수분해(Matrix Factorization)으로 대표되는 잠재요인(Latent Factor) 모델은 최근 NetFlix Prize에서 우승하면서 유명해졌다[14].

잠재요인 모델은 사용자와 아이템을 모두 추상 공간에서 벡터로 표현하고, 추상 벡터에서의 유사도를 이용하여 추천 결과를 생성한다. 표 1의 예를 보면 물음표로 표시된 아직 평가하지 않은 사용자 u의 아이템 i에 대한 평갓값을 예측 하는 것이다.

r^ui=qiTpu(5) 

여기서 qi는 아이템벡터이고 pi는 사용자벡터이다. 이것을 추정하기 위해 행렬인수분해를 이용한다.

R=PQT(6) 

행렬인수분해는 그림 3과 같이 도식화할 수 있으며, 사용자와 아이템에 대한 평갓값을 일부 알고 있을 때 나머지 평가하지 않은 것들에 대해서 행렬인수분해를 통해 근삿값을 구하는 문제로 식 (6)과 같이 표현할 수 있다. 이것은 일반적으로 SVD(Singular Value Decomposition)를 통해 풀 수 있다. 하지만 사용자 평가 매트릭스의 희소성이 심하고 행렬에 누락된 값이 많을 경우 SVD는 성능이 떨어진다[14]. 그래서 최근에는 평가값을 직접 예측 하는 모델을 학습하는 방법이 연구되고 있으며, 요인 벡터(Factor Vector, pu, qi,)를 학습하기 위해 정규화된 제곱근 오차를 최소화하는 방식을 사용한다.


Fig. 3. 
Matrix factorization

minP,Qu,ikrui-qiTpu2+λqi2+pu2(7) 

식 (7)에서 k는 이미 알고 있는(평가된) rui의 사용자와 아이템(u, i)의 쌍이다. 식 (7)을 최소화하기 위해서 SGD(Stochastic Gradient Descent)나 ALS(Alternating Least Squares) 기법 등이 사용되고 있다. SGD는 P, Q를 예측하는 상호작용 최적화 문제를 확률적 경사 하강법을 통해 최적화하는 방법이다. ALS는 P, Q 중 하나를 고정하고 나머지에 대해 먼저 최적화를 하는 방법이다.

최근 들어서 딥러닝이 다양한 분야에 활용이 되면서 추천 시스템에도 딥러닝을 이용해서 직접 해결하는 연구들도 진행되고 있다[15]. 딥러닝을 통한 협업 필터링 추천은 RBM(Ristrict Bolzman Machine)을 이용한 연구를 시작으로 하여 다양한 연구가 이루어지고 있다[16]. 게다가 명시적 평가가 아닌 묵시적 피드백에 대해서도 접속 이력이나 평가 여부를 Y로 놓고 사용자와 아이템 벡터를 임베딩하여 특성 벡터를 구하고 이를 예측한 Y^ 값이 최적화되도록 인공신경망을 통해 학습하여 묵시적 피드백 데이터 기반에서도 아이템을 추천을 할 수 있는 모델이 연구되었다(그림 4)[17].


Fig. 4. 
Neural collaborative filtering[17]

그리고 시간에 따른 사용자의 취향 변화를 고려하기 위해서 시계열 분석에 많이 사용되는 RNN(Recurrent Neural Network)을 활용한 추천 시스템도 연구되었다[18].

(3) 하이브리드 추천 시스템

최근에는 다양한 기법을 혼합한 하이브리드 추천 기법도 활발히 연구되고 있다. 사회 연결망 분석의 선호적 연결을 이용한 추천 연구는 콘텐츠 특성 추출 어려움의 문제를 해결하기 위해 제시되었다[19].

협업 필터링의 비구매 고객 대상 추천 한계점을 극복하기 위해 협업 필터링과 내용 기반 필터링을 결합한 혼합 필터링이 음악, 영화 등의 멀티미디어 추천에 적용되었다[20]. 유전자 알고리즘 기반의 데이터마이닝 기법을 활용하여 인터넷 쇼핑몰의 상품 추천 연구도 있었다[21].

하지만, 기존의 연구들은 다수의 상품 아이템을 가진 전자 상거래를 위한 아이템 또는 사용자 추천 시스템이었기 때문에 음성서비스기반에 한정적인 서비스를 제공하는 IVR 서비스에는 적용이 불가능하다. 또한, IVR 서비스의 경우 사용자가 기존에 했던 서비스를 다시 선택할 수 있기 때문에, 기존에 구매하지 않은 아이템을 추천하는 상품 추천과는 차이가 있다.

2.3 IVR 서비스 추천 관련 선행 연구

TTI방식을 사용하는 IVR의 서비스 추천에 대한 연구로는 S. Mudii와 K. Sarun[22]의 Personalize IVR에 대한 연구가 있었으나 이는 고객의 전화번호 정보와 고객이 선호하는 메뉴를 고객이 직접 웹을 통해 데이터베이스에 저장하고 이를 가져오는 방식으로 고객이 직접 웹에서 선호 메뉴를 입력해야 하므로 IVR에서 자동으로 서비스 메뉴를 추천하지는 못하는 한계가 있다. 그리고 류기동 외[23]는 연관성 분석을 기반으로 하여 IVR 메뉴에 대한 추천 시스템을 제안하였으나, 초기 서비스의 추천에는 사용할 수 없고, IVR에서 셀프서비스를 하고 나서 그다음에 어떤 서비스를 할지 예상하여 추천하는 방식에 대한 연구이기 때문에 초기에 IVR에 접속했을 때 바로 서비스를 추천하는 데는 적용하기 어렵다.

이에 본 논문에서는 IVR 사용 이력 패턴을 분석하여 유사도가 높은 고객군의 최근 사용 서비스 빈도를 분석하여 기법을 적용하여 IVR의 초기 서비스를 추천할 수 있도록 연구하였다. 유사도 기반 분석은 협업 필터링과 유사하지만 협업 필터링은 유형의 제품 추천하기 때문에 고객이 구매하지 않은 아이템을 추천하는 것이 목적이지만 본 연구의 추천 대상은 제품이 아닌 무형의 서비스이기 때문에 기존에 사용했던 서비스에 대한 중복 추천도 가능하다는 점이 기존의 추천 방식과 다르다고 할 수 있다.


Ⅲ. IVR 초기 서비스 추천 시스템
3.1 IVR 초기 서비스 이해

일반적으로 콜센터에 전화를 걸면 제일 먼저 IVR에서 응대를 하게 된다. 초기 안내 멘트는 “안녕하세요 xx 은행입니다”와 같은 인사말로 시작하게 된다. 그리고 “원하시는 서비스 코드를 눌러 주십시오”라고 서비스 안내를 시작하고 “잔액조회는 1번, 계좌이체는 2번, 입출금내역조회는 3번...”이런 식으로 전체 서비스를 음성 안내를 통해서 알려주게 된다. 그러면 고객은 본인이 원하는 해당 서비스의 번호를 전화기의 숫자 버튼을 눌러서 선택하고 되고 버튼이 눌러지면 ARS에서 해당하는 서비스를 수행하기 위한 음성 안내가 나오게 된다.

IVR은 이런 구조로 서비스를 하기때문에 사용자가 음성 안내 시 서비스 번호를 잘못 인지하거나 본인이 원하는 서비스가 8번이나 9번인 경우 전체 서비스 안내를 다 들어야만 알 수 있다. 게다가 대부분의 금융권 IVR은 서비스 단계가 3단계로 구성되는 경우가 많다.

예를 들어 본인이 원하는 서비스가 무통장 거래의 입금 내역 조회라고 하면 실제 IVR에서는 처음에 “거래내역조회” 서비스를 선택하고 다음에 “무통장거래” 서비스를 선택하고, 마지막으로 3단계에서 “입금내역조회”를 선택해야 된다. 이런 IVR의 서비스 구조상에서 고객이 IVR에 접속했을 때 IVR의 초기 인사 인사말 이후에 바로 추천서비스를 안내하여 사용자가 빠르게 원하는 서비스를 할 수 있도록 구성하는 것이 IVR 초기 서비스 추천 시스템의 기능이다.

3.2 IVR 초기 서비스 추천 절차

본 연구에서는 IVR 초기 서비스 추천을 위해서 고객별 IVR서비스 사용 이력 로그를 분석하여 서비스 사용 유형이 유사한 고객을 군집화하고 군집화된 고객군 내에서 최근 사용한 서비스를 도출하고 이에 대해서 요일별, 임계치 등 파라미터 필터링을 거쳐 최종 추천 서비스를 선정한다(그림 5).


Fig. 5. 
First service recommendation process


Fig. 6. 
First service recommendation experiment flow

전처리 및 유사도 분석, 서비스 추천 등의 구체적인 구현은 모두 공개 통계 소프트웨어 패키지인 R version 3.3.2를 사용하여 구현하였다.

3.3 유사도 분석 기법

본 연구에서는 사용자들이 사용하는 서비스의 유사도를 분석하여 사용자 유사 그룹을 만들고 이들이 가장 최근에 사용한 서비스를 추천 서비스로 추천하는 방식을 사용하였다. 유사도 분석에는 유클리디안 거리(Euclidean Distance)와 피어슨 상관계수를 이용하여 유사도를 측정하였다. 유클리디안 거리는 거릿값이 작을수록 두 개체가 유사함을 의미하며, 직관적이고 해석이 쉽다는 장점이 있다[10].

그림 7은 IVR의 사용자 서비스로 로그를 간략하게 정리한 것이다. User1이 100911 서비스를 3회 하고 100913 서비스를 2번하고 100921 서비스를 1번 한 것을 알 수 있다. 여기서 고객별 서비스의 선택 회수를 벡터로 보고 유사도를 계산하여 고객 군집을 파악한다. 유사도 계산 방식은 추천시스템에서 많이 사용되는 유클리디안 거리(식 8)와 피어슨 상관 계수(식 9)를 이용하였다[10][11].


Fig. 7. 
Example of customer service history

distdi,dj=k=1nwik-wjk2(8) 

피어슨 상관계수는 두 데이터 간의 관련 정도를 측정하기 위해 널리 쓰인다[11]. 길이가 k인 두 데이터 X, Y에서 피어슨 상관계수는 식 (9)와 같이 X와 Y의 공분산을 각각의 표준편차로 나눔으로써 계산된다.

PearsonX,Y=CovX,YσXσY(9) 
CovX,Y=i=1kxi-x¯yi-y¯k(10) 

σx,σy는 각각 X와 Y의 표준 편차이다.

본 연구에서 X는 고객 X가 선택했던 서비스에 대한 이용 내역을 기록한 벡터이다. Y는 고객 Y가 이용한 서비스 내역 벡터이다.

3.4 초기 서비스 추천 과정

초기서비스 추천 과정을 좀 더 자세히 살펴보면 아래 그림 8과 같은 알고리즘으로 구현이 된다.


Fig. 8. 
IVR service recommendation algorithm

전체 사용자 중에서 유사도 분석을 통해서 군집을 생성하고 그 군집 내에서 최근 사용된 서비스 메뉴를 도출한다. 유사도가 높은 고객군이 도출되면 그들이 최근에 사용한 서비스의 요일별 빈도를 계산하여 빈도가 높은 서비스를 해당 그룹의 요일별 추천 서비스로 선정을 하고, 해당 그룹의 고객이 전화가 들어오면 추천 서비스를 제시한다.

3.5 초기 서비스 추천 결과

실제 국내 금융권 콜센터의 3개월 치 IVR 서비스 로그를 대상으로 초기 서비스 추천하였다. 데이터는 3개월치 IVR 서비스의 로그를 수집하였다. 총 815,108건의 서비스 이력을 포함하며, 제공하는 서비스의 개수는 95가지이다. 이력 데이터는 인입전화번호, 전화시간, 서비스코드, 인입시간, 서비스체류 시간, 기타 고객 정보 등을 포함하고 있는 텍스트형태의 데이터이며, 검증 데이터는 학습에 포함되지 않은 5일치 데이터를 사용하였다.

추천 방식에 따른 적중률 결과는 표 2와 같다.

Table 2. 
Accuracy results based on recommendations
Date Recomm.
Count
Existing Recommendation Method(%) Euclidean Distance(%) Existing-Euclidean Difference (%)
Pearson Correlation Coefficient(%) Existing-Pearson
Difference(%)
Day1 1375 54.23 59.28 9.3 60.4 11.4
Day2 1424 54.09 59.66 10.29 59.18 9.4
Day3 1408 53.31 60.53 13.54 60.37 13.2
Day4 2514 52.32 59.76 14.22 59.1 13.0
Day5 1636 53.06 62.15 17.12 61.24 15.4
Average 53.40 60.27 12.88 60.06 12.5

3개월 치 데이터 815,108건을 학습세트로 유사도 그룹을 추출하고, 5일간의 데이터를 검증 세트로 하여 초기 서비스 추천 시스템이 추천한 서비스와 실제 고객이 초기에 선택한 서비스를 비교하여 적중률을 계산하였다.

적용 절차는 그림 6과 같다. 적중률은 유클리디안 거리 방식의 경우 60.28%, 피어슨 상관계수 방식의 경우 60.05%가 나왔다. 즉, 본 추천 시스템을 IVR에 적용할 경우 10명중 6명에게 정확하게 원하는 서비스를 추천할 수 있다는 의미이다. 현재 일부 콜센터에서도 이와 유사한 서비스를 제공하고 그 방식이 본인이 기존에 사용했던 서비스에 대한 빈도를 계산하여 가장 많이 사용했던 서비스를 추천하는 방식이다.

이 방식 사용하여 동일 데이터에 대해서 적중률을 계산하면 평균 53.4%의 적중률이 나타낸다. 즉 본 연구에서 제안하는 방식의 적중률이 기존에 사용하는 추천 방식에 비해서 유클리디안 거리방식의 경우 12.8%포인트, 피어슨 상관 계수 방식의 경우 12.5%포인트 개선된다는 것을 확인할 수 있다.


Ⅳ. 결론 및 향후 과제

본 논문에서는 IVR 초기 서비스 추천 메뉴 시스템을 유사도 분석을 기반으로 구현하였고, 실제 사례에 적용하여 의미 있는 적중률을 나타내는 것을 확인하였다. 본 연구는 기존의 멀티미디어나 콘텐츠 중심의 추천시스템에서 음성기반인터페이스 서비스인 IVR의 초기 메뉴 서비스를 추천하는 시스템을 개발하는 것으로, 상품과는 달리 중복 추천이 가능한 서비스에서 개선된 적중률을 제공하는 추천시스템을 개발한 것에 연구의 의의를 둘 수 있다.

특히, 콜센터에 대한 많은 불만 중의 하나가 IVR 연결의 불편함과 서비스 선택의 어려움인데, 초기 서비스 추천을 통해 고객에서 IVR서비스의 불편함을 해소할 수 있는 중요한 연구로 평가할 수 있다. 하지만, IVR서비스 사용 패턴의 유사도를 기반으로 하기 때문에 IVR을 한 번도 이용하지 않은 고객의 경우 추천이 불가능하며, 사용 빈도가 적은 경우에도 추천의 정확도가 떨어지는 경향이 있다. 향후 고객 정보나 IVR이 아닌 다른 채널을 통한 거래 이력 등의 데이터를 포함한 분석을 통해 IVR 이용 횟수가 적은 고객에 대해서도 추천이 가능한 시스템에 대한 연구가 필요하며, IVR사용자의 편의성 향상을 위한 인간공학이나 인지 심리학 측면을 고려한 추천 시스템연구가 필요할 것으로 보인다.


Acknowledgments

본 논문은 ㈜이씨에스텔레콤의 연구지원으로 수행되었습니다.

본 논문은 류기동의 박사학위논문의 일부를 바탕으로 작성되었습니다.


References
1. Z. Askin, M. Armony, and V. Mehrotra, "The Modern Call Center: A Multi-Disciplinary Perspective on Operations Management Research", Production and operations management, 16(6), p665-688, Nov., 2007.
2. N. Gans, G. Koole, and A. Mandelbaum, "Telephone call centers: Tutorial, review, and research prospects", Manufacturing & Service Operations Management, 5(2), p79-141, Apr., 2003.
3. H. K. Jeong, C. S. Kim, and Y. J. Yoon, "A Study on the improvement of ARS(automatic response system)service", Korea Communications Commission, p13-43, Dec., 2011.
4. H. K. Jeong, C. S. Kim, and Y. J. Yoon, "A survey on the operational realities of Automatic Response System", Korea Communications Commission, p2-3, Dec., 2010.
5. H. Y. Seo, S. J. Choi, and K. J. Cheong, "Key Dimensions of Service Quality and Their Effects on Customer Satisfaction in the Context of Call Centers", Korean Journal of Business Administration, 26(7), p1729-1752, Jul., 2013.
6. H. W. Kim, and H. C. Kim, "An Experimental Study on Hindrance Factors of Usability of Menu Structure in ARS", The journal of the Korea Institute of Maritime Information & Communication Sciences, 15(2), p462-470, Jan., 2011.
7. KCFC, "Banking ARS Consumer Report", http://kfco.org/activity/press.asp?board_id=press&mode=view&idx=675, [accessed: Nov. 04. 2018].
8. B. Sarwar, G. Karypis, J. Konstan, and J. Riedl, "Analysis of Recommendation Algorithms for E-Commerce", In Proceedings of the 2nd ACM conference on Electronic commerce (EC '00). ACM, New York, NY, USA, p158-167, Oct., 2000.
9. S. Y. Jeong, and H. J. Kim, "A Recommender System Using Factorization Machine", Journal of Digital Contents Society, 18(4), p707-712, Jul., 2017.
10. C. B. Frey, and M. A. Osborne, "Review and Analysis of Recommender Systems", Journal of the Korean Institute of Industrial Engineers, 41(2), p185-208, Apr., 2015.
11. M. Balabanović, and Y. Shoham, "Fab: content-based, collaborative recommendation", Communications of the ACM, 40(3), p66-72, Mar., 1997.
12. M. J. Pazzani, and D. Billsus, "Content-based recommendation systems", In The adaptive web. Springer, Berlin, p325-341, Jun., 2007.
13. S. Xiaoyuan, and M. K. Taghi, "A Survey of Collaborative Filtering Techniques", Advances in Artificial Intelligence, 2009(4), p1-19, Aug, 2009.
14. Y. Koren, R. Bell, and C. Volinsky, "Matrix factorization techniques for recommender systems", IEEE Computer Society, 42(8), p30-37, Aug., 2009.
15. Y. LeCun, Y. Bengio, and G. Hinton, "Deep Learning", Nature, 521(7553), p436-444, May, 2015.
16. R. Salakhutdinov, A. Mnih, and G. Hinton, "Restricted Boltzmann machines for collaborative filtering", In Proceedings of the 24th international conference on Machine learning, ACM, p791-798, Jun., 2007.
17. X. He, L. Liao, H. Zhang, L. Nie, X. Hu, and T. S. Chua, "Neural Collaborative Filtering", In Proceedings of the 26th International Conference on World Wide Web, International World Wide Web Conferences Steering Committee, p173-182, Apr., 2017.
18. C. Y. Wu, A. Ahmed, A. Beutel, A. J. Smola, and H. Jing, " Recurrent recommender networks", In Proceedings of the tenth ACM international conference on web search and data mining, ACM, p495-503, Feb., 2017.
19. K. D. Ryu, and W. J. Kim, "Social Network Analysis for New Product Recommendation", Journal of Intelligence and Information Systems, 15(4), p183-199, Dec., 2009.
20. H. J. Lim, D. J. Ryu, and H. J. Yang, "A Recommender System using Mixed Filtering for Health Products", The Journal of Internet Electronic Commerce Research, 12(2), p109-124, Jun., 2012.
21. P. S. Jang, "Product Recommender System for Online Shopping Malls using Data Mining Techniques", Journal of Intelligent Information Systems, 11(1), p191-205, Jun., 2005.
22. S. Mudili, and K. Sarun, "Personalized IVR system in Contact Center", In Proceeding of In Electronics and Information Engineering (ICEIE), 2010 International Conference, IEEE, p453-457, Aug., 2010.
23. K. D. Ryu, J. M. Kim, Y. J. Geum, P. S. Kang, and W. J. Kim, "A Study of an ARS Service Recommendation System Using Association Rule", Journal of KIIT, 14(3), p127-136, Mar., 2016.

저자소개
류 기 동 (Ki-Dong Ryu)

1999년 2월 : 부산대학교 전기공학과(공학사)

2009년 11월 : 컴퓨터시스템응용 기술사

2013년 8월 : 서울과학기술대학교 IT정책전문대학원 산업정보시스템 전공 (공학석사)

2019년 2월 : 서울과학기술대학교 IT정책전문대학원 산업정보시스템전공 (공학박사)

2002년 8월 ~ 현재 : (주)이씨에스텔레콤 통신기술연구소

관심분야 : 컨택센터, 데이터마이닝, 최적화, 머신러닝, 시계열 예측

김 우 제 (Woo-Je Kim)

1986년 2월 : 서울대학교 산업공학과(공학사)

1988년 2월 : 서울대학교 산업공학과(공학석사)

1994년 2월 : 서울대학교 산업공학과(공학박사)

2003년 ~ 현재 : 서울과학기술 대학교 글로벌융합산업공학과 교수

1988년 4월 ~ 1991년 2월 : 동양 경제연구소 연구원

1999년 ~ 2001년 : University of Michigan Visting scholar

관심분야 : 최적화, IT서비스, 소프트웨어공학, 스마트그리드