Home

대표적인 추천 시스템은 바로 협업 필터링이다. 협업 필터링은 사용자 기반의 협업 필터링과 아이템 기반의 협업 필터링으로 나뉜다.

우선 사용자 기반 협업 필터링은 사용자를 중점으로 사용자 간의 유사한 점을 찾은 후 그 결과 값을 기반으로 추천해주는 형태이다. 다음으로 아이템 기반 협업 필터링은 사용자 기반 협업 필터링과는 반대로 아이템 간의 유사성을 찾고 해당 아이템과 비슷한 유사도의 아이템을 추천해주는 방식이다. 정리하자면 사용자 기반 협업 필터링은 작은 관점에서 사용자 개개인에 따라 아이템을 추천해주는 방식이고 아이템 기반 협업 필터링은 큰 관점에서 볼 때 전체 사용자가 함께 선호했던 아이템을 추천해주는 방식이다[5][6].

Word2Vec은 단어 간의 연관성을 찾고, 단어 데이터들을 벡터상의 수치로 표현한다. Word2Vec에서 단어 간의 연관성을 찾는 방법에는 두 가지가 있다.

우선 CBOW(Continuous Bag of Words)는 문장 내에 있는 모든 단어들을 각각의 단어로써 나눈다. 처음 단어부터 마지막 단어까지 순차적으로 슬라이딩을 하여 해당 단어와 주변의 단어의 연관성을 찾는다. 단어 데이터들은 벡터상의 수치로 표현되며, 다른 데이터에 적용시킬 때 주변 단어들을 토대로 중심 단어를 예측하는 것이 CBOW이다.

다음으로 Skip-Gram은 단어 간의 연관성을 찾는 방법은 CBOW와 같으나 중심 단어를 토대로 주변 단어를 예측해내는 방법으로 단어를 추출해내는 방법은 CBOW와 반대이다[7].

본 연구는 Word2Vec의 Skip-Gram 방식을 사용하여 구매할 아이템을 예측하고 각각으로 나눈 단어를 하나의 고유 아이템으로 인식하고 학습을 진행했다.

해당 연구는 사용자 기반 협업 필터링의 예측 정확도를 높이기 위해서 Word2Vec을 활용했다. 각 사용자의 쇼핑 클릭 내역을 시간 순서대로 나열한 데이터에 Word2Vec을 이용하여 연관성을 찾았다. 중심 아이템을 중심으로 이전과 이후에 클릭한 아이템의 연관성을 찾을 때 서로 여러 번 중복된 아이템일수록 벡터상의 수치가 가깝게 표현된다. 이러한 Word2Vec의 특성을 이용하여 추천 시스템에 적용했을 때 추천 정확도는 Word2Vec을 이용하여 연관성을 찾기 전 추천 정확도보다 2.1%의 추천 정확도 증가를 보였다[8].

본 연구는 Word2Vec의 벡터 차원 증가에 따른 학습시간을 비교한다. 벡터 차원이 증가할수록 데이터의 양은 그만큼 증가하기 때문에 추천 정확도와 학습시간을 고려하여 좋은 결과의 차원을 추천한다. 연구 환경에 따라 학습에 걸리는 시간은 차이가 있기에 본 연구를 진행한 연구 환경에 대한 정보는 표 3과 같다[9].

본 연구는 Word2Vec 사용 유무에 따른 추천 정확도의 변화를 확인한 연구에서 Word2Vec의 다차원 특징을 이용한 연구로 발전하여 진행하였다. Word2Vec은 벡터의 차원을 조절하는 하이퍼 파라미터 Size가 있어 프로그래머가 벡터의 차원을 설정할 수 있다. Word2Vec의 벡터 차원을 1차원부터 5차원까지 증가시키면서 추천 정확도를 측정하였다. 머신러닝 모델은 XGBoost의 분류 모델인 XGBoost Classifier를 이용하여 학습을 진행하였고 학습에 대한 결과는 다음과 같다.

Word2Vec 차원별 벡터를 학습했을 때 결과는 표 4와 같다. 각 차원에서 총 10번의 학습을 진행하였고 1차원 벡터에서 평균 83.73%의 추천 정확도를 보였다. 다음으로 2차원 벡터의 학습 결과는 평균 85.63%로 Word2Vec 1차원 벡터의 결과보다 1.9% 증가하는 것을 확인했다. Word2Vec 3차원 벡터를 학습했을 때 평균 85.68%로 Word2Vec 2차원 벡터의 결과보다 0.05% 증가함을 확인했다. Word2Vec 4차원 벡터의 학습 결과, 평균 85.79%의 추천 정확도가 나타났다. 3차원 벡터의 결과보다 4차원 벡터에서 결과가 0.11% 증가하는 것을 확인했다[10].

Word2Vec 5차원 벡터에서 추천 정확도 결과에 대한 표이다. 10번 학습하여 평균 85.72%의 추천 정확도를 보였다. 4차원 벡터에서 5차원 벡터로 학습을 진행했을 때 추천 정확도는 0.07% 감소하는 것을 확인했다.

앞서 결과에서 확인할 수 있듯이 1차원 벡터에서 2차원 벡터로 진행했을 때 추천 정확도는 가장 크게 증가했지만 2차원 벡터에서 4차원 벡터까지 학습을 진행했을 때 미미하게 증가하다 5차원 벡터에서 추천 정확도가 감소하는 것을 확인했다. 이는 Word2Vec의 벡터 차원이 증가할수록 그에 대한 예측 정확도도 증가하다가 일정 수준의 벡터 차원에 도달하게 되면 예측 정확도는 감소하는 것을 의미한다.

그림 2는 Word2Vec 벡터 차원에 따른 XGBoost Classifier의 추천 정확도에 대한 그림이다. Word2Vec 1차원 벡터에서 2차원 벡터로 증가할 때 눈에 띌 정도의 추천 정확도 증가를 보이다 이후 미미하게 추천 정확도가 증가하다가 5차원 벡터에서 추천 정확도가 감소하는 것을 보였다.

Fig. 2. 
Recommendation accuracy according to Word2Vec dimensional vector using XGBoost classifier

그림 3은 Word2Vec 벡터 차원에 따른 XGBoost Classifier의 학습시간에 대한 그림이다. Word2Vec의 벡터 차원이 증가할수록 학습할 데이터의 수가 증가함에 따라 학습에 필요한 시간 또한 시간과 비례하여 증가했다.

Fig. 3. 
Train time according to Word2Vec dimensional vector using XGBoost classifier

본 연구에서는 추천 정확도와 학습 속도를 비교해보았을 때 1차원 벡터에서 2차원 벡터로 증가했을 때의 추천 정확도의 폭과 학습시간을 고려하여 추천 정확도와 학습 속도 대비 Word2Vec 2차원 벡터에서의 학습이 가장 좋은 결과를 보였다.

기존 머신러닝은 Train 데이터와 그것을 기반으로 예측한 결과인 Test 데이터로 성능을 평가했다. 그러나 교차 검증은 Train 데이터와 Test 데이터 사이에 Validation 데이터를 넣어 과적합이 일어나는 지를 확인할 수 있으며 예방할 수 있다. 본 연구에서도 Validation 데이터를 추가하여 60%의 Train 데이터와 20%의 Validation 데이터, 20%의 Test 데이터를 통해 추천 정확도를 나타낸 결과는 표 5와 같다. 추천 정확도는 Validation 데이터와 Test 데이터의 평균을 나타냈다.