Home

이종욱의 연구[4]에서는 베스트셀러 도서의 순위가 공공도서관에서의 평균 대출 수에 어떠한 영향을 미치는 지에 대한 연구를 수행하였다. 2018년~2019년까지 총 104주 간의 공공도서관 대출 데이터셋과 Yes24 사이트의 동일 기간의 주간 베스트셀러 데이터를 사용하였으며, 베스트셀러의 순위가 사람들의 도서관 대출에 영향을 미치고 있다는 점을 확인하였다. 결론적으로 베스트셀러 순위는 이용자의 요구를 예측하고, 도서관의 장서 구성이나 출판사의 마케팅 전략 활용에 유용한 정보임을 알 수 있다.

김나연의 연구[5]에서는 2016년~2020년까지 총 5년간의 해외 출간 도서 데이터를 활용하여 누적 5 천부 이상 판매 여부를 예측하는 연구를 진행하였다. 판매 예측을 위해 작가, 출간 국가, 평점 평균, 평점 참여 수, 번역 만족도 등의 변수를 이용하였고 LightGBM 모델이 가장 좋은 예측 성능 모델임을 제시하였다. 해당 연구에서는 제목, 가격, 출판일, 장르 등 독자들의 도서 구매에 영향을 미치는 다른 메타 데이터를 활용하지 않았으며 5천 부 이상의 판매 여부에 대해서만 예측하였다는 점에서 본 연구와 차이가 있다.

랜덤 포레스트(Random forest)는 머신러닝 분야에서 널리 사용되는 앙상블 모델 중 하나로 다수의 결정 트리를 생성하고 이를 조합하여 더욱 강력한 모델을 만드는 방식이다[6]. 결정 트리 생성 시 특성(Feature)을 무작위로 선택하여 각각의 트리가 독립적으로 학습되도록 하며, 학습 데이터에서 무작위로 복원 추출하여 각 결정 트리를 학습시켜 오버피팅(Overfitting)을 방지하고 예측 성능을 높인다.

그래디언트 부스팅(Gradient boosting)은 2001년 Friedman에 의해 처음 제안된 모델로, 결정 트리 여러 개를 결합한 모델이다. 이전 모델이 예측하지 못한 데이터에 대해 새로운 모델을 반복적으로 학습하여 이전 모델의 오차를 보완하며 오차 함수가 최소화되도록 모델을 학습한다. 그래디언트 부스팅은 오버피팅을 예방할 수 있지만 학습 속도가 느리고 하이퍼파라미터 설정의 어려움이 발생한다[7].

CatBoost, XGBoost, LightGBM, 알고리즘이 대표적인 그래디언트 부스팅 라이브러리라고 할 수 있다[8]-[10].

CatBoost는 GBDT(Gradient Boosting Decision Tree) 기반 알고리즘 중 하나로, 결정 트리 여러 개를 연속으로 연결한 앙상블 모델의 일종이다. 다른 GBDT 모델과는 달리, 카테고리형 데이터 처리에 효과적인 Ordered target encoding 기법을 사용한다. 또한 오버피팅 방지를 위해 스태킹(Stochastic gradient boosting)과 폴딩 기법을 사용하여 모델의 성능을 높인다[8].

다중 퍼셉트론(MLP)은 인공신경망의 일종으로, 입력층, 은닉층, 출력층으로 구성된 모델이다. 각 층은 여러 개의 뉴런으로 이루어져 있으며, 노드 간의 가중치와 편향을 학습하여 입력층과 출력층 사이의 관계를 모델링한다. MLP는 비선형 관계를 근사할 수 있어 복잡한 문제에 대해서도 성능이 우수하다는 장점이 있지만 최적의 하이퍼파라미터를 찾는 것이 어렵고 오버피팅의 확률이 높다는 단점이 있다.

본 연구에서는 월별로 1,000위까지의 순위를 제공하는 Yes24 사이트의 월간 베스트셀러 페이지를 웹크롤링하여 2018년~2022년까지 5년간의 데이터를 수집하였다. 크롤링은 Python 라이브러리인 BeautifulSoup을 활용하여 각 도서의 제목, 작가, 출판사, 출판일, 판매 지수, 가격, 리뷰 개수, 평점, 장르 데이터를 총 59,290개 수집하였다. Pandas와 Numpy를 사용하여 하나의 데이터프레임으로 병합하여 실험 데이터셋을 구축하였다.

도서의 순위 변동 유형과 기간별로 몇 권의 도서가 베스트셀러 상위 200위를 유지했는지 확인하기 위한 사전 실험을 진행하였다. 베스트셀러 순위 내 도서 중 ‘언어의 온도’와 ‘코스모스’, 2권의 책에 대해 순위 변동 양상을 그림 1과 같이 그래프로 나타내었다. 2016년 8월에 출간된 ‘언어의 온도’는 꾸준히 상위권을 유지하다 점점 하락하여 2020년 6월 이후부터는 200위 권 밖에 랭크되는 양상을 보이고 있다. 2006년 12월에 발매된 ‘코스모스’는 15년 동안 베스트셀러 순위를 유지하고 있다.

Fig. 1. 
Ranking variation of bestseller books

다음은 상위 200위 이내에 머문 도서의 수에 대한 분석 실험 결과이다.

실험 결과, 200위 내에 진입하지 못한 도서가 전체의 72% (8,594권)에 해당되었다. 전체의 약 3%만이 6개월 이상 200위 이내를 유지하였고 순위 유지 기간은 매우 짧았다. 베스트셀러 상위권을 꾸준히 유지하는 도서는 매우 적었고 변화 속도가 심했다.

수집된 도서 데이터에서 중복 및 판매 지수 결측 행을 제거하여 총 11,874개의 데이터셋을 생성하였다. 모델 학습에 사용된 데이터프레임은 표 3과 같다. weighted_rating은 리뷰 개수에 가중치를 부여한 평점 데이터이다. title은 제목에 포함된 단어 데이터에 대한 tf-idf 계산값이다. genre, publisher, author의 범주형 데이터는 원 핫 인코딩(One-hot encoding)으로 수치형 데이터 변환 후 사용하였다. 범주형 데이터를 PCA 기법으로 차원 축소 후 실험에 사용하였다.

Fig. 2. 
Data processing and experimental procedure

본 실험의 목표는 특정 도서의 베스트셀러 200위권 내 3개월/6개월 이상 유지 여부 예측이다. 학습 데이터가 200위 순위권 내에 한 번도 진입하지 못한 경우는 클래스 0, 3개월 이상 진입한 도서는 클래스 1로 분류하였다. 또한 4단계의 판매 지수 구간을 예측하는 실험을 K-means 기법을 사용하여 진행하였다. 구간별 데이터에 발생한 불균형 분포를 해소하기 위해 과소 구간 데이터에 가중치를 두는 ADASYN 기법으로 데이터를 오버샘플링하였다.

표 4는 실험에 사용한 분류 알고리즘의 목록이고, 표 5는 GridSearchCV 수행 결과를 참고하여 설정한 각 모델별 하이퍼파라미터 내용이다.

본 실험에서 사용된 데이터 분석과 예측 모델은 Pandas, Numpy, scikit-learn, konlpy 등의 라이브러리를 이용하여 구현하였다. 또한 실험을 위한 훈련과 평가를 위한 데이터는 크롤링 및 전처리를 통해 수집한 총 11,874개의 데이터를 랜덤으로 8:2 비율로 나누어 각각의 데이터셋을 구축하였다.

각 실험 모델을 사용하여 Yes24 베스트셀러 데이터를 활용하여 3개월 이상과 6개월 이상 베스트셀러 200위 내에 머무는지에 대한 분류 예측을 각각 수행하고 각 모델의 예측 정확도를 비교하였다. 베스트셀러 순위 200위 내 유지 여부에 대한 실험 결과, 훈련 및 테스트 정확도(train/test accuracy) 각각 0.992과 0.96으로 다중 퍼셉트론 모델이 가장 높았다. 랜덤 포레스트와 CatBoost 모델의 정확도는 0.937과 0.930의 높은 정확도를 보였다. 다중 퍼셉트론으로 학습 데이터의 20%를 검증 데이터로 사용하여 학습한 결과, epoch 20 시점에서 손실 값이 크게 상승하여 오버피팅의 가능성을 확인하였다.

6개월 이상 상위 200위 내 유지 여부에 대한 실험 결과에서도 다중 퍼셉트론 모델이 가장 높았으며, 랜덤 포레스트와 CatBoost의 정확도가 0.969, 0.971로 그다음 높은 정확도를 보였다. 판매 지수 구간 예측 실험에서도 다중 퍼셉트론 모델이 높은 정확도를 보여주었다.

Fig. 3. 
Prediction accuracy by experiment model (3 months ranked in the top 200)

Fig. 4. 
Prediction accuracy (Over 6 months more ranked in top 200)

2023년 이후 출판되어 순위 데이터가 없는 신간 도서 3권(‘세이노의 가르침’, ‘메리골드 마음 세탁소’, ‘도둑맞은 집중력’)에 대해 베스트셀러 순위 200위 내 유지 여부 실험을 진행하였다. A, C, D, F 실험 모델은 3권 모두 순위를 유지하지 못할 것으로 예측했으며 B, E, G, H 모델은 ‘세이노의 가르침’만 순위를 유지할 것으로 예측하였다.

Fig. 5. 
Prediction accuracy (Sales classification)