뉴스 추천의 확증 편향을 완화하는 댐핑 요소 기반 반편향 하이브리드 재순위화 알고리즘

Ⅰ. 서 론

최근까지도 뉴스 추천 시스템은 사용자의 정보 소비 편의성을 극대화하는 방향으로 발전해 왔다[1][2]. 그러나 이러한 발전은 동시에 사용자가 선호하는 성향의 뉴스만 지속적으로 노출시키는 필터 버블(Filter bubble) 현상과 이것이 사용자의 인지적 편향과 결합하여 나타나는 확증 편향(Confirmation bias)을 심화시킨다는 비판을 받았다[3]-[5]. 확증 편향은 본래 개인이 자신의 기존 신념과 일치하는 정보를 선택적으로 수용하는 인지적 현상을 가리키지만, 추천 시스템이라는 알고리즘 매개 환경에서는 이 개인적 성향이 시스템이 만들어내는 구조적 편향과 뒤섞여 나타난다[6][7]. 따라서 사용자가 특정 카테고리의 뉴스에 편중되어 소비하는 현상을 관찰하더라도, 이것이 사용자 개인의 능동적 선택에 기인한 것인지, 아니면 애초에 추천 시스템이 편중된 후보군만을 제시했기 때문인지를 구분하기 어렵다는 근본적인 문제가 존재한다[8][9].

확증 편향과 필터 버블을 다룬 선행연구들은 추천 결과의 카테고리 편중도나 다양성 지표를 측정하는 데 그칠 뿐, 그 편향이 시스템의 후보 선정단계와 사용자의 실제 선택 단계 중 어디서 비롯되었는지 분리하여 정량화하지 않는다[10][11]. 이 때문에 추천 시스템이 편향되어 있다는 진단은 가능하지만, 개선하려면 시스템 설계를 개선해야 할지 혹은 사용자의 선택 패턴에 개입해야 할지 구체적인 방향을 정하기 어렵다.

또한, PageRank[12] 메커니즘을 추천 시스템에 이식한 대표적 연구로서 ItemRank[13]를 비롯한 Personalized PageRank 계열 알고리즘[14]은 개인화 점수를 계산할 때에 리셋 벡터(Reset vector)를 사용자의 과거 소비 이력 그대로 반영한다. 이 경우 댐핑 요소(Damping factor)가 커질수록 사용자의 기존 선호와 편향이 오히려 증폭되는 구조적 한계가 나타난다. 즉, 그래프 확산 메커니즘 자체는 정확도 향상에는 효과적이지만, 다양성이나 편향 완화라는 목적에는 그대로 적용하기 어려운 문제가 대두된다. 다양성 확보를 위한 후처리 재순위화(Post-hoc re-ranking) 기법으로 흔히 활용되는 행렬식 점 과정(DPP, Determinantal Point Process) 계열 방법[15] 역시 계산복잡도가 높고 커널 설계가 도메인에 민감하며, 편향 완화의 정도를 직관적인 파라미터 하나로 통제하기 어렵다는 제약이 있다.

본 연구는 MIND(Microsoft News Dataset)[16][17]의 사용자 클릭 로그를 활용하여 뉴스 추천 서비스 내 확증 편향의 메커니즘을 데이터 기반으로 검증하고, 이를 완화할 수 있는 알고리즘을 제안한다. 또한 본 연구의 분석 대상 알고리즘으로는 학계와 산업계에서 공통으로 검증된 대표적인 뉴스 추천 모델인 멀티 헤드 셀프 어텐션을 활용한 인공신경망 기반 뉴스 추천(NRMS, Neural News Recommendation with Multi-Head Self-Attention)[17]을 기반으로 한다. 이 모델은 선행연구에서 공통 벤치마크로 널리 활용되어 왔으며, 후보 뉴스 집합에 대한 클릭 확률을 예측하여 상위 항목을 추천한다.

기존의 MIND 데이터셋을 활용한 다수의 선행연구에서 NRMS 이외에 어텐션 기반 멀티뷰 학습을 활용한 인공신경망 기반 뉴스 추천 알고리즘[18]과 장기 및 단기 사용자 표현을 활용한 인공신경망 기반 뉴스 추천 알고리즘[19]도 함께 비교하였으나, 세 모델 간의 정확도 차이는 뚜렷한 우열 없이 논문마다 상이하게 보고되고 있음을 확인하였다[20]-[22]. 이에 본 연구는 세 모델을 모두 학습시켜 편향을 비교하는 대신, 선행연구에서 가장 널리 쓰이는 베이스라인이자 세 모델 중 구조가 가장 단순하여 그래프 기반 재순위화 기법의 효과를 가장 명확하게 관찰할 수 있는 NRMS를 대표 모델로 선정하여, DDHR(Damping-Debiased Hybrid Reranking)과의 비교실험을 수행하였다.

본 연구가 제안하는 DDHR 편향 완화 알고리즘은 ItemRank의 그래프 확산 메커니즘을 기반으로 설계되었다. ItemRank는 아이템 간 상관 그래프 상에서 PageRank 방식의 확산과 감쇠 메커니즘을 적용하여 사용자별 선호도를 효율적으로 계산한다. 이러한 구조적 특성은 기존 추천 모델을 재학습하지 않고도 후처리 방식으로 편향 완화 기법을 적용할 수 있는 기틀을 제공하며, 실제 서비스 환경에서의 적용 가능성을 높이는 장점이 있다.

본 연구는 먼저 확증 편향의 원인을 추천 시스템이 후보군을 구성하는 단계에서 발생하는 시스템 편향과 사용자가 노출된 후보 중 실제로 클릭을 선택하는 단계에서 발생하는 사용자 선택 편향으로 분리하여 분석하는 절차를 제안한다. 이러한 분석 절차를 바탕으로, 본 연구는 NRMS 모델을 실제로 학습시켜 각 모델의 구조가 만들어내는 카테고리 편향의 정도를 정량적으로 비교하여 평가한다. NRMS는 뉴스 제목만을 입력 정보로 활용하는 대표적인 뉴스 추천 모델로서 본 연구에서는 편향 분석을 위한 벤치마크 기준점으로 사용한다[17].

본 연구는 기존 알고리즘에서 발생하는 편향을 효과적으로 제어하기 위해, 기존 추천 모델의 재학습 없이 후처리 방식으로 적용 가능한 그래프 기반 하이브리드 재순위화 알고리즘인 DDHR을 제안한다. DDHR의 핵심적 차별성은 리셋 벡터의 설계 방식에 있다. 기존 ItemRank 계열의 알고리즘은 사용자의 과거 소비 이력을 리셋 벡터에 원형 그대로 반영하여 기존 선호를 강화하고 편향을 고착화하는 한계가 있었다. 반면 DDHR은 사용자의 기존 카테고리 편중과 반대 방향으로 작용하는 반편향(Debiasing) 리셋 벡터를 설계하여, 사용자가 과거에 상대적으로 적게 소비하거나 노출 빈도가 낮았던 카테고리에 더 높은 확률적 가중치를 부여한다. 이러한 설계를 통해, 댐핑 요소는 단순히 그래프 탐색의 확산 범위를 조절하는 하이퍼파라미터에 그치지 않는다. 즉, 댐핑 요소는 사용자의 기존 선호를 보존하는 것과 새로운 카테고리로 얼마나 확장할 것인지 균형을 조율하는 핵심 제어 변수로 작용한다. 최종적으로 DDHR은 딥러닝 기반 추천 모델이 산출한 관련성 점수와 그래프 기반 확산 점수를 가중 결합하는 하이브리드 재순위화 구조를 채택함으로써, 기존 추천 모델의 구조를 변경하거나 추가적인 재학습을 수행하지 않고도 즉각 적용이 가능한 실용성과 확장성을 제공한다.

Ⅱ. 관련 연구

III. MIND 데이터셋 기반 확증 편향 분석

3.1 분석의 개요

본 연구는 MIND의 MINDsmall_train 데이터를 분석하였다. 분석 데이터셋의 구체적인 명세는 표 1과 같다. 본 연구에서 사용된 핵심 지표는 다음 네 가지이다. top_category_ ratio는 클릭 또는 노출된 뉴스 중 가장 높은 빈도를 차지하는 카테고리의 비율로서 이 값이 클수록 특정 카테고리에 대한 편중이 큰 것을 의미한다. 정규화 섀넌 엔트로피(Normalized Shannon Entropy)는 카테고리 분포의 다양성을 0~1 범위로 정규화한 값이다[27]. ratio_gap은 clicked_top_ratio에서 exposed_top_ ratio를 뺀 값으로서 추천 노출에 비해 실제 클릭 행동의 편중 정도를 이용하여 사용자의 선택적 편향이 얼마나 작용했는지 측정한다. 젠센 섀넌 정보량(JSD, Jensen Shannon Divergence)는 두 카테고리 분포 간의 수학적 거리를 단일 수치로 요약하여 나타낸다[28].

Table 1.

Overview of the MINDsmall_train dataset used in the analysis

본 연구는 사용자의 과거 클릭 이력(History)과 누적 노출 개수(Impressions)를 기준으로 다량(Heavy) 사용자를 정의하였다. 표본 추출을 위해 절대 임계값 기준(history≥50회 및 impressions≥100회, n=3,246)과 백분위수 기준(상위 10% history≥42회 및 impressions≥283회, n=2,376)의 두 가지 방식을 검토하였다. 최종 분석 대상은 데이터의 편향을 줄이고 데이터 분포 특성을 반영할 수 있는 백분위수 기준(전체 사용자의 4.75%에 해당)으로 선정하였다. 분석 대상 전체 사용자의 평균 클릭 이력은 18.5회, 평균 노출 수는 116.9회, 평균 방문 횟수는 3.1회로 나타났다.

3.2 사용자 집단별 뉴스 다양성 비교

본 연구는 기존 연구에서는 밝히지 못한 사용자 집단을 구별하여 뉴스 선택의 다양성 비교를 실시하였다. 즉, 다량 사용자와 소량(Light) 사용자가 이용한 전체 뉴스(과거 클릭 이력 및 당일 실제 클릭 뉴스)를 대상으로 카테고리 분포의 entropy와 top_category_ratio를 비교 분석하였다. 소량 사용자의 평균 entropy는 0.8438, 다량 사용자는 0.7617로 나타났으며, top_category_ratio는 각각 0.4207과 0.3758로 나타났다. 두 집단 간의 통계적 차이를 검증하기 위해 Mann-Whitney U 검정[29]을 실시한 결과, 다량 사용자의 entropy가 소량 사용자에 비해 통계적으로 유의미하게 낮음이 확인되었다(U=28,950,218, p<0.001). 즉, 다량 사용자가 소량 사용자보다 상대적으로 더 특정 뉴스 카테고리에 집중하여 클릭하는 경향이 있는 것으로 나타났다.

또한, 다량 사용자 2,376명 개개인의 노출 뉴스와 실제 클릭 뉴스의 카테고리 편중도를 비교 분석하였다. 그 결과는 표 2와 같고 동일 집단 내 대응표본의 차이를 검증하기 위해 Wilcoxon 부호순위 검정[30]을 수행한 결과, 실제 클릭 뉴스의 편중도가 노출 뉴스의 편중도에 비해 통계적으로 유의미하게 높은 것으로 나타났다(W=2,554,509, p<0.001). 이는 다량 사용자가 노출된 뉴스 환경에 머무르지 않고 실제로 뉴스를 선택하고 클릭하는 과정에서 특정 카테고리에 더 집중하는 사용자의 자발적 선택 편향이 작용하고 있음을 시사한다.

Table 2.

Comparison of actual clicked category bias relative to news impressions among heavy users(n=2,376)

3.4 재방문 사용자의 종단 분석

이 절에서는 재방문 사용자(21,750명)를 대상으로 종단 분석을 실시하였다. 그 결과, 방문 순서에 따라 ratio_gap이 증가하는 사용자가 61.3%였으며 평균 기울기는 0.01919로 통계적으로 유의하였다(t=25.667, p<0.0001). 이 증가가 알고리즘적 강화 때문인지 검증하기 위해 시차 변수 회귀와 Granger 인과 검정[31]을 수행하였으나, 과거 클릭이 이후 이번 노출에 미치는 영향은 유의하지 않았고(p=0.625) Granger 검정도 양방향 모두 5.3%로 우연 수준에 그쳤다. 다만 이는 알고리즘적 강화가 없다는 확정적 증거가 아니라, 사용자별 관측치가 짧아(평균 5~8회) 검정력이 부족했을 가능성이 크다는 점을 함께 고려해야 한다. 카테고리 일관성 지표는 평균 0.48로, 사용자들이 매 방문 특정 카테고리에 쏠리되 그 대상 카테고리는 방문마다 자주 바뀌는 유동적 패턴을 시사한다. 결론적으로, 표 3과 같이 시스템 편향이 사용자 선택 편향보다 약 3배 크며, 사용자 선택 편향은 통계적으로 유의하나 동일 카테고리로의 고착화라기보다 방문 단위의 유동적 편중에 가깝다.

Table 3.

Comparison of Results with Previous Studies

IV. DDHR 알고리즘 제안

4.2 알고리즘

본 연구는 리셋 벡터의 설계 원리를 근본적으로 반전시킨 DDHR 알고리즘을 제안한다. DDHR은 사용자의 기존 카테고리 소비 분포와 반대 방향을 향하도록 리셋 벡터 E를 재설계하며, 구체적으로는 사용자가 상대적으로 적게 노출되었거나 소비하지 않은 카테고리에 더 높은 확률 질량을 배정하는 반편향 리셋 벡터를 도입한다.

이러한 설계 하에서 댐핑 요소 d는 더 이상 단순히 링크 구조에 대한 신뢰도만을 의미하지 않는다. d가 1에 가까울수록 확산은 그래프의 연결 구조, 즉 기존 소비 패턴과 상관된 항목들을 따라 이루어지는 반면, d가 0에 가까울수록 확산은 반편향 리셋 벡터가 지정하는 다양성 방향으로 재분배된다. 즉 DDHR에서 댐핑 요소는 추천의 정확도(기존 선호 패턴의 유지)와 편향 완화(새로운 다양성 방향으로의 이동) 사이의 균형을 명시적으로 조절할 수 있는 하나의 통제 가능한 파라미터로 재정의된다.

마지막으로, DDHR은 그래프 확산을 독립적인 추천 모델로 운용하는 대신, 사전 학습된 신경망 기반 추천 모델인 NRMS가 산출한 관련성 점수와 그래프 확산 점수를 가중합하는 후처리 재순위화 구조를 채택한다. 이러한 접근 방식은 추천 모델을 처음부터 재학습하는 데 수반되는 계산 비용과 시간적 부담을 덜 뿐만 아니라, 기존에 운영 중인 추천 시스템에 편향 완화 메커니즘을 별도의 플러그인 형태로 손쉽게 적용할 수 있도록 한다.

d는 그래프 확산 과정에서 인접 링크를 따라 이동할 확률과 반편향 방향으로 점프할 확률을 제어하는 역할을 한다. alpha는 최종 후처리 재순위화 단계에서 신경망 기반 추천 모델의 정확도와 그래프 기반 다양성 간의 상충 관계를 독립적으로 조절한다. 이들 두 파라미터를 독립적으로 스윕(Sweep)하면, 편향-정확도 트레이드오프를 2차원 곡면상에 표현할 수 있다. DDHR의 구체적인 알고리즘은 알고리즘 1과 같다.

Algorithm 1.

DDHR algorithm

DDHR은 ItemRank와 동일한 PageRank 기반 그래프 확산 메커니즘과 댐핑 구조를 유지하되, 사용자의 기존 선호를 증폭하던 리셋 벡터의 방향성을 반전시킴으로써 성능 극대화 중심의 알고리즘을 편향 완화 목적으로 재목적화하였다. 추천 다양성 확보를 위해 널리 활용되는 DPP 기반 재순위화 기법은 높은 계산 복잡도와 도메인에 민감한 커널 설계로 인해 편향 완화 수준을 직관적으로 제어하기 어렵다. 반면, DDHR은 댐핑 요소 d와 결합 가중치 alpha라는 두 개의 저차원 스칼라 파라미터만으로 편향-정확도 트레이드오프를 체계적으로 조절할 수 있어 실험적 통제와 결과 해석이 용이하다.

실용적 측면에서도 DDHR은 ItemRank의 계산 효율성을 그대로 계승하여 대규모 코퍼스에도 효율적으로 적용할 수 있다. 더욱이 신규 추천 모델을 재학습할 필요 없이 사전 학습된 NRMS의 예측 점수에 후처리 재순위화 계층으로 결합할 수 있으므로 기배포된 추천 시스템에 대한 적용성과 확장성이 높다. 아울러 로그 기반의 확증 편향 분석에서 활용된 지표체계(entropy, gini 계수, jsd, ratio_gap)를 알고리즘 평가에 동일하게 적용함으로써 데이터 현상분석부터 알고리즘 설계 및 성능 평가에 이르기까지 하나의 일관된 프레임워크 내에서 유기적으로 연계하였다.

V. 성능 평가

5.1 실험 설계

본 연구는 DDHR의 편향 완화 효과를 검증하기 위해 사전 학습된 NRMS를 베이스라인 모델로 설정하고, ① NRMS 단독 추천 결과와 ② NRMS의 예측 점수에 DDHR의 그래프 확산 점수를 결합한 후처리 재순위화 추천(NRMS+DDHR) 결과를 비교 분석하였다. 이를 위해 MINDsmall_train 데이터셋의 사용자 클릭 이력에 슬라이딩 윈도우 알고리즘(윈도우 크기 ③을 적용하여 동시 클릭(co-click)된 뉴스 노드 간의 관계를 반영한 공동 클릭 그래프(노드 51,282개, 엣지 1,502,554개)를 구축하였다.

그래프 확산 점수는 개인화 PageRank 방식의 반복 계산을 통해 산출하였다. 반복 계산은 연속된 두 반복 간 점수 벡터의 L1 노름 차이가 수렴 임계값(tolerance) 10⁻⁶ 미만이 될 때 종료하도록 설정하였으며, 최대 반복 횟수는 50회로 제한하여 수렴이 지연되는 경우에도 계산이 무한히 지속되지 않도록 하였다. 슬라이딩 윈도우 크기는 세션 기반 추천 연구에서 일반적으로 사용되는 범위(2~5)를 참고하여 3으로 설정하였다. 하지만, 슬라이딩 윈도우 크기가 결과에 미치는 영향을 확인하기 위해, 윈도우 크기 5로 재구성한 그래프(노드 51,282개, 엣지 2,279,707개)를 대상으로 동일한 조건(d=0.7, alpha=0.7)에서 1,000건 표본에 대해 재검증하였다. 그 결과는 표 4와 같이 정확도 지표 모두 윈도우 크기 3의 결과와 상대 변화율 0.15% 이내로 거의 동일하게 나타나, 본 연구의 윈도우 크기 선택이 핵심 결론에 실질적인 영향을 미치지 않음을 확인하였다. 이후 분석은 윈도우 크기 3을 기반으로 실행하였다.

Table 4.

Comparison of metric differences by window size (n=1,000)

반편향 리셋 벡터는 각 사용자의 과거 클릭 카테고리 분포와 역방향으로 가중치를 부여하는 방식으로 생성하였다. 본 실험에서 제시하는 결과는 d=0.7, alpha=0.7 조건에서 MINDsmall_dev 데이터셋의 impression 로그 전체 73,152건을 대상으로 산출한 것이다.

5.2 정확도 평가

전체 테스트 데이터셋(n=73,152)을 기준으로 산출한 정확도 지표는 표 5와 같다. 정확도 평가에는 뉴스 추천 연구에서 표준적으로 사용되는 네 가지 지표를 활용하였다. group_AUC는 사용자별 impression 단위로 클릭/비클릭 뉴스를 얼마나 잘 구분하여 순위를 매기는지를 나타내며, mean_MRR(Mean Reciprocal Rank)은 실제 클릭된 뉴스가 추천 순위에서 차지한 위치의 역수를 평균한 값으로 최초 클릭 항목의 순위를 반영한다. nDCG@k(Normalized Discounted Cumulative Gain at k)는 상위 k개 추천 항목 내에서 클릭된 뉴스들의 배치 순서를 종합적으로 반영하는 지표로, 본 연구에서는 k=5와 k=10을 사용하였다.

Table 5.

Comparison of recommendation accuracy metrics: NRMS vs. NRMS+DDHR(n=73,152)

group_AUC는 2.16%, nDCG@5와 nDCG@10은 각각 4.45%, 3.76% 소폭 하락하였으나, mean_MRR은 오히려 10.59% 상승하였다. mean_MRR의 상승은 DDHR이 관련성 점수에 그래프 다양성 점수를 결합하는 과정에서 추천 순위 전체가 재배열되며, 최초 클릭 항목의 순위만을 반영하는 MRR의 특성상 이러한 재배열이 오히려 유리하게 작용했을 가능성을 시사한다.

이러한 해석은 표 6의 편향 완화 결과와 함께 놓고 볼 때 보다 구체화될 수 있다. DDHR 적용 시 top_category_ratio, entropy, gini 계수가 모두 일관되게 개선되었다는 것은, 재순위화 과정에서 사용자의 기존 소비 패턴과 다른 카테고리의 뉴스가 상위권으로 이동하는 방향으로 순위가 재배열되었음을 시사한다. mean_MRR은 실제 클릭된 항목 하나의 순위 이동에 민감하게 반응하는 지표인 반면, group AUC와 nDCG는 클릭/비클릭 전체 후보 간의 상대적 순서를 종합적으로 평가하므로, 편향 완화를 위한 재배열 과정에서 발생한 비클릭 항목들 간의 순서 변화까지 함께 반영되어 상대적으로 하락한 것으로 해석된다. 다만 이는 지표의 정의적 특성에 근거한 해석이며, 개별 impression 단위에서 클릭 항목의 순위가 실제로 어떻게 이동하였는지를 직접 추적하는 분석은 수행하지 못하였다는 한계가 있다. 또한 mean_MRR이 상승한 반면 group AUC와 nDCG가 하락한 현상에 대해서는 지표의 정의적 차이에 근거한 해석을 제시하는데 그쳤으며, 클릭 항목의 원래 순위 구간별 재배열 양상을 직접 분해하거나 대표 사례를 통해 검증하는 심층 분석은 수행하지 못하였다.

Table 6.

Comparison of category bias Metrics: NRMS vs. NRMS+DDHR(n=73,152)

5.4 댐핑 요소 및 결합 가중치 조절 분석

이전 절에서 DDHR은 의도한 정확도-편향 트레이드오프를 명확하게 실현하였다. 정확도 지표는 group_AUC 와 nDCG 계열의 소폭 하락에도 불구하고 mean_MRR이 오히려 상승하는 등, 정확도를 일방적으로 희생시키는 구조가 아님을 확인하였고, 세 편향 지표(top_category_ratio, entropy, gini) 모두 일관되게 편향 완화 방향을 보였다. 단, 앞선 정확도 및 편향 평가는 d=0.7, alpha=0.7 단일 조건에서의 결과였다. 이번 절에서는 이 두 파라미터의 조합에 따라 트레이드오프가 어떻게 달라지는지 체계적으로 탐색하였다.

표 7은 데이터 수 1,000개의 표본을 대상으로 댐핑 요소 d ∈ {0.3, 0.5, 0.7, 0.85, 0.95}와 결합가중치 alpha ∈ {0.5, 0.7, 0.9}의 15가지 조합에 대해 정확도(group_AUC)와 다양성(Entropy)의 변화를 동시에 분석하였다. 실험 결과, alpha가 트레이드오프를 결정하는 주된 요인이며 댐핑 요소는 각 alpha 수준 내에서 미세 조정 역할을 하는 것으로 나타났다. alpha=0.5, 0.7, 0.9의 세 구간은 서로 뚜렷이 분리된 군집을 이루었으며, 동일한 alpha 내에서 댐핑 요소에 의한 변동폭은 alpha가 커질수록(0.5→0.9) 감소하였다. 이는 결합가중치가 클수록 그래프 확산 점수의 반영 비중이 작아지면서 댐핑 요소의 영향력이 함께 희석되기 때문으로 해석된다. 15개 조합 중 14개는 entropy와 group_AUC 사이에 명확한 단조적 트레이드오프를 보였으나, d=0.95, alpha=0.9 조합은 d=0.85, alpha=0.9 조합에 비해 group_AUC(0.6558 대 0.6563)와 entropy(0.8426 대 0.8431) 모두 낮게 나타나 예외적 지점으로 확인되었다.

Table 7.

Comparison of accuracy and diversity across damping factors and weights(n=1,000)

1,000건 표본의 예비 탐색에서 d=0.95, alpha=0.9 조합이 d=0.85, alpha=0.9 조합에 비해 정확도와 다양성이 모두 낮은 예외적 현상이 관찰되어, 이 현상의 재현성을 확인하기 위해 10,000건 표본으로 동일한 15개 조합을 재검증하였다. 표 8에서는 데이터셋의 개수를 늘려 10,000개를 대상으로 댐핑 요소 d ∈ {0.3, 0.5, 0.7, 0.85, 0.95}와 결합가중치 alpha ∈ {0.5, 0.7, 0.9}의 15가지 조합에 대해 정확도(group_AUC)와 다양성(Entropy)을 동시에 측정하였고 이를 그림 1과 같이 시각화하였다.

Table 8.

Comparison of accuracy and diversity across damping factors and weights(n=10,000)

Fig. 1.

Visualization comparison of accuracy and diversity (n=10,000)

이전 분석과 동일하게 alpha가 정확도-다양성 트레이드오프의 주된 결정 요인으로 작용하였으며, 댐핑 요소 d는 각 alpha 수준 내에서 미세 조정 역할을 하는 것으로 나타났다. alpha 수준별 group_AUC 변동폭은 alpha=0.5에서 0.0256이었던 반면 alpha=0.9에서는 0.0013으로 크게 줄어, 결합가중치가 클수록 그래프 확산 점수의 영향력이 희석됨을 확인하였다. 15개 조합 중 14개는 entropy와 group_AUC 사이에 완전한 단조적 트레이드오프를 보였으나, d=0.95, alpha=0.9 조합은 d=0.85, alpha=0.9 조합에 비해 group_AUC (0.6614 대 0.6615)와 entropy(0.8392 대 0.8401) 모두 낮게 나타났다.

이 현상은 1,000건 예비 표본에서도 동일하게 관찰되었으며 10,000건 표본에서 재현됨으로써, d가 지나치게 높은 극단값에서는 그래프 확산이 협소한 구조로 수렴하여 오히려 추천 순위에 잡음을 더할 수 있다는 가설을 뒷받침하는 안정적인 근거를 확보하였다. 전체 조합 중 d=0.95, alpha=0.7 조합이 정확도 손실(-1.35%)과 다양성 개선(+3.38%)의 균형이 가장 우수한 절충 지점으로 확인되었다.

VI. 결 론

본 연구는 MIND의 사용자 클릭 로그를 분석하여 뉴스 추천 서비스 내 확증편향을 검증하고, 이를 완화하는 그래프 확산 기반 재순위화 알고리즘 DDHR을 제안 및 검증하였다. 분석 결과에서 후보군 구성 단계의 시스템 편향이 사용자의 선택 편향보다 약 3배 크게 나타나 초기 필터 버블이 지배적임을 확인하였다. 아울러 종단분석에서는 방문이 거듭될수록 선택 편향이 완만히 강화되는 유의한 추세가 관찰되었으나 인과검정에서는 뚜렷한 신호를 식별하지 못하였다.

이를 바탕으로 사용자의 소비 성향과 반대되는 반편향 리셋 벡터를 도입한 DDHR을 NRMS에 적용하여 전체 테스트 데이터셋(n=73,152)으로 검증한 결과, top_category_ratio(-8.24%), entropy(+3.62%), gini 계수(-8.41%) 등 편향 지표가 일관되게 개선되었고, 이는 1,000건 예비 결과와도 유사하게 재현되어 안정적인 효과임이 확인되었다. 정확도는 group_AUC와 nDCG가 소폭 하락한 반면, mean_MRR은 오히려 10.59% 상승하여, 정확도를 일방적으로 희생시키지 않는 트레이드오프임을 보였다. 나아가 댐핑 요소와 결합가중치의 격자 탐색을 통해, 결합가중치가 트레이드오프의 주된 결정 요인이며 댐핑 요소는 미세 조정 역할을 함을 확인하였다. 다만 댐핑 요소가 극단적으로 높은 특정 지점(d=0.95, alpha=0.9)에서는 정확도와 다양성이 동시에 저하되는 예외 현상이 두 표본 규모에서 일관되게 재현되어, 댐핑 요소상승이 항상 유리하지는 않음을 시사하였다.

본 연구의 시사점은 다음과 같다. 먼저 확증 편향을 단일한 현상으로 다루던 기존 연구와 달리, 본 연구는 편향의 원인을 시스템 요인과 사용자 요인으로 분해하여 각각의 상대적 크기를 정량화함으로써 편향이 형성되는 다층적 구조를 규명하였다. 아울러 로그 기반 관찰 분석만으로는 검증하기 어려웠던 인과적 질문에 대해, 댐핑 요소와 결합가중치를 직접 조작하는 통제된 개입 실험을 통해 실증적 근거를 제시함으로써 관찰연구의 한계를 보완하였다. 나아가 DDHR은 기존 추천 모델의 재학습 없이 후처리 방식으로 적용 가능하며, 두 개의 저차원 파라미터만으로 정확도-편향 트레이드오프를 체계적으로 통제할 수 있다는 점에서 실무적 활용성이 높다.

본 연구의 한계점은 다음과 같다. 본 연구에 사용한 데이터셋에서 관찰 기간이 5~6일로 짧고 대분류 카테고리 수준에 그쳐 장기적이고 세부적 필터 버블은 다루지 못하였다. 또한, 다량 사용자와 소량 사용자 간 편향 비교 분석은 집계 방식에 따라 결과가 상반되는 것으로 나타났다. DDHR 검증은 데이터 정합성 문제로 NRMS 단일 모델에 한정되었다. 파라미터 탐색도 15개 조합에 그쳤고 통계적 유의성 검정을 수행하지 못하였다. 추후에는 지표 차이의 통계적 검증, 다양한 추천 알고리즘으로의 확장, 댐핑 요소를 사용자별로 자동 조절하는 적응형 메커니즘 개발이 필요하다. 또한 클릭 항목의 원래 순위 구간에 따라 DDHR 적용 후 순위가 어떻게 변화하는지를 정량적으로 분해하고, 대표적인 사례에 대한 정성적 분석을 병행함으로써 mean_MRR 상승의 메커니즘을 규명할 필요가 있다.

Acknowledgments

이 논문은 2025학년도 제주대학교 교원성과지원사업에 의하여 연구되었음

References

• K. Han, "Personalized News Recommendation and Simulation based on Improved Collaborative Filtering Algorithm", Complexity, Vol. 2020, No. 1, Art. no. 8834908, pp. 1-12, Oct. 2020. [https://doi.org/10.1155/2020/8834908]
• S. Lee and S. W. Kang, "User Understanding and Perceptions of News Recommendation Algorithms : Relationships with Attitude-Consistent News Exposure, News Trust, and News-Seeking Behavior", Korean Journal of Journalism & Communication, Vol. 68, No. 1, pp. 348-385, Feb. 2024. [https://doi.org/10.20879/kjjcs.2024.68.1.010]
• E. Pariser, "The Filter Bubble: How the New Personalized Web is Changing What We Read and How We Think", Penguin, May 2011.
• S. Flaxman, S. Goel, and J. M. Rao, "Filter Bubbles, Echo Chambers, and Online News Consumption", Public Opinion Quarterly, Vol. 80, No. S1, pp. 298-320, Mar. 2016. [https://doi.org/10.1093/poq/nfw006]
• A. R. Arguedas, C. Robertson, R. Fletcher, and R. Nielsen, "Echo Chambers, Filter Bubbles, and Polarisation: A Literature Review", Reuters Institute for the Study of Journalism, pp. 1-42, Jan. 2022. [https://doi.org/10.60625/risj-etxj-7k60]
• H. Kang, S. T. Han, B. Jung, and Y. Shin, "On the Algorithm of Recommendation System for Personalization", Journal of The Korean Data Analysis Society Vol. 6, No. 4, pp. 1043-1049, Aug. 2004.
• J. S. Lee, "Selective Exposure and Bias by Recommendation Systems", KISO Journal, Vol. 51, pp. 52-55, Jun. 2023.
• A. J. Chaney, B. M. Stewart, and B. E. Engelhardt, "How Algorithmic Confounding in Recommendation Systems Increases Homogeneity and Decreases Utility", Proceedings of the 12th ACM Conference on Recommender Systems, pp. 224-232, Vancouver, British Columbia, Canada, Oct. 2018. [https://doi.org/10.1145/3240323.3240370]
• B. Edizel, F. Bonchi, S. Hajian, A. Panisson, and T. Tassa, "FaiRecSys: Mitigating Algorithmic Bias in Recommender Systems", International Journal of Data Science and Analytics, Vol. 9, No. 2, pp. 197-213, Mar. 2020. [https://doi.org/10.1007/s41060-019-00181-5]
• J. Chen, H. Dong, X. Wang, F. Feng, M. Wang, and X. He, "Bias and Debias in Recommender System: A Survey and Future Directions", ACM Transactions on Information Systems, Vol. 41, No. 3, pp. 1-39, Jul. 2023. [https://doi.org/10.1145/3564284]
• Y. Zheng, C. Gao, X. Li, X. He, Y. Li, and D. Jin, "Disentangling User Interest and Conformity for Recommendation with Causal Embedding", Proceedings of the Web Conference 2021, Ljubljana Slovenia, pp. 2980-2991, Apr. 2021. [https://doi.org/10.1145/3442381.3449788]
• D. F. Gleich, "PageRank Beyond the Web", SIAM Review, Vol. 57, No. 3, pp. 321-363, Sep. 2015. [https://doi.org/10.1137/140976649]
• M. Gori, A. Pucci, V. Roma, and I. Siena, "Itemrank: A Random-Walk Based Scoring Algorithm for Recommender Engines", IJCAI 2007, Vol. 7, pp. 2766-2771, Jan. 2007. [https://doi.org/10.1007/978-3-540-77485-3_8]
• S. Park, W. Lee, B. Choe, and S. G. Lee, "A Survey on Personalized PageRank Computation Algorithms", IEEE Access, Vol. 7, pp. 163049-163062, Nov. 2019. [https://doi.org/10.1109/ACCESS.2019.2952653]
• A. Kulesza and B. Taskar, "Determinantal Point Processes for Machine Learning. Foundations and Trends® in Machine Learning", Vol. 5, No. 2-3, pp. 123-286, Dec. 2012. [https://doi.org/10.1561/2200000044]
• F. Wu, Y. Qiao, J. H. Chen, Wu, C., T. Qi, J. Lian, D. Liu, X. Xie, J. Gao, W. Wu, and M. Zhou, "MIND: A Large-scale Dataset for News Recommendation", Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, pp. 2597-3606, Jul. 2020. [https://doi.org/10.18653/v1/2020.acl-main.331]
• C. Wu, F. Wu, S. Ge, T. Qi, Y. Huang, and X. Xie, "Neural News Recommendation with Multi-head Self-attention", Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP-IJCNLP), pp. 6389-6394, Hong Kong, China, Nov. 2019. [https://doi.org/10.18653/v1/D19-1671]
• C. Wu, F. Wu, M. An, J. Huang, Y. Huang, and X. Xie, "Neural News Recommendation with Attentive Multi-view Learning", arXiv preprint arXiv:1907.05576, , Jul. 2019. [https://doi.org/10.48550/arXiv.1907.05576]
• M. An, F. Wu, C. Wu, K. Zhang, Z. Liu, and X. Xie, "Neural News Recommendation with Long-and Short-term User Representations", Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy, pp. 336-345, Jul. 2019. [https://doi.org/10.18653/v1/P19-1033]
• Y. Liu, J. Zhang, Y. Dang, Y. Liang, Q. Liu, G. Guo, and X. Wang, "Cora: Collaborative Information Perception by Large Language Model’s Weights for Recommendation", Proceedings of the AAAI Conference on Artificial Intelligence, Pennsylvania Convention Center, Vol. 39, No. 12, pp. 12246-12254, Feb.-Mar. 2025. [https://doi.org/10.1609/aaai.v39i12.33334]
• R. Wang and W. Lu, "Modeling Multi-interest News Sequence for News Recommendation", arXiv preprint arXiv:2207.07331, , Jul. 2022. [https://doi.org/10.48550/arXiv.2207.07331]
• M. H. Nguyen, T. T. Nguyen, M. N. Ta, T. Le, and H. T. Nguyen, "Co-NAML-LSTUR: A Combined Model with Attentive Multi-view Learning and Long-and Short-Term User Representations for News Recommendation", International Conference on Multi-disciplinary Trends in Artificial Intelligence, pp. 106-119, Dec. 2025. [https://doi.org/10.1007/978-981-95-4960-3_9]
• S. Vrijenhoek, "Do You MIND? Reflections on the MIND Dataset for Research on Diversity in News Recommendations", arXiv Preprint arXiv:2304.08253, , Apr. 2023. [https://doi.org/10.48550/arXiv.2304.0825]
• T. Qi, F. Wu, C. Wu, and Y. Huang, "Pp-rec: News Recommendation with Personalized User Interest and Time-aware News Popularity", Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Online, pp. 5457-5467, Aug. 2021. [https://doi.org/10.18653/v1/2021.acl-long.424]
• W. Liu, Y. Xi, J. Qin, X. Dai, R. Tang, S. Li, and R. Zhang, "Personalized Diversification for Neural Re-ranking in Recommendation", 2023 IEEE 39th International Conference on Data Engineering (ICDE), Anaheim, CA, USA, pp. 802-815, Apr. 2023. [https://doi.org/10.1109/ICDE55515.2023.00067]
• R. Jin and D. Li, "(Debiased) Contrastive Learning Loss for Recommendation (Technical Report)", arXiv preprint arXiv:2312.08517, , Dec. 2023. [https://doi.org/10.48550/arXiv.2312.08517]
• U. Kumar, V. Kumar, and J. N. Kapur, "Normalized Measures of Entropy", International Journal of General Systems, Vol. 12, No. 1, pp. 55-69, Feb. 1986. [https://doi.org/10.1080/03081078608934927]
• M. L. Menéndez, J. A. Pardo, L. Pardo, and M. D. C. Pardo, "The Jensen-Shannon Divergence", Journal of the Franklin Institute, Vol. 334, No. 2, pp. 307-318, Mar. 1997. [https://doi.org/10.1016/S0016-0032(96)00063-4]
• N. Nachar, "The Mann-Whitney U: A Test for Assessing Whether Two Independent Samples Come from the Same Distribution", Tutorials in Quantitative Methods for Psychology, Vol. 4, No. 1, pp. 13-20, Mar. 2008. [https://doi.org/10.20982/tqmp.04.1.p013]
• T. Y. Kim, C. Park, S. Kim, M. Kim, W. Lee, and Y. Kwon, "A Wilcoxon Signed-rank Test for Random Walk Hypothesis based on Slopes", Jouranl of the Korean Data and Information Science Society, Vol. 25, No. 6, pp. 1499-1506, Nov. 2014. [https://doi.org/10.7465/jkdi.2014.25.6.1499]
• E. I. Dumitrescu and C. Hurlin, "Testing for Granger Non-causality in Heterogeneous Panels", Economic Modelling, Vol. 29, No. 4, pp. 1450-1460, Jul. 2012. [https://doi.org/10.1016/j.econmod.2012.02.014]