LLM 기반의 게임 이용자 경험 개선을 위한 리뷰 감성분석

2.1 대규모 언어 모델

대규모 언어 모델은 언어, 텍스트 등 자연어 처리 분야에서 높은 성능과 빠른 처리 속도로 많은 주목을 받는 기술이다. 어텐션 메커니즘(Attention mechanism)의 구조[2]를 활용하여 문장 안의 맥락을 파악하기에 모호한 표현이나 중립적인 의미를 포함한 문장에서 중요한 정보를 추출하는 데에 강건하고 올바른 감성 분류를 해내는 점이 감성분석에 있어서 큰 장점이다. 여기서 어텐션 메커니즘은 입력 시퀀스의 각 요소가 출력 시퀀스의 각 요소에 얼마나 중요한지를 측정하는 방식으로 작동하며 트랜스포머(Transformer)의 어텐션 메커니즘은 스케일드 닷-프로덕트 어텐션(Scaled dot-product attention)이라는 방식을 사용하고 아래의 식 (1)로 표현된다.

여기서 Q(Query)는 현재 처리 중인 토큰에 대한 정보를 의미하고 K(Key)는 각 입력 토큰을 특정한 기준으로 표현한 벡터이며 V(Value)는 입력 시퀀스의 정보를 포함한 표현 벡터이다. 스케일드 닷-프로덕트 어텐션은 이 세 가지 행렬의 상호작용으로 정의된다.

2.2 CLOVA-X

본 연구에서 사용한 모델인 CLOVA-X는 한국어에 특화된 대규모 언어 모델이다. 본 분석 과정에서 CLOVA-X를 선정한 이유는 리뷰에 대한 언어 순화(言語 純化)를 보완하기 위함이다. 리뷰를 작성하는 이용자인 클라이언트는 전문적인 칼럼니스트가 아니기 때문에 문맥과 필체가 거칠고 비속하고, 틀린 언어를 빈번히 사용할 수 있다. 즉, 리뷰를 작성한 이용자들이 당시에 느꼈던 점들을 두서없이 작성할 수 있기에 정확한 분석이 불가능하며 그로 인하여 고운 말과 표준어 및 올바른 말로 바꾸는 언어 순화 작업이 필요하다. 하지만 리뷰 내용을 효과적으로 이해할 수 있도록 대규모 언어 모델을 활용한다면 문제점을 최대한 해결할 수 있다.

그림 1은 CLOVA-X의 감성분석 작동 원리[3]에 대한 순서도를 나타내고 있다. CLOVA-X는 수집한 리뷰 내용을 입력하여 텍스트를 정제하고 토큰화 및 형태소 분석을 통해 분석이 가능한 형태로 변환하여 해당 문장에 대한 감성분석을 진행한다. 이는 한국어에 특화된 사전 학습을 수행하고 모델의 크기를 대폭 줄인 Shallow BERT(Bidirectional Encoder Representations from Transformer) 구조를 적용하여 Attention 정보를 활용해 기존의 언어 모델과 대비하여 빠른 분석 속도와 높은 정확도를 보인다.

Fig. 1.

Operating principle of CLOVA-X’s sentiment

Shallow BERT는 트랜스포머의 기존 셀프-어텐션(Self-Attention)의 구조로 이루어져 있지만 문자들의 양방향 문맥 처리로 정확한 문맥 이해가 가능하다. 이는 각 단어 간의 관계를 효율적으로 분석할 수 있다는 것에서 감성분석에서 큰 장점이다. 또한 Shallow BERT는 기존의 Base BERT[4]에 비해 낮은 계산복잡도로 애플리케이션 같은 사용자와 실시간으로 상호작용을 해야 하는 작업에서 강력한 성능을 보인다.

2.3 감성분석

감성분석에 관한 기존 연구는 텍스트 마이닝[5], 나이브 베이즈[6], 군집 분석을 활용하거나 감성 사전을 활용해 감성 유형별 가중치에 따라 분류하였다. 하지만 이러한 분석 기법들은 단어 사용에 대한 빈도, 동음이의어나 문맥에 따른 의미 변형을 감지하지 못한다는 한계가 있었지만 이후 BERT 모델에 기반한 한국어 자연어 처리 모델[7]의 등장으로 복잡한 문장 구조에 대한 정확도가 상승하고 있다[8]. 기존 연구에서는 대형 게임 플랫폼인 STEAM의 게임 리뷰 데이터를 활용하였다. 본 논문에서는 모델 호출 비용을 고려해 10,000개의 리뷰 데이터 중 1,000개의 리뷰를 선정하여 CLOVA-X로 감성분석을 시행하였다. 기존 연구에서 가장 높은 정확도를 보인 모델에 비해 약 4% 낮은 78.91%의 정확도를 기록하였다. 본 논문에서는 각 게임의 리뷰 데이터에 대해 공용 단어 사전과 키워드 추출을 활용하여 정성적 분석이 주를 이루고 있기에 감성분석의 정확도에 대한 개선 사항은 추후 프롬프트 엔지니어링과 리뷰 데이터의 추가적인 정제 과정을 통해 후속 연구에서 개선할 사항이 있음을 확인하였다.

2.4 국내 게임산업 현황

대한민국의 게임산업에 대한 성장세[9]는 2022년을 기준으로, 매출액은 전년 대비 5.8%P 증가한 22조 2,149억 원으로 집계되었고 수출액 또한 89억 8,175만 달러(한화 약 11조 6,039억 원*)로 전년 대비 3.6% 증가한 것으로 나타났다. 이중 모바일 게임이 전체 매출액의 58.9%P를 차지하였다. 세계 게임시장 점유율로는 7.8%를 차지하고, 이는 일본 다음으로 낮은 4위의 기록이고 전년 대비 0.2%P의 미세한 상승치이지만 점유율이 오른 것을 확인할 수 있었다. 한국의 게임시장이 점점 성장하는 경향을 보이고는 있지만 점유율, 1위, 2위를 차지하는 미국과 중국의 경우 각각 22.8%, 22.4%라는 높은 점유율을 보이고, 이는 한국에 약 3배가량의 차이이다. 아래의 그림 2는 2022년의 전년도에 비해 게임산업 매출이 증가하는 것을 시각화한 그래프이다[9].

Fig. 2.

2022 Revenue of the Korean gaming industry

3.1 분석계획

그림 3은 전반적인 분석 과정에 대한 흐름도이다. 분석에 앞서 데이터 수집을 위해 구글 플레이 스토어 내의 리뷰 데이터(Review data)에 접근하여 이용자가 남긴 평점, 받은 추천 수, 작성 날짜를 수집하여 각각 1,000개의 리뷰[10][11]를 확보하였다. 여기서 이용자란 일반적으로 게임을 플레이하는 유저(user)를 뜻하며 해당 리뷰 데이터는 게임을 플레이하며 유료 콘텐츠에 결제한 클라이언트의 유형과 소비 없이 무료 콘텐츠만 플레이하는 클라이언트의 유형으로 구분된다. 본 연구에서 사용한 데이터는 두 가지 유형을 무작위로 포함한다. 구글 플레이 스토어의 리뷰는 구글 플레이 스토어에서 자체적으로 가지는 필터링 규칙을 통해 광고, 스팸성 리뷰를 제외하고 데이터를 제공하기에 분석에 있어서 양질의 데이터를 확보할 수 있었다. 현재 두 게임 모두 세계적으로 큰 인기를 보유하고 있는 게임이지만 운영, BM(Business Model), 사용자 경험(UX)을 미루어 비교해 두 게임에 대한 장단점을 파악하였다.

Fig. 3.

Analysis flowchart

3.2 키워드 추출

수집한 리뷰의 명사들을 추출해 TF-IDF 기법으로 상위 키워드 5개를 수집하였다. TF-IDF는 텍스트 데이터 분석 및 키워드 추출에서 널리 사용되는 기법으로 본 연구에서는 데이터의 특성과 목적에 따라, 간결하면서도 해석이 쉬운 기법이 필요하였기에 추출 기법으로 선정하였다. 키워드 추출은 대량의 리뷰 데이터 속에서 주요한 정보를 포함하고 있는 키워드를 추출해 게임에 대한 정보를 더욱 효율적으로 분석할 수 있다. 각각의 키워드가 포함된 리뷰를 CLOVA-X로 분석하여 감성 비율을 파악하고 해당 부분에 대한 이용자들의 반응을 살펴보았다. 예를 들어 “과금”이라는 키워드에 이용자들의 감성 비율이 부정에 몰려 있다면 해당 요소에 대해서는 이용자들이 부정적인 감성을 가지고 있다고 추정한다. 여기서 과금(課金)이란 명사의 형태로 가격을 부가한다는 뜻이지만 게임상에서 언급되는 과금은 온라인상에서 게임 콘텐츠를 이용하는 클라이언트가 아이템이나 캐릭터 등을 구매하여 돈을 소비하는 행위를 뜻한다. 키워드 추출을 통해서 게임에 대해 이용자들의 인식과 감성을 대략 도출해 낼 수 있었다. 키워드 분석을 마친 후에는 효과적인 분석을 위해 공용 단어 사전을 활용하여 구체적인 분석을 진행하였다.

3.3 공용 단어 사전 구성

공용 단어 사전은 이용자들이 게임을 플레이할 때 보편적으로 평가하는 요소들을 하나의 그룹으로 만들어 키워드의 집합으로 구성된 사전이다.

위의 표 1은 공용 단어 사전의 샘플이다. ‘BM’은 게임 회사의 이윤 창출과 관련된 요소로 주로 이용자 과금과 관련된 내용을 포함한다. 게임 운영(Game operations)은 서비스 기간 진행되는 게임 내 업데이트와 이벤트의 질적인 측면을 평가한다. 콘텐츠는 이용자가 게임을 즐기면서 경험하는 주요 요소를 나타낸다. 사용자 경험(User experience)은 디자인과 접근성을 포함해 이용자가 직접 플레이하면서 느끼는 전반적인 경험을 평가하고 기술적 성능(Technical performance)은 게임 내 최적화 상태와 끊김 현상에 대한 이용자 피드백을 반영한다. 이렇게 총 5가지의 대분류로 이루어진 평가 그룹을 통해 그룹별로 이용자들이 게임에 대한 평가 결과를 효율적으로 정리할 수 있으며 분석 결과를 쉽게 활용할 수 있다.

Table 1.

Common word dictionary

4.1 키워드별 감성 비율 확인

전반적인 분석계획을 수립하고 게임별 전반적인 이용자들의 의견을 확인하기 위해 게임별 키워드 추출을 진행하였다. 키워드 추출을 통해서 각 게임에 대해서 이용자들이 대표적으로 가지고 있는 의견을 분석하고 이에 대해서 어떤 감성을 가지는지 도출하였다. TF-IDF 기법을 활용해 키워드 추출을 진행하였기에 두 게임에서 나타난 고유한 정보를 획득할 수 있다.

표 2에서 확인할 수 있듯이 H 게임의 경우 ‘게임’, ‘캐릭터’, ‘번역’, ‘스토리’, ‘과금’ 순으로 키워드가 추출되었다. 가장 높은 부정 비율을 보인 키워드는 ‘번역’으로 해외 게임의 특성상 콘텐츠의 자막을 현지어로 변환하는 과정 중 번역에 관한 오역이나 오류로 인해 국내 이용자들이 부정적인 평가를 내린 것으로 확인하였다.

Table 2.

H game keyword sentiment ratio

가장 높은 긍정 비율을 보인 키워드는 ‘과금’인데 H 게임의 경우 기본으로 지급되는 게임 콘텐츠의 캐릭터를 활용하여 게임 내의 콘텐츠를 즐기기에 충분하다는 이용자들의 의견이 반영된 것으로 보인다.

표 3에서는 L 게임에 추출된 키워드 대부분 부정 비율이 약 80% 이상이거나 그에 준하는 기록을 보였고 특히 ‘접속’에 관한 부정 비율이 90%에 근접하였다. 이는 실시간으로 진행하는 L 게임의 특성상 접속 시간이 지연되거나 프로그램이 실행 중에 정지 및 접속 해제가 되는 현상이 발생할 수 있는데 이용자들은 이러한 경험에 대해 부정적인 감성을 표현했음을 알 수 있었다.

Table 3.

L game keyword sentiment ratio

4.2 공용 단어 사전을 활용하여 L 게임과 H 게임 비교 분석

키워드 추출을 통해 전반적인 게임에 대한 분석을 마치고 이전에 정립한 공용 단어 사전을 활용해 감성 비율을 분석하였다. 이를 통해 항목별로 이용자들이 게임에 대해 어떤 감성을 가지고 게임을 이용했는지와 각 게임에서 각각 나타난 항목별 부정 감성 비율의 차이를 분석하였다. 두 게임 간의 항목별 부정 감성 차이를 파악하면 L 게임이 H 게임보다 상대적으로 어떤 부분이 부족한지 알아낼 수 있고 이를 통해 먼저 개선해야 할 항목들에 관해 확인할 수 있다는 가설로 접근하였다. 이는 게임의 유지와 보수에 있어 효율적인 개발 자료가 될 것이다.

표 4와 표 5는 공용 단어 사전을 통해 분석한 결과를 나타낸 표로 L 게임은 이전에 키워드 분석을 통해 도출해 냈던 감성 비율들과 비슷하게 ‘콘텐츠’ 항목을 제외하고 모든 항목이 80%가 넘는 부정 비율을 기록하였다. H 게임은 ‘게임 운영’을 제외하고 각 항목에서 약 60% 이상의 부정 비율을 기록했다.

Table 4.

Common word dictionary-based analysis - H game

Table 5.

Common word dictionary-based analysis - L game

공용 단어 사전을 통해 분석한 결과를 토대로 두 게임의 부정 비율의 차이를 표 6을 통해 확인해 보면 가장 높은 비율 차이를 보이는 항목은 ‘BM’ 그다음으로는 ‘기술적 성능’, ‘사용자 경험’, ‘게임 운영’, ‘콘텐츠’ 순서로 차이가 나타났다.

Table 6.

Difference in negative ratio between H game and L game

두 게임 간의 부정 비율 차이에서 BM 항목의 비율이 가장 높다는 점에서, L 게임의 BM이 H 게임보다 부정 피드백이 높다고 추정한다. 이에 대한 원인으로는 과금 구조의 강제성에 기인한다. 과금 강제성은 이용자가 게임 내 주요 콘텐츠나 목표를 달성하기 위해 금전적 지출이 필요하도록 설계된 시스템을 의미하는데 예를 들어, 성장 재료나 필수 아이템이 게임 내에서 충분히 제공되지 않고, 이를 얻기 위해 과금을 유도하는 구조이다. 이용자로서는 지속적인 경제적 부담감과 부정적인 감성을 유발할 가능성이 높다.

4.3 L 게임 중립 리뷰 분석

앞서 그림 4에서 알 수 있듯이 공용 단어 사전을 통해 분석한 감성 비율에서 L 게임의 중립 감성 비율은 5.9%로 수치 자체로만 비교한다면 유의한 수준은 아니지만 중립 감성이 포함된 리뷰가 거의 없는 H 게임과 비교하면 꽤 유의한 수치를 보인다. 표 7의 리뷰 전문을 살펴보면 중립 리뷰의 내용 중 대부분은 게임 내에서 발생한 버그나 게임 개선에 대한 요청 사항이었다. 업데이트 후 끊기는 현상, 게임 내 보상 미지급, 게임 이용 중에 생기는 불편 사항 등 개선을 바라는 의견으로 리뷰의 내용들에는 특별한 감성 표현 없이 게임에 대한 피드백이나 게임사에 대한 요청 사항에 대한 리뷰들이 중립으로 분류된 것을 파악하였다.

Fig. 4.

Graph on the sentiment ratios of the common word dictionary for H game and L game

Table 7.

Full text of neutral reviews for L game

중립 리뷰 중에는 해석하기에 따라 게임에 대한 불만 사항을 얘기하는 부정 감성이라 볼 수도 있지만 직접적으로 감성이 드러나는 단어나 어휘의 사용보단 대부분 게임의 내적인 이야기를 하는 것으로 나타났다. 리뷰의 내용 중 게임 내 튕기거나 끊기는 현상은 보통 게임을 이용할 때 부정적인 상황에 주로 사용되는 단어지만 긍정 또는 부정적인 상황 모두 포함할 수 있는 상황에서 나타날 수도 있다. 그 이유로는 이용자가 특정 상황에서 기술적 문제가 발생하지 않음을 언급하거나 이러한 문제를 겪었어도 부정적인 정서가 나타나지 않을 수 있기 때문이다. 따라서 게임 내에선 부정적인 의미를 보이는 단어이지만 이용자가 게임을 이용하면서 이러한 문제점들에 대해서 포용성을 가지고 이용한 것을 확인하고 단순히 감성의 극단적인 표현만을 고려하지 않고 범용적인 감성분석을 통해 맥락적인 중립성을 포함한 결과로 해석할 수 있다.

긍정, 부정, 중립 감성의 전체 비율을 보면 긍정과 부정 감성에 비해 중립 감성의 리뷰가 상대적으로 적은 비율을 차지하고 있지만 앞서 확인한 중립 감성 리뷰가 순수하게 피드백과 개선 사항에 관한 이용자들의 의견이라면 이는 개발사가 고쳐야 할 부분들을 객관적인 시선에서 바라본 중요한 정보가 될 수 있다. 비록 적은 비율의 중립 리뷰이더라도 이용자들의 의견을 수용하는 데에 있어서 중요함과 동시에 개선점을 찾아가는 근거가 될 수 있을 것으로 판단된다. 중립 리뷰를 작성한 다수의 이용자는 버그 및 끊김과 튕기는 현상에 대한 해결법을 요구하고 있었고 앞서 공용 단어 사전을 통해 분석한 결과, 이러한 내용은 ‘사용자 경험’, ‘기술적 성능’, ‘게임 운영’ 항목을 모두 관통하는 내용으로 중립 감성의 비율이 전체 비율에 비해 적은 비율을 차지한다고 해서 사소하게 여겨서는 안 되는 정보임을 도출할 수 있었다.

4.4 감성분석에 따른 개발 전략 제안

본 연구에서 정립한 공용 단어 사전의 항목별 분석 결과, L 게임은 다섯 개 항목 중 한 개를 제외하고 80% 이상의 부정 감성을 기록하였다. 이 중 가장 높은 수치를 보인 항목은 ‘게임 운영’이다. L 게임은 한국 게임 역사에서 오랜 기간 사랑받아 온 인기 게임 IP(Intellectual Property)였지만 시간이 지남에 따라 기존 BM을 통한 이윤 추구가 주를 이룸과 동시에, 게임의 재미를 증대시키는 업데이트의 부재로 결국 이용자들의 이탈까지 이어지고 있다. 게임 회사가 이윤을 추구하는 것은 자연스러운 현상이지만 이 과정에서 사용자 경험과 충돌해서는 안 된다. 이는 장기적으로 회사의 이미지와 게임에 대한 이용자의 평가에 부정적인 영향을 미칠 수 있기 때문이다. H 게임은 이윤 창출을 위해 특정 기간에만 캐릭터를 획득할 수 있는 한정 캐릭터 뽑기를 추가해 BM 전략으로 활용한다. 하지만 H 게임은 새로 출시한 한정 캐릭터가 없어도 기본적으로 제공되는 재화와 캐릭터로 메인 콘텐츠를 즐길 수 있고 이러한 시스템은 H 게임 이용자들에게 과금 없이도 게임을 즐길 수 있는 선택지를 제공한다. 반면에 L 게임은 몬스터를 사냥하는 아이템의 성능을 높이는 ‘강화’(Enchantment) 과정을 통해 강한 몬스터를 사냥하고 경쟁하는 것이 주요 콘텐츠이다. '강화'는 게임 내에서 거래되는 아이템의 능력치를 높이는 시스템을 의미하고 몬스터를 사냥하는 행위는 이용자가 게임 속 가상의 적들을 처치하며 보상을 얻고, 이를 통해 성장하여 다른 플레이어와 경쟁하는 것을 의미한다. 이 과정은 이용자의 성취감을 높이는 동시에 게임 내 자원을 소모하도록 설계되어 게임 경제와 게임사의 BM에 핵심 요소로 작용한다. 강화 과정에서는 추가적인 재화가 사용되는데, 이때 투입되는 상당한 재화는 대부분이 과금해야만 얻을 수 있는 재료로 구성되어 있다. 이러한 과금 강제성에 의해 게임을 즐기는 이용자들은 재정적 부담과 게임에 대한 흥미 상실로 이용자들의 이탈로 이어지고 있다. 이에 대해 L 게임은 기존의 방식에서 벗어나 이용자들이 과금하지 않고도 실력이나 노력으로 충분히 즐길 수 있는 콘텐츠를 추가해야 한다. 또한 지나친 과금 강제성에 지친 이용자들의 의견을 반영해 과금 요소를 축소하는 방향으로 개발을 진행하고 부가적으로 게임 내 튕김 현상이나 버그 등 최적화 문제를 해결해 사용자 경험을 높인다면 더 긍정적인 효과를 기대할 수 있다. 이러한 문제들을 해소하고 사용자 경험을 개선하기 위해 이용자의 의견을 수렴하고 소통하는 자세가 필요하다. 도출한 해결 전략을 통해 기존 이용자에게는 게임의 문제점이 완화되어 좋고 신규 이용자 유치에도 유의미한 홍보 효과가 될 수 있을 것으로 예상한다.