Current Issue

신용등급 예측에 관한 초기 연구들은 주로 재무제표 기반의 정형 수치 정보를 중심으로 이루어졌다. Altman은 다섯 가지 주요 재무비율을 조합한 Z-score 모형을 제안하여 기업의 재무 건전성과 부도 가능성을 정량적으로 평가하는 기초를 마련하였고[4], 이후 이 모델은 다양한 판별분석 기법으로 확장되며 전통적 예측모형의 기준이 되었다. 이후 김성진·안현철은 기존 통계적 방법론의 한계를 보완하기 위해 랜덤 포레스트(Random forest) 기반 머신러닝 기법을 도입해 신용등급 예측 성능을 향상시켰고, 변수 간 상호작용과 비선형성을 반영하는 모델의 유효성을 실증하였다[5].이근희 외는 최근 설명 가능한 인공지능(Explainable AI)을 활용한 예측모형을 제안하면서 예측력뿐 아니라 해석 가능성과 실무 적용 가능성 또한 확보하고자 하였다[6].

이러한 연구들은 신용등급 예측에서 정형 수치정보의 유용성을 실증하였지만, 경영진의 판단, 미래 전략, 리스크 인식 등은 정형 데이터로는 충분히 반영되기 어렵다. 특히 ‘이사의 경영진단 및 분석의견(MD&A)’과 같은 텍스트 기반 공시는 기업의 신용위험을 보다 정교하게 포착할 수 있는 비정형 정보로 주목된다. 이에 본 연구는 정형 재무정보 중심의 기존 접근을 확장하여, MD&A 공시 텍스트를 정량화해 예측모형에 통합하고자 한다.

기업의 공시품질은 자본시장에서 기업의 신뢰도와 투명성, 정보비대칭 수준을 평가하는 핵심 요소로 작용한다. 이아영·김길훈은 기업의 MD&A 공시품질이 신용등급과 자본조달 비용에 유의한 영향을 미친다는 점을 실증하였으며[3], MD&A가 단순한 보고의 수단을 넘어 투자자 신뢰에 영향을 주는 질적 정보임을 강조하였다. 도용선·이다혜는 금융감독원 모범사례 준수 여부를 기준으로 MD&A의 공시구조와 표현 방식이 정보의 명확성과 가독성, 그리고 투자자 해석 용이성에 미치는 영향을 분석하였다[7]. 두 연구 모두, MD&A의 공시품질이 높을수록 기업의 정보 신뢰도가 제고되고, 시장에서 긍정적인 신호로 작용할 수 있음을 보여준다.

그러나 이러한 연구들은 대부분 수작업 기반의 평가 방식에 의존하고 있어 항목별 정보의 구조나 일관된 평가지표를 반영하는 데 한계가 있으며, 평가의 반복성과 실무 적용 가능성에도 제약이 있다. 본 연구는 이러한 한계를 극복하고자, 공시품질을 보다 구조적이고 일관된 기준으로 정량화하려는 접근을 시도한다.

최근 대형 언어모델(LLM)의 발전은 금융 분야의 비정형 텍스트 분석에 새로운 가능성을 제시하고 있다.

J. Jang and X. Wu[8]는 기업의 MD&A 전체 텍스트를 LLM에 입력하고 tone을 정량화한 후, 애널리스트의 이익예측오차와 비교하여 텍스트 감성이 실무적 유의성을 지닌다는 점을 실증하였다. 이 연구는 비영문 MD&A 문서에서도 LLM이 유의미한 정보를 추출할 수 있음을 보여준 초기 시도로, LLM의 텍스트 해석 가능성을 제시하였다.

X. Li et al.[9]은 프롬프트 기반 LLM을 활용하여 Give Me Some Credit 데이터셋의 구조화된 신용 데이터를 자연어로 변환한 후 신용위험 분류를 수행하였다. DeepSeek-r1-distill-llama-70b 모델을 사용하여 높은 정밀도(0.91)를 달성했으며, XGBoost, Random Forest, SVM, MLP 등 전통적 머신러닝 모델과 비교 분석을 수행하였다. 특히 SHAP 분석을 통해 신용 이용률(Revolving utilization)과 연체 이력이 가장 중요한 예측 변수임을 확인하였으며, 적대적 훈련(Adversarial training)에서 LLM과 XGBoost가 유사한 견고성을 보여 LLM의 단계별 추론 과정이 해석가능성 측면에서 전통적 블랙박스 모델을 보완할 수 있음을 시사하였다.

Y. Lee et al.[10]은 기업 신용평가에서 비재무적 정성 지표를 기반으로 구조화된 추론을 생성하는 토론 기반 다중 에이전트 시스템(KPD-MADS)을 개발하였다. Karl Popper의 비판적 대화 프레임워크에 기반한 10단계 상호작용 프로토콜을 통해, 단일 에이전트 시스템 대비 설명적 적절성(중앙값 4.0 vs 3.0)과 실용적 적용 가능성(4.0 vs. 3.0)에서 우수한 평가를 받았으며, 수동 평가(1920초) 대비 약 95%의 시간 단축(91.97초)을 달성하였다.

U. O. Ogbuonyalu et al.[11]은 LLM이 은행 리스크 모델에서 거래 내역, 고객 커뮤니케이션, 소셜미디어 감정, 금융 뉴스 등 다양한 비정형 데이터를 분석하여 차용자 행동과 신용도에 대한 깊은 통찰을 제공할 수 있다는 포괄적 리뷰를 제시하였다. JPMorgan Chase의 계약서 분석 자동화(36만 시간에서 수 초로 단축), Goldman Sachs의 실적발표 감정분석, Capital One의 행동 기반 신용평가 등 실무 사례를 통해, LLM이 리스크 예측 정확도를 개선하고 금융소외계층에 대한 포용적 평가를 가능하게 함을 실증하였다.

이처럼 LLM을 활용한 금융 텍스트 분석 연구가 활발히 진행되고 있으나, 대부분의 연구는 감성 분석, 리스크 예측, 정보 추출에 집중되어 있으며, 텍스트로부터 시장 관련 신호를 도출하거나 이미 구조화된 데이터의 분류 성능을 개선하는 데 초점을 맞추고 있다. 그러나 MD&A의 '공시품질' 자체, 즉 공시 문서가 규제 기준을 얼마나 충실히 준수하고 항목별 정보가 얼마나 완결적으로 작성되었는지를 LLM을 활용하여 체계적으로 정량화한 연구는 아직까지 시도된 바 없다. 본 연구는 이러한 연구 공백을 메우고자, 금융감독원이 제시한 6개 MD&A 작성 항목에 대한 기업의 준수 정도를 항목별로 구조화하여 정량화하는 방법을 제안한다. 이를 통해 정형 재무정보 중심의 신용등급 예측모형[4]-[6]에 정성적 공시품질 정보를 체계적으로 통합하여, 그림 1에서 제시한 바와 같이 유사한 재무 건전성을 가진 기업들 사이에서도 공시품질에 따른 신용등급 차이를 설명할 수 있는 정교한 분석 프레임워크를 제시하고자 한다.

본 연구는 281개 상장기업(금융업 제외)을 대상으로, 2023년 회계연도 기준 MD&A 텍스트 및 재무 변수를 독립변수로, 그리고 이듬해인 2024년의 신용등급을 종속변수로 설정하여 분석하였다. 이러한 시차를 둔 변수 설정은 MD&A 공시 정보가 기업의 미래 신용도에 미치는 영향을 보다 명확하게 파악하기 위함이다. 데이터는 FnGuide와 금융감독원 DART에서 수집하였다[12][13]. 신용등급은 AAA부터 D까지 21단계를 0~21로 변환하였으며, 이러한 수치화는 신용등급 간의 상대적 차이를 정량적으로 분석하고 회귀분석에 용이하게 활용하기 위한 조치이다. 재무 변수는 기업규모(SIZE), 총부채비율(TDL), 영업이익률(OM), 시장가치 대비 장부가치 비율(MB), 배당 여부(DIVP)를 사용하였다(G. H. Lee et al.[6]). 구체적으로, 기업규모(SIZE)는 자연로그를 취한 시가총액으로, 기업의 전반적인 규모와 시장 영향력을 대변한다. 총부채비율(TDL)은 총부채를 총자산으로 나눈 값으로, 기업의 재무 레버리지 및 부채 상환 능력을 나타낸다. 영업이익률(OM)은 영업이익을 매출액으로 나눈 값으로, 기업의 핵심 영업 활동을 통한 수익성을 평가한다. 시장가치 대비 장부가치 비율(MB)은 시가총액을 순장부가치로 나눈 값으로, 기업의 성장 잠재력과 시장의 기대치를 반영한다. 마지막으로 배당 여부(DIVP)는 배당 지급 유무를 나타내는 더미 변수로, 기업의 재무적 안정성과 주주 환원 정책을 간접적으로 시사한다.

MD&A 텍스트는 Python 라이브러리를 활용해 DART에서 크롤링한 후 전처리하였으며, 공시품질 평가는 LLM인 GEMINI 2.0 Flash Thinking 모델을 활용하여 수행하였다. 그림 2는 본 연구의 MD&A 텍스트 수집 및 공시품질 정량화 과정의 전체 워크플로우를 나타낸다. 이는 기존의 수동 평가 방식이 지닌 시간과 인적 자원 소모의 한계를 극복하고, 대량의 텍스트 데이터를 보다 일관적이고 객관적인 기준으로 평가하기 위함이다. 또한, 일반적인 GEMINI 2.0 Flash 모델보다 추론 성능이 강화된 Flash Thinking 모델을 활용하는 것이 평가의 일관성과 신뢰도 측면에서 더 우수한 결과를 보였다. 평가 기준은 금융감독원의 '기업공시 길라잡이'에 수록된 '이사의 경영진단 및 분석의견' 항목 지침을 참고하였다. 이 지침은 MD&A 공시의 목적, 포함되어야 할 내용, 그리고 작성 원칙 등을 명시하고 있어, 공시품질을 평가하기 위한 신뢰성 있는 근거를 제공한다. 이에 따라 6개 항목¹⁾에 대한 프롬프트를 구성하고, 자동 평가를 통해 각 항목별로 0점에서 6점까지 점수를 부여하였다. 그림 3은 LLM 평가에 사용된 프롬프트의 예시를 보여준다. 또한, MD&A의 총 낱말 수에 자연로그를 취해 공시의 양적 측정치인 'Length' 변수를 생성하였다. 이는 선행연구에서도 자발적 공시수준의 대용치로 활용된 바 있다[3].

Fig. 2. 
Workflow of the data collection process

Fig. 3. 
Example of the prompt

LLM 평가의 일관성과 신뢰도를 확보하기 위해, 모델의 하이퍼파라미터인 temperature 값은 0.3으로 설정하였다. Temperature는 0에서 2 사이의 값을 가지며, 값이 클수록 더 창의적이고 다양성이 높은 응답을 생성한다. 하지만 본 연구에서는 평가의 일관성과 재현 가능성을 중시하여 비교적 낮은 값으로 설정하였다.

또한, 각 MD&A 항목에 대해 20회 이상의 반복 평가를 수행하여 평균 점수를 최종 점수로 사용하였다. 이러한 반복 평가는 LLM의 확률적 특성으로 인한 평가 편차를 최소화하고, 안정적인 평가 결과를 도출하기 위한 통계적 방법이다. 실제로, 반복 평가 결과 항목별 점수의 표준편차가 평균 8% 이상 감소하여 평가의 안정성을 통계적으로 확인하였다(그림 4). 또한, LLM이 각 항목을 평가할 때 제시한 판단 근거를 병렬적으로 생성하도록 설계하였다[14]. 이는 LLM의 평가 결과를 단순히 수용하는 것을 넘어, 평가의 배경과 논리를 이해하고 필요시 검증할 수 있는 기반을 제공하여, 공시 텍스트와의 정합성을 강화하고 LLM 평가의 해석 가능성과 투명성을 제고하는 데 기여한다.

Fig. 4. 
Standard deviation by number of repetitions

본 연구는 MD&A 공시품질 변수들이 기업의 신용등급에 통계적으로 유의미한 영향을 미치는지를 실증적으로 분석하기 위해 다중 회귀분석 모형을 구축하였다. 회귀분석은 다양한 독립변수들이 종속변수에 미치는 개별적인 영향을 통계적으로 추정하고, 변수들 간의 관계를 수량화하는 데 효과적인 방법이다. 본 연구에서는 MD&A 공시품질과 관련된 정성적 항목들(LLM 평가 점수)을 주요 독립변수로 설정하고, 수치형으로 변환된 신용등급을 종속변수로 설정하였다. 회귀식은 다음과 같다.

회귀분석 결과(표 1 참조), MD&A 공시품질 항목 중 ‘재무상태 및 영업실적'(β=0.54, p=0.029)과 MD&A의 양적 측정치인 '분량'(β=0.55, p=0.023)이 기업 신용등급과 통계적으로 유의미한 양(+)의 관계를 나타냈다. 이는 기업이 MD&A를 통해 손익, 자산 구성, 산업 내 위험 요소 등에 대해 얼마나 체계적이고 상세한 설명을 제공하는지, 그리고 충분한 정보를 제공하는지가 외부 신용평가에서 긍정적인 신호로 작용함을 강력히 시사한다. 즉, 재무 상태와 영업 실적에 대한 충실하고 깊이 있는 설명은 기업의 투명성과 재무 건전성에 대한 신뢰를 높여 신용등급 상향에 기여할 수 있으며, 공시 분량이 많을수록 정보 비대칭이 감소하여 신용평가기관의 판단에 긍정적인 영향을 미칠 수 있음을 의미한다.

이러한 회귀분석 결과를 바탕으로, 본 연구는 분석을 확장하여 투기등급(0)과 투자등급(1)을 구분하는 이진 분류모델로의 적용 가능성을 탐색하였다. 신용등급의 하락, 특히 투기등급으로의 전환은 기업에게 자금조달 비용 상승, 대외 신인도 하락, 심지어 생존 가능성 저하와 같은 실질적이고 심각한 리스크를 초래할 수 있다[2][15]. 따라서 기업의 신용위험을 사전에 예측하고 관리하는 것은 기업 경영 및 투자 결정에 있어 매우 중요한 과제이다.

그림 5는 투기등급 기업과 투자등급 기업 간의 MD&A 공시품질 점수 차이를 시각적으로 명확하게 보여주는 자료이다. 이 그림은 각 등급 간 평균 공시품질 점수 차이가 통계적으로 유의미하게 나타남을 보여주며, 이는 MD&A 공시품질이 기업의 신용위험을 반영하는 유의미한 신호임을 재확인시켜 준다. 이러한 결과를 바탕으로, 본 연구는 재무변수와 회귀분석에서 유의미하게 나타난 MD&A 공시품질 항목들을 결합하여, 기업의 신용위험(투기등급 전환 가능성)을 예측하는 분류 예측 모형을 설계하였다. 이 모델은 재무 정보와 비재무적 정보인 MD&A 공시품질을 통합하여 기업의 신용도를 보다 포괄적으로 평가하고 예측하는 새로운 방법론을 제시한다.

Fig. 5. 
Comparison of MD&A scores by credit grade