가중치 조정 파라미터를 활용한 확장된 가중 상관계수 연구

Ⅰ. 서 론

웹의 데이터 분석에서 변수 간의 관계를 측정하는 것은 매우 중요한 과정이며, 이는 경제학, 교육학, 사회과학, 데이터 과학 등 다양한 분야에서 활용되고 있다. 특히 상관계수(Correlation coefficient)는 두 변수 간의 선형 관계를 정량적으로 측정하는 대표적인 방법이다. 그중 피어슨 상관계수(Pearson correlation coefficient)는 가장 널리 사용되는 방식으로, 두 변수의 공분산을 표준편차로 정규화하여 상관성을 측정한다[1].

그러나 피어슨 상관계수는 모든 데이터 포인트를 동일한 중요도(weight)로 고려한다는 한계를 가진다. 즉, 특정 데이터가 더 중요한 경우(예: 특정 그룹의 응답 또는 신뢰도가 높은 데이터)가 있더라도 이를 반영하지 못하는 문제가 발생한다. 이를 해결하기 위해 가중 상관계수(Weighted correlation coefficient​)가 제안되었으며, 데이터 포인트별 중요도를 다르게 설정하여 보다 현실적인 관계를 측정할 수 있도록 하였다[2].

하지만 기존의 가중 상관계수 또한 한계를 가지며, 극단적인 가중치(예: 데이터의 편중)에 대한 조정이 어렵다는 문제가 있다. 따라서 본 논문에서는 이러한 한계를 보완하기 위해 가중치 조정 파라미터 상관계수(WAPCC, Weighted Adjustment Parameter Correlation Coefficient)를 제안한다. 본 논문의 목표는 다음과 같다. 첫째, 기존 상관계수(피어슨 상관계수, 가중 상관계수)의 장단점을 분석하고, 어떤 상황에서 기존 방법이 적절한지를 평가한다. 둘째, 새로운 방법론인 WAPCC를 제안하고, 데이터 분석에서의 활용 가능성을 탐색한다. 셋째, 기존 방법들과 WAPCC를 실제 데이터를 이용하여 비교 분석하고, 확장된 가중 상관계수가 가지는 실질적 이점을 논의한다. 넷째, 실제 설문 데이터를 사용하여 피어슨 상관계수, 가중 상관계수, WAPCC를 비교 분석한다. 다섯째, WAPCC가 데이터 분석에서 가지는 실질적인 장점을 평가하고 논의한다. 여섯째, 극단적인 가중치를 조정했을 때 기존 방법과의 차이를 실험적으로 분석한다.

본 논문을 통해 WAPCC가 데이터 분석에서 보다 정밀한 관계 측정에 기여할 수 있음을 검증하고자 한다.

본 논문의 구성은 다음과 같다. 제2장에서 관련 연구를 분석하고, 제3장에서는 본 연구에서 제안하는 WAPCC를 상세히 기술한다. 제4장에서는 실험 및 분석을 제시하며, 제5장에서 결론 및 향후 과제를 논의한다.

Ⅱ. 관련 연구

Ⅲ. 가중치 조정 파라미터 상관계수

기존의 피어슨 상관계수와 가중 상관계수는 변수 간의 관계를 측정하는 데 활용되어 왔다. 그러나 기존 방법들은 모든 데이터 포인트에 동일한 가중치를 부여하거나, 미리 정의된 가중치를 적용하기 때문에 몇 가지 한계를 갖는다.

본 논문에서는 기존 가중 상관계수의 한계를 극복하기 위해 가중치 조정 파라미터(α)를 추가한 확장된 가중 상관계수(WAPCC)를 제안한다.

기존의 가중 상관계수는 가중치를 부여하여 각 데이터의 중요도를 반영하지만, 이상치에 높은 가중치가 부여될 경우 전체 상관관계 결과가 왜곡될 수 있다. 이를 해결하기 위해 본 논문에서는 가중치 조정 파라미터를 도입하여 이상치의 영향을 적절히 조절하고자 한다.

즉, 가중치가 높은 데이터일수록 상관관계에 미치는 영향이 크지만, WAPCC는 가중치 조정 파라미터를 통해 이상치가 존재하더라도 전체 상관계수 계산에서 편향이 발생하지 않도록 가중치를 부드럽게 조정하는 메커니즘을 제공한다. 이러한 조정 과정을 통해 이상치가 포함된 데이터에서도 신뢰할 수 있는 상관계수를 산출할 수 있으며, 기존 방법 대비 이상치에 덜 민감한 보다 견고한 상관계수 계산이 가능해진다.

WAPCC를 적용하기 전에 변수 정규화 과정이 필요하다. 변수들을 0~1 범위로 정규화하는 이유는 다음과 같다. 첫째, 변수마다 크기나 단위가 다를 경우 직접 비교가 어려우므로, 정규화를 통해 분석의 신뢰성을 높일 수 있다. 둘째, 데이터의 스케일을 조정함으로써 가중치가 보다 효과적으로 반영될 수 있다.

변수 X를 0~1 범위로 정규화하는 공식은 식 (3)과 같다.

• X : 원본 데이터 값
• X_max: 해당 변수 X의 최대값
• X_min : 해당 변수 X의 최소값
• X_norm : 정규화된 변수 값 (0~1 범위)

최적의 α값을 찾기 위한 알고리즘은 다음과 같이 구성된다.

1단계는 실험적 α ∈ {1.0, 1.1, 1.2,......,2.0})범위를 설정한다.

이 범위를 설정한 이유는 α ∈ {1.0,1.1,1.2,...,2.0}으로 설정한 이유는 기존 가중 상관계수(α = 1.0)와의 차이를 비교하고, 조정 강도 탐색 (1.0 ≤ α ≤ 2.0) 탐색을 통해 이상치 영향 최소화와 데이터 보존의 균형점을 찾기 위함이다. 0.1 간격으로 세밀한 변화 분석을 통해 효과를 정밀하게 평가하며, α 값이 너무 크면 데이터 왜곡이 발생하고 너무 작으면 효과가 부족하기 때문이다.

2단계는 각 𝛼값에 대한 WAPCC 행렬 계산이다.

각 α에 대한 WAPCC 행렬을 계산하고, 전체 상관계수의 평균을 측정한다. 그 계산식은 식 (4)와 같다.

3단계는 가장 높은 평균 상관계수 M_𝛼를 제공하는 α 값을 선택한다. 계산식은 식 (5)와 같다.

4단계는 최적의 α를 선택하여 최종 WAPCC를 계산한다. 1~3단계를 거쳐 최적의 α를 찾는 계산식은 식 (6)과 같다.

각 α값에 대해 WAPCC (r_ew) 계산은 모든 변수의 상관 행렬을 평균하여, 가장 높은 값을 제공하는 α선택한다.

• X_i, Y_i : 변수 X와 Y의 개별 값
• w_i : 가중치(weight), 특정 데이터의 중요도를 나타냄
• α : 가중치 조정 파라미터(최적화 대상)
• $$ {\overline{X}}_{ew},{\overline{Y}}_{ew}$$:조정된 가중 평균(weighted adjustment mean)

가중치 조정 파라미터 α의 역할은 다음과 같다.

첫째, α > 1 (강한 가중치 차이 강조)일 때 가중치가 높은 데이터를 더욱 중요하게 반영한다. 최근 변동성이 크거나 심각도가 높은 데이터를 우선적으로 고려하는 경우 유용하다.

둘째, 0 < α <1 (가중치 차이 완화)일 때, 데이터 포인트 간 가중치 차이를 줄여 분석의 균형을 유지하고 이상치의 영향을 완화하여 보다 안정적인 분석이 가능하다.

표 1은 전체 알고리즘의 의사코드이다. 1단계는 데이터 로드 및 전처리하는 단계로써 데이터를 불러오고 이상치(0 이하 값)를 제거하여 분석에 적합한 데이터를 구축하는 단계이다. 2단계는 가중치 계산 및 정규화하는 단계로써 두 변수를 Min-Max Scaling하여 0~1 범위로 정규화 하는 단계이다. 두 변수를 반영한 가중치를 계산하는 방법은 다음 수식 (8)과 같다.

Table 1.

Pseudocode of the proposed method

3단계는 가중 상관계수를 계산하는 단계로, 기존 피어슨 상관계수를 확장하여 가중치 조정 파라미터(α)를 반영한 상관 행렬 계산을 하고, 특정 그룹의 데이터를 강조하여 더욱 정밀한 관계 분석을 수행한다. 4단계는 가중 상관 행렬 계산을 하는 단계로, 모든 변수 간의 가중 상관 행렬을 생성한다. 마지막 5단계는 실행결과를 파일로 저장하는 단계이다.

본 논문에서 제안한 가중치 조정 파라미터 상관계수는 기존 가중 상관계수의 한계를 극복할 수 있도록 설계되었다.

특히, 가중치 조정 파라미터를 적용함으로써 데이터의 중요도를 동적으로 조정할 수 있으며, 이상치 영향을 최소화하면서 더욱 정교한 상관 분석이 가능하다. 이 방법론은 금융, 의료, 환경 과학, 머신러닝 등 다양한 응용 분야에서 데이터의 중요도를 반영한 분석을 수행하는 데 강력한 도구가 될 수 있다.

Ⅳ. 실험 및 분석

4.1 실험 데이터

본 논문에서는 지방간 발생 여부와 관련된 주요 생체지표를 포함한 실제 의료 데이터를 익명화된 상태로 분석을 수행하였다.

연구 대상은 총 497명이며, 모든 데이터는 결측치 처리를 거친 후 분석에 사용되었다. 각 변수의 기술 통계값은 표 2에 제시하였다.

Table 2.

Descriptive statistics of each variable

4.2 실험 분석 및 결과

4.2.1 상관 분석 및 교차 분석 결과

상관 분석을 통해 수치형 변수 간의 관계를 살펴본 결과, 다음과 같은 경향이 확인되었다. 표 3은 변수 간의 피어슨 상관계수의 결과를 나타낸다.

Table 3.

Pearson correlation coefficients among variables

간기능_GOT과 간기능_GPT 사이의 상관계수는 0.78로 강한 양의 상관관계를 보였고, 지방간 유무와 중성지방 사이의 상관계수는 0.31로 중등도 양의 상관관계를 나타냈다. 또한 BMI와 중성지방 사이의 상관계수는 -0.26로 약한 음의 상관관계를 나타냈다. 일반적으로 상관계수의 값이 -0.1~0.1의 경우는 두 변수 간의 상관관계가 매우 약하거나 거의 없다고 판단하여 분석 대상에서 제외하는 경우가 많다. 따라서 본 논문에서는 모든 변수간의 관계를 일일이 설명하지는 않는다.

표 4는 가중 상관계수의 결과를 나타낸다.

Table 4.

Results of weighted correlation coefficient

간기능_GPT와 지방간 유무 사이의 상관계수는 0.34로, 기존 피어슨 상관계수보다 조금 낮아졌지만 여전히 중등도 이상의 관계를 유지하였다.

α=2.0을 적용함으로써 특정 변수(예: 간기능, BMI)의 가중치가 조정되어 보다 정밀한 상관 분석 가능했다.

따라서 연구나 분석 상황에 따라 적절한 상관계수를 선택하는 것이 중요하며, 특정 그룹의 영향을 반영하고자 할 경우에는 가중 상관계수를 적용하는 것이 더 나은 선택이 될 수 있다.

표 5는 WAPCC의 결과를 보여준다. 최적의 가중치 조정 파라미터 α값은 2.0으로 선정되었다. 이는 간기능_GPT와 체질량지수(BMI)를 가중치로 설정했을 때, α=2.0이 가장 최적화된 결과를 제공하는 것으로 나타났다. 1.0 ≤ α ≤ 2.0범위에서 다양한 값을 실혐한 결과, α=2.0이 가장 최적의 분석 결과를 제공하는 것으로 나타났다. α값이 1.0에 가까우면 기존 상관계수와 차이가 크지 않으며 이상치의 조정 효과가 미미하다. 반대로 α값이 2.0을 초과하면 이상치 조정이 과도하게 이루어져 분석의 신뢰성이 떨어질 수 있다. 따라서 2.0은 이상치 조정과 데이터 반영의 균형을 가장 적절히 유지하는 값으로 판단되었다.

Table 5.

Weight adjustment parameter correlation coefficient results

이 결과는 간기능과 체질량지수(BMI)가 높을수록 상관관계를 더 강하게 반영하는 것이 데이터 분석에 적합함을 의미한다.

따라서 간 기능과 체질량지수(BMI) 기반의 가중치를 적용한 최적 상관계수를 활용하면, 보다 의미 있는 해석이 가능할 것이다.

표 6의 분석 결과에서 간기능_GOT 값은 기존 방식보다 약간 증가하였다. 이는 기존 분석에서 충분히 고려되지 못했던 대사질환 환자의 영향을 보다 정확하게 반영한 결과이다. 반면 간기능_GPT, 중성지방, BMI, 혈색소 값들은 기존 방식보다 약간 감소하였다. 이는 기존 방식에서 과대평가되었을 가능성이 있는 관계를 보정함으로써, 보다 신뢰성 있고 균형 잡힌 분석 결과를 제공했기 때문이다. 결과적으로 WAPCC는 기존 방식보다 더 정밀한 상관관계 분석을 수행할 수 있는 방법으로, 연구 및 데이터 분석에서 보다 신뢰할 수 있는 결과를 도출하는 데 기여할 수 있다.

Table 6.

Results of three correlation coefficient analysis

그림 1의 분석에서는 세 가지 상관계수의 분석 결과를 시각적으로 비교하고 있다.

Fig. 1.

Three correlation coefficient analysis results

표 7은 세 가지의 상관계수의 전반적인 통계 결과를 나타낸 표이다.

Table 7.

Overall statistical results of the three correlation coefficients

Ⅴ. 결론 및 향후 과제

본 논문에서는 변수 간의 관계를 측정하는데 널리 사용되는 피어슨 상관계수, 가중 상관계수의 데이터 포인트 처리상의 한계를 보완하기 위해 WAPCC를 제안하였다.

WAPCC는 가중치가 높은 데이터의 영향을 조절하고, 이상치로 인한 왜곡을 최소화하기 위해 가중치 조정 파라미터(α)를 사용하였다. 실제 의료 데이터를 활용한 실증 분석을 통해 제안한 방식이 변수 간 관계를 보다 신뢰성 있게 분석할 수 있음을 검증하였다. 실험 결과, WAPCC는 α값을 최적화함으로써 이상치의 영향을 줄이면서도 특정 데이터 그룹을 강조할 수 있는 최적의 값을 제공하였으며, 기존 상관계수보다 더욱 정교한 관계 분석이 가능함을 확인하였다. 또한 기존 피어슨 상관계수나 가중 상관계수와 비교했을 때, 데이터의 특성을 보다 정밀하게 반영할 수 있음을 보였다. 이를 통해 WAPCC는 변수 간 관계 분석에서 보다 신뢰성 있는 결과를 제공할 수 있는 효과적인 방법임을 입증하였다.

다만 본 연구는 단일 병원의 데이터를 사용하여 분석을 수행했기 때문에, 데이터 종류, 크기, 변수범위가 제한적이라는 한계를 가진다. 또한 상관관계 분석은 변수 간의 연관성을 측정하는 방법일 뿐, 직접적인 인과관계를 밝히는 것은 아니다. 따라서 향후 WAPCC의 활용 가능성을 더욱 확장하기 위해 다양한 데이터셋을 적용하여 그 일반화 가능성을 검증할 필요가 있다. 아울러 머신러닝 및 딥러닝 모델과 결합하여 보다 정교한 예측 모델을 개발하고, 실용적인 분석 기법으로 발전시킬 수 있도록 추가적인 연구가 요구된다.

References

• G.p Noh, "Basic Statistics", Hanbit Academy, pp. 292-309, Dec. 2023.
• Y. Park, "Correlation and Regression analysis", J Korean Acad Farm Med, Vol. 22, No. 1, pp. 43-51, Jan. 2001.
• A. G. Asuero, A. Sayago, and A. G. Gonz´alez, "The Correlation Coefficient: An Overview", Critical Reviews in Analytical Chemistry, Vol. 36, No. 1, pp. 41-59, 2006. [https://doi.org/10.1080/10408340500526766]
• Veher Costa, "Correlation and Regression", Fundamentals of Statistical Hydrology, Springer, pp. 391-440, 2017. [https://doi.org/10.1007/978-3-319-43561-9]
• K.-Y. Jung, S.-Y. Choi, K.-W. Rim, and J.-H. Lee, "Preference Prediction System using Similarity Weight granted Bayesian estimated value and Associative User Clustering", Korean Institute of Information Scientists and Engineers, Vol. 30, No. 4, pp. 316-325, Apr. 2003.
• B. Lee, "Improvement of the Semantic Information Retrieval using Ontology and Spearman Correlation Coefficients", The Society of Digital Policy and Management, Vol. 11, No, 11, pp. 351-357, Nov. 2013. [https://doi.org/10.14400/JDPM.2013.11.11.351]
• S. Kim, H.-S. Ahn, C. Yoon, J.-P. Chung, and S. S. Nam, "Development of Outlier Detection Method Using Statistical Analysis and Correlation Coefficient for Environmental Sensor Data", Journal of Advanced Navigation Technology, Vol. 28, No. 6, pp. 986-994, Dec. 2024. [https://doi.org/10.12673/iant.2024.28.6.986]
• J. Cha and J. Kim, "Analysis of fine dust correlation between air quality and meteorological factors using SPSS", Journal of the Korea Institute of Information and Communication Engineering, Vol. 22, No. 5, pp. 722-727, May 2018. [https://doi.org/10.6109/jkiice.2018.22.4.722]