데이터 이산화와 계층형 클러스터링 알고리즘을 적용한 효과적인 머신 러닝 방법 관한 연구

Ⅰ. 서 론

4차 산업 혁명으로 인해 디지털화, 네트워크화가 가속화 되면서 생성되고 수집되는 데이터의 양도 급증하게 되었다. 이로 인해 다량의 데이터 분석과 처리가 필요하게 되어 빅데이터 분석과 인공지능(AI)이 4차 산업 혁명의 핵심 기술로 주목 받게 되었다.

빅데이터 분석 기법으로는 데이터 마이닝, 패턴 인식, 머신 러닝(machine learning) 등이 있으며, 머신 러닝은 인간의 학습 능력을 모델링 한 인공지능의 한 분야로, 주어진 데이터 집합을 분석하여 의미있는 규칙을 추출함으로써 기계가 자가 학습할 수 있도록 알고리즘을 구현하는 분야이다.

최근 지식정보 산업, 서비스 분야 등 산업 전반에서 머신 러닝 연구에 대한 요구가 증가하고 있는 추세이다. 그 이유는 각종 데이터의 양적 증가로 인해 수집된 데이터를 신속정확하게 유용한 정보와 지식으로 가공하여 생산해야 할 필요성이 있기 때문이다. 이렇게 생산된 정보와 지식은 기업 경영, 시장 분석이나 예측에서부터 과학 탐구와 공학 설계 등에 이르기까지 광범위한 분야에 유용하게 활용될 수 있다.

이러한 사회적, 시대적 요구와 함께 공공데이터, 사물인터넷(IoT), 사회 관계망 서비스(SNS) 등이 확산되면서 다량의 데이터 확보가 가능해졌고, 이를 통해 대규모로 축적된 데이터를 머신 러닝에 널리 활용할 수 있게 됨으로써 머신 러닝 고도화에 박차를 가할 수 있게 되었다.

머신 러닝 고도화를 위해서는 고품질의 학습 데이터(training data)가 확보되어야 하고, 학습 데이터 분석을 통해 의미있는 규칙을 추출해 낼 수 있도록 데이터 전처리를 통한 최적화, 그리고 학습 알고리즘이 필요하다.

그러나, 실제 현실 세계의 데이터베이스는 범주형과 연속형(수치형) 데이터가 혼재되어 있거나, 연속형 데이터로만 구성되어 있기도 하기 때문에, 이를 머신 러닝에 바로 적용하기에는 적합하지 않다. 이러한 데이터를 머신 러닝에 활용하기 위해서는 데이터를 동일한 유형으로 통일하기 위한 전처리 과정으로 데이터 형 변환이 이루어져야 한다.

범주형 데이터를 연속형 데이터로 변환시키는 문제의 복잡성, 그리고 연속형 데이터에 비해 범주형 데이터의 분류 규칙을 도출하기가 더 용이하다는 장점이 있다. 따라서 데이터 전처리 과정에서는 연속형 데이터를 범주형 데이터로 변환하는 기법인 이산화(discretization) 기법을 주로 사용한다[1]. 이러한 데이터 이산화 과정을 거치게 되면, 데이터가 간소화 되기 때문에 데이터 구조를 이해하기 용이해지고, 분류 알고리즘의 효율성도 향상된다[2].

본 논문에서는 학습 데이터 집합에 대한 전처리 과정으로 학습 데이터를 범주형으로 변환하는 이산화 기법과 유클리드(Euclidean) 거리 기반으로 유사한 객체들을 병합 군집화하는 계층형 클러스터링(hierarchical clustering) 알고리즘을 적용한 머신 러닝 방법에 대해 연구한다. 다량의 데이터로부터 의미있는 규칙을 체계적으로 추출해내기 위하여 이산화 기법을 이용한 데이터 전처리 과정, 데이터 집합에 대한 계층형 클러스터링 과정, 그리고 계층형 클러스터링을 통해 그룹화 된 데이터들로부터 의미있는 규칙을 추출해내는 과정을 테스트를 통해 진행한다.

Ⅱ. 관련 연구

2.1 이산화의 목적과 매핑 알고리즘

이산화란 효과적인 머신 러닝을 수행하기 위해 연속형 데이터를 범주형 데이터로 변환, 구간화 하는 데이터 전처리 방법의 하나이다[3]. 일반적으로 이산화의 목적은 데이터의 손실을 최소화하고 미지의 데이터에 대한 범주를 최대한 일반화 할 수 있는 구간을 찾는 것이다[4][5].

데이터 집합 S를 n개의 구간으로 분할하여 이산화 할 때, $$ {}_{i^n=1}{\mathrm{S}}_i$$는 다음과 같이 정의할 수 있다[6].

첫째, 분할된 각 구간(부분 집합)은 공집합이 될 수 없다(S_i ≠ ∅).

둘째, 분할된 각 구간의 합집합은 전체 도메인 구간 S가 되어야 한다($$ \underset{i=1}{\overset{n}{\cup }}{\text{S}}_i=\text{S}$$).

셋째, 분할된 각 구간은 서로 겹치는 부분이 존재해서는 안 된다(s∈S_i이면, x ≠ i인 모든 x에 대하여 s∉S_x).

이러한 정의에 따라 n개로 분할된 각 구간의 경계를 결정짓는 기준점, 즉 분할 지점(split point)의 개수는 n-1개가 존재한다는 것을 알 수 있다. 예를 들어 임의의 연속형 변수 값의 구간이 [a, b]이고, 분할 지점을 p라 할 때(a<p<b), 구간 [a, b]는 분할 지점 p에 의해 [a, p]와 [p, b]로 분할될 수 있다.

데이터 집합 S의 인스턴스를 s(s₁, s₂, ... , s_n∊S)라 하고, 인스턴스 s의 연속형 변수를 A라 하자. 그리고, 연속형 변수 A의 값을 val_A(s), A의 분할 지점 집합을 {p₁, p₂, ... , p_n-1}이라 가정할 때, val_A(s)를 범주형 값으로 매핑(mapping)하는 함수 mapf(s, A)를 그림 1과 같이 정의할 수 있다.

Fig. 1.

A definition of the mapping function

그림 1에서 매핑 함수에 의해 범주형 값으로 변환된 결과 값이 D_i(i=1, 2, ... , n)이며, mapf(s, A)∊{D₁, D₂, ... , D_n}이 성립된다.

Fig. 2.

An example of sample data set

Ⅲ. 알고리즘 설계

본 논문에서는 그림 2의 예시처럼 연속형 변수와 범주형 변수가 혼재하여 있고, 목적 변수가 존재하지 않는 데이터들을 입력 변수로 사용한다. 데이터 전처리 과정으로 연속형 변수를 범주형 변수로 이산화한다. 그리고, 응집(병합) 방식으로 계층형 클러스터링 알고리즘을 적용하여 의미있는 규칙들을 추출하는 테스트를 수행한다.

계층형 클러스터링 알고리즘은 그림 3과 같이 m×n개의 데이터들로 구성된 데이터 집합에 대해 초기화 작업으로 각 데이터 X_j를 개별적인 하나의 클러스터 C_i로 두고, K개의 클러스터를 생성한다. 그다음 K×(K-1)/2개의 클러스터 간에 병합을 수행하게 되는데, 이때에 거리 값이 가장 작은 2개의 클러스터를 병합한다. 그다음 다시 (K-1)×(K-2)/2개의 클러스터 간에 병합을 수행하며, 이때에도 거리 값이 가장 작은 2개의 클러스터를 하나로 병합한다. 이후, 클러스터의 개수가 1개가 될 때까지 이 과정을 반복 수행한다.

Fig. 3.

Hierarchical clustering algorithm

Ⅳ. 실 험

본 논문에서는 그림 4와 같이 데이터 이산화를 통해 데이터 전처리 과정을 거치고, 범주형으로 이산화 된 데이터들을 계층형 클러스터링 하여 군집화 한 후, 이를 통해 최종적으로 의미있는 규칙을 추출하는 테스트를 수행한다.

Fig. 4.

Test process

테스트에 이용된 데이터 집합은 Kaggle에서 제공하는 타이타닉(Titanic) 데이터 집합을 이용하였고, 그림 5와 같이 총 200개의 레코드들로 구성되어 있다. 목적 변수는 존재 하지 않으며, 입력 변수만으로 이루어진 10개의 열(column)로 구성되어 있다.

Fig. 5.

Data set for testing

입력 변수 중 Fare_1과 Age_1은 연속형 데이터가 저장되어 있으므로, 범주형 데이터로 변환시켜 줄 필요가 있다. 따라서, 이를 위해 Python Jupyter Notebook 환경에서 Pandas 라이브러리를 이용하여, 그림 6과 같이 범주형 데이터로 변환시켜 줌으로써 이산화를 수행하였다.

Fig. 6.

Data discretization result

나이와 요금과의 상관 규칙을 발견하기 위해 Matplotlib 라이브러리를 이용하여 산점도를 출력해보았다. 그림 7과 같은 결과를 얻을 수 있었고, 나이와 상관 없이 전반적으로 저렴한 요금을 선택했다는 것 외에는 의미있는 규칙을 발견하지 못했다.

Fig. 7.

Scatter plot chart

나이와 요금에 대한 계층형 클러스터링 수행 결과를 시각화하기 위해 Matplotlib 라이브러리를 이용하였고, 그림 8과 같은 결과를 얻을 수 있었다. 이를 통해 30대 초반까지는 저가의 요금을 주로 선택하고, 30대 중반 이후부터는 고가의 요금을 다소 포함한 다양한 요금을 선택하는 경향이 있다는 규칙을 발견해낼 수 있었다.

Fig. 8.

Hierarchical clustering result

Ⅴ. 결론 및 향후 연구

본 논문에서는 학습 데이터를 머신 러닝에 효과적으로 적용할 수 있도록 Python Pandas를 이용하여 데이터 이산화를 수행하였고, 유의미한 규칙을 발견하기 위해 계층형 클러스터링 수행 결과를 Python Matplotlib로 시각화하였다. 실험 결과, 산점도를 통해서는 발견하지 못했던 유의미한 규칙을 발견할 수 있었다. 따라서, 이를 머신 러닝에 활용하여 숨은 규칙을 추출하게 함으로써 보다 스마트한 판단 및 예측이 가능해질 것으로 기대된다.

향후 연구 방향으로는 세계 주요 여행지들의 월평균 기온과 월평균 항공 비용 데이터 집합을 수집, 정제하여 학습 데이터로 만들고, 이를 기반으로 월별 최적의 여행지를 자동 추천해주는 머신 러닝 모델에 관한 설계가 될 것이다.

References

• Ian H. Witten and Eibe Frank, "Data mining: Practical machine learning tools and techniques [3rd edition]", Morgran Kaufmann, Jan. 2011.
• J. Dougherty, R. Kohavi, and M. Sahami, "Supervised and unsupervised discretization of continuous features", Proceedings of the Twelfth International Conference on Machine Learning, Tahoe City, California, pp. 194–202, Jul. 1995. [https://doi.org/10.1016/B978-1-55860-377-6.50032-3]
• Jiawei, Han, Micheline Kamber, and Jian Pei, "Data mining: Concept and techniques[3rd edition]", Morgan Kaufmann, 2012.
• B. S. Choi, H. J. Kim, and W. O. Cha, "A comparative study on discretization algorithms for data mining", Communications for Statistical Applications and Methods, Vol. 18, No. 1, pp. 89-102, Jan. 2011. [https://doi.org/10.5351/CKSS.2011.18.1.089]
• C. J. Tsai, C. I. Lee, and W. P. Yang, "A discretization algorithm based on class-attribute contingency coefficient", Information Sciences, Vol. 178, No. 3, pp. 714–731, Feb. 2008. [https://doi.org/10.1016/j.ins.2007.09.004]
• T. Elomaa and J. Rousu, "General and efficient multisplitting of numerical attributes", Machine Learning, Vol. 36, pp. 201-244, Sep. 1999. [https://doi.org/10.1023/A:1007674919412]
• H. Liu, F. Hussain, C. L. Tan, and M. Dash, "Discretization : An enabling technique", Data Mining and Knowledge Discovery, Vol. 6, pp. 393–423, Oct. 2002. [https://doi.org/10.1023/A:1016304305535]
• Jesse Read, Bernhard Pfahringer, Geoff Holmes, and Eibe Frank, "Classifier chains for multi-label classification", Machine Learning, Vol. 85, No. 3, pp. 333-359, Jun. 2011. [https://doi.org/10.1007/s10994-011-5256-5]
• Sotiris Kotsiantis and Dimitris Kanellopoulos, "Discretization techniques: A recent survey", GESTS International Transactions on Computer Science and Engineering, Vol. 32, No. 1, pp. 47-58, 2006.
• Kavita Das and O. P. Vyas, "A suitability study of discretization methods for associative classifiers", International Journal of Computer Applications, Vol. 5, No. 10, pp. 46-51, Aug. 2010. [https://doi.org/10.5120/944-1322]
• David K. Y. Chiu, Andrew K. C. Wong, and Benny Cheung, "Information Discovery through Hierarchical Maximum Entropy Discretization and Synthesis", Knowledge Discovery in Databases, pp. 125-140, 1991.
• X. Wu, V. Kumar, J. R. Quinlan, and etc., "Top 10 algorithms in data mining", Knowledge and Information Systems, Vol. 14, pp. 1-37, Dec. 2007. [https://doi.org/10.1007/s10115-007-0114-2]
• Johnston, B., Jones, A., and Kruger. C, "Applied Unsupervised Learning with Python", Packt, May 2019.
• I. Jonyer, D. J. Cook, and L. B. Holder, "Graph-based hierarchical conceptual clustering", Journal of Machine Learning Research, Vol. 2, pp. 19-43, Oct. 2002.