Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 22, No. 9, pp.35-41
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 30 Sep 2024
Received 12 Jun 2024 Revised 20 Sep 2024 Accepted 23 Sep 2024
DOI: https://doi.org/10.14801/jkiit.2024.22.9.35

반려동물의 행동 예측을 위한 기계학습 모델의 비교 연구

문재준* ; 김규석** ; 전문선*** ; 조영준****
*펫터 CEO
**한국폴리텍대학 AI금융소프트웨어과 조교수, 서울대학교 환경대학원 도시계획학 박사수료
***한국폴리텍대학 디지털콘텐츠과 조교수, 중앙대학교 첨단영상학 박사
****한국폴리텍대학 AI응용소프트웨어과 부교수(교신저자)
A Comparative Study on Machine Learning Models for Predicting the Behavior of Pet
Jaejoon Moon* ; Kyuseok Kim** ; Moonseon Jeon*** ; Youngjoon Cho****

Correspondence to: Youngjoon Cho Dept. of AI Application Software, Korea Polytechnics Tel.: +82-31-696-8853, Email: samcho2017@kopo.ac.kr

초록

저자의 기존 연구에서는 라벨링 된 4가지의 반려동물 행동 데이터를 통해 3가지 모델을 활용한 행동 예측결과를 선보였다. 본 연구에서는 기존보다 더 많은 행동 데이터를 라벨링 하고 모델도 다양화 할 수 있음을 선보인다. 이에 따라 본 연구에서 활용하는 행동 데이터는 총 16가지이며, 모델은 총 8가지이다. 연구결과, RF(Random Forest), GBM(Gradient Boosting Machine), KNN(K-nearest neighbor) 순으로 정확도가 높음을 알 수 있었다. 본 연구결과를 통해 기계학습 기반의 분류 모델을 활용한 반려동물의 행동 예측의 가능성을 시사하며, 더 나아가 추후에는 질환 예측도 할 수 있을 것으로 기대한다.

Abstract

The author's previous research presented behavior prediction results using three models using four types of labeled behavior data of pet. This study demonstrates that it is possible to label more behavioral data than before and diversify the model. Accordingly, there are a total of 15 types of behavioral data of pet used in this study, and a total of 8 models. As a result of the study, it was found that Random Forest(RF), Gradient Boosting Machine(GBM), and K-Nearest Neighbor(KNN) had the highest accuracy in the order. This result suggests the possibility of predicting the behavior of pet using machine learning-based classification model, and furthermore, it is expected that disease prediction will be possible in the future.

Keywords:

artificial intelligence, pet technology, behavior prediction, bioinformatics, pet

Ⅰ. 서 론

반려동물의 질병 예측에 있어 문진(history taking)은 필수이다[1][2]. 그중에서도 반려인과의 문진이 필요하다. 예를 들어 반려동물의 수면 시간 및 활동 시간 등에 대한 변화이다. 실제로 이는 강아지에게 가장 많이 나타나는 중이염 및 피부 질환의 경우 몸을 긁거나 핥는 동작을 통해 질병의 조기 발견과 정확한 질병 진단을 위한 중요한 수단이 될 수 있다. 그러나 반려인이 항상 반려동물과 함께 있을 수 없으며 전문가가 아니라면 반려동물의 초기 건강 이상을 쉽게 발견하기는 어렵다. 따라서 반려동물의 행동 분석을 통해 질병을 예측하는 펫테크(Pet-tech, Pet technology) 서비스들이 시장에 많이 등장하고 있다.

본 연구는 위와 관련된 저자의 기존 연구의 데이터 및 모델을 더 다양화하여 확장하는 것이 목적이다[1]. 기존 연구에서는 걷기, 뛰기, 핥기, 몸털기 등 4가지의 라벨링 된 행동 데이터를 기반으로 CNN(Convolutional Neural Network), RF, SVM(Support Vector Machine) 등 3가지 모델을 활용하여 행동 예측을 수행하였다[3].

그러나 본 연구에서는 걷기, 뛰기, 핥기, 몸털기 외에도 계단 내려가기, 계단 오르기, 긁기, 물 마시기, 소변 보기, 대변 보기, 돌기, 두발 서기, 먹기, 정지, 몸 긁기, 뒷발차기 등 12가지를 추가한 총 16가지의 행동 데이터의 분류를 수행한다. 또한 연구 모델은 RF, DT(Decision Tree), NBC(Naive Bayesian Classification), ADA(Ada boosting), GBM, SGD(Stochastic Gradient Descent classifier), KNN, SVM(Support Vector Machine) 등 8가지의 분류 모델로 확장하여 가장 적절한 모델을 도출한다.

본 논문의 구성을 다음과 같다. 2장은 관련 연구로서 펫테크와 관련된 문헌을 고찰한다. 3장에서는 본 논문에서 활용하는 데이터와 인공지능 모델에 대해서 기술하며, 4장에서는 이를 활용한 연구 결과에 관해서 설명한다. 마지막으로 5장에서는 결론에 관해 기술하고 본 연구가 갖는 한계점 및 향후 연구에 관하여 기술한다.


Ⅱ. 관련 연구

2.1 인공지능 관련 반려동물의 행동 예측 모델 관련 연구

J. Baek et al.[4]는 반려동물의 영상을 통해 행동 분류 모델을 연구하였다. 연구 방법으로는 객체 인식 모델인 YOLOv8을 활용하고, 머신러닝 시계열 모델인 GRU와 LSTM을 활용하였다. 그 결과 객체 인식에 대한 정확도인 mAP(Mean Absolute Precision)은 99.4%를 보였으며, LSTM의 검증 정확도는 70.9%, 훈련 정확도는 87.6%를 보였다.

S. Han and D. Park[5]는 CCTV 영상을 통해 반려묘의 행동을 인식하여 AI를 기반으로 분석하는 시스템을 연구하였다. 연구 모델은 SVM, LSTM(Long Short-Term Memory)등을 활용하여 자세 예측, 행동 예측 등을 수행하였다. 이를 통해 반려묘의 행동뿐만 아니라 빈뇨, 다뇨 등의 질병도 예측할 수 있을 것으로 기대하였다.

H. W. Shin and J. S. Kim[6]은 IoT 센서가 내장된 양방향 통신이 가능한 웨어러블 디바이스를 통해 반려동물의 음성, 행동 데이터를 분석하였다. 이 연구는 반려견의 음성인식 데이터를 분석하여 동물의 감정 상황을 지속해서 모니터링 할 수 있는 특징을 가진 연구였다.

J. H. Lee et al.[7]는 영상 데이터와 센서 데이터를 활용하여 반려동물의 이상행동 탐지 서비스를 제안하였다. 연구 데이터는 CCTV 이미지 데이터와 목줄형 웨어러블 디바이스의 센서 데이터이다. 그리고 연구 모델로는 CNN-BiLSTM 모델을 활용이며 달리기, 걷기, 서기, 앉기, 눕기 등 5가지의 행동을 판단하였다. 이 모델을 평가하기 위하여 정확도, 재현율, F1-Score를 산출하였으며 0.89에서 1.0 사이의 정확도를 보였다.

2.2 본 연구의 차별점

기존 연구들과 대비하여 본 연구는 다음과 같은 차별점이 존재한다.

첫째, 본 연구는 저자의 기존 연구 및 타 연구들 대비 더 다양한 행동 분류를 수행한다.

둘째, 본 연구는 다양한 분류 모델의 정확도 비교를 통해 최적의 모델을 도출한다.

따라서 본 연구는 반려동물의 질병 예측에 필요한 다양한 행동을 예측할 수 있는 기반을 마련하는 데 목적이 있다.


Ⅲ. 연구 방법

3.1 학습 데이터

본 연구에서 반려동물의 행동을 예측하기 위해 데이터 수집 장비로 저자의 기존 연구와 동일하게 IMU 6축 센서를 기반으로 구성된 그림 1과 같은 장비를 사용하였다. 이 디바이스의 가속도 센서와 자이로 센서에서 200ms 주기로 얻어지는 x, y, z 값을 활용한다.

Fig. 1.

Wearable device and application for pet

본 웨어러블 디바이스에서 활용된 가속도 센서와 자이로 센서의 값의 측정 범위는 다음과 같다. 가속도 센서의 출력값 범위는 –32,768 ~ 32,767이며 자이로 센서의 출력값 범위는 –32,768 ~ 32,767이다.

그림 1의 장비 스펙은 기존과 같이 표 1과 같다[3].

Wearable device for pet

이 디바이스를 활용하여 저자를 포함한 반려인 4명이 장모치와와 등 6마리의 강아지로부터 데이터를 수집하였다. 수집된 데이터는 총 79,958건이며, 200ms 마다 수집되기에 약 15,991.6초간 수집되었다.

총 79,958건의 데이터는 표 2의 정지, 걷기, 계단 내려가기, 계단 올라가기, 달리기, 서서 뛰기, 물 마시기, 먹기, 몸 긁기, 대변 보기, 소변 보기, 돌기, 두발 서기, 뒷발 차기, 몸 핥기, 몸 털기 등 16가지의 행동으로 0부터 15까지 라벨링 하였다. 확실히 동작이 포착되는 부분만 라벨링 하여 총 9,783건으로 약 12.24%로 감소하였다.

Behavior classification (n = 9,783)

3.2 연구 방법론

본 연구에서는 강아지의 행동을 16가지로 분류하기 위하여 머신러닝 기반의 대표적인 다중 분류 모델 8가지는 표 3과 같다.

Classification model and settings value

ADA 모델의 n_estimators 값은 30으로 설정하고, KNN의 n_neighbors는 3에서 9로 2씩 증가한 값으로 설정한다. 그 외의 모델에 대해서는 2024년 6월 3일의 기본값을 활용한다.

첫째, RF는 앙상블(Ensemble) 기반의 머신러닝 모델로는 예측의 정확도가 상대적으로 높다. RF는 다수의 decision tree를 구성하여 모델을 예측하기에 편향성을 억제할 수 있다는 장점이 있는 기법이다[8].

둘째, DT는 통계학과 데이터 마이닝(Data mining), 머신러닝에서 많이 활용되는 예측 모델링 방법의 하나로 의사결정 규칙(Decision rule)을 트리 구조로 표현하여 분류하는 기법이다. 이 기법은 이해와 설명이 상대적으로 쉽다는 장점이 있다[9].

셋째, ADA는 미리 정해진 수의 모형 집합을 학습하는 것이 아니라 하나의 모형에서 시작하여 모형 집합에 포함할 모형을 추가하는 것이다[10]. 예측 성능이 낮은 개별 분류기를 약한 분류기라 하며, 약한 분류기를 조합하여 더 좋은 성능을 발휘하는 강한 분류기로 만드는 방법이다.

넷째, NBC는 텍스트 분석, 다중 클래스 분류, 스팸 필터링, 감정 분석 등에 활용된다[11-12]. 확률 기반의 알고리즘으로 단순하고 성공률이 높으며 수행 속도가 빠르다는 장점이 있다.

다섯째, KNN은 학습 또는 예측하고자 하는 값 X로부터 가장 가까운 거리에 있는 k개의 레이블을 확인하여, 가장 많이 도출된 레이블 값으로 결정하는 방식이다[13][14]. 이 알고리즘도 상대적으로 간단하면서 학습 속도가 빠르다는 장점이 있다.

여섯째, SVM은 결괏값이 주어진 학습 데이터를 통해 분류 기준을 지도 학습한다[15]. 이를 통해 새롭게 입력되는 데이터가 어느 분류인지를 판단하는 알고리즘이다.

일곱째, GBM은 앙상블 학습의 또 다른 유형인 부스팅을 기반으로 한다[16]. 부스팅은 순차적으로 약한 모델들을 생성하며, 각 모델을 생성할 때 이전 모델들이 예측하지 못한 부분을 더 잘 예측하는 모델을 만들고 이를 앙상블이라는 기법이다.

여덟째, SGD는 확률적으로 랜덤하게 데이터를 추출하여 한 번의 반복 당 한 개의 데이터를 사용하여 가중치를 업데이트하는 기법이다[17]. 즉 배치 사이즈(Batch size)는 1이며, 연산의 속도가 빠르다는 장점이 있다.

표 4에서의 모델 8가지에 대한 공통적인 설정은 표 4와 같다. 모두 10회 반복 수행하여 정확도 검증을 수행하며, 회차마다 학습 데이터와 검증 데이터의 비율은 7대 3으로 임의 분할하여 사용한다.

Common settings value


Ⅳ. 연구 결과

4.1 기술 통계

본 연구에서는 활용한 데이터의 기술 통계를 산출하면 아래 표 5와 같다.

Descriptive Statistics (n=9,783)

가속도 센서로부터 얻어진 x, y, z 값인 ACX(Accelation sensor X), ACY(Accelation sensor Y), ACZ(Accelation sensor Z)의 평균은 각 878.98, 126.31, 885.89이며, 자이로 센서로 부터 얻어진 x, y, z 값인 GYX(Gyroscope X), GYY(Gyroscope Y), GYZ(Gyroscope Z)의 평균은 각 –206.36, -204.38, -150.82이다. 모든 변수의 표준편차 절대값이 평균의 절대값보다 크기에 산포의 범위가 매우 넓음을 알 수 있다.

4.2 인공지능 모델별 예측 정확도 비교

본 연구에서 활용하는 RF, DT, ADA, NBC, KNN, SVM, GBM, SGD 모델의 설정값 변경 또는 반복 수행 후 모델 예측 정확도의 기술 통계를 수행하였다. 그 결과는 아래 표 6과 같다.

Model evaluation result

8가지의 모델 모두 편차는 0.000에서 0.067로 크지 않았다. 또한, SGD를 제외한 7가지 모델의 표준편차는 모두 0.000에서 0.003 사이로 매우 작았다. 모델의 성능평가 순위에 대해 평균값을 기준으로 정렬하면, RF, GBM, KNN, DT, NBC, ADA, SVM, SGD 순임을 알 수 있다. 이 중에서 상위 3개인 RF, GBM, KNN의 정확도는 모두 0.7 이상임을 알 수 있다. 또한, KNN은 k 값이 3일 때 0.692, 5일 때 0.711로 개선되었지만, 7일 때는 0.713, 9일 때는 0.715로 큰 이득은 없음을 알 수 있었다.

이러한 점을 통해 확률적인 기법보다는 DT 기반의 RF 기법의 정확도가 가장 높다는 것을 알 수 있다. 이는 일반적으로 DT 보다도 개선된 것으로 알려진 만큼 상대적으로 그 정확도가 높다고 할 수 있다.


Ⅴ. 결론 및 향후 과제

본 연구에서는 기존 연구 대비 더 다양화된 행동 분류 및 모델을 활용한 연구를 제시하였다. 연구 자료로는 여섯 종의 반려견으로부터 얻어진 데이터 79,958건 중 명확하게 라벨링 된 9,783건(12.24%)를 활용하였다. 라벨링은 정지, 걷기, 계단 내려가기, 계단 올라가기, 달리기, 서서 뛰기, 물 마시기, 먹기, 몸 긁기, 대변 보기, 소변 보기, 돌기, 두발 서기, 뒷발 차기, 몸 핥기, 몸 털기 등 16가지로 수행하였다. 또한, 연구 모델은 RF, DT, ADA, NBC, KNN, SVM, GBM, SGD 등 8가지 분류 기법을 활용하였다.

연구 결과, 8가지의 모델 모두 편차는 0.000에서 0.067로 크지 않았다. 그리고 모델의 성능평가 순위에 대해 평균값을 기준으로 정렬하면, RF, GBM, KNN, DT, NBC, ADA, SVM, SGD 순이며, 이 중 상위 3개인 RF, GBM, KNN의 정확도는 모두 0.7 이상임을 알 수 있었다. 또한, KNN은 k 값이 5를 초과하면 정확도에는 크게 이득이 없는 것으로 알 수 있었다.

추후 연구에서는 본 연구에서 활용한 데이터보다 고르게 분포한 더 많은 데이터를 활용하여 그 정확도를 높일 수 있을 것이다. 또한, 반려동물 행동 분야의 높아진 예측 정확도를 기반으로 반려동물의 질병을 예측할 수 있는 데이터로 활용될 수 있을 것으로 기대한다.

Acknowledgments

이 논문은 과학기술정보통신부(한국산업기술진흥협회 전문기관)에서 시행한 2023년 SOS1379 후속 기업 지원사업 (2차)의 지원을 받아 수행된 연구입니다

References

  • S. G. Lee, "The Direction of Pet Care", WITH CAP(COMPANION ANIMAL PRACTICE), Vol. 1, No. 1, pp. 18-29, Mar. 2003.
  • D. G. Park, "a pleasent veterinarian's 24 hour of animal hospital", Bookie, pp. 162-164, 2005.
  • Y. J. Seo, H. J. Kim, J. J. Moon, S. H. Lee, and K. S. Kim, "A Study on the Artificial Intelligence-based Wearable Sensor Data Pet Behavior Analysis", Journal of Korean Institute of Information Technology, Vol. 21, No. 2, pp. 33-41, Feb. 2023. [https://doi.org/10.14801/jkiit.2023.21.2.33]
  • J. Baek, B. Kwon, S. Lee, and H. Jung, "Research on Companion Animal Behavior Classification Model using Object Recognition", Vol. 24, No. 5, pp. 65-72, May 2024. [https://doi.org/10.5392/JKCA.2024.24.05.065]
  • S. Han and D. Park, "Cat Behavior Pattern Analysis and Disease Prediction System of Home CCTV Images using AI", Journal of the Korea Institute of Information and Communication Engineering, Vol. 26, No. 9, pp. 1266-1271, Sep. 2022. [https://doi.org/10.6109/jkiice.2022.26.9.1266]
  • H. W. Shin and J. S. Kim, "A Study on the Development of Wearable Products Applied to PetTech Service Using IoT and AI Technology", Journal of the Korean Society of Design Culture, Vol. 26, No. 1, pp. 261-272, Mar. 2020. [https://doi.org/10.18208/ksdc.2020.26.1.261]
  • J. H. Lee, M. C. Shin, J. H. Park, and N. M. Moon, "Deep Learning-Based Companion Animal Abnormal Behavior Detection Service Using Image and Sensor Data", Journal of The Korea Society of Computer and Information, Vol. 27, No. 10, pp. 1-9, Oct. 2022. [https://doi.org/10.9708/jksci.2022.27.10.001]
  • L. Breiman, "Random forests", Machine Learning, Vol. 45, No. 1, pp. 5-32, Oct. 2001.
  • E. Unuzaya, S. Bak, D. Hwang, M. Jeong, N. Kim, and H. Yoon, "Study on Detection for Cochlodinium polykrikoides Red Tide using the GOCI image and Machine Learning Technique", Journal of the Korea Institute of Electronic Communication Sciences, Vol. 15, No. 6, pp. 1089-1098, Dec. 2020. [https://doi.org/10.13067/JKIECS.2020.15.6.1089]
  • C. Gao, P. Li, Y. Zhang, J. Liu, and L. Wang, "PeopleCounting Based on Head Detection Combining Adaboost and CNN in Crowded Surveillance Environment", Neurocomputing, Vol. 208, pp. 108-116, Oct. 2016. [https://doi.org/10.1016/j.neucom.2016.01.097]
  • S. Lee, B. Lee, B. Bark, and H. Hwang, "A Study of Intelligent Recommendation System based on Naive Bayes Text Classification and Collaborative Filtering", Journal of Information Science Theory and Practice, Vol. 41, No. 4, pp. 227-249, Oct. 2010.
  • J. Liu, Z. Tian, P. Liu, J. Jiang, and Z. Li, "An Approach of Semantic Web Service Classification Based on Naive Bayes", IEEE International Conference on Services Computing (SCC), San Francisco, CA, USA, pp. 356-362, Jun. 2016. [https://doi.org/10.1109/SCC.2016.53]
  • Z. Zhang, "Introduction to machine learning: k-nearestneighbors", Annals of translational medicine, Vol. 4, No. 11, pp. 218, Jun. 2016. [https://doi.org/10.21037/atm.2016.03.37]
  • T. G. Dietterich, "Ensemble methods in machine learning", International workshop on multiple classifier systems, Springer, Berlin, Heidelberg, pp. 1-15, Jun. 2000. [https://doi.org/10.1007/3-540-45014-9_1]
  • C. Cortes and V. Vladimir, "Support-vector networks", Machine Learning, Vol. 20, No. 3, pp. 273-297, Sep. 1995. [https://doi.org/10.1007/BF00994018]
  • J. H. Friedman, "Greedy function approximation: A gradient boosting machine", Annals of Statistics, Vol. 29, No. 5, pp. 1189-1232, Oct. 2001. [https://doi.org/10.1214/aos/1013203451]
  • B. T. Polyak, "Some methods of speeding up the convergence of iteration methods", USSR Computational Mathematics and Mathematical Physics, Vol. 4, No. 5, pp. 1-17, 1964. [https://doi.org/10.1016/0041-5553(64)90137-5]
저자소개
문 재 준 (Jaejoon Moon)

1998년 2월 : 동국대학교 반도체과학과(이학사)

2000년 2월 : 동국대학교 반도체과학과(이학석사)

2000년 2월 ~ 2017년 12월 : 삼성전자(종합기술원)삼성DMC연구소 전문·책임연구원

2021년 6월 ~ 현재 : 펫터 CEO

관심분야 : 펫 테크, 이미지센서, 인공지능, IoT

김 규 석 (Kyuseok Kim)

2011년 2월 : 한국항공대학교 정보통신공학(공학사)

2019년 8월 : 아주대학교 정보통신공학(공학석사)

2011년 1월 ~ 2019년 6월 : LG전자(주) 선임연구원

2019년 7월 ~ 2020년 2월 : ㈜LG유플러스 책임

2019년 9월 ~ 현재 : 서울대학교 도시계획학 박사수료

2020년 2월 ~ 현재 : 한국폴리텍대학 분당융합기술교육원 데이터융합SW과 조교수

관심분야 : 데이터 수집, 데이터 분석, 머신러닝, 딥러닝, 도시계획, 근거리 무선통신, 상황인지

전 문 선 (Moonseon Jeon)

2003년 2월 : 상명대학교 사진학과(미술학사)

2007년 2월 : 중앙대학교 영상공학(석사)

2016년 2월 : 중앙대학교 첨단영상학(박사)

2020년 2월 ~ 현재 : 한국폴리텍대학 디지털콘텐츠과 조교수

관심분야 : 사진, 영상, 특수효과, 미디어아트

조 영 준 (Youngjoon Cho)

1997년 8월 : 한국기술교육대학교 전자공학과(학사)

2000년 2월 : 한국기술교육대학교 전기전자공학과(석사)

2024년 2월 : 한국기술교육대학교 전기전자공학과(박사)

2017년 7월 ~ 현재 : 한국폴리텍대학 AI응용소프트웨어과 부교수

관심분야 : 지능제어, 머신비전, 로봇

Fig. 1.

Fig. 1.
Wearable device and application for pet

Table 1.

Wearable device for pet

Size(W x H x D) [mm] Weight[g]
Wearable device 53.2 x 25.8 x 10.8 15

Table 2.

Behavior classification (n = 9,783)

Behavior Label Number of samples
Stopping 0 1,210
Walking 1 1,838
Going downstairs 2 114
Going upstairs 3 89
Running 4 475
Standing and jumping 5 2,815
Water drinking 6 120
Eating 7 33
Body scratching 8 141
Pooing 9 234
Peeing 10 341
Spinning 11 710
Standing on two feet 12 40
Back kicking 13 44
Body licking 14 1,253
Body shaking 15 326

Table 3.

Classification model and settings value

Methodology Settings value
RF -
DT -
ADA n_estimators = 30
NBC -
KNN 3 ≤ n_neighbors ≤ 9(by +2)
SVM -
GBM -
SGD -

Table 4.

Common settings value

Category Value
Number of repeats 10 times
Ratio of training data and validation data 7 : 3

Table 5.

Descriptive Statistics (n=9,783)

Mean Minimum Maximum STD.DEV
ACX 878.98 -11,576 25,039 1290.44
ACY 126.31 -32,768 32,511 2,326.01
ACZ 885.89 -32,768 32,511 1,995.14
GYX -206.36 -32,792 32,511 3,604.55
GYY -204.38 -32,768 32,511 2,170.05
GYZ -150.82 -26,272 29,935 1,690.99

Table 6.

Model evaluation result

Mean Minimum Maximum STD.DEV Misc.
RF 0.740 0.736 0.743 0.002
DT 0.624 0.620 0.630 0.003
ADA 0.445 0.445 0.445 0.000
NBC 0.549 0.549 0.549 0.000
KNN 0.692 0.692 0.692 0.000 k = 3
0.711 0.711 0.711 0.000 k = 5
0.713 0.713 0.713 0.000 k = 7
0.715 0.715 0.715 0.000 k = 9
SVM 0.438 0.438 0.438 0.000
GBM 0.719 0.717 0.723 0.003
SGD 0.366 0.242 0.453 0.067