듀얼 진동센서와 윈도우 특징 기반 XGBoost를 이용한 PMDC 모터의 브러시 마모 상태 진단

Ⅰ. 서 론

PMDC(Permanent Magnet Direct Current) 모터는 자동화 설비, 물류 장치, 소형 구동 모듈 등 다양한 산업 현장에서 널리 사용되며, 브러시–정류자 접촉 상태는 출력 특성과 신뢰성에 직접적인 영향을 미친다[1]. 브러시가 마모되면 접촉면적 감소와 접촉 저항 변동이 발생하고, 정류 불안정과 스파크 증가로 이어져 토크 리플 및 진동이 증가할 수 있다[1]. 또한 마모가 과도하게 진행되어 리드선이 노출되는 경우에는 발열·스파크 위험이 증가하여 안전 문제로도 연결될 수 있으므로, 운용 중 신호 기반으로 마모를 조기에 탐지하고 정량적으로 평가할 수 있는 진단 기술이 요구된다[2].

현장 적용 관점에서 진동 기반 진단은 센서 설치가 비교적 용이하고 운용 중 데이터를 활용할 수 있다는 장점이 있다[3]. 그러나 단일 위치의 진동 센서만으로는 모터–감속기 결합 구동계에서 나타나는 위치별 전달경로 차이, 마모 단계 간 미세한 변화, 감속기 및 구조물 공진에 의해 변형되는 응답 특성을 충분히 반영하기 어렵다. 즉, 센서 설치 위치에 따라 관측되는 신호 성분이 달라질 수 있어 단일 관측만으로는 진단 성능이 제한될 수 있다. 이러한 한계를 보완하기 위해, 본 연구는 모터측과 감속기측에 듀얼 진동센서를 설치하여 동기화 데이터를 동시에 활용하고, 두 위치에서 관측되는 정보를 융합한 특징을 기반으로 마모 상태를 추정·판별하는 접근을 채택하였다[3].

구동계의 잠재 고장 모드는 베어링 손상, 정렬 불량, 전기적 이상, 정류 이상 등 다양하므로 먼저, FMEA를 수행하여 고장 형태별 영향과 진단 관점의 관찰 지표를 정리하였다[4]. 본 연구의 목적은 현장 적용 가능한 신호 기반 진단 파이프라인을 구축·검증하는 것이므로, 고장 위험도와 더불어 운용 중 계측 가능성, 정량 라벨 정의 가능성, 점진 열화 형태 여부, 상태기반정비(CBM+) 확장성 등을 함께 고려하였다[5][6]. 그 결과 브러시 마모는 최상위 위험 고장이 아니나, 운용 중 지속적으로 진행되는 대표 열화 형태로서 상태 변화가 연속적이며, 진동/소음/토크 리플과 같은 관측 가능한 징후가 명확하고, 잔존 길이(mm)와 같이 정량 라벨을 정의할 수 있어 상태 추정(회귀)+등급 판별(분류) 구조로 확장하기에 적합하다고 판단하였다[2][3]. 또한, 브러시 마모 진단은 유지보수 시점 판단을 위한 등급화뿐 아니라, 향후 잔존유효수명(RUL) 예측으로의 확장 가능성을 갖는다는 점에서 상태기반정비 관점의 실무적 의미도 크다[7].

본 연구는 모터측(S1)과 감속기측(S2)에서 동기화 진동 데이터를 취득한 후, 연속 신호를 0.1 s 윈도우(50% 중첩)로 분할하고 시간·주파수·엔벌로프 기반 특징을 추출하여 마모 단계의 미세 변화를 안정적으로 표현한다[3]. 이후 XGBoost 기반 회귀 모델로 브러시 잔존 길이를 정량 추정하고, 다중분류 모델로 4단계 심각도 등급을 판별함으로써 정량적 상태 정보와 현장 의사결정용 등급 정보를 동시에 제공한다[8].

Ⅱ. 시험방법 및 데이터 전처리

2.1 시험방법

연구의 전체 실험 및 분석 흐름은 그림 1에 나타내었으며[7], 브러시 조건별로 모터–감속기를 구동하고, 듀얼 진동센서로 신호를 동기 취득한 뒤, 전처리(윈도우 분할)–특징 추출–학습/평가의 순서로 진단 모델을 구축하였다. 브러시 마모 상태 진단을 위해 구성한 테스트베드의 형상을 그림 2에 나타내었으며, PMDC 모터와 감속기를 결합한 구동계를 기본으로 진동 센서를 모터와 감속기 하우징에 각각 설치하여 동일 운전 조건에서 위치별 응답 차이를 비교할 수 있도록 구성하였다.

Fig. 1.

Conceptual diagram of the data acquisition system

Fig. 2.

Shape of test bed

시험에 사용한 PMDC 모터의 주요 사양을 표 1과 같이 나타내었으며, 모터 사양(정격 전압, 정격 속도, 정격 출력 등)은 진동 신호의 기본 주파수 성분과 고조파/공진 특성에 영향을 주므로, 이후 주파수 분석 및 특징 설계의 기준 정보를 제공한다[3][7].

Table 1.

Specification of PMDC motor

모터 주요 고장 형태에 대한 FMEA 결과를 표 2에 표시하였으며, RPN 관점에서 정류자의 표면 손상(RPN=160)과 베어링의 내·외륜 스폴링(RPN=144) 및 브러시의 과도/불균일 마모(RPN=140)가 상대적으로 높게 나타났다. 특히, 상태진단 측면에서는 RPN 요소 중 발생도와 심각도가 가장 중요한 요소로 볼 수 있고[4], 운용 중 점진적으로 진행되는 열화 특성과 진동 기반으로 관찰 가능한 징후의 존재, 그리고 잔존 길이(mm)로 마모 정도를 정량 라벨링할 수 있는 재현성을 함께 고려하여 브러시 마모를 진단 대상으로 선정하였다.

Table 2.

Motor FMEA(Failure Mode and Effects Analysis)

현장에서 브러시 마모는 표면 거칠기, 스파크 정도, 접촉면 변화 등의 현상으로 나타나며, 모터의 브러시는 밀폐된 공간에 있으므로 운용간 육안으로 관찰이 곤란한 특성을 고려하여 브러시 잔존 길이(최초 길이 - 마모 길이)를 파라미터로 정의하였다[1]. 모터의 브러시 길이가 감소할수록 스프링에 의한 브러시의 탄성 지지 조건이 변화하기 때문에, 모터나 감속기의 진동 특성이 변화할 것으로 판단하였다[3].

길이별(9/7/5/3 mm) 브러시 형상을 그림 3에 나타내었으며, 9 mm를 정상 상태로 두고, 7/5/3 mm를 마모 상태로 가정하여 단계별 진동 변화를 비교하였다.

Fig. 3.

Brush geometry by length condition

브러시 잔여 길이가 2 mm 이하의 경우 브러시 내부에 매립된 연선(Copper pigtail)이 노출되어 스파크 및 아크 발생으로 화재 위험이 있으므로 안전을 고려하여 최소 길이를 3 mm로 하였으며, 이를 4가지로 분류하여 2 mm 간격씩 정상(9 mm), 주의(7 mm), 경고(5 mm) 및 심각(3 mm)으로 구분하였다[1].

2.2 데이터 수집 및 전처리

진동 데이터는 모터측 센서(S1)와 감속기측 센서(S2)로부터 동기화하여 획득하였으며, 샘플링 주파수는 10 kHz로 설정하였다. 브러시 길이에 따른 모터(S1) 및 감속기(S2) 진동 신호의 시간영역 파형을 그림 4에 나타내었으며, 동일 운전 조건에서도 센서 설치 위치에 따라 응답 크기와 파형의 변동성이 달라질 수 있어 듀얼 진동센서를 적용하였다. 또한, 브러시 길이가 감소할수록 파형의 진폭 변동 성분이 증가하는 경향이 일부 구간에서 관찰되고 있다.

Fig. 4.

Vibration signals of motor (S1) and gear (S2) by brush length (Left panel : Motor, Right panel : reducer)

FFT 분석을 통해 얻은 브러시 길이별 주파수 스펙트럼을 그림 5에 나타내었으며, 마모 상태에 따라 특정 주파수 대역의 에너지 분포가 달라질 수 있음을 보여준다. 이는 단순 시간영역 지표만이 아니라 주파수 영역 특징(지배 주파수, 대역 에너지, 스펙트럼 형상)이 마모 단계 구분에 유효한 근거가 될 수 있음을 알 수 있다[3]. 특히, 결합 구동계에서는 회전체의 기어 맞물림 성분 및 구조 공진이 혼재할 수 있으므로, 센서 위치별로 다른 주파수 성분이 강조될 수 있다. 따라서, S1과 S2의 특징을 동시에 사용하여 마모 관련 정보를 융합하였다.

Fig. 5.

Frequency spectrum by brush length

학습 데이터 구성을 위해 획득된 연속 진동 신호𝑥[𝑛]는 0.1 s 윈도우로 분할하고 50% 중첩(Overlap)을 적용하여 그림 6과 같이 샘플을 생성하였다. 샘플링 주파수는 10 kHz로, 0.1 s 윈도우는 𝑁 = 1000 Samples에 해당하며, 국소 정상성(Local stationarity) 가정하에서 시간 영역 통계 특징과 주파수/엔벨로프 기반 특징(예: Welch 기반 PSD, Envelope energy)의 안정적 산출이 가능하다[9],[10]. 또한 50% 중첩(𝐻 = 500 Samples)은 윈도우 경계 영향(Boundary effect)을 완화하고 특징 추정의 분산을 감소시켜 학습 안정성을 높이는 목적으로 적용하였다[10]. 이러한 설정은 Welch PSD 추정 이론 및 회전체 상태 진단 분야의 선행연구에서 널리 사용되는 구성으로, 노이즈 민감도를 완화하면서도 충분한 학습 샘플 수를 확보할 수 있어 본 연구 조건에 적합하다고 판단하였다[9][10].

Fig. 6.

Window segmentation (0.1 s windows, 50% overlap)

한편, 중첩 윈도우를 생성한 뒤 윈도우 단위로 무작위 분할을 수행할 경우, 시간적으로 중복되는 원신호 구간이 학습 세트와 시험 세트에 동시에 포함되어 데이터 누수(Data leakage)가 발생할 수 있다[11]. 이를 방지하기 위해 본 연구에서는 원시 연속 신호의 연속 구간(Continuous segment) 단위로 그룹을 정의하고, 동일 구간에서 생성된 모든 윈도우에 동일한 Group ID를 부여한 뒤 그룹 기반 분할을 적용하였다[11]. Hold-out 검증에는 GroupShuffleSplit을 사용하여 그룹 단위 80/20 분할을 수행하였고, 보다 엄밀한 일반화 성능 평가는 GroupKFold(n=5) 교차검증을 수행하여 동일 그룹(동일 원신호 구간)에서 파생된 중첩 윈도우가 서로 다른 Fold의 학습/평가 세트에 동시에 포함되지 않도록 하였다[12]-[14]. GroupShuffleSplit 및 GroupKFold는 Scikit-learn 구현에 사용하였다[15]. 연속적인 진동 신호로부터 분할된 k번째 윈도우 신호 x_k[n]은 식 (1)과 같이 정의할 수 있다.

$\[ x_k\left[n\right]=x\left[n+kH\right], \left(0\le n\prec N\right) \]$

(1)

여기서, 𝑥[𝑛]은 원래의 진동 신호이고, 𝑥_𝑘[𝑛]은 연속 진동 신호로부터 분할된 k번째 윈도우 신호이며, N은 윈도우를 구성하는 샘플 수이고, H는 중첩 적용시 윈도우 이동 간격이며, K는 전체 윈도우 개수이다.

각 윈도우는 모터와 감속기에서 동일 타임 인덱스로 매칭하여, 듀얼 센서의 동기화된 정보를 동시에 반영하도록 구성하였다. 브러시 길이는 회귀 분석을 위한 라벨로 사용하였고, 분류 모델을 위해 정상(9 mm), 주의(7 mm), 경고(5 mm), 심각(3 mm)의 4단계 등급을 정의하였다. 윈도우 분할 결과 총 24,716개의 데이터 샘플이 생성되었으며, 학습/시험 데이터는 80:20 비율로 구성하여 학습 19,772개, 시험 4,944개로 구성하였다.

Ⅲ. 데이터 특징 추출 및 학습

Ⅳ. 결과 및 고찰

브러시 길이에 따른 모터 진동 신호의 RMS 변화를 그림 7에 나타내었다. RMS는 시간영역에서 신호의 에너지 수준(진동 강도)을 대표하는 지표로, 브러시–정류자 접촉이 불안정해지거나 미세 충격 성분이 증가할 경우 RMS 변화로 반영될 수 있다. 시험 결과, 브러시 길이 조건에 따라 RMS의 변화가 관찰되었으며, 이는 마모 단계에 따른 진동 강도 차이 설명에 RMS가 유효한 특징이 될 수 있음을 시사한다.

Fig. 7.

RMS value of motor vibration signal according to brush length

브러시 길이별 PSD–주파수 특성 비교 결과를 그림 8에 나타내었다. PSD는 주파수 대역별 에너지 분포를 제공하며, 그림 8로부터 브러시 마모 길이 변화와 관계없이 주파수 성분의 상대적 분포(스펙트럼 형상)는 유사하나, 브러시 마모 길이에 따라 에너지 크기(스케일)가 변화하고 있음을 확인할 수 있다. 이는 마모 진행에 따라 특정 주파수 성분의 "형상 변화"보다는 "에너지 수준 변화"가 주로 나타날 수 있음을 보여주며, RMS 및 대역 에너지와 같은 에너지 기반 특징의 활용 타당성을 뒷받침한다.

Fig. 8.

PSD–Frequency characteristics across brush lengths

브러시 길이 추정을 위한 회귀 모델 성능은 (누수 방지) GroupKFold(n=5) 평균 기준 MAE 0.1245 mm, RMSE 0.2760 mm, R² 0.9846으로 산출되었다.

실제값과 예측값의 일치도는 Parity plot으로 그림 9에 제시하였다. 그림에서 예측값은 45° 기준선(y=x) 주변에 비교적 밀집하게 분포하며, 전반적으로 안정적인 연속값 추정이 수행됨을 확인할 수 있다. 또한, 마모 단계 간격이 2 mm임을 고려할 때, 본 회귀 오차 수준은 단계 구분 관점에서 실용적인 정밀도를 제공할 수 있으며, 추정값을 기반으로 교체 임계값 판단과 같은 유지보수 의사결정에 활용이 가능하다.

Fig. 9.

Regression estimation results for brush length (parity plot)

마모 등급(정상/주의/경고/심각) 판별을 위한 분류 모델 성능은 Accuracy, Precision, Recall, F1-score로 평가하였으며, 각 지표의 계산식은 식 (6)~(9)과 같다. 여기서 TP는 True Positive, TN은 True Negative, FP는 False Positive, FN은 False Negative를 의미한다.

성능 지표 결과는 표 3에 나타내었으며, Accuracy 98.48%, F1-score(Macro) 98.41%로 높은 판별 성능을 확인하였다.

Table 3.

Performance evaluation results

또한, 분류 혼동행렬은 그림 10에 나타내었으며, 대부분의 샘플이 올바른 등급으로 분류됨을 확인할 수 있다. 일부 오분류는 주로 인접 단계(예: 주의–경고) 사이에서 나타날 수 있는데, 이는 마모 진행이 연속적으로 발생하여 경계 구간에서 신호 차이가 상대적으로 작고, 조건 간 분포가 일부 중첩될 수 있기 때문으로 판단된다.

Fig. 10.

Confusion matrix for wear-stage classification results

제안한 방법의 우수성을 확인하기 위해, 비교 모델(Random Forest, SVR(RBF)/SVM(RBF))과의 성능 비교를 수행하였으며, 누수 방지 조건의 GroupKFold(n=5) 교차검증 결과를 표 4와 5에 제시하였다[14][23]. 회귀 성능 비교에서 RF는 MAE 측면에서 가장 낮은 평균 오차를 보였으나, XGBoost는 RMSE와 결정계수(R²)에서 가장 우수한 성능을 나타내어 전체 마모 추세를 안정적으로 모델링하는 데 효과적임을 확인하였다. 분류 성능에서는 SVM이 정확도 및 F1-score에서 근소하게 높은값을 보였지만, XGBoost 역시 98% 이상의 높은 정확도와 F1-score를 안정적으로 유지하였다. 그리고, 계산 효율 측면에서 XGBoost는 Random Forest 및 SVM 대비 예측 시간(Prediction time)이 짧고, 학습 시간(Fit time)이 비교적 안정적으로 나타나, 실시간 상태진단 적용 관점에서 유리한 특성을 보였다.

Table 4.

Regression performance comparison results by model type

Table 5.

Classification performance comparison results by model type

또한 센서 구성의 유효성을 확인하기 위해 표 6과 7에 나타낸 바와 같이 단일 센서 기반(S1 only, S2 only)과 듀얼 센서 기반(S1+S2)의 성능을 비교하였다. 회귀 성능에서 듀얼 센서 구성은 S1 only 대비 MAE가 0.0072 mm(약 5.5%) 감소하였고, RMSE도 0.0316 mm(약 10.3%) 감소하여 예측 오차가 전반적으로 개선되었다. 그리고, 분류 성능에서도 듀얼 센서는 Accuracy가 +1.20%, F1-score가 +1.22% 향상되어, 두 위치의 진동 정보를 융합하는 구성이 단일 센서 대비 회귀 및 분류 성능 향상에 기여함을 확인하였다.

Table 6.

Regression performance comparison results for single- and dual-sensor configurations

Table 7.

Classification performance comparison results for single- and dual-sensor configurations

Ⅴ. 결 론

본 연구는 PMDC 모터–감속기 결합 구동계에서 브러시 마모에 따른 진동 응답 변화를 기반으로, 브러시 잔존 길이의 연속 추정(회귀)과 마모 단계 판별(분류)을 동시에 수행하는 윈도우 특징 기반 진단 방법을 제안하였다. 모터측(S1)과 감속기측(S2)에서 동기화 진동 신호를 취득하고, 0.1 s 윈도우(50% 중첩) 분할 후 시간·주파수·엔벌로프 기반 34개 특징을 구성하여 XGBoost 회귀 및 다중분류 모델을 학습하였다. 중첩 윈도우로 인한 데이터 누수를 고려하여 그룹 기반 분할과 GroupKFold(n=5) 교차검증을 적용하였으며, 누수 방지 조건에서도 회귀는 MAE 0.1245 mm, RMSE 0.2760 mm, R² 0.9846, 분류는 Accuracy 98.48%, F1-score(macro) 98.41%로 높은 성능을 유지하였다.

모델별 성능 비교에서는 회귀의 경우 XGBoost가 RMSE와 결정계수(R²)에서 다른 모델보다 우수한 성능을 나타내어 브러시 마모 진단에 효과적임을 확인하였고, 분류의 경우 모든 모델이 98% 이상의 높은 정확도를 유지하였으나, XGBoost는 다른 모델보다 계산 효율이 높게 나타나 실시간 상태진단 측면에서 유리한 특성을 보였다. 또한 단일 센서 대비 듀얼 센서(S1+S2) 구성에서 회귀 MAE 및 RMSE가 감소하고 분류 정확도와 F1-score가 향상되어, 센서 융합의 유효성을 정량적으로 확인하였다.

향후에는 부하 및 회전수 변화 조건에서의 추가 검증과 SHAP 기반 설명가능성 분석을 통해, 모델 해석과 적용 범위를 확장할 예정이다[26].

Acknowledgments

이 논문은 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 대학 ICT 연구센터사업의 연구결과(IITP-2026-RS-2024-00438430, 기여율 40%)과 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 지역지능화혁신인재양성사업(IITP-2026-RS-2020-II201612, 기여율 40%)과 2026년도 경상북도 지역혁신중심 대학지원체계(RISE)-(지역성장 혁신LAB, 기여율 20%)의 지원을 받아 수행된 결과입니다(2026-rise-15-105)

References

• S. J. Chapman, "Electric Machinery Fundamentals", 5th ed., McGraw-Hill, Feb. 2011.
• A. K. S. Jardine, D. Lin, and D. Banjevic, "A review on machinery diagnostics and prognostics implementing condition-based maintenance", Mechanical Systems and Signal Processing, Vol. 20, No. 7, pp. 1483-1510, Oct. 2006. [https://doi.org/10.1016/j.ymssp.2005.09.012]
• R. B. Randall, "Vibration-based Condition Monitoring", Wiley, pp. 63-122, Feb. 2011. [https://doi.org/10.1002/9780470977668]
• IEC 60812:2018, Failure Modes & Effects Analysis (FMEA and FMECA), International Electrotechnical Commission, Aug. 2018.
• D. Y. Kim, S. W. Lee, J. H. Yoon, T. S. Sim, W. C. Sim, S. W. Kim, G. J. Park, and J. W. Hur, "Research on method of selecting CBM+target items of radar system", Journal of the Korea Academia-Industrial Cooperation Society, Vol. 25, No. 9, pp. 598-607, Sep. 2024. [https://doi.org/10.5762/KAIS.2024.25.9.598]
• ISO 17359:2018, Condition Monitoring & Diagnostics of Machines — General Guidelines, International Organization for Standardization, Jan. 2018.
• T. S. Sim, S. Lee, and J. Hur, "Failure impact of drone blades by damage location using machine learning", Journal of the Korean Society of Manufacturing Process Engineers, Vol. 24, No. 2, pp. 58-64, Feb. 2025. [https://doi.org/10.14775/ksmpe.2025.24.2.058]
• T. Hastie, R. Tibshirani, and J. Friedman, "The Elements of Statistical Learning", Data Mining, Inference, and Prediction, 2nd ed., Springer, Jan. 2017. [https://doi.org/10.1007/978-0-387-84858-7]
• P. D. Welch, "The use of fast Fourier transform for the estimation of power spectra: A method based on time averaging over short, modified periodograms", IEEE Transactions on Audio and Electroacoustics, Vol. AU-15, No. 2, pp. 70-73, Jun. 1967. [https://doi.org/10.1109/TAU.1967.1161901]
• F. J. Harris, "On the use of windows for harmonic analysis with the discrete Fourier transform", Proc. of the IEEE, Vol. 66, No. 1, pp. 51-83, Jan. 1978. [https://doi.org/10.1109/PROC.1978.10837]
• C. Bergmeir and J. M. Benítez, "On the use of cross-validation for time series predictor evaluation", Information Sciences, Vol. 191, pp. 192-213, May 2012. [https://doi.org/10.1016/j.ins.2011.12.028]
• R. Kohavi, "A study of cross-validation and bootstrap for accuracy estimation and model selection", Proc. 14th Int. Joint Conf. Artificial Intelligence (IJCAI), Montreal, QC, Canada, pp. 1137-1143, Aug. 1995.
• S. Arlot and A. Celisse, "A survey of cross-validation procedures for model selection", Statistics Surveys, Vol. 4, pp. 40-79, Jul. 2009. [https://doi.org/10.1214/09-SS054]
• L. Breiman, "Random forests", Machine Learning, Vol. 45, No. 1, pp. 5-32, Jan. 2001. [https://doi.org/10.1023/A:1010933404324]
• F. Pedregosa, et al., "Scikit-learn: Machine learning in Python", Journal of Machine Learning Research, Vol. 12, pp. 2825-2830, 2011.
• A. V. Oppenheim and R. W. Schafer, Discrete-Time Signal Processing, 3rd ed., Prentice Hall, Jan. 2009.
• J. Antoni, "Cyclostationarity by examples", Mechanical Systems and Signal Processing, Vol. 23, No. 4, pp. 987-1036, May 2009. [https://doi.org/10.1016/j.ymssp.2008.10.010]
• J. Antoni, "The spectral kurtosis: A useful tool for characterising non-stationary signals", Mechanical Systems and Signal Processing, Vol. 20, No. 2, pp. 282-307, Feb. 2006. [https://doi.org/10.1016/j.ymssp.2004.09.001]
• L. Cohen, "Time-Frequency Analysis", Prentice Hall, ISBN(9780135945322), Feb. 1995.
• J. H. Friedman, "Greedy function approximation: A gradient boosting machine", Annals of Statistics, Vol. 29, No. 5, pp. 1189-1232, Nov. 2001. [https://doi.org/10.1214/aos/1013203451]
• T. Chen and C. Guestrin, "XGBoost: A scalable tree boosting system", Proc. 22nd ACM SIGKDD Int. Conf. Knowledge Discovery and Data Mining (KDD), San Francisco, CA, USA, pp. 785-794, Aug. 2016. [https://doi.org/10.1145/2939672.2939785]
• N. Cristianini and J. Shawe-Taylor, "An Introduction to Support Vector Machines and Other Kernel-based Learning Methods", Cambridge University Press, Feb. 2001. [https://doi.org/10.1017/CBO9780511801389]
• C. Cortes and V. Vapnik, "Support-vector networks", Machine Learning, Vol. 20, No. 3, pp. 273-297, 1995. [https://doi.org/10.1023/A:1022627411411]
• M. Sokolova and G. Lapalme, "A systematic analysis of performance measures for classification tasks", Information Processing & Management, Vol. 45, No. 4, pp. 427-437, Jul. 2009. [https://doi.org/10.1016/j.ipm.2009.03.002]
• D. M. W. Powers, "Evaluation: From precision, recall and F-measure to ROC, informedness, markedness & correlation", Journal of Machine Learning Technologies, Vol. 2, No. 1, pp. 37-63, Jan. 2011.
• S. M. Lundberg and S.-I. Lee, "A unified approach to interpreting model predictions", Advances in Neural Information Processing Systems (NeurIPS), Long Beach, California, USA, Vol. 30, pp. 4765-4774, Dec. 2017. [https://doi.org/10.48550/arXiv.1705.07874]