변동모드분해를 적용한 다중 합성곱 신경망 기반 부정맥 식별에 관한 연구

Ⅰ. 서 론

의료시스템의 변화와 ICT기반 센서 기술의 발전으로 웨어러블 디바이스 산업과 헬스케어 산업에 많은 관심과 투자가 증대되고 있다. 웨어러블 디바이스는 다양한 센싱능력을 갖춘 초소형 기기들이 서로 연결되어 실생활에 착용하고 있는 동안 지속적으로 사용자 및 환경에 대한 다양한 정보들을 수집할 수 있다. 최근에는 애플워치, 갤럭시 워치와 같은 웨어러블 디바이스 제품들이 상용화되어 다양한 환경에서 생체신호 취득이 가능해졌다[1]. 따라서 심전도 신호는 심실빈맥, 심실세동, 심방세동, 심장 부전수축, 부정맥 등과 같은 심장질환을 1차적으로 진단하는 데 널리 사용되고 있다.

심전도 신호의 중요한 특징으로는 그림 1과 같이 심방 및 심실 탈분극 또는 재분극에 해당하는 P, Q, R, S, T파에 있는 정보를 포함하고 있다. 특히, 표 1과 같이 부정맥 신호는 심장박동이 갑자기 빨라지거나 느려지고, 심장의 비정상적인 활동으로 P, Q, R, S, T파가 불규칙적으로 발생한다.

Fig. 1.

Example of ECG signal

Table 1.

Types ECG wave and action

또한, 부정맥 환자는 어지럼증, 흉부통증, 간질 및 경련 등의 증상을 나타낸다. 이는 부정맥 환자들도 증상이 나타나기 전까지 인지할 수 없기 때문에 사전에 알아내는 것이 중요하다[2]. 따라서 은닉층이 다수 존재하는 신경회로망으로 높은 식별 및 분류 성능을 나타내는 딥러닝 모델을 이용한 부정맥 식별에 관한 연구가 진행되고 있다.

부정맥 신호 식별을 위해 ECG신호를 딥러닝에 적용한 기존 연구에서 Ubeyli는 고유 벡터 기반의 특징 추출 방법을 사용하여 순환 신경망을 이용해 부정맥을 식별하는 방법을 제안했다. 실험 결과, 이 모델은 4가지 다른 부정맥으로 평균 정확도 98.06%를 보였다[3]. Zubair은 9개 계층의 합성곱 신경망을 설계하여 92.7%의 정확도를 보였고[4], Acharya 는 9개 계층의 합성곱 신경망을 설계하여 잡음 제거한 파형과 제거하지 않은 파형에 대해 각각 94.03%, 93.49%의 정확도를 보였다[5].

Zhai은 심전도 파형의 이중화를 통해 2차원 이미지로 변환하였으며, 이를 합성곱 신경망에 적용하여 특정 파형 검출에 대해 98.6%와 97.5%의 정확도를 보였다[6]. Kiranyaz는 ECG 부정맥 식별을 위해 2 차원 심전도 영상에 CNN을 적용하는 방법과 달리 1차원 심전도 신호에 CNN을 적용하여 우수한 성능을 나타냈다[7]. Rajpurkar는 Kiranyaz의 CNN 모델보다 더 깊고 많은 데이터를 사용하는 1-D CNN 모델을 제안했다. 그러나 더 많은 ECG 데이터를 사용함에도 불구하고 검출 성능은 낮게 나타냈다[8]. 실험에 사용된 ECG신호의 경우, 데이터 세트의 크기가 증가하더라도 입력으로 사용되는 심전도 신호가 1차원이기 때문에 깊은 네트워크는 성능 향상에 영향을 미치지 않았다[9].

Oh는 5가지 부정맥 진단을 위해 단일 합성곱 신경망과 단일 순환 신경망을 이용한 앙상블 네트워크 모델을 제안했다. 단일 합성곱 신경망은 분류기가 공간적 특징 추출을 위해 설계되었으며, 검출된 특징은 시간정보에 따라 데이터를 입력받는 단일 순환신경망에 적용하여 부정맥 신호를 진단했다. 부정맥 신호의 다양한 공개 데이터베이스를 적용한 결과, 98.1%의 높은 식별 정확도를 보였다[10].

Fan은 심전도 신호를 이용하여 일반적인 정상 신호와 비정상 신호인 부정맥 신호를 식별하기 위해 2층 구조의 다중 스케일 합성곱 신경망 모델을 제안했다. 서로 다른 스케일의 특징을 검출하기 위해 각 층에 사용된 필터 크기를 다르게 설계한 구조로 20초 간격으로 구성된 심전도 신호를 데이터베이스를 적용하였다. 실험결과, 다중 스케일 합성곱 신경망 모델은 98.1%의 분류 결과를 나타내 공개 네트워크인 VGG-network에 적용한 결과보다 0.1% 우수한 식별 성능을 나타냈다[11].

그러나 딥러닝 모델은 학습을 진행할 때마다 식별결과에 대한 차이를 나타내며, 부정맥 신호의 비선형적인 특징으로 인해 식별이 어려운 데이터까지 모두 학습하지 못해 성능의 한계를 보이는 데이터 과적합 문제점이 있다[12]. 이는 의료 및 헬스케어 분야에서 분석 결과에 따라 사람의 목숨으로 이어지므로 단순히 좋은 성능을 보이더라도 실생활 환경에서 사용하기에 어려움이 있다.

따라서 본 논문에서는 향상된 부정맥 신호 식별을 위해 멀티스트림 기반 딥러닝 모델을 제안한다. 먼저 비선형성 특징을 갖는 부정맥 신호를 딥러닝 모델에 적용하기 위해 변동모드분해(VMD, Variational Mode Decomposition)를 적용하여 비선형성 신호의 특징을 검출한다. 변동모드분해를 통해 분해된 신호들은 각 딥러닝 모델의 입력 데이터로 사용된다. 실험에 사용된 부정맥 데이터는 MIT-BIH Arrhythmia database로 정상신호와 4가지 부정맥 신호로 구성되어 있다[13]. 학습 데이터는 전체 데이터의 60%를 사용하였으며, 검증 데이터는 20%, 실험 데이터는 나머지 20%를 사용하였다.

본 논문의 구성은 2장에서 부정맥 식별을 위해 제안한 멀티스트림 기반 딥러닝 모델의 전처리 및 구조에 대해 설명한다. 다음으로, 3장에서는 부정맥 식별에 대한 단일 네트워크와 제안한 방법의 실험 결과에 대해 분석한다. 끝으로 4장에서 결론 및 향후 연구에 대해 설명한다.

Ⅱ. 부정맥 식별을 위한 멀티스트림 기반 딥러닝 모델

본 장에서는 데이터베이스 구성을 위해 잡음제거 및 심전도 신호 분할을 포함한 전처리 과정과 부정맥 식별을 위한 멀티스트림 기반 딥러닝 모델에 대해 설명한다. 인체에서 출력되는 여러 형태의 전기적 신호는 각각의 신체활동과 관련된 중요한 정보를 담고 있다. 이러한 전기적 신호 중 심전도 신호에서 발생하는 잡음은 부정맥 신호를 식별하는 과정에서 불필요하며, 잘못된 정보를 제공할 수 있는 원인이기 때문에 잡음제거가 필수적이다. 그림 2는 본 논문에서 제안한 전체적인 흐름도를 나타낸다. 먼저 잡음제거 과정을 거친 심전도 신호는 Pan&Tompkins 방법을 적용하여 주기별 분할을 진행한다. 다음으로 비선형성 특징을 검출하기 위해 변동모드분해를 적용한다[14][15]. 끝으로 변동모드분해를 통해 분해된 신호들은 각 딥러닝 모델의 입력 데이터로 사용된다.

Fig. 2.

Overall procedures processed in ECG arrhythmia identification

2.1 심전도 신호 분해를 위한 전처리 방법

1차원 심전도 신호를 딥러닝 모델에 적용하기 위해 잡음제거 및 주기별 신호분할 변동모드분해를 적용한 신호 분해로 구성된 전처리과정을 진행한다. 먼저 심전도 신호의 잡음은 밴드패스 필터링 과정을 통해 잡음을 제거한다. 밴드패스 필터링은 심전도 측정시 발생하는 전력선 잡음, 전극 접촉 잡음을 제거할 수 있다. 밴드패스 필터를 적용한 심전도 신호를 주기별 신호로 분할하기 위해 Pan&Tompkins 알고리즘을 이용하여 R파 정점을 검출한 후, R파 정점을 기준으로 주기별 신호를 분할하였다.

끝으로 부정맥 신호는 불규칙한 심장의 비정상적인 활동으로 비선형적인 특징의 신호를 나타낸다. 따라서 비선형성 신호에 대한 선형성 특징 검출이 가능한 변동모드분해 방법을 적용하여 부정맥 신호의 특징을 검출하였다. 변동모드분해 방법은 분해하기 위한 신호의 크기제약에 문제점이 있는 경험적모드분해(EMD, Empirical Mode Decomposition) 방법을 보완한 방법으로 신호를 n개의 신호로 분해할 수 있다[16].

$\[ y\left(t\right)=\sum _{i=1}^{N}IM{F}_i+R_N \]$

(1)

또한 고속퓨리에변환을 기반으로 한 알고리즘을 사용하여 상대적으로 경험적모드분해 방법보다 잡음에 민감하지 않은 장점이 있다. 변동모드분해는 입력신호를 분할하기 위해 식 (1)를 통해 신호를 분할 할 수 있다. 여기서 N은 시계열 자료계열 y(t)로부터 추출된 내재모드함수의 개수, R_N은 시계열 자료계열을 분해하고 남은 잔여값이다. 분해된 IMF_i의 개수는 전체 자료 개수 n에 대하여 log₂n에 근접한 개수로 분해된다[17]. 그림 3은 원 신호의 서로 다른 주파수 성분을 포함하는 내재모드함수별 분해한 결과의 예시로 본 논문에서는 4개의 내재모드함수로 분해하였다[18].

Fig. 3.

Results of segmenting the ECG signal by intrinsic mode function

2.2 최적화된 부정맥 식별을 위한 멀티스트림 기반 딥러닝 모델

합성곱 신경망은 연속적으로 입력된 정보에 대해 일정 크기의 필터를 사용하여 특징을 자체적으로 추출하여 학습을 한다. 특징 추출한 정보를 입력 데이터로 그대로 사용하는 것이 아니라, 그 중 의미 있는 특정 정보만을 추출한 다음 그것을 학습에 사용함으로써 학습 과정에서 발생하는 복잡한 연산량을 줄이며 필요한 정보를 학습한다. 필터는 사이즈를 다르게 해서 여러 특징을 추출할 수 있는데, 한 개 또는 다수의 필터를 사용해서 추출한 특징이 한 개의 계층을 이루게 된다. 그러나 단일 네트워크는 학습을 진행할 때마다 식별결과에 대한 차이를 나타낸다. 또한, 비선형적인 특징으로 인해 식별이 어려운 데이터까지 모두 학습하지 못해 성능의 한계를 보이는 문제점이 있다.

따라서, 딥러닝 모델을 이용한 부정맥 신호 분류를 위해 본 논문에서 제안한 딥러닝 모델은 그림 4와 같다. 본 논문에서는 변동모드분해를 통해 분해된 내재모드함수별 신호를 각 네트워크에 입력 데이터로 적용할 수 있도록 2개의 합성곱 계층과 풀링 계층으로 구성된 동일한 구조의 4개의 딥러닝 모델을 설계하였다. 4개의 단일 네트워크는 변동모드분해로 분해된 내재모드함수를 학습 데이터로 사용한다. 학습과정에서 과적합 문제를 해결하기 위해 합성곱 계층과 함께 배치정규화 계층을 적용하였다. 또한, 일반적으로 사용되는 활성함수인 ReLU를 사용하였으며, 활성함수를 최소화하기 위해 경사하강법 기반 최적화 함수인 Adam을 사용하였다.

Fig. 4.

Overview of proposed arrhythmia signal identification system based on Multi-stream CNN

Ⅲ. 실험결과 및 분석

실험에 사용된 부정맥 데이터는 MIT-BIH Arrhythmia 데이터베이스로 The Association for the Advancement of Medical Instrumentation 기준에 따라 실제 의사가 진단한 정상신호와 4가지 부정맥 신호(좌각차단, 우각차단, 심실조기수축, 심방조기수축)로 구성되어 있다[13]. 한주기씩 분할된 부정맥 데이터의 총 개수는 99,725개로 학습 데이터는 전체 데이터의 60%인 59,867개를 사용하였으며, 검증 데이터는 20%인 19,929개, 실험 데이터는 나머지 20%인 19,929개를 사용하였다. 분할된 부정맥 데이터는 변동모드분해를 통해 4개의 내재모드함수로 분해하여 각 단일 네트워크의 입력 데이터로 사용하였다.

그림 5은 혼동행렬로 나타낸 단일 네트워크의 부정맥 식별결과로 그림 5-(a)는 첫 번째 내재모드함수를 입력데이터로 사용하여 94.6%의 식별 정확도를 나타냈다. 그림 5-(b)는 두 번째 내재모드함수를 사용하여 95.3%의 식별 정확도를 나타냈으며, 5-(c)는 세 번째 내재모드함수를 통해 95.5%, 5-(d)는 네 번째 내재모드함수를 사용하여 96.1%의 식별 정확도를 나타냈다. 또한, 본 논문에서 제안한 단일 네트워크의 입력데이터로 사용된 내재모드함수에 따라 최소 0.6%에서 최대 1.5%의 식별 정확도 차이를 보였다. 이는 동일한 구조의 네트워크와 매개변수를 사용하더라도 식별 정확도의 차이를 나타내는 것을 확인할 수 있다. 끝으로 5-(e)는 4개의 단일 네트워크를 융합한 멀티스트림 기반 딥러닝 모델의 부정맥 식별 정확도는 96.6%로 단일 네트워크에 비해 0.5% 향상된 정확도를 나타내 부정맥 검출 가능성을 확인하였다. 이는 심전도 신호 내에 존재하는 다양한 주파수 성분과 신호의 복잡한 패턴을 다각도로 분석함으로써 내재모드함수별 서로 다른 정보량을 포함하고 있는 것을 확인하였다. 또한, 멀티 스트림 기반 딥러닝 모델은 단일 네트워크의 결과를 융합하여 최종 결과를 도출함으로써, 앙상블 효과를 통해 성능이 향상됨을 확인하였다.

Fig. 5.

Arrhythmia identification using confusion matrix

Ⅳ. 결론 및 향후 연구

본 논문에서는 최적화된 부정맥 신호 식별을 위해 멀티스트림 기반 딥러닝 모델을 제안하였다. 부정맥 신호는 일반적인 심전도 신호와 달리 비선형적인 특징을 나타내 식별에 어려움이 있다. 이러한 문제점을 해결하기 위해 변동모드분해를 적용하여 비선형성 신호의 특징을 검출하였다. 변동모드분해를 통해 검출된 특징은 멀티스트림 기반의 딥러닝 모델에 적용하여 부정맥 식별을 위한 입력데이터로 사용하였다. 실험결과, 제안한 멀티스트림 기반 딥러닝 모델은 4개의 단일 네트워크에 보다 향상된 정확도를 나타내 부정맥 식별 가능성을 확인하였다.

향후에는 웨어러블 디바이스와 같은 리소스가 제한된 환경에서 효율적인 연산처리를 위해 MobileNet과 같은 저연산 딥러닝 모델에 대한 연구를 진행할 예정이다. 또한, 딥러닝 모델의 복잡하고 많은 연산과정으로 인해 입력 데이터에서의 어떤 정보가 결과로 도출되었는지 명확하지 않은 블랙박스 문제점을 보완하기 위해 설명 가능한 인공지능에 대한 연구로 확대해 나갈 예정이다.

Acknowledgments

본 연구는 과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받아 수행된 정보통신·방송 기술개발 사업(No. RS-2022-000317, RS-2025-002219190) 의 지원을 받아 수행된 연구임

References

• M. G. Kim and S. B. Pan, "A study on user recognition using the generated synthetic electrocardiogram signal", Sensors, Vol. 21, No. 5, Mar. 2021. [https://doi.org/10.3390/s21051887]
• V. X. Afonso and W. J. Tompkins, "Detecting ventricular fibrillation", IEEE Engineering in Medicine and Biology Society, Vol. 14, No. 2, pp. 152-159, Mar.-Apr. 1995. [https://doi.org/10.1109/51.376752]
• E. D. Ubeyli, "Combining recurrent neural networks with eigenvector methods for classification of ECG beats", Digital Signal Processing, Vol. 19, No. 2, pp. 320-329, Mar. 2009. [https://doi.org/10.1016/j.dsp.2008.09.002]
• M. Zubair, J. Kim, and C. Yoon, "An automated ECG beat classification system using convolutional neural networks", Proc. Int. Conf. IT Convergence and Security, Prague, Czech Republic, pp. 1-5, Sep. 2016. [https://doi.org/10.1109/ICITCS.2016.7740310]
• U. R. Acharya, H. Fujita, S. L. Oh, Y. Hagiwara, J. H. Tan, and M. Adam, "Application of deep convolutional neural network for automated detection of myocardial infarction using ECG signals", Information Sciences, Vol. 415-416, pp. 190-198, Nov. 2017. [https://doi.org/10.1016/j.ins.2017.06.027]
• X. Zhai and C. Tin, "Automated ECG classification using dual heartbeat coupling based on convolutional neural network", IEEE Access, Vol. 6, pp. 27465-27472, May 2018. [https://doi.org/10.1109/ACCESS.2018.2833841]
• S. Kiranyaz, T. Ince, and M. Gabbouj, "Real-time patient-specific ECG classification by 1-D convolutional neural networks", IEEE Trans. on Biomedical Engineering, Vol. 63, No. 3, pp. 664-667, Mar. 2016. [https://doi.org/10.1109/TBME.2015.2468589]
• P. Rajpurkar, A. Y. Hannun, M. Haghpanahi, C. Bourn, and A. Y. Ng, "Cardiologist-level arrhythmia detection with convolutional neural networks", Proc. Int. Conf. IEEE Computer Vision and Pattern Recognition, Honolulu, HI, USA, Jul. 2017. [https://doi.org/10.48550/arXiv.1707.01836]
• M. G. Kim, C. Choi. and S. B. Pan, "Ensemble networks for user recognition in various situations based on electrocardiogram", IEEE Access, Vol. 8, Feb. 2020. [https://doi.org/10.1109/ACCESS.2020.2975258]
• S. L. Oh, Y. K. Eddie, R. S. Tan, and U. R. Acharya, "Automated diagnosis of arrhythmia using combination of CNN and LSTM techniques with variable length heart beats", Computers in Biology and Medicine, Vol. 102, pp. 278-287, Nov. 2018. [https://doi.org/10.1016/j.compbiomed.2018.06.002]
• X. Fan, Q. Yao, Y. Cai, F. Miao, F. Sun, and Y. Li, "Multiscaled fusion of deep convolutional neural networks for screening atrial fibrillation from single lead short ECG recordings", IEEE Journal of Biomedical and Health Informatics, Vol. 22, No. 6, pp. 1744-1753, Nov. 2018. [https://doi.org/10.1109/JBHI.2018.2858789]
• M. G. Kim and S. B. Pan, "Deep learning based on 1-D ensemble networks using ecg for real-time user recognition", IEEE Trans. Industrial informatics, Vol. 15, No. 10, Oct. 2019. [https://doi.org/10.1109/TII.2019.2909730]
• MIT-BIH Arrhythmia database, https://physionet.org/content/mitdb/1.0.0/, . [accessed: May 02, 2025]
• J. Pan and W. J. Tompkins, "A Real-time QRS detection algorithm", IEEE Trans. on Biomedical Engineering, Vol. 32, No. 3. pp. 230-236, Mar. 1985. [https://doi.org/10.1109/TBME.1985.325532]
• M. G. Kim and J. H. Jung, "A study on spectrogram based explainable ECG analysis for user recognitionl", Journal of KIIT, Vol. 21, No. 1, pp. 101-108, Jan. 2023. [https://doi.org/10.14801/jkiit.2023.21.1.101]
• N. E. Huang, Z. Shen, S. R. Long, M. L. Wu, H. H. Shih, Z. Quanan, N. C. Yen, C. C. Tung, and H. H. Liu, "The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis", Proc. Royal Society, Vol. 454, pp. 903-995, Mar. 1998. [https://doi.org/10.1098/rspa.1998.0193]
• W, Z. Huang, N. E. Long, S. R. and C. K. Peng, “On the trend, detrending, and variability of nonlinear and nonstationary time series”, Proceedings of the National Academy of Science, Vol. 104, No. 38, pp. 14889-14894, Jul. 2017. [https://doi.org/10.1073/pnas.0701020104]
• K. Dragomietskiy and D. Zosso, "Variational mode decomposition", IEEE Trans. Signal Processing, Vol. 62, No. 3, Feb. 2014. [https://doi.org/10.1109/TSP.2013.2288675]