심전도 신호를 이용한 1차원 확장 합성곱 연산 기반 사용자 인식에 관한 연구

Ⅰ. 서 론

정보화 사회로의 급격한 변화와 다양한 시스템 및 기기들의 증가로, 개인의 신원 확인을 위한 연구들이 활발하게 이루어져 실제 생활에 사용되고 있다. 지식 및 소유 기반 사용자 인식 방법은 사용자가 가지고 있는 지식이나 소유물을 확인하여 인식하는 방법으로 다른 인식 시스템에 비해 저렴한 비용으로 사용이 가능하다. 그러나 이러한 방법은 사용자가 패스워드를 잊어버리거나 OTP, ID카드 등을 분실하는 경우 관리 비용이 추가로 발생하며 보안이 취약한 문제점이 있다[1][2].

최근 개인별 고유한 특징을 나타내는 심전도, 뇌전도, 근전도와 같은 생체신호를 딥러닝 기술에 적용하여 실생활에 적용하기 위한 차세대 사용자 인식 기술이 연구되고 있다[3]. 심전도 신호는 심장의 위치, 크기, 구조, 나이, 성별 등의 요인들에 따라 자율적으로 발생하는 신호의 특징들이 개인마다 고유하게 나타나는 생체신호이다[4][5].

그러나 실시간으로 취득되는 빅데이터 생체신호를 딥러닝 기술에 적용하기에 위해 많은 학습 시간과 연산량을 요구하는 문제가 발생한다. 본 논문에서는 그림 1과 같이 1차원 심전도 신호를 주기별 분할하였으며, 확장 합성곱 연산 기반 네트워크를 설계하여 사용자 인식에 관한 연구를 진행하였다.

Fig. 1.

Example of division by period of ECG signal

논문의 구성은 2장에서 기존 딥러닝 기반 생체신호를 이용한 사용자 인식 기술 연구를 분석한다. 3장에서 본 논문에서 제안한 확장 합성곱 연산기반 사용자 인식 기술에 대해 설명하고, 4장에서 실험 결과에 대해 분석한다. 끝으로 5장에서 결론 및 향후 연구에 대해 설명한다.

Ⅱ. 딥러닝 기반 생체신호를 이용한 사용자 인식 관련 연구

기존 특징 검출은 사람에 의해 추출되고 분류만 기계학습으로 진행했다면, 합성곱 신경망은 컴퓨터가 자동으로 특징 검출과 분류를 진행한다. 심전도 신호를 딥러닝에 적용한 기존 방법의 사례로 Acharya는 9개 계층의 합성곱 신경망을 설계하여 잡음을 제거한 파형과 제거하지 않은 파형에 대해 각각 94.03%와 93.49%의 정확도를 보였다[6]. Ubeyli는 고유 벡터 기반의 특징 추출 방법을 사용하여 Recurrent Neural Networks를 이용해 부정맥을 검출하는 방법을 제안했다.

실험 결과, 이 모델은 4 가지 다른 부정맥으로 평균 정확도 98.06%를 보였다[7]. Zubair은 9개 계층의 합성곱 신경망을 설계하여 92.7%의 정확도를 보였고[8], Zhai은 심전도 파형의 이중화를 통해 2차원 이미지로 변환하였으며, 이를 합성곱 신경망에 적용하여 특정 파형 검출에 대해 98.6%와 97.5%의 정확도를 보였다[9].

Kiranyaz는 심전도 부정맥 분류를 위해 1차원 CNN을 적용했다. 2차원 심전도 영상에 CNN을 적용하는 방법과 달리 Kiranyaz방법은 1차원 심전도 신호에 CNN을 적용하여 정확도 96.4%의 우수한 성능을 나타냈다[10]. Rajpurkar는 Kiranyaz의 CNN 모델보다 더 깊고 많은 데이터를 사용하는 1-D CNN 모델을 제안했다. 그러나 더 많은 심전도 신호 데이터를 사용함에도 불구하고 검출 성능은 낮게 나타냈다[11]. 실험에 사용된 심전도 신호의 경우, 데이터 세트의 수가 증가하더라도 입력으로 사용되는 심전도 신호가 1차원이므로, 2차원 이미지에 비해 연산량과 특징값이 적기 때문에 깊은 네트워크는 성능 향상에 영향을 미치지 않았다.

Ⅲ. 저연산 학습을 위한 확장 합성곱 연산을 이용한 사용자 인식

3.1 잡음제거 및 생체신호 분할을 위한 전처리

1차원의 심전도 신호는 잡음제거 및 교정으로 구성된 전처리과정이 필요하다. 심전도 신호의 잡음은 그림 2와 같이 주파수 필터링, R파 검출, 미디언 필터링 과정을 통해 잡음을 제거한다. 주파수 필터링은 심전도 측정시 발생하는 전력선 잡음, 근 잡음, 전극 접촉 잡음을 제거하기 위해 밴드패스 필터를 사용하였다. 밴드패스 필터를 적용한 심전도 신호는 Pan&Tompkins알고리즘을 이용하여 R파 정점을 검출하였다. 1985년에 발표된 Pan&Tompkins 방법은 대표적인 QRS 구간 검출 방법으로 심전도 신호 관련 수많은 연구들이 이 검출방법을 적용하고 있다[12]. Pan&Tompkins 방법은 크게 전처리 과정과 적응형 이중 임계값(Threshold)를 사용한 QRS 구간 검출 과정으로 나눌 수 있다.

Fig. 2.

Noise removal and signal segmentation process

검출된 R파 정점을 기준으로 개인의 고유한 신체적 특징 정보를 포함하고 있는 QRS Complex 구간을 제외한 나머지 구간에 미디언 필터를 적용하여 잡음을 제거하였다.

3.2 확장 합성곱을 이용한 네트워크 설계

확장 합성곱 연산은 Yu에 의해 제안되었으며, 이는 기존 합성곱 층에 확장 비율(Dilation rate) 파라미터를 접목한 기술이다[13]. 확장 비율은 커널(Kernel) 사이의 간격을 정의하며, 확장 비율이 증가함에 따라 더 넓은 수용 영역(Receptive field)를 갖도록 해주는 역할을 한다. 기존 합성곱 연산의 커널은 그림 3과 같이 수용 영역과 커널의 크기가 동일하다.

Fig. 3.

Existing convolution kernel and receptive field example

그러나 확장 합성곱 연산은 그림 4와 같이 수용 영역과 파란색 위치의 픽셀값만 계산에 사용되며 나머지는 0으로 채워진다. 이는 기존 합성곱 연산에 비해 확장 합성곱 연산은 더 넓은 수용 영역을 포함하더라도 파라미터의 개수는 동일하게 유지하기 때문에 연산량이 증가하지 않은 장점이 있다.

Fig. 4.

Dilated convolution kernel and receptive field example

확장 비율이 1일 경우, 기존의 합성곱과 동일한 3×3크기의 합성곱 연산을 수행하며, 신호 x[i]에 대해 확장 비율 r을 갖는 확장된 합성곱 y[i] 출력 및 크기 S를 갖는 필터 w[s]는 식 (1)과 같이 나타낼 수 있다.

$\[ y\left[i\right]=\sum _{s=1}^{s}x\left[i+r•s\right]w\left[s\right] \]$

(1)

Ⅳ. 실험 결과 및 분석

실험에 사용된 심전도 데이터베이스는 Lead-1신호이며, 18명으로 구성된 MIT-BIH NSRDB(Normal Sinus Rhythm Database)를 이용하였다[14]. 본 논문에서 사용된 입력 데이터는 학습 데이터 4,500장, 검증 데이터 2,700장, 실험 데이터 1,800장을 사용하였다. 심전도 신호는 좌측부터 P 파형은 심방의 탈분극에 의해 형성되며, QRS 콤플렉스 파형은 심실의 탈분극에 의해 형성되고, T 파형은 심실의 재분극에 의해서 형성된다. 본 논문에서는 2,000Hz의 원본 데이터를 250Hz로 다운 샘플링한 후, R파 정점을 기준으로 주기별 분할을 진행하였다.

주기별 분할된 단일 심전도 신호는 딥러닝 알고리즘인 합성곱 신경망에 적용하였다. 합성곱 신경망은 특징 추출에 매우 효과적인 합성곱 계층과 위치 변이 흡수에 효과적인 서브샘플링 계층이 번갈아 수행된다. 그리고 완전 연결 계층으로 구성되어 높은 인식 성능을 보이고 있다. 본 논문에서 사용된 딥러닝 네트워크의 구성은 합성곱 계층 3개, 서브샘플링 계층 3개, 완전 연결 계층 2개 총 8개의 계층으로 설계하였다. 커널의 크기는 1×3, 확장 비율은 2로 고정하여 1×5크기의 수용 영역을 포함 할 수 있도록 설정하였다.

실험 결과, 표 1과 같이 기존 합성곱 연산을 이용한 사용자 인식 성능의 경우 학습시간 26초를 소요하여 98.4%을 보였으며, 확장 합성곱 연산을 이용한 사용자 인식 성능은 학습시간 24초를 소요하며 98.6% 인식 성능을 나타냈다. 확장 합성곱 연산을 사용할 경우, 기존 합성곱 연산에 비해 짧은 학습시간으로 유사한 인식 성능을 확인하였다.

Table 1.

Comparison of results for user recognition

실험 결과에 대한 분석은 그림 5와 같이 혼동행렬을 통해 확인하였다. 대부분의 클래스에서 비교적 높은 인식성능을 보였으나, 13번 클래스의 인식성능이 현저히 낮게 나타났다. 이는 그림 6과 같이 원본 신호의 취득과정에서 기저선 잡음, 근잡음으로 인한 P, QRS, T파를 확인할 수 없는 비정상 신호가 포함되어있기 때문에 인식 성능이 저하되는 것을 확인하였다.

Fig. 5.

User recognition results based confusion matrix

Fig. 6.

Example of an abnormal signal of a specific class

Ⅴ. 결 론

본 논문에서는 1차원 심전도 신호를 이용한 확장 합성곱 연산 기반 사용자 인식 방법을 제안하였다. 기존 합성곱 연산과 확장 합성곱 연산에 대해 실험을 진행하였으며, 유사한 인식 성능을 나타내더라도 확장 합성곱 연산을 사용할 경우 기존 합성곱 연산에 비해 짧은 학습시간이 소요됨을 확인하였다.

향후에는 심전도 측정 위치, 사용자의 운동, 수면 그리고 음주 후 등과 같은 상태변화에 따른 다수의 자체 DB취득을 통해 실생활 적용을 위한 사용자 인식에 관한 연구를 진행할 예정이다. 또한, 여러 확장 비율을 갖는 앙상블 합성곱 네트워크를 설계하여 사용자 인식 성능을 향상시키는 연구를 진행할 예정이다.

Acknowledgments

이 논문은 2017년도 정부(교육부)의 재원으로 한국연구재단의 기초연구사업(No.NRF-2017R1A6A1A03015496)과 2020년도 정부(교육부)의 재원으로 한국연구재단(No. 2020R1I1A1A01074504)의 지원을 받아 수행된 연구임.

References

• A. K. Jain, A. Ross, and S. Prabhakar, "An introduction to biometric recognition", IEEE Trans. on Circuits and Systems for Video Tech, Vol. 14, No. 1, pp. 4-20, Jan. 2004. [https://doi.org/10.1109/TCSVT.2003.818349]
• S. J. Nam, S. T. Kim, and J. H. Shin, "Context-aware mobile user authentication approach using LSTM networks", Journal of IIBC, Vol. 20, No. 1, pp. 11-18, Feb. 2020.
• I. Odinaka, P. H. Lai, A. D. Kaplan, J. A. O'Sullivan, E. J. Sirevaag, and J. W. Rohrbaugh, "ECG biometric recognition: a comparative analysis", IEEE Trans. on Information Forensics and Security, Vol. 7, No. 6, pp. 1812-1824, Aug. 2012. [https://doi.org/10.1109/TIFS.2012.2215324]
• J. S. Kim, S. H. Kim, and S. B. Pan, "Electrocardiogram signal based personal identification performance analysis using pre-trained network model", Journal of KIIT, Vol. 18, No. 1, pp. 107-114, Jan. 2020. [https://doi.org/10.14801/jkiit.2020.18.1.107]
• J. J. Im, M. K. Li, and C. S. Hwang, "Wrist wearable device for the measurement and analysis of physiological signals", Journal of IIBC, Vol. 12, No. 6, pp. 65-73, Dec. 2012. [https://doi.org/10.7236/JIWIT.2012.12.6.65]
• U. R. Acharya, H. Fujita, S. L. Oh, Y. Hagiwara, J. H. Tan, and M. Adam, "Application of deep convolutional neural network for automated detection of myocardial infarction using ECG signals", Information Sciences, Vol. 415, pp. 190-198, Nov. 2017.
• E. D. Ubeyli, "Combining recurrent neural networks with eigenvector methods for classification of ECG beats", Digital Signal Processing, Vol. 19, No. 2, pp. 320-329, Mar. 2009.
• M. Zubair, J. Kim, and C. Yoon, "An automated ECG beat classification system using convolutional neural networks", In Proc. Int. Conf. IT Convergence and Security, Prague, Czech Republic, pp. 1-5, Sep. 2016. [https://doi.org/10.1109/ICITCS.2016.7740310]
• X. Zhai and C. Tin, "Automated ECG classification using dual heartbeat coupling based on convolutional neural network", IEEE Access, Vol. 6, pp. 27465-27472, May 2018. [https://doi.org/10.1109/ACCESS.2018.2833841]
• S. Kiranyaz, T. Ince, and M. Gabbouj, "Real-time patient-specific ECG classification by 1-D convolutional neural networks", IEEE Trans. on Biomedical Engineering, Vol. 63, No. 3, pp. 664-667, Mar. 2016. [https://doi.org/10.1109/TBME.2015.2468589]
• P. Rajpurkar, A. Y. Hannun, M. Haghpanahi, C. Bourn, and A. Y. Ng, "Cardiologist-level arrhythmia detection with convolutional neural networks", IEEE In Proc. Computer Vision and Pattern Recognition, Jul. 2017. https://arxiv.org/abs/1707.01836, .
• J. Pan and W. J. Tompkins, "A Real-time QRS detection algorithm", IEEE Trans. on Biomedical Engineering, Vol. 32, No. 3. pp. 230-236, Mar. 1985. [https://doi.org/10.1109/TBME.1985.325532]
• F. Yu and K. Vladlen, "Multi-scale context aggregation by dilated convolutions", arXiv preprint arXiv:1511.07122, , Nov. 2015.
• https://physionet.org/content/nsrdb/1.0.0/, [accessed: Oct. 12, 2021]