근전도 신호 기반 Multi-Stream CNN 및 경험적 모드 분해를 이용한 사용자 인식

Ⅰ. 서 론

현대 사회에서 정보의 보안이 중요해짐에 따라 개인 신체에 있는 정보를 이용한 사용자 인식 방법이 제안되어 사용되고 있다[1]. 지문 및 얼굴을 이용한 사용자 인식은 낮은 거부감과 사용하기 편리한 이점으로 인해 많이 사용되고 있다. 그러나 외형적으로 표출된 정보로 사용자 동의 없이 수집이 가능해 위조 및 변조의 위험성이 있다. 또한, 등록된 정보 유출 시 정보를 변경할 수 없는 단점이 있다. 이러한 단점을 보완하기 위해 고유한 생리적 특성을 나타내는 생체신호를 이용한 사용자 인식 연구가 진행되고 있다[2][3].

생체신호 중 근전도 신호는 골격근이 수축하는 동안 발생하는 생물학적 신호로, 수행한 동작에 따라 다른 신호 파형이 생성된다. 이에 기존 사용자 인식 방법의 등록 정보를 변경할 수 없는 문제 해결이 가능하다. 근전도 신호는 근육 조직의 생리학적 정보뿐만 아니라 신경근 제어 정보를 반영한 복합적인 정보를 나타낸다[4][5]. 또한, 팔 및 다리 피부에 센서를 부착해 신호 측정이 가능하여 비교적 편리하게 신호를 측정할 수 있는 장점이 있다.

근전도 신호를 이용한 사용자 인식 연구는 개인 근육의 발달 정도와 활성도, 습관 등에 의해 발생하는 개인간 차이를 이용해 수행된다. 기존 근전도 신호를 이용한 사용자 인식 연구는 측정된 신호에서 특징을 추출하거나[6]-[10], 특징 데이터 증가를 위해 윈도우를 중첩하는 방법으로 데이터를 증가해 사용하였다[11]. 그러나 동일한 데이터 내에서 윈도우를 중첩해 사용하면 데이터 일반화로 인해 인식 성능이 저하되는 과적합 문제가 발생할 수 있다[2]. 경험적 모드 분해는 데이터를 물리적으로 의미 있는 구성 요소로 분해하는 기술로 데이터 중첩 없이 특징 데이터를 증가시킬 수 있다.

본 논문에서는 근전도 신호 기반 경험적 모드 분해 및 multi-stream CNN을 이용한 사용자 인식 방법을 제안한다. 제안한 방법은 근전도 신호를 경험적 모드 분해를 이용해 내재 모드 함수 1-4로 데이터를 분해한다. 분해된 각 내재 모드 함수는 4개의 stream으로 설계된 CNN에 입력데이터로 사용해 사용자 인식을 수행한다. 실험 결과, multi-stream CNN 및 내재 모드 함수를 이용한 방법은 98.3%의 정확도로, CNN을 이용한 기존 사용자 인식 연구에 비해 1% 성능이 높게 나타났다. 따라서 경험적 모드 분해로 근전도 신호 분해 후 내재 모드 함수에서 제공되는 정보를 이용할 경우 사용자 인식 성능 향상이 가능함을 확인하였다. 본 논문의 구성은 다음과 같다. 2장에서는 근전도 신호를 이용한 기존 사용자 인식 연구를 분석하고, 3장에서는 본 논문에서 제안한 근전도 신호 기반 경험적 모드 분해 및 multi-stream CNN을 이용한 사용자 인식 방법을 설명한다. 4장은 제안한 방법을 이용한 실험 방법 및 결과를 설명하고, 5장에서는 결론으로 논문을 마무리한다.

Ⅱ. 관련 연구

근전도 신호를 이용한 사용자 인식 연구는 신체의 다양한 근육을 이용한 연구가 진행되고 있다. 팔 근육의 근전도 신호를 이용한 사용자 인식 연구는 Shin[6]의 연구가 있다. Shin은 피험자 10명의 주먹쥐기 동작의 근전도 신호를 측정해 사용하며, 아날로그 회로에서 잡음 제거 및 신호 증폭을 수행했다. 제로 크로싱 및 분산을 포함한 5개의 핸드크래프트 특징을 이용해 인공 신경망으로 개인을 인식했다. Lu[7]는 유사한 조건의 피험자(체중, 키, 나이 등)의 근전도 신호를 이용한 사용자 인식 연구를 진행했다. 21명의 피험자 손 열기 동작의 신호를 측정해 사용했다. 연속 웨이블렛 변환을 이용해 특징을 추출하고, 4개의 convolution 계층과 4개의 pooling 계층으로 구성된 CNN을 이용해 개인을 인식했다.

다리 근육의 근전도 신호를 이용한 사용자 인식 연구는 Kim[8]의 연구가 있다. Kim은 피험자가 걷는 동안의 신호를 이용한 사용자 인식 방법을 제안했으며, 20명 피험자의 하체 근육에서 4채널로 측정해 사용했다. 신호에서 평균 절대값, 분산 등 12개의 핸드크래프트 특징을 추출한 후 인공 신경망을 이용해 개인을 인식했다. Lee[9]은 개인의 보행 습관을 기반으로 한 사용자 인식 방법 제안했으며, 12명의 피험자가 걷는 동안 하체의 근육에서 11채널로 근전도 신호를 측정했다. 잡음은 대역 저지 필터 및 대역 통과 필터로 제거하고, 제곱 평균 제곱근 및 근전도 적분 등 5개의 핸드크래프트 특징을 추출해 사용했다.

사람이 말할 때 사용되는 근육의 근전도 신호를 이용한 사용자 인식 연구로 Khan[10]의 연구가 있다. Khan은 말하는 중에 목 근육에서 측정한 음성 근전도 신호를 이용했다. 경험적 모드 분해로 신호 분해 후 내재 모드 함수 1-2를 결합해 사용하는 방법으로 신호 내 잡음을 제거하고, 제로 크로싱, 중간 주파수를 포함한 15개의 핸드크래프트 특징을 사용해 개인을 인식했다. Morikawa[11]는 다섯 종류의 발음을 수행할 때 근전도 신호를 이용한 사용자 인식 연구를 수행했다. 5명의 피험자의 입 주의 근육에서 3채널로 신호를 측정해 사용하며, 특징 데이터를 증가하기 위해 윈도우를 중첩해 사용했다. 4개의 convolution 계층과 2개의 pooling 계층으로 구성된 CNN에 전처리된 근전도 신호를 1차원으로 입력하여 개인을 인식했다.

기존 근전도 신호를 이용한 사용자 인식 연구에서 경험적 모드 분해는 데이터 증가 방법이 아닌 잡음 제거 방법으로 사용되고 있다[10]. 또한, 특징 데이터 증가를 위해 근전도 신호에서 윈도우를 일정 범위 중첩하여 분할하는 방법을 사용하였다[11]. 그러나 동일한 데이터를 중첩해 사용할 경우 데이터 일반화로 인해 과적합 문제가 발생할 수 있는 문제가 있다[2].

Ⅲ. 제안하는 근전도 신호를 이용한 사용자 인식 방법

본 논문에서 제안하는 근전도 신호 기반 multi-stream CNN 및 경험적 모드 분해를 이용한 사용자 인식 방법은 그림 1과 같다. 전처리 과정으로 신호에 있는 잡음을 디지털 필터를 이용해 제거한다. 전처리된 신호는 경험적 모드 분해를 이용해 내재 모드 함수 1-4로 분해한다. 설계한 multi-stream CNN의 입력 데이터로 분해한 내재 모드 함수 1-4를 병렬 형태로 사용해 학습하며, 학습된 정보로 사용자 인식을 수행한다.

Fig. 1.

Flowchart of the proposed personal recognition method using multi-stream CNN and EMD

3.2 경험적 모드 분해를 이용한 근전도 신호 분해

근전도 신호는 다른 생체신호와 동일하게 비선형 특성을 나타낸다. 따라서 선형성을 기반으로 한 알고리즘을 사용하는 것은 적합하지 않다[13]. 경험적 모드 분해는 근전도 신호 분해에 사용할 수 있는 기술로, 비선형 신호에 대해 적합하고 효율적으로 처리할 수 있는 방법이다[14]. 또한, 사전 매개변수 설정 없이 데이터에 적응적인 기술로, sifting process를 반복적으로 수행한다. Sifting process 방법은 아래와 같으며, 이를 통해 신호를 내재 모드 함수와 잔차로 분해한다. 내재 모드 함수를 판단하기 위한 조건은 ‘극값의 수와 영점 교차의 수는 1개 이하의 차이’ 및 ‘하부 엔벨로프 및 상부 엔벨로프의 평균은 0과 동일’이다.

그림 2는 경험적 모드 분해로 분해된 내재 모드 함수 및 잔차를 나타낸다. 그림 2에서 내재 모드 함수의 차수가 낮을수록 분해한 근전도 신호의 고주파수 성분을 나타내며, 이에 내재 모드 함수 1-4에 근전도 신호의 주요 정보가 많이 있음을 확인할 수 있다[15].

Fig. 2.

IMF and residual decomposed using EMD

3.3 Multi-stream CNN

기존 생체신호를 이용한 사용자 인식 연구는 핸드크래프트 특징을 주로 이용했다. 그러나 핸드크래프트 특징 추출 방법은 사전에 정의된 함수를 이용해 최적의 특징을 추출하지 못할 수 있으며, 특정 조건에서만 성능이 높게 나타날 수 있는 단점이 있다. 이러한 문제를 해결하기 위해 딥러닝이 연구되고 있다. 딥러닝은 사전에 함수를 정의하지 않고 데이터에 적응적으로 특징을 추출하여 데이터에 최적의 특징을 추출할 수 있다[16].

본 논문에서 설계한 multi-stream CNN 구조는 그림 3과 같다. 각 stream은 10개의 1차원 convolution 계층 및 4개의 pooling 계층으로 구성되어 있다. Convolution 계층의 특징 맵은 8개, 16개, 32개, 64개, 64개로 구성한다. Pooling 계층은 특징이 줄어드는 down-scale weighting을 방지하기 위해 맥스 pooling을 사용한다[2]. 4개의 stream으로 설계된 multi-stream CNN은 내재 모드 함수 1-4를 입력데이터로 사용해 특징을 추출하고, 10번째 합성곱 계층 출력을 fully connected 계층에서 융합한다. 학습은 학습률 0.001, 배치 크기 128, 에포크 100으로 진행한다.

Fig. 3.

Designed 4-stream CNN structure

Ⅳ. 실험 방법 및 결과

본 논문에서 제안한 근전도 신호 기반 multi-stream CNN 및 경험적 모드 분해를 이용한 사용자 인식 실험은 벤치마킹 데이터인 Ninapro DB2를 사용하였다. Ninapro DB2는 근육이 손상되지 않은 피험자들이 근전도 신호를 나타낸다[17]. 사용자 인식 실험은 20명 피험자가 수행한 17개 동작의 근전도 신호를 사용하였다. 각 피험자 근전도 신호 데이터는 학습 데이터 2/3와 테스트 데이터 1/3로 구성했다. 실험은 CPU: i7-8700, RAM: 16GB, GPU: GTX 1080Ti 성능의 컴퓨터로 진행하였다. 실험 성능은 정확도를 이용해 평가하였으며, 모델의 참 라벨을 참으로 예측하고 거짓 라벨을 거짓으로 예측한 성능을 나타낸다. 본 논문에서 제안한 multi-stream CNN 구조는 실험을 통해 4개의 stream으로 구성하였으며, stream 개수 변화에 따른 실험 결과는 그림 4와 같다. Stream 개수가 증가함에 따라 성능이 향상되었으며, 4개의 stream부터 성능이 수렴됨을 확인하였다.

Fig. 4.

Performance change according to the number of streams

Multi-stream CNN과 비교 실험을 위한 single-stream CNN은 3.2절의 경험적 모드 분해 과정을 수행하지 않은 근전도 신호(raw 근전도)를 이용해 실험하였다. Single-stream CNN 구조는 그림 5와 같으며, 10개의 1차원 convolution 계층 및 4개의 pooling 계층으로 구성되어 있다. 특징 맵, 전처리 방법, learning rate, epoch 등은 multi-stream CNN 실험과 동일하게 진행했다.

Fig. 5.

Single-stream CNN structure

표 1은 논문에서 제안한 multi-stream CNN 및 single-stream CNN 비교 실험 결과를 나타낸다. 표 1에서 single-stream CNN 및 raw 근전도 신호를 이용한 경우 96.1%의 정확도로, 제안한 방법의 정확도가 2.2% 높게 나타남을 확인하였다. 이는 데이터 중첩없이 특징 데이터를 증가시켜 성능이 향상된 결과로, 본 논문에서 제안한 multi-stream CNN 및 경험적 모드 분해를 이용한 사용자 인식 방법은 raw 근전도 신호를 이용한 방법에 비해 성능이 향상됨을 확인하였다.

Table 1.

Comparison experiment result of multi-stream CNN and single-stream CNN

표 2는 논문에서 제안한 사용자 인식 방법과 기존 연구의 비교 실험 결과를 나타낸다. 기존 근전도 신호를 이용한 사용자 인식 실험은 벤치마킹 데이터를 사용하지 않고 직접 취득한 데이터를 이용해 실험이 진행되었으며, 학습 및 테스트에 사용한 데이터 번호가 설명되지 않았다. 따라서 비교 실험은 본 논문에서 사용한 Ninapro DB2를 이용해 논문의 데이터 구성과 동일하게 설정 후 실험을 진행하였다.

Table 2.

Comparison of performance with previous studies using Ninapro DB2

비교 실험 결과, Shin[6]은 핸드크래프트 특징 및 비교적 얕은 신경망을 이용하여 성능이 가장 낮게 나타났다. Lu[7]은 연속 웨이블렛 변환 및 CNN을 이용해 사용자 인식을 진행하였지만, 근전도 신호와 같은 비선형 시계열의 경우 많은 주기 성분을 포함하고 있어 웨이블릿 분석을 통해 의미있는 특징을 찾아내기 어려운 문제가 있다[18]. 이에, 본 논문에서 제안한 multi-stream CNN 및 경험적 모드 분해를 이용한 사용자 인식 방법에 비해 1% 성능이 낮게 나타났다.

Ⅴ. 결론 및 향후 과제

본 논문에서는 근전도 신호 기반 사용자 인식 성능 향상을 위해 multi-stream CNN 및 경험적 모드 분해를 이용한 방법을 제안하였다. 제안된 방법은 특징 데이터 증가를 위해 경험적 모드 분해를 이용해 근전도 신호를 내재 모드 함수로 분해했다. 분해된 내재 모드 함수 1-4는 multi-stream CNN에 입력으로 사용하여 사용자를 인식했다. Multi-stream CNN의 stream은 실험을 통해 4개로 구성하였다. 제안된 방법의 성능은 Ninapro DB2를 이용해 single-stream CNN과 비교실험을 진행했다. 실험 결과, 논문에서 제안한 내재 모드 함수 및 multi-stream CNN을 이용한 방법은 raw 근전도 신호 및 single-stream CNN을 이용한 방법보다 2.2% 성능이 향상되었다. 또한, 연속 웨이블릿 변환 및 CNN을 이용한 기존 사용자 인식 연구에 비해 1% 성능이 높게 나타났다. 따라서 본 논문에서 제안한 사용자 인식 방법은 근전도 신호 중첩 없이 특징 데이터를 증가시키고 사용자 인식 성능 향상이 가능하여, 높은 보안 성능이 필요한 금융, 군사 등의 분야에서 활용이 가능하다. 향후에는 휴식 상태의 근전도 신호를 제거하는 연구를 진행하고, 피험자 수를 늘려 사용자 인식 실험을 진행할 계획이다.

Acknowledgments

이 논문은 2020년도 조선대학교 학술연구비의 지원 및 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2021R1A2C1014033)

References

• K. R. Kim, H. R. Choi, and K. S. Kim, "Design and implementation of side-type finger vein recognizer", J. Inst. Internet Broadcast. Commun., Vol. 21, No. 3, pp. 159-168, Jun. 2021.
• M. G. Kim and S. B. Pan, "Deep learning based on 1-D ensemble networks using ECG for real-time user recognition", IEEE Trans. Industr. Inform., Vol. 15, No. 10, pp. 5656-5663, Apr. 2019. [https://doi.org/10.1109/TII.2019.2909730]
• J. S. Kim, S. H. Kim, and S. B. Pan, "Electrocardiogram signal based personal identification performance analysis using pre-trained network mode", Journal of KIIT, Vol. 18, No. 1, pp. 107-114, Jan. 2020. [https://doi.org/10.14801/jkiit.2020.18.1.107]
• M. Karuna and S. R. Guntur, "EMG signal analysis using intrinsic mode functions to discriminate upper limb movement", In Proceedings of the International Conference on Artificial Intelligence and Signal Processing, Amaravati, India, pp. 1-3, Apr. 2020. [https://doi.org/10.1109/AISP48273.2020.9073313]
• X. Song, S. Guo, B. Gao, and W. Wang, "Motion recognition of the bilateral upper-limb rehabilitation using sEMG based on ensemble EMD", In proceedings of the IEEE International Conference on Mechatronics and Automation, Tianjin, China, pp. 1637-1642, Aug. 2014. [https://doi.org/10.1109/ICMA.2014.6885945]
• S. H. Shin, J. H. Jung, M. G. Kang, and Y. T. Kim, "A study on EMG signal acquisition modules and artificial neural networks for personal authentication", In Proceedings of the International Conference on Computational Science and Computational Intelligence, Las Vegas, NV, USA, pp. 1458-1459, Dec. 2018. [https://doi.org/10.1109/CSCI46756.2018.00289]
• L. Lu, J. Mao, W. Wang, G. Ding, and Z. Zhang, "A study of personal recognition method based on EMG signal", IEEE Trans. Biomed. Circuits. Syst., Vol. 14, No. 4, pp. 681-691, Jun. 2020. [https://doi.org/10.1109/TBCAS.2020.3005148]
• S. H. Kim, J. H. Ryu, B. H. Lee, and D. H. Kim, "Human identification using EMG signal based artificial neural network", Journal of the Institute of Electronics and Information Engineers, Vol. 53, No. 4, pp. 142-148, Apr. 2016. [https://doi.org/10.5573/ieie.2016.53.4.142]
• M. R. Lee, J. H. Ryu, and I. C. Youn, "Biometric personal identification based on gait analysis using surface EMG signals", In Proceedings of the IEEE International Conference on Computational Intelligence and Applications, Beijing, China, pp. 318-321, Sep. 2017.
• M. U. Khan, Z. A. Choudry, S. Aziz, S. Z. H. Naqvi, A. Aymin, and M. A. Imtiaz, "Biometric authentication based on EMG signals of speech", In Proceedings of the International Conference on Electrical, Communication, and Computer Engineering, Istanbul, Turkey, pp. 1-5, Jun. 2020. [https://doi.org/10.1109/ICECCE49384.2020.9179354]
• S. Morikawa, S. Ito, M. Ito, and M. Fukumi, "Personal authentication by lips EMG using dry electrode and CNN", In Proceedings of the IEEE International Conference on Internet of Things and Intelligence System, Bali, Indonesia, pp. 180-183, Nov. 2018. [https://doi.org/10.1109/IOTAIS.2018.8600859]
• J. M. Kim, G. H. Choi, J. S. Kim, and S. B. Pan, "User recognition using electromyogram 2D spectrogram images based on CNN", Journal of KIIT, Vol. 19, No. 1, pp. 107-117, Jan. 2021. [https://doi.org/10.14801/jkiit.2021.19.1.107]
• D. H. Kisa, M. A. Ozdemir, O. Guren, and A. Akan, "EMG based hand gesture classification using empirical mode decomposition time-series and deep learning", In Proceedings of the Medical Technologies Congress, Antalya, Turkey, pp. 1-4, Nov. 2020. [https://doi.org/10.1109/TIPTEKNO50054.2020.9299282]
• S. Aziz, S. Z. H. Naqvi, M. U. Khan, and T. Aslam, "Electricity theft detection using empirical mode decomposition and k-nearest neighbors", In Proceedings of the International Conference on Emerging Trends in Smart Technologies, Karachi, Pakistan, pp. 1-5, Mar. 2020. [https://doi.org/10.1109/ICETST49965.2020.9080727]
• C. Sapsanis, G. Georgoulas, A. Tzes, and D. Lymberopoulos, "Improving EMG based classification of basic hand movements using EMD", In Proceedings of the International Conference on the IEEE Engineering in Medicine and Biology Society, Osaka, Japan, pp. 5754-5757, Jul. 2013. [https://doi.org/10.1109/EMBC.2013.6610858]
• K. R. Kim, H. R. Choi, and K. S. Kim, "Implementation of finger vein authentication system based on high-performance CNN", J. Inst. Internet Broadcast. Commun., Vol. 21, No. 5, pp. 197-202, Oct. 2021.
• M. Atzori, A. Gijsberts, C. Castellini, B. Caputo, A. G. M. Hager, S. Elsig, G. Giatsidis, F. Hassetto, and H. Muller, "Electromyography data for non-invasive naturally-controlled robotic hand prostheses", Sci. Data, Vol. 1, pp. 1-13, Dec. 2014. [https://doi.org/10.1038/sdata.2014.53]
• J. W. Lee, H. W. Lee, and C. S. Yoo, "Selection of mother wavelet for bivariate wavelet analysis", J. Korea Water Resour. Assoc., Vol. 52, No. 11, pp. 905-916, Nov. 2019.