인간-컴퓨터 인터페이스에 사용 가능한 Multi-session 근전도 데이터 구축

Ⅰ. 서 론

최근 생체신호는 웨어러블 기기의 발전으로 인해 신호를 측정하는 편리성이 증대되어 인간-컴퓨터 인터페이스 도구로 주목받고 있다[1][2]. 생체신호는 사람의 신체 활동을 통해 발생하는 미세전류를 측정한 신호로 근전도, 심전도, 뇌전도 등이 있다. 이 중 근전도 신호는 근육이 움직일 때 발생하는 미세전류를 전압값의 형태로 측정한 신호로 동작 인식, 질병 진단, 사용자 인식 등에 활용이 가능하다[3].

근전도 신호는 바늘 전극법과 표면 도출법을 이용해 측정할 수 있다. 바늘 전극법은 침상 전극을 근육에 삽입하는 방법으로, 삽입한 지점에서 발생하는 활동 전위를 측정하는 방법이다. 그러나 바늘을 삽입할 때 통증이 발생하기 때문에 인터페이스 도구로 적합하지 않다. 표면 도출법은 그림 1과 같이 피부 표면에 전극을 부착하는 방법으로, 신호 측정이 비교적 편리하고 통증이 없기 때문에 인터페이스 도구로 많이 사용되고 있다[4]. 특히, 표면 도출법을 이용해 측정한 근전도 신호는 표면 근전도(sEMG, Surface Electroyogram)로 불린다.

Fig. 1.

EMG measurement method using electrodes placed on the surface of the skin

기존 근전도 신호를 이용한 연구는 벤치마킹 데이터를 이용하거나 직접 근전도 신호를 측정해 진행하였다. 그러나 대부분의 벤치마킹 데이터는 single-session으로 측정된 데이터로, 근전도 신호의 변동성을 고려하지 못하는 문제가 발생한다. 직접 근전도 신호를 측정해 사용한 연구들은 데이터가 공개되지 않아 재현할 수 없으며, 근전도 신호를 측정할 때 수행한 동작 개수가 적은 문제가 있다.

이러한 문제를 해결하기 위해 본 논문에서는 multi-session 벤치마킹 근전도 데이터를 구축했다. 구축한 데이터는 CS_sEMG DB로 명명하였으며, 피험자 200명에게 multi-session으로 근전도 신호를 측정하였다. 각 session은 하루 이상의 시간 간격을 두었다. 또한, 데이터 품질과 효용성을 확인하기 위해 구축한 데이터를 이용해 동작 인식 실험을 진행하였다. 본 논문의 구성은 다음과 같다. 2장에서는 기존 연구에서 사용한 근전도 데이터를 분석하고, 3장에서는 multi-session 근전도 데이터를 구축하는 방법을 설명한다. 4장에서는 multi-session 근전도 데이터의 효용성을 확인하기 위한 동작 인식 실험 결과를 설명하고, 5장에서는 결론으로 논문을 마무리한다.

Ⅱ. 관련 연구

기존 근전도 신호를 이용한 연구는 벤치마킹 데이터를 이용하거나 직접 구축한 데이터를 이용해 진행하였다. 사용된 대부분의 데이터는 팔 동작을 수행하면서 측정한 single-session 근전도 신호로 구성되었다.

2.2 기존 연구에서 직접 구축한 근전도 데이터

X. Zhang[15]은 근전도 신호 기반 동작 인식을 위해 데이터를 측정했다. 근전도 신호는 22~31세 사이의 피험자 10명에게 MYO 암밴드를 이용해 전완근 주위에서 8채널로 측정하였다. 근전도 신호를 측정한 동작은 5개의 air 동작(Ok, come, hi 등)과 5개의 dynamic 동작(Drinking, typing, writing 등)으로, 피험자는 앉아있는 편안한 상태에서 각 동작을 20회 반복하였다.

H. Yamaba[16]는 일본어 수화 음절에 대한 근전도 신호를 측정했다. DL-3100 및 DL 141 장비를 이용해 2채널로 근전도 신호를 측정하고, 6명의 피험자는 의자에 앉은 편안한 상태로 동작을 수행하였다. 각 동작은 10회 반복하고, 신호의 변동성을 고려하기 위해 3개 session에서 측정하였다.

J. M. Fajardo[17]는 1채널 근전도 신호를 이용한 동작 인식을 위해 Biopac MP30 장비로 피험자의 오른팔 근육에서 근전도 신호를 측정했다. 근전도 신호는 wrist extension, wrist flexion, radial carpi deviation, pronation을 포함한 10개의 동작을 수행하면서 측정하였다. 모든 동작은 3초 동안 유지하고, 동작 후 피험자는 2초 동안 휴식하였다.

표 1은 기존 연구에서 사용한 근전도 데이터 세트의 구성을 비교하였다. 벤치마킹 데이터와 직접 측정한 데이터는 수행한 동작 수가 적거나, 공개되지 않은 문제가 있다. 또한, 주로 single-session으로 구축되어, 근전도를 이용한 동작 인식에서 신호의 변동성을 고려하지 못하는 문제가 발생한다.

Table 1.

EMD data description

그러나 실제로 고려되는 신호는 사용된 기록 장치의 배치, 관련된 피험자의 감정 상태, 수행된 작업 및 주변 환경에 따라 달라질 수 있으므로 생체신호를 이용한 연구는 신호의 변동성을 고려해야 한다[18]. 따라서 본 논문에서는 신호의 변동성을 확인 가능하도록 충분한 인원을 대상으로 인간-컴퓨터 인터페이스에 사용 가능한 multi-session 벤치마킹 근전도 데이터를 구축했다. 또한, 데이터의 효용성을 확인하기 위해 동작 인식 실험을 진행한다.

Ⅲ. Multi-session 근전도 데이터 구축 방법

본 논문에서는 인간-컴퓨터 인터페이스에 사용하기 위한 multi-session 벤치마킹 근전도 데이터를 구축하는 방법을 설명한다. 구축한 데이터는 multi-session에서 200명 피험자에게 근전도 신호를 측정했다. 또한, 데이터의 품질과 효용성을 확인하기 위해 동작 인식 실험을 진행한다.

3.1 근전도 데이터 구축

측정자는 근전도 신호를 측정하기 전에 피험자에게 실험 목적과 절차, 수행 동작에 대해 설명하였다. 또한, 카페인 및 음주 여부, 건강 상태, 수면 상태 등을 설문조사하였다. 이는 피험자의 질병을 확인하고, 생활 습관에 따른 데이터의 특성을 향후 연구하기 위해 조사하였다. 근전도 신호는 Biopac MP160 장비를 이용해 평균 24.69세(19~70세) 사이의 피험자 200명(남성 98명, 여성 102명)에게 측정하였다[19].

센서는 그림 2와 같이 오른손의 긴손바닥근 및 손가락폄근에 높은 감도를 지닌 Ag/AgCl 센서를 부착하였다[20]. 센서 위치는 손동작 시 근육 변화량이 많은 지점을 선택하였다. 피험자는 의자에 앉은 편안한 상태에서 손동작을 진행했으며, 각 동작은 10회 반복하였다. 동작 전/후 휴식을 진행하고, 동작은 최소 1초 이상 유지하였다. 신호는 2,000Hz 샘플링 속도, 16bit ADC 해상도로 측정했으며, 피험자는 조선대학교 학생 및 연구원, 일반인을 대상으로 선정하였다[19].

Fig. 2.

EMG signal measurement positions

CS_sEMG DB는 그림 3과 같이 12개 동작에 대한 근전도 신호로 구성되었다. 동작은 static 동작 및 dynamic 동작으로 구분되며, 일상생활에서 많이 사용하는 동작으로 선정하였다[19].

Fig. 3.

Twelve hand motions of CS_sEMG DB

Static 동작은 한 번의 움직임을 수행하는 동작이며, dynamic 동작은 연속된 움직임을 수행하는 동작이다. 데이터는 근전도 신호의 변동성을 고려하기 위해 동일한 피험자에게 총 3개 session에서 측정했으며, session 사이에는 하루 이상의 시간 간격을 두었다. 각 피험자는 1개 동작에 대해 3개 session으로 측정하여, 총 30개(10회 반복x3개 session) 근전도 신호를 측정하였다[19].

3.2 근전도 데이터 검증 및 분할

측정자 및 피험자의 실수로 잘못 측정된 근전도 데이터가 결과에 영향을 미치지 않도록 한 개 이상의 신호가 잘못된 경우 해당 피험자를 제외하였다. 구축한 데이터를 확인한 결과, 피험자 200명 중 116명의 근전도 신호가 올바르게 측정되었다. 잘못 측정된 84명은 ‘블루투스 연결 끊김’, ‘근육 수축/이완 불완전’, ‘반복 횟수 부족’, ‘근육이 활성화되지 않음’의 이유로 제외하였다. 제외된 피험자 번호는 표 2와 같다[19].

Table 2.

Excluded subject numbers and error types

각 동작에 대한 10회 반복은 중단없이 연속적으로 측정되었다. 따라서 데이터 검증 후 올바르게 측정된 피험자들의 근전도 신호를 육안으로 판단하여 반복된 동작 구간의 신호를 분할하였다. 구축된 CS_sEMG DB는 조선대학교 IT연구소(http://www.chosun.ac.kr/user/indexSub.do?codyMenuSeq=842922712&siteId=riit)에서 공개하고 있으며, 필터링을 적용하지 않은 원시 근전도 데이터를 텍스트 파일 및 Matlab 파일로 제공한다. 텍스트 파일은 반복이 분할되지 않은 근전도 신호로, 10회 반복한 근전도 신호가 한 개의 파형으로 표현된다. Matlab 파일은 반복이 구분된 근전도 신호로, 제공되는 파일은 5개 열로 구성되어 있다. 각 열의 정보는 아래와 같다[19].

• • 1열: 2채널 근전도 데이터
• • 2열: 반복을 구분하기 위한 샘플링 정보
• • 3열: 피험자 라벨
• • 4열: 동작 라벨
• • 5열: session 라벨

Ⅳ. 실험 방법 및 결과

구축한 CS_sEMG DB의 효용성을 확인하기 위한 동작 인식 실험은 single-session 및 multi-session 근전도 신호를 이용해 진행한다. Single-session 근전도 신호를 이용한 동작 인식 실험은 데이터를 train 70%, Test 30% 비율로 나누어 사용한다.

표 3은 single-session 근전도 신호를 이용한 실험 결과를 나타낸다. 실험 결과, static 동작 7개는 평균 62.70%의 정확도로 분류하였으며, dynamic 동작 5개는 평균 91.11%의 정확도로 분류하였다. Dynamic 동작은 연속된 움직임을 수행하기 때문에 동작 간 근전도 신호 차이가 크게 발생하였다. 이에 static 동작에 비해 동작 인식 정확도가 높게 나타났다. Static 및 dynamic 동작을 포함한 12개 동작 인식은 평균 73.47%의 정확도로 분류함을 확인하였다.

Table 3.

Experiment results using single-session EMG signal

Multi-session 근전도 신호를 이용한 동작 인식 실험은 train에 2개 session을 사용하고, 학습에 사용하지 않은 1개 session을 test에 사용한다.

표 4는 multi-session 근전도 신호를 이용한 실험 결과를 나타낸다. 실험 결과, 12개 동작을 평균 62.88%의 정확도로 분류함을 확인하였다. multi-session 데이터를 이용한 실험 결과는 근전도 신호의 변동성에 의해 동작 인식 정확도가 낮게 나타났다. 또한, 각 session에서 근전도 신호를 측정할 때 전극의 위치가 조금씩 이동되며, 땀 및 기타 오염 물질로 인해 피부와 전극의 접착력이 달라졌기 때문일 수 있다. 중요한 것은 이 실험 결과는 새로운 특징 추출 및 분류 방법을 제안하여 얻은 결과가 아니라 기존 방법을 그대로 적용하여 얻은 결과이다. 따라서 multi-session 근전도 신호를 이용한 동작 인식 실험에서 정확도가 낮게 나타났지만, 특징 추출 및 분류 기술 연구를 통해 성능 향상이 가능할 것으로 예상한다.

Table 4.

Experiment results using Multi-session EMG signal

Ⅴ. 결론 및 향후 과제

기존 근전도 신호를 이용한 실험은 벤치마킹 데이터를 이용하거나 직접 측정한 근전도 신호를 이용해 진행하였다. 그러나 대부분의 근전도 데이터는 동작의 개수가 적기 때문에 데이터 안정성이 취약하고, 근전도 신호의 변동성을 확인할 수 없으며 이를 재현할 수도 없는 문제가 발생한다. 본 논문에서는 대용량 multi-session 근전도 데이터를 구축하고 공개했다. 또한, 구축한 CS_sEMG DB의 효용성을 확인하기 위해 기존 논문 방법을 사용해 동작 인식 실험을 진행했다. CS_sEMG DB는 200명의 피험자가 12개 동작을 수행하였고 이를 2채널로 측정하였다. 각 동작은 10회 반복하였으며, 3개 session은 하루 이상의 시간 간격을 두었다. 구축한 CS_sEMG DB에서 잘못 측정된 데이터로 인해 발생하는 영향을 피하기 위해 근전도 신호를 확인하고, 잘못 측정된 피험자의 데이터는 제외하였다. 데이터의 효용성을 확인하기 위한 실험은 single-session 및 multi-session 근전도 신호를 이용해 진행했다. 실험 결과, CS_sEMG DB를 이용하여 single-session 기반 동작 인식이 가능하다는 것을 보였고, 구축한 데이터의 활용 가능성을 확인하였다. 그러나 multi-session 기반 동작 인식 성능은 낮게 나타남에 따라 특징 추출 및 분류 연구가 추가로 진행되어야 한다. 본 논문을 통해 공개된 CS_sEMG DB는 신호의 변동성을 확인 가능하도록 충분한 인원에게 측정한 데이터로, 근전도 신호 기반 인간-컴퓨터 인터페이스 연구에 활발히 사용될 것으로 예상된다. 향후에는 근전도 신호에서 특징을 추출하는 기술 연구를 진행할 계획이다.

Acknowledgments

이 논문은 조선대학교 연구지원금의 지원을 받아 연구되었음(2021년)

References

• T. Fukui, M. Ito, S. Ito, and M. Fukumi, "Motion identification of fingerspelling by wrist EMG analysis", IEEE Symposium Series on Computational Intelligence, Canberra, ACT, Australia, pp. 1739-1744, Dec. 2020. [https://doi.org/10.1109/SSCI47803.2020.9308269]
• J. S. Kim, S. H. Kim, and S. B. Pan, "Electrocardiogram signal based personal identification performance analysis using pre-trained network mode", Journal of KIIT, Vol. 18, No. 1, pp. 107-114, Jan. 2020. [https://doi.org/10.14801/jkiit.2020.18.1.107]
• J. S. Kim and S. B. Pan, "A study of EMG-based biometrics", J. Internet Ser. Inf. Secur., Vol. 7, No. 2, pp. 19-31, May 2017.
• J. S. Kim, J. M. Kim, M. G. Kim, and S. B. Pan, "Electromyogram signal based personal recognition using multi-stream CNN and empirical mode decomposition", Journal of KIIT, Vol. 20, No. 2, pp. 149-156, Feb. 2022. [https://doi.org/10.14801/jkiit.2022.20.2.149]
• R. N. Khushaba, S. Kodagoda, M. Takruri, and G. Dissanayake, "Toward improved control of prosthetic fingers using surface electromyogram (EMG) signals", Expert Syst. Appl., Vol. 39, No. 12, pp. 10731-10738, Sep. 2012. [https://doi.org/10.1016/j.eswa.2012.02.192]
• R. N. Khushaba and S. Kodagoda, "Electromyogram (EMG) feature reduction using mutual components analysis for multifunction prosthetic fingers control", International Conference on Control Automation Robotics and Vision, Guangzhou, China, pp. 1534-1539, Dec. 2012. [https://doi.org/10.1109/ICARCV.2012.6485374]
• R. N. Khushaba, S. Kodagoda, D. Liu, and G. Dissanayake, "Muscle computer interfaces for driver distraction reduction", Comput. Methods Programs Biomed., Vol. 110, No. 2, pp. 137-149, May 2013. [https://doi.org/10.1016/j.cmpb.2012.11.002]
• A. H. AI-Timemy, R. N. Khushaba, G. Bugmann, and J. Escudero, "Improving the performance against force variation of EMG controlled multifunctional upper-limb prostheses for transradial amputees", IEEE Trans. Neural Syst. Rehabilitation Eng., Vol. 24, No. 6, pp. 650-661, Jun. 2015. [https://doi.org/10.1109/TNSRE.2015.2445634]
• R. N. Khushaba, A. AI-Timemy, S. Kodagoda, and K. Nazarpour, "Combined influence of forearm orientation and muscular contraction of EMG pattern recognition", Expert Syst. Appl., Vol. 61, No. 1, pp. 154-161, Nov. 2016. [https://doi.org/10.1016/j.eswa.2016.05.031]
• R. N. Khushaba, M. Takruri, J. V. Miro, and S. Kodagoda, "Towards limb position invariant myoelectric pattern recognition using time-dependent spectral features", Neural Netw., Vol. 55, pp. 42-58, Jul. 2014. [https://doi.org/10.1016/j.neunet.2014.03.010]
• C. Sapsanis, G. Georgoulas, A. Tzes, and D. Lymberopoulos, "Improving EMG based classification of basic hand movements using EMD", International Conference of the IEEE Engineering in Medicine and Biology Society, Osaka, Japan, pp. 5754-5757, Jul. 2013. [https://doi.org/10.1109/EMBC.2013.6610858]
• UCI machine learning repository, http://archive.ics.uci.edu/ml/datasets/emg+dataset+in+lower+limb, . [accessed: Feb. 21, 2022]
• M. Atzori, A. Gijsberts, C. Castellini, B. Caputo, A. G. M. Hager, S. Elsig, G. Giatsidis, F. Hassetto, and H. Muller, "Electromyography data for non-invasive naturally-controlled robotic hand prostheses", Sci. Data, Vol. 1, pp. 140053, Dec. 2014. [https://doi.org/10.1038/sdata.2014.53]
• S. Pizzolato, L. Tagliapietra, M. Cognolato, M. Reggiani, H. Muller, and M. Atzori, "Comparison of six electromyography acquisition setups on hand movement classification tasks", PLoS One, Vol. 12, No. 10, pp. 0186132, Oct. 2017. [https://doi.org/10.1371/journal.pone.0186132]
• X. Zhang, Z. Yang, T. Chen, D. Chen, and M. C. Huang, "Cooperative sensing and wearable computing for sequential hand gesture recognition", IEEE Sens. J., Vol. 19, No. 14, pp. 5775-5783, Jul. 2019. [https://doi.org/10.1109/JSEN.2019.2904595]
• H. Yamava, S. Usuzaki, K. Takatsuka, K. Aburada, T. Katayama, M. Park, and N. Okazaki, "Identification of manual alphabets based gestures using sEMG for realizing user authentication", International Conference on Emerging Internetworking, Data & Web Technologies, Kitakyushu, Japan, pp. 323-333, Feb. 2020. [https://doi.org/10.1007/978-3-030-39746-3_34]
• J. M. Fajardo, O. Gomez, and F. Prieto, "EMG hand gesture classification using handcrafted and deep features", Biomed. Signal Process. Control, Vol. 63, pp. 102210, Jan. 2021. [https://doi.org/10.1016/j.bspc.2020.102210]
• E. Maiorana, "EEG-based biometric verification using siamese CNNs", New Trends in Image Analysis and Processing, Vol. 11808, pp. 3-11, Sep. 2019. [https://doi.org/10.1007/978-3-030-30754-7_1]
• J. S. Kim, C. H. Song, E. Bak, and S. B. Pan, "Multi-session surface electromyogram signal database for personal identification", Sustainability, Vol. 14, No. 9, p. 5739, May 2022. [https://doi.org/10.3390/su14095739]
• S. B. Han, S. K. Byeon, J. H. Kim, S. W. Shin, and S. T. Chung, "Analysis on sEMG signals of contents using finger tapping", Journal of IIBC, Vol. 19, No. 6, pp. 153-160, Dec. 2019.
• J. S. Kim, M. G. Kim, and S. B. Pan, "Two-step biometrics using electromyogram signal based on convolutional neural network-long short-term memory networks", Appl. Sci., Vol. 11, No. 15, pp. 6824, Jul. 2021. [https://doi.org/10.3390/app11156824]
• S. H. Baek, H. R. Choi, and K. S. Kim, "Accuracy urinalysis discrimination method based on high performance CNN", Journal of IIBC, Vol. 21, No. 6, pp. 77-82, Dec. 2021.