Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 19, No. 1, pp.107-117
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Jan 2021
Received 11 Oct 2020 Revised 06 Nov 2020 Accepted 09 Nov 2020
DOI: https://doi.org/10.14801/jkiit.2021.19.1.107

CNN 기반 근전도의 2D 스펙트로그램 이미지를 이용한 사용자 인식

김재명* ; 최규호* ; 김진수* ; 반성범**
*조선대학교 IT연구소
**조선대학교 IT연구소 소장, 조선대학교 IT-Bio 융합 시스템 전공 교수(교신저자)
User Recognition using Electromyogram 2D Spectrogram Images based on CNN
Jae Myung Kim* ; Gyu Ho Choi* ; Jin Su Kim* ; Sung Bum Pan**

Correspondence to: Sung Bum Pan Research Institute of IT, Chosun University, Dong-Gu, Gwangju 61452, South Korea Tel.: +82-62-230-6897, Email: sbpan@chosun.ac.kr

초록

최근 생체정보를 이용한 사용자 인식은 위·변조 사건, 사고로 사회적 이슈가 되어 생체신호를 이용한 사용자 인식 연구가 활발히 진행 중이다. 생체신호는 신체 내부에서 발생하는 전기적 신호로 행동학적 특징에 따라 개인의 고유한 신호를 발생한다. 생체신호는 대표적으로 근전도, 심전도, 뇌전도 등이 있다. 생체신호 중 근전도 신호는 개인의 고유한 근력 세기에 따라 서로 다른 신호 패턴으로 측정되는 특징을 이용하여 사용자 인식 분야에서 적용되고 있다. 본 논문에서는 근전도 신호를 이용한 연구 및 응용 분야들을 분석하고 근전도 기반 사용자 인식 시스템을 분석하였다. 그리고 전처리된 1차원 근전도 신호를 2차원 근전도 스펙트로그램 이미지로 변환하고 CNN을 이용하여 특징 추출 후 사용자를 최종 인식하여 사용자 인식 시스템의 성능을 분석한다. 실험결과 40명에 대한 사용자 인식은 12채널을 이용하고 STFT의 Window length R이 256일 때 95.4%(±1.7%)로 분석되었다.

Abstract

Recently, user recognition using biometric information has become a social issue due to forgery, alteration, and accidents, and research on user recognition using biometric signals is actively underway. Biometric signals are electrical signals that occur inside the body and generate individual-specific signals according to behavioral characteristics. Bio-signals typically include musculature, electrocardiogram, and cerebral conduction. Among the biometric signals the EMG signal is applied in the field of user recognition using features measured in different signal patterns according to an individual’s unique strength. In this paper, transform pre-processed one-dimensional EMG signals into two-dimensional EMG spectrogram images, extract features using CNN, and finally recognize the user to analyze the performance of the user recognition system. As a result of the experiment, user awareness of 40 people was analyzed to be 95.4%(±1.7%) when using 12 channels and the window length R of STFT was 256.

Keywords:

EMG, user recognition, spectrogram, CNN

Ⅰ. 서 론

개인 신분을 증명하는 대표적인 사용자 인식 기술은 전자금융, 스마트 의료, 정보통신, 출입 통제, 헬스케어 서비스 등 다양한 분야에서 적용되는 중이다[1]. 사용자 인식 기술은 개인의 고유한 생체정보를 추출하여 정보화시키는 인증방식으로 사람마다 다른 특징을 인식시켜 비밀번호 대신 사용자를 인증하는 기술이다[2]. 사용자 인식에 사용하는 정보는 생체정보와 생체신호로 나눌 수 있다. 생체정보는 신체 외부 및 표면에서 취득 가능하며 대표적인 정보는 지문, 얼굴, 홍채, 망막, 정맥 등이 있다.

생체정보를 이용한 사용자 인식은 위조지문, 위조홍채 등 위·변조의 위협에 노출되어 있다. 국내에서 3D 프린터를 이용하여 제작한 실리콘 지문으로 금융 위조사고가 발생하였고, 독일 해커단체가 러시아 대통령 사진으로 홍채를 복제하여 해킹한 사고 등 위·변조 사건, 사고가 발생하면서 사회적 문제가 발생하고 있다. 이러한 생체정보의 단점을 보완하기 위해 보안성이 높은 생체신호를 이용한 사용자 인식 기술이 주목받고 있다. 생체신호는 신체 내부에서 발생하여 개인의 고유한 특징을 가지는 전기적 신호이며, 대표적인 생체신호로는 근전도, 심전도, 뇌전도 등이 있다[3].

다양한 생체신호 중 근전도 신호는 피부 표면에서 측정할 수 있어 신호 취득이 간편하고 사용하는 근육에 따라 서로 다른 신호 패턴을 생성하는 장점이 있다. 또한, 사람마다 근육 발달 정도와 활성도가 다르기 때문에 개인의 고유한 특징을 가진다. 이러한 근전도 신호를 이용한 연구는 의료 분야, 제어 분야, 시각 언어 분야 등 다양한 분야에서 진행되고 있다. 최근에는 근전도 신호의 개인별 고유한 특징을 이용하여 사용자 인식 분야에서 연구가 활발히 진행 중이다[4].

본 논문에서는 근전도 신호를 이용한 연구 동향 및 응용 분야를 살펴보고 사용자 인식 시스템에 대해 분석한다. 그리고 전처리된 1차원 근전도 신호를 2차원 근전도 스펙트로그램 이미지로 변환하고 이미지 입력 기반의 CNN 네트워크를 이용하여 사용자 인식 시스템 성능을 분석한다. 2장에서 근전도 신호를 이용한 연구 동향 및 응용 분야를 살펴보고 3장에서 근전도 신호 기반 사용자 인식 시스템에 대해 분석한다. 4장에서는 2차원 근전도 스펙트로그램 특징 이미지를 이용한 사용자 인식 시스템에 대해 성능을 분석하고 마지막으로 5장에서 결론을 맺는다.


Ⅱ. 근전도 신호를 이용한 연구 및 응용 분야

초기 근전도 신호는 의료 목적으로 근육의 활성도 유무를 판별 및 분석하는 정도로 사용되었다[5]. 최근에는 표 1과 같이 신호처리와 알고리즘의 개발로 근전도 신호에 다양한 특징 추출 및 분석 방법들을 적용하였다. 이로 인해 로봇 또는 인터페이스 제어 분야, 수화나 지화를 인식하는 시각 언어 분야뿐만 아니라 손동작 및 걸음걸이 등 행동학적 특징을 이용하여 사용자를 인식하는 연구까지 다양한 분야에서 활발하게 연구가 진행 중이다.

A study on the utilization of near field signals

2.1 의료 분야

근전도 신호는 진단의학, 재활 공학과 같은 의료 분야에서 인간의 골격근 분석 및 동작 모방을 위해 연구되어왔다[6]. 재활치료는 치료사가 구두 및 시각적 행동으로 환자의 움직임을 보조하고 안내하며 치료한다. 로봇 장치를 이용해 근육 활성화 패턴을 분석하고 치료를 보조하면 편리하고 효율적인 치료가 가능하다. 환자의 상태를 진단하기 위해 인터페이스의 안내에 따라 일정한 속도로 동일한 궤적의 동작을 반복 수행하여 데이터를 취득하였다. 취득된 데이터는 저역통과 버터워쓰 필터를 이용해서 전처리를 진행하였다. 필터링된 데이터를 이용하여 건강한 사람에서 나타나는 근육 활성화 신호에 대해 공통 패턴을 찾고 유사도를 결정하여 환자의 상태를 진단한다[7].

2.2 제어 분야

근전도 신호를 이용한 제어 분야는 절단 또는 마비 환자 등 신체적 활동에 제약이 있는 사람들을 위하여 휠체어, 의수 및 의족 등을 제어하는 연구가 진행되어왔다. 의수 및 의족뿐만 아니라 전자기기의 인터페이스를 제어하는 연구가 이뤄지고 있어 다양한 응용 분야에서 일반인에게도 활용할 수 있는 연구가 진행되고 있다[8]. 의수 제어를 위해 손목 동작의 데이터를 취득하고 체비쇼프 필터를 이용하여 전처리를 진행하였다. 전처리된 데이터는 시간 영역 특징 추출 방법을 적용하고, LDA 분류기를 사용하여 손목 동작을 96%의 성능으로 분류하였다[9].

2.3 시각 언어 분야

시각 언어 분야인 수화와 지화는 청각 장애가 있는 사람들이 사용하는 의사소통 방법으로 생각, 느낌 및 지식을 표현하는데 사용하는 손동작 언어이다. 손동작 언어는 비학습자와 소통이 불가능한 어려움이 있기 때문에 전완근 또는 손목 주변의 근육에서 발생하는 근전도 신호를 이용하여 수화나 지화를 인식하는 기술에 대한 연구가 진행되고 있다[10]. 근전도 신호를 이용하여 한국 숫자 지화를 인식하기 위해 한국 숫자 지화를 수행할 때 발생하는 4채널의 근전도 데이터를 취득하였다. 취득된 데이터는 2차 버터워쓰 대역필터를 이용하여 전처리를 진행하였다. 전처리된 데이터는 CNN을 적용하여 한국 지화 숫자를 100%의 정확도로 인식하였다[11].

2.4 사용자 인식 분야

근전도 신호를 이용한 사용자 인식 분야는 초기 단계로 간단한 손동작 및 걸음걸이 등을 이용한 사용자 인식 연구가 진행 중이다. 근전도 신호는 근육에 따라 서로 다른 신호 패턴을 생성하며 근육 발달 정도와 활성도가 다른 특징을 이용하는 연구가 진행되고 있다.

보행을 할 때 발생하는 근전도 신호와 보폭, 속도 등의 데이터를 취득하고 RMS(Root Mean Square), MAV(Mean Absolute Value) 등의 값으로 시간 영역 특징을 추출한다. 추출된 특징을 기반으로 선형 판별 분석 분류기에 의해 최종 인식되며 93%의 정확도로 인식하였다[12].

이 외에도 그림 1과 같이 근전도 신호와 심전도 신호 등 최소 두 가지 이상의 특징을 인증 요소로 사용하거나 손동작을 수행할 때 발생하는 근전도 신호와 전완근의 둘레 두 가지 특징을 이용하는 멀티팩터 인식 연구가 진행되고 있다[13][14].

Fig. 1.

Mulit-Factor recognition using EMG and ECG signals


Ⅲ. 근전도 신호 기반 사용자 인식 기술 분석

근전도 신호 기반 사용자 인식 시스템 구조는 크게 4단계로 나뉜다. 가장 먼저 근전도 신호를 취득 또는 오픈 데이터베이스를 이용하여 데이터 세트를 구성한다. 신호를 취득한 후 다양한 필터를 적용하여 불필요한 잡음을 제거하는 전처리를 진행한다. 전처리된 근전도 신호의 특징을 추출하고 마지막으로 분류기를 통해 사용자가 최종 인식되는 과정으로 그림 2와 같이 구성된다.

Fig. 2.

EMG based User Recognition System

근전도 신호 기반 사용자 인식에서 가장 먼저 수행되어야 하는 과정은 근전도 신호를 취득하는 것이다. 근전도 신호를 오픈 데이터 세트를 얻어 사용하거나 의료장비를 이용하여 신호를 직접 취득한다. 실험의 목적에 따라 손을 이용한 여러 가지 손동작, 어깨를 이용한 동작, 다리를 이용한 걸음걸이 등 활용하려는 각 신체 부위에 따른 신호로 데이터를 구성한다.

취득한 근전도 신호는 다양한 잡음의 영향을 받기 때문에 신호처리를 통한 전처리 과정 또는 정규화 과정이 필요하다. 측정 장비에서 발생하는 전력선 잡음은 60Hz 대역의 변조파와 광대역의 백색 잡음, 일회용 전극의 각 성능과 기능의 차이로 인해 생기는 잡음, 인체 생리학적 간섭에 의한 잡음, 근육 세포조직의 특정에 의한 잡음 등이 있다. 이러한 잡음을 제거하기 위한 방법으로 주파수 분석을 통해 잡음을 확인하고 고역통과, 저역통과, 대역통과, 버터워쓰[21], 체비셰프[22], 노치 필터[23] 등을 사용하여 잡음을 제거한다. 필요에 따라 다운 샘플링, 업 샘플링, 데이터 세분화 등 정규화 과정을 통해 신호를 출력한다[24].

전처리된 근전도 신호는 특징을 추출한다. 특징 추출은 크게 시간 영역과 주파수 영역으로 나뉜다. 시간 영역 특징 추출 방법은 MAV(Mean Absolute Value), SSC(Slope Sign Change), RMS(Root Mean Square), WL(Waveform Length), VAR(Variance), IEMG(Integrated EMG), ZC(Zero Crossing) 등이 있다[25].

주파수 영역의 특징 추출 방법은 FFT(Fast Fourier Transform), STFT(Short-Time Fourier Transform) 등을 사용한다[26]. 시간-주파수 특징을 사용하였을 때 시간 도메인 특징보다 더욱 효율적인 방법으로 입증되었다[27]. 또한 STFT는 FFT의 시간적인 한계에 대한 단점을 보완한 방법으로 사진이 알고 싶은 시점에서 주파수 성분을 파악할 수 있는 방법이다. 따라서 시간의 흐름에 따라 특정이 변하는 근전도 신호를 STFT에 적용하면 효율적인 분석이 가능하다.

사용자 인식을 위해 사용되는 학습방법은 지도학습방법과 비 지도학습방법이 있다. 지도학습은 정답이 존재하는 상태에서 학습을 시켜 예측해 나가는 방법으로 대표적인 지도학습방법에는 SVM이 있다[28]. 비 지도학습은 정답이 존재하지 않고 유사한 패턴을 군집화하여 찾는 방법이다. 대표적인 비 지도 학습방법으로는 클러스터링을 이용한 군집 분석의 k-최근접 이웃 알고리즘이 있다. 이외에도 사용하는 분류기로는 결정 트리학습법, 랜덤 포레스트, 주성분분석[29], 선형판별분석[30] 등이 있다. 그리고 머신러닝의 한 종류인 딥러닝 방법으로 CNN(Convolutional Neural Networks)과 LSTM(Long Short Term Memory) 등이 있다. CNN은 가장 널리 사용되는 딥러닝 방법으로 이미지에서 패턴을 찾는데 유용한 알고리즘이다. LSTM은 RNN의 장기의존성 문제점을 해결한 알고리즘으로 시간적 특정을 갖는 데이터에서 많이 활용하고 있다[31].


Ⅳ. 근전도 스펙트로그램 이미지를 이용한 사용자 인식

4장에서는 1차원 근전도 신호를 2차원 근전도 스펙트로그램 이미지로 변환하여 사용자 인식 시스템 성능을 분석한다. 데이터 구성은 Ninapro2 오픈 데이터베이스에서 피험자 40명의 가위, 바위, 보 총 세 가지 동작 근전도 데이터를 이용한다. 근전도 신호에 포함되어있는 잡음은 필터링을 적용하여 제거한다. 전처리된 1차원 근전도 신호는 2차원 근전도 스펙트로그램 이미지로 변환하고 이미지 입력 기반의 CNN 네트워크를 사용하여 사용자 인식 성능을 확인한다.

4.1 손동작을 이용한 근전도 데이터

근전도 기반 사용자 인식 성능을 분석하기 위해 자체적으로 취득한 데이터의 피험자가 부족한 문제를 해결하고 기존 연구와 비교 분석하기 위해 인원수가 많고 기존에 취득한 동작과 동일한 동작을 수행하는 오픈 데이터베이스를 사용했다. 사용자 인식 성능 분석에 사용한 데이터베이스는 총 40명의 피험자로 구성된 Ninapro2 오픈 데이터베이스로 다른 근전도 데이터베이스보다 상대적으로 인원수가 많은 오픈 데이터베이스를 사용했다[32]. Ninapro2 오픈 데이터베이스의 다양한 손동작 중 기존 연구에 사용했던 가위, 바위, 보에 해당하는 Exercise의 2, 5, 6번 동작을 사용했다. 그리고 전완근 주변의 12채널을 이용하였고 2000Hz 샘플링으로 각 동작마다 5초 지속, 3초 휴식으로 6번씩 반복하여 취득되었다. 피험자가 수행하는 각 동작 당 학습데이터와 테스트데이터는 7:3의 비율로 구성했다.

4.2 필터링을 통한 잡음 제거와 신호 정규화

Ninapro2 오픈 데이터베이스의 근전도 신호는 그림 3과 같다. 근전도 신호는 500Hz 미만의 주파수에서 근육 활성 정보를 갖기 때문에 15-500Hz 대역통과 필터를 적용했다.

Fig. 3.

Ninapro2 database EMG signal

그리고 60Hz 대역의 전력선 잡음은 노치 필터에 의해 제거된다. 잡음이 제거된 근전도 신호는 데이터베이스에서 자체적으로 구성된 라벨링을 통해 한 동작의 신호로 분리한다. 한 동작의 신호로 분리된 근전도 신호는 12채널을 모두 이용하기 위해 그림 4와 같이 시간 도메인에서 각 채널의 신호를 결합했다.

Fig. 4.

EMG signal that normalized 12-channel signals

4.3 근전도 2D 스펙트로그램 이미지 변환

본 논문에서는 전처리된 1차원 근전도 신호에 시간-주파수 특징 추출 방법인 STFT를 적옹햐여 다차원 특징을 추출한다. STFT는 시간의 흐름에 따라 변하는 신호에 대해 자신이 알고 싶은 시점의 주파수 성분을 알 수 있는 방법으로 변환 식은 식 (1)과 같다.

XR,ω=-xtwt-Re-jwtdt=s(1) 

신호 xt(t) 입력신호와 윈도우 함수 w(t)를 이용하여 FFT 길이에 따라 스펙트로그램 변환을 진행하며 R은 윈도우 길이, w는 각주파수이며, s는 스펙트로그램 값이다. 식 (1)을 이용하여 1차원 근전도 신호에 적용하여 시간-주파수 정보를 포함하는 다차원 특징을 추출하고 이를 이용하여 2차원 근전도 스펙트로그램 이미지로 변환하면 그림 5와 같다.

Fig. 5.

Spectrogram image conversion of EMG signals

하지만 STFT 특징 추출 방법은 정해진 Window length R을 기준으로 FFT를 수행하기 때문에 시간과 주파수 두 가지 분해능은 동시에 향상될 수 없다. 즉 Window length R이 작을 경우 시간 해상도가 향상되고 주파수 해상도는 하락하며 반대로 Window length R이 커질 경우 시간 해상도가 하락하고 주파수 해상도가 향상된다. 따라서 STFT의 파라미터인 Window length R의 변화에 따른 사용자 인식 성능을 확인하기 위해 Window length R을 변화시켜가며 2차원 근전도 스펙트로그램 이미지로 변환한다. 이때 R의 가장 낮은 값으로 64를 설정하였으며 두 배씩 늘려나가 가장 높은 값으로 512를 설정하여 구성하였다[33].

4.4 CNN 네트워크 기반 특징 추출 및 분류

2차원 근전도 스펙트로그램 이미지를 이용한 특징 추출 및 분류는 이미지 입력 기반의 기본적인 CNN 네트워크를 사용했다.

CNN 네트워크는 3개의 컨벌루션 층과 활성함수 Relu, 2개의 맥스 풀링 층, 2개의 완전연결 층으로 구성되어 있으며, 전체적인 네트워크 구조는 그림 6과 같이 구성된다.

Fig. 6.

CNN network structure

컨벌루션 층의 필터 크기는 3x3으로 설정하고, 풀링 층의 필터 크기는 2x2로 스트라이드는 2로 설정했다. 최대 반복횟수는 150으로 반복 수행하고, 각 층의 초기 가중치는 랜덤으로 설정하여 소프트맥스에 의해 출력층에서 사용자가 최종 인식된다.

4.5 근전도 스펙트로그램 이미지를 이용한 사용자 인식 실험결과

사용자 인식 시스템 성능 분석에 사용한 데이터 구성은 표 2와 같다. 인원은 총 40명으로 구성하였으며 손동작은 그림 7과 같이 기존 연구와 동일하게 가위, 바위, 보 총 세 가지 동작을 사용했다. 피험자가 수행하는 각 동작에 대해 학습데이터는 70%, 테스트데이터는 30%로 구성하였으며 Matlab 2020a 환경에서 사용자 인식 시스템 성능을 분석했다.

Database configuration

Fig. 7.

Rock, Paper, Scissors, Three actions

본 논문에서는 1차원 근전도 신호를 시간-주파수 특징 이미지인 2차원 근전도 스펙트로그램 이미지로 변환하고 이미지 기반 CNN 모델을 이용하여 사용자 인식 성능을 확인했다. 이때 STFT의 시간 분해능을 조절하는 Window length R의 값을 변경시켜가며 2차원 근전도 스펙트로그램 이미지를 생성하였으며 사용자 인식 성능 검증을 위해 총 5번씩 반복하여 성능 평가를 진행했다. 총 40명의 피험자로 구성하고 12채널을 모두 이용한 데이터를 2차원 근전도 스펙트로그램 이미지 기반 사용자 인식 시스템으로 성능 확인한 결과 그림 8과 같다. 시간 분해능을 조절하는 파라미터 Window length R이 256일 때 사용자 인식 성능은 95.4%(±1.7%)로 가장 높은 인식 성능을 보였으며 사용자 인식 성능이 가장 낮은 512의 파라미터를 사용했을 때보다 2% 이상 향상되는 것을 확인했다.

Fig. 8.

User-aware performance according to Window length R

또한, 채널 변화에 따른 사용자 인식 성능으로 많은 근육 채널을 이용할수록 사용자 인식 성능은 향상되었으며, 40명의 피험자로 Window length R이 256일 때 채널에 따른 사용자 인식 성능은 표 3과 같다. 근육 채널의 차이로 발생하는 인식 성능의 변화는 파라미터 256을 사용하였을 때 4채널과 12채널의 인식 성능 차이는 8.7%로 채널이 감소하더라도 사용자 인식 성능 민감도가 가장 낮은 것으로 나타났다.

User recognition performance by channel

기존 근전도 기반 사용자 인식 시스템을 이용한 방법과 본 논문의 2차원 근전도 스펙트로그램 이미지 기반 사용자 인식 시스템의 실험결과는 그림 9와 같다.

Fig. 9.

Comparing user-aware performance with existing studies

본 논문에서 사용한 세 가지 손동작으로 구성하고 CNN 모델을 이용하여 특징 추출 및 분류하였을 때 총 8명에 대해 95%의 인식 성능을 보였다[20]. 또한 보행을 이용하여 시간 영역 특징 추출 방법으로 LDA 분류기를 통해 12명의 피험자를 최종 분류하였을 때 사용자 인식 성능은 93%의 인식 성능을 보였다[12]. 본 논문에서 제안하는 방법으로 12채널과 256의 Window length R을 이용하였을 때 95.4%(±1.7%)로 기존 방식 알고리즘보다 각각 0.4%, 2.4% 사용자 인식 성능이 향상되는 것을 확인하였다.

기존 연구에서 동일한 동작으로 3명에 대해 자체적으로 데이터를 취득하고 2차원 스펙트로그램 이미지로 변환한 후 CNN 모델을 이용하였을 때 97.8%의 인식 성능을 확인하였다[34]. 기존 연구와 동일한 방법을 사용하고 피험자 수를 40명까지 증가시켰을 때 95.4%(±1.7%)의 인식 성능을 보였지만 인원이 3명에서 40명으로 크게 증가하였으며 Window length R을 조절함으로써 256일 때 가장 차이가 작게 나타나는 2.4%의 사용자 인식 성능 차이를 확인하였다.


Ⅴ. 결 론

최근 신체 내부에 존재하는 생체신호 중 근전도 신호를 이용하여 바이오인식 시스템 연구가 진행 중이다. 따라서 본 논문에서는 근전도 신호를 이용한 연구 및 응용 분야들을 분석하고 사용자 인식 시스템의 기술에 대하여 분석한다. 또한 Ninapro2 오픈 데이터베이스를 이용하여 필터링으로 전처리를 진행하고 1차원 근전도 신호에 STFT를 적용하여 2차원 근전도 스펙트로그램 이미지로 변환한다. 변환된 2차원 근전도 스펙트로그램 이미지는 CNN 네트워크를 이용하여 사용자 인식 성능을 확인하였다. 그 결과 시간 분해능을 조절하는 파라미터 Window length R이 256일 때 95.4%(±1.7%)의 사용자 인식 성능을 확인하였으며 기존 연구와 비교하였을 때 동일한 세 가지 손동작을 이용한 사용자 인식 95%, 보행을 이용한 사용자 인식 93%로 2차원 근전도 스펙트로그램 이미지 기반 사용자 인식 시스템으로 사용자를 인식 따라서 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 시스템에 대해 재현성을 확인하였다.

Acknowledgments

이 논문은 2017년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업(No. NRF-2017R1A6A1A03015496)과 2018년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2018R1A2B6001984)

References

  • J. Pathuel, "Biometric control systems and associated methods of use", U.S. Patent application, No. 11/159,814, Jun. 2005.
  • J. L. Wayman, "Technical testing and evaluation of biometric identification devioes", Biometrics. Springer, pp. 345-368, Jun. 1996. [https://doi.org/10.1007/0-306-47044-6_17]
  • R. D. Luis-Garcia, C. Alberola-Lopez, O. Aghzout and J. Ruiz-Alzola, "Biometric identification systems", Signal processing, Vol. 83, No. 12, pp. 2539-2557, Dec. 2003. [https://doi.org/10.1016/j.sigpro.2003.08.001]
  • E. Scheme and K. Englehart, "Electromyogram pattern recognition for control of powered upper-limb prostheses: State of the art and challenges for clinical use", The Journal of Rehabilitation Research and Development, Vol. 48, No. 6, pp. 643-659, Dec. 2011. [https://doi.org/10.1682/JRRD.2010.09.0177]
  • X. Yang, X. Chen, X. Cao, S. Wei, and X. Zhang, "Chinese Sign Language Recognition Based on an Optimized Tree-Structure Framework", in IEEE Journal of Biomedical and Health Informatics, Vol. 21, No. 4, pp. 994-1004, Jul. 2017. [https://doi.org/10.1109/JBHI.2016.2560907]
  • A. Phinyomark and E. Scheme, "EMG Pattern Recognition in the Era of Big Data and Deep Learning", Big Data Cognitive Computing, Vol. 2, No. 3, pp. 21, Aug. 2018. [https://doi.org/10.3390/bdcc2030021]
  • E. J. Avila-Mireles, F. J. Ruiz-Sanchez, and O. Garcia-Salazar, "EMG patterns induced in upper limb by haptic guidance for diagnosis and treatment evaluation", 2015 12th International Conference on Electrical Engineering, Computing Science and Automatic Control (CCE), pp. 1-6, Oct. 2015. [https://doi.org/10.1109/ICEEE.2015.7357984]
  • C. H. Lee, S. I. Kang, S. H. Bae, J. W. Kwon, and D. H. Lee, "A Study of a Module of Wrist Direction Recognition using EMG Signals", Journal of Rehabilitation Welfare Engineering & Assistive Technology, Vol. 7, No. 1, pp. 51-58, Jun. 2013.
  • A. A. Adewuyi, L. J. Hargrove, and T. A. Kuiken, "An Analysis of Intrinsic and Extrinsic Hand Muscle EMG for Improved Pattern Recognition Control", in IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 24, No. 4, pp. 485-494, Apr. 2015. [https://doi.org/10.1109/TNSRE.2015.2424371]
  • C. Savur and F. Sahin, "Real-Time American Sign Language Recognition System Using Surface EMG Signal", 2015 IEEE 14th International Conference on Machine Learning and Applications (ICMLA), pp. 497-502, Dec. 2015. [https://doi.org/10.1109/ICMLA.2015.212]
  • J. J. Park and C. K. Kwon, "Study on Forearm Muscles and Electrode Placements for CNN based Korean Finger Number Gesture Recognition using sEMG Signals", Journal of Korea Academia-Industrial cooperation Society, Vol. 19, No. 8, pp. 260-267, Aug. 2018.
  • M. Lee, J. Ryu, and I. Youn, "Biometric personal identification based on gait analysis using surface EMG signals", 2017 2nd IEEE International Conference On Computational Intelligence and Applications (ICCIA), pp. 318-321, Sep. 2017. [https://doi.org/10.1109/CIAPP.2017.8167230]
  • J. Cannan and H. Hu, "Automatic user identification by using forearm biometrics", 2013 IEEE/ASME International Conference on Advanced Intelligent Mechatronics, pp. 710-715, Jul. 2013. [https://doi.org/10.1109/AIM.2013.6584176]
  • N. Belgacem, R. Fournier, A. Nait-Ali, and F. Bereksi-Reguig, "A novel biometric authentication approach using ECG and EMG signals", Journal of Medical Engineering and Technology, Vol. 39, No. 4, pp. 226-238, Jun. 2014. [https://doi.org/10.3109/03091902.2015.1021429]
  • X. Chen, X. Zhang, Z. Zhao, J. Yang, V. Lantz, and K. Wang, "Multiple Hand Gesture Recognition Based on Surface EMG Signal", 2007 1st International Conference on Bioinformatics and Biomedical Engineering, pp. 506-509, Jul. 2007. [https://doi.org/10.1109/ICBBE.2007.133]
  • Z. Zhang, K. Yang, J. Qian, and L. Zhang, "Real-Time Surface EMG Pattern Recognition for Hand Gestures Based on an Artificial Neural Network", Sensors, Vol. 19, No. 14, pp. 3170, Jul. 2019. [https://doi.org/10.3390/s19143170]
  • M. Haris, P. Chakraborty, and B. V. Rao, "EMG signal based finger movement recognition for prosthetic hand control", 2015 Communication, Control and Intelligent Systems (CCIS), pp. 194-198, Nov. 2015. [https://doi.org/10.1109/CCIntelS.2015.7437907]
  • M. Leon, J. M. Gutierrez, L. Leija, and R. Munoz, "EMG pattern recognition using Support Vector Machines classifier for myoelectric control purposes", 2011 Pan American Health Care Exchanges, pp. 175-178, Apr. 2011. [https://doi.org/10.1109/PAHCE.2011.5871873]
  • B. Divya, J. Delpha, and S. Badrinath, "Public speaking words (Indian sign language) recognition using EMG", 2017 International Conference On Smart Technologies For Smart Nation (SmartTechCon), pp. 798-800, Aug. 2017. [https://doi.org/10.1109/SmartTechCon.2017.8358482]
  • R. Shiohi, S. Ito, M. Ito, and M. Fukumi, "Personal Authentication and Hand Motion Recognition based on Wrist EMG Analysis by a Convolutional Neural Network", 2018 IEEE International Conference on Internet of Things and Intelligence System (IOTAIS), pp. 184-188, Dec. 2014. [https://doi.org/10.1109/IOTAIS.2018.8600826]
  • I. W. Selesnick and C. S. Burrus, "Generalized digital Butterworth filter design", in IEEE Transactions on Signal Processing, Vol. 46, No. 6, pp. 1688-1694, Jun. 1998. [https://doi.org/10.1109/78.678493]
  • R. J. Cameron, "Fast generation of Chebyshev filter prototypes with asymmetrically-prescribed transmission zeros", ESA Journal, Vol. 6, No. 1, pp. 83-95, 1982.
  • A. Nehorai, "A minimal parameter adaptive notch filter with constrained poles and zeros", in IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. 33, No. 4, pp. 983-996, Aug. 1985. [https://doi.org/10.1109/TASSP.1985.1164643]
  • J. Lara, N. Paskaranandavadivel, and L. K. Cheng, "Effect of Segmentation Parameters on Classification Accuracy of High-Density EMG recordings", 2019 41st Annual International Confeence of the IEEE Engineering in Medicine and Biology Society (EMBC), pp. 6229-6232, Jul. 2019. [https://doi.org/10.1109/EMBC.2019.8856809]
  • A. Phinyomark, S. Hirunviriya, C. Limsakul, and P. Phukpattaranont, "Evaluation of EMG feature extraction for hand movement recognition based on Euclidean distance and standard deviation", ECTI-CON2010: The 201 ECTI International Confernce on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology, pp. 856-860, May 2010.
  • D. Huang and B. Chen, "Surface EMG Decoding for Hand Gestures Based on Spectrogram and CNN-LSTM", 2019 2nd China Symposium on Cognitive Computing and Hybrid Intelligence (CCHI), pp. 123-126, Sep. 2019. [https://doi.org/10.1109/CCHI.2019.8901936]
  • X. Zhai, B. Jelfs, R. H. M. Chan, and C. Tin, "Short latency hand movement classification based on surface EMG spectrogram with PCA", 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp. 327-330, Aug. 2016. [https://doi.org/10.1109/EMBC.2016.7590706]
  • M. A. Oskoei and H. Hu, "Support Vector Machine-Based Classification Scheme for Myoelectric Control Applied to Upper Limb", in IEEE Transactions on Biomedical Engineering, Vol. 55, No. 8, pp. 1956-1965, Aug. 2008. [https://doi.org/10.1109/TBME.2008.919734]
  • S. Wold, K. Esbensen, and P. Geladi, "Principal component analysis", Chemometrics and Intelligent Laboratory Systems, Vol. 2, No. 1-3, pp. 37-52, Aug. 1987. [https://doi.org/10.1016/0169-7439(87)80084-9]
  • S. Mika, G. Ratsch, J. Weston, B. Scholkopf, and K. R. Mullers, "Fisher discriminant analysis with kernels", Neural Networks for Signal Processing IX: Proceedings of the 1999 IEEE Signal Processing Society Workshop, pp. 41-48, Aug. 1999.
  • T. Bao, A. Zaidi, S. Xie, and Z. Zhang, "Suface-EMG based Wrist Kinematics Estimation using Convolutional Neural Network", 2019 IEEE 16th International Conference on Wearable and Implantable Body Sensor Networks(BSN), pp. 1-4, May 2019. [https://doi.org/10.1109/BSN.2019.8771100]
  • M. Atzori, A. Gjisberts, C. Castellini, B. Caputo, A. M. Hager, S. Elsig, G. Gistsidis, F. Bassetto, and H. Muller, "Electromyography data for non-invasive naturally-controlled robotic hand prostheses", Scientific Data, No. 140053, Dec. 2014. [https://doi.org/10.1038/sdata.2014.53]
  • T. N. S. T. Zawawi, A. R. Abdullah, E. F. Shair, I. Halim, and O. Rawaida, "Electromyography signal analysis using spectrogram", 2013 IEEE Student Conference on Research and Developement, pp. 319-324, Dec. 2013.
  • J. M. Kim, G. H. Choi, and S. B. Pan, "User Recogntion system using Electromyogram Spectrogram Image", 2020 Spring Conference of Korea Institute of Smart Media, pp. 25-27, May 2020.
저자소개
김 재 명 (Jae Myung Kim)

2019년 2월 : 조선대학교 전자공학과(공학사)

2019년 3월 ~ 현재 : 조선대학교 전자공학과 석사과정

관심분야 : 영상처리, 바이오인식

최 규 호 (Gyu Ho Choi)

2015년 2월 : 조선대학교 전자공학과(공학사)

2015년 3월 ~ 현재 : 조선대학교 제어계측공학과 석박사통합과정

관심분야 : 바이오인식, 신호처리, 패턴인식

김 진 수 (Jin Su Kim)

2016년 2월 : 조선대학교 제어계측공학과(공학사)

2018년 2월 : 조선대학교 제어계측공학과(공학석사)

2018년 3월 ~ 현재 : 조선대학교 제어계측공학과 박사과정

관심분야 : 임베디드 시스템, 영상처리, 바이오인식

반 성 범 (Sung Bum Pan)

1999년 2월 : 서강대학교 전자공학과(공학사)

2005년 2월 : 한국전자통신연구원 정보보호연구단 생체인식기술 연구팀 팀장

2005년 3월 ~ 현재 : 조선대학교 전자공학과 교수

관심분야 : 영상처리, 바이오인식, VLSI 신호처리

Fig. 1.

Fig. 1.
Mulit-Factor recognition using EMG and ECG signals

Fig. 2.

Fig. 2.
EMG based User Recognition System

Fig. 3.

Fig. 3.
Ninapro2 database EMG signal

Fig. 4.

Fig. 4.
EMG signal that normalized 12-channel signals

Fig. 5.

Fig. 5.
Spectrogram image conversion of EMG signals

Fig. 6.

Fig. 6.
CNN network structure

Fig. 7.

Fig. 7.
Rock, Paper, Scissors, Three actions

Fig. 8.

Fig. 8.
User-aware performance according to Window length R

Fig. 9.

Fig. 9.
Comparing user-aware performance with existing studies

Table 1.

A study on the utilization of near field signals

Input signal Signal processing Data analysis Performance Field
[15] EMG Filter (Band-pass) Feature : MAV, AR
Analysis : Linear Bayesian Classifier
Hand motion recognition : 95% Medical field (Hand motion + EMG)
[16] EMG Fourier Transform
Filter (4th order Butter worth)
Feature : MAV, SSC, WL, RMS, HP
Analysis : ANN
Hand motion recognition : 98.7% Medical field (Hand motion + EMG)
[17] EMG Filter (3th order butter worth) Feature : MAV, RMS, Variance, Mobility, Complexity, ZC, WL
Analysis : KNN, ANN
Finger motion recognition
KNN : 86%
ANN : 93%
Control field (Finger motion + EMG)
[18] EMG Filter (Band-pass) Feature : AR, RMS, DFT
Analysis : SVM
Hand motion recognition : 97.23% Control field (Hand motion + EMG)
[10] EMG Filter (Band-pass, Notch) Feature : MAV, MMAV, SSI, RMS, AAC, MFL, Log Detector, Minimum, Maximum, Standard Deviation
Analysis : SVM
Signature recognition :
Offline : 91%
Real-Time : 82,3%
Visual language field(sign language + EMG)
[19] EMG Filter (Band-pass) Feature : MAV, SSI, STD, RMS, AAC, MAX, MIN, P
Analysis : SVM
Signature recognition : 90% Visual language field(sign language + EMG)
[20] EMG Fast Fourier Transform Filter
(High-pass, Notch)
Feature : CNN
Analysis : CNN
Hand motion recognition : 94.6%
Personal authentication : 95%
User Authentication field(Hand motion + EMG)
[12] EMG Filter (Band-pass, Notch) Feature : RMS, MAV, DF, IEMG
Analysis : LDA
Recognition using all muscles : 65.8%
Recognition using selected muscles : 93%
User Authentication field(Walk motion + EMG)

Table 2.

Database configuration

구분 데이터
인원 (명) 40
손동작 (수) 3
채널 (수) 12
반복 횟수 (수) 6
표본 추출 비율 (Hz) 2000

Table 3.

User recognition performance by channel

64 128 256 512
4채널 82.6% 85% 86.7% 82%
8채널 89.2% 90.1% 90.6% 90.8%
12채널 93.8% 94.8% 95.4% 93%