Korean Institute of Information Technology

Home

The Journal of Korean Institute of Information Technology - Vol. 20 , No. 10

[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 20, No. 10, pp. 71-82
Abbreviation: Journal of KIIT
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Oct 2022
Received 13 Aug 2022 Revised 22 Sep 2022 Accepted 25 Sep 2022
DOI: https://doi.org/10.14801/jkiit.2022.20.10.71

걸음걸이와 CNN을 활용한 스마트폰 인증 시스템
최지우* ; 최상일** ; 강태원***
*강릉원주대학교 컴퓨터공학과 학부생
**강릉원주대학교 컴퓨터공학과 교수(교신저자)
***강릉원주대학교 컴퓨터공학과 교수

Smartphone Authentication System using Personal Gaits and CNN
Jiwoo Choi* ; Sangil Choi** ; Taewon Kang***
Correspondence to : Sangil Choi Dept. of Computer Science & Engineering, Gangneung-Wonju National University, Korea Tel.: +82-33-760-8670, Email: schoi@gwnu.ac.kr

Funding Information ▼

초록

초연결성이 중심이 된 사회에서 정보의 공유만큼 중요한 것은 각각의 정보가 적법한 사용자에게만 열람되어야 한다는 점이다. 본 연구에서는 전통적인 인증 방식에서 벗어나 인간의 걸음걸이에 기반한 스마트폰 인증 시스템을 제안한다. 인간의 걸음걸이를 CNN 모델로 학습시킨 후 스마트폰에 탑재하여 사용자가 스마트폰을 휴대한 상태로 7초간 걷는 것으로써 적법한 사용자인지 아닌지를 판별한다. 모델 평가지표는 정확도, 정밀도, 재현율, F1-score, EER을 적용했다. 그 결과, 정확도, 정밀도, 재현율, F1-score 모두 평균 95% 이상의 결과를 얻었고, 평균 EER은 0.048로 나타났다. 시스템 분석 결과가 보여주는 것은 본 연구에서 제안한 시스템이 높은 신뢰성과 낮은 오류율을 가지고 있다는 것이다. 결과적으로 이 연구를 통해 인간의 걸음걸이가 새로운 사용자 인증 수단으로 사용될 수 있는 가능성을 보였다.

Abstract

In a society centered on hyper-connectivity, as important as information sharing is that each piece of information must be viewed only by legitimate users. In this study, we propose a smartphone authentication system based on human gait, breaking away from the traditional authentication method. After learning human gait with CNN, it is mounted on a smartphone to determine whether the user is a legitimate user by walking for 7 seconds while carrying the smartphone. Accuracy, precision, recall, F1-score, and EER were applied as evaluation indicators of the model proposed in this study. As a result, accuracy, precision, recall, and F1-score all achieved an average of 95% or more, and the average EER was 0.048. What the system analysis results show is that the system proposed in this study has high reliability and low error rate. As a result, this study showed the possibility that human gait could be used as a new user authentication method.


Keywords: human gait, convolutional neural network, authentication

Ⅰ. 서 론

우리는 현재 초연결성의 사회에서 살고 있다고 해도 과언이 아니다. 초연결사회에서는 인간과 인간뿐만 아니라 인간과 기계, 더 나아가 기계와 기계가 서로 연결되어 정보를 주고받고 새로운 정보를 만들어내기도 한다. 유무선 통신 기술 및 인터넷의 눈부신 발달, 이러한 기술에 기반한 빅데이터의 생산과 소비, 빅데이터 분석, 머신러닝 및 딥러닝으로 대표되는 인공지능 기술의 발달로 인해 인간의 학습 능력을 갖춘 휴머노이드 로봇의 개발에 이르기까지 인간이 이룩한 성과는 세계를 하나로 묶기에 충분하다. 이 성과는 인간으로 하여금 우리의 삶을 지금보다 더욱 편리하게 만들어줄 것으로 기대하게 한다. 인간이 결정하고 수행했던 많은 일들이 점점 사람의 개입은 줄어들고 많은 부분에서 기계가 스스로 판단하여 인간에게 가장 최적의 솔루션을 마련해줄 것으로 예상한다. 심지어 인간의 감정을 닮은 로봇을 개발하려는 노력까지 이어지고 있는 것이 현실이다.

초연결성의 사회에서 우리가 간과하지 말아야 할 것은 바로 편리함 뒤에 감춰진 개인정보의 공유 문제이다. 예를 들어, 해외여행에서 구글 지도 앱을 통해 경로를 탐색한다고 가정해보자. 구글 지도 앱은 우리에게 우리의 현재 위치(개인정보)를 공유하도록 요구한다. 우리가 이 요구에 응하지 않는다면 우리는 구글 지도를 이용할 수 없다. 이렇듯 연결이 주는 편리함 이면에는 보안 문제가 생길 수 있다.

많은 보안 전문가들은 여러 다양한 방법으로 보안 문제를 다루고 있다. 초연결성을 갖춘 사회로 발전할수록 보안 이슈는 더욱 중요하게 다루어지고 있다. 특별히, 개인정보에 대한 보안 이슈는 가장 중요하게 다뤄야 할 보안 문제 중 하나라고 하겠다.

개인정보보호를 위한 가장 대표적인 방법 중 하나는 비밀번호를 이용하는 것이다. 본인만이 아는 정보를 이용하여 자신임을 인증하는 방법이다. 이 방법은 현재 개인인증 방식으로 가장 널리 쓰이고 있다. 하지만, 이 방법의 단점은 비밀번호가 기억나지 않거나 분실의 위험이 있다. 또한, 해당 비밀번호가 악의적인 사용자에 의해 도난당할 위험도 존재한다. 비밀번호에 의한 사용자 인증방식의 단점을 개선하기 위해 좀 더 기억하기 용이한 패턴 방식을 사용할 수 있지만, 이 또한 분실 및 도난의 위험이 존재하기는 마찬가지이다. 전통적인 개인정보보호 방법을 개선하여 현재 많은 분야에서 활용되는 방식은 인간의 생체데이터를 활용하는 방법이다. 대표적으로 지문, 홍채, 안면인식 등의 방법이 존재한다. 이 방법은 전통적인 방법과 비교했을 때, 도난 및 분실의 위험으로부터 좀 더 자유롭다.

본 연구에서는 지금까지 개인정보보호 방법으로 이용되지 않은 인간의 걸음걸이를 생체데이터와 스마트폰을 활용하여 새로운 개인 인증방식으로 도입하는 것이 가능한지 살펴본다. 그리고 스마트폰을 분실 또는 도난당했을 경우, 스마트폰을 소지한 사용자를 적법하지 않은 사용자로 판별할 수 있는지를 확인하고자 한다. 인간의 보행을 연구하는 연구자들이 인간의 보행을 사용자 인증 수단으로 활용할 수 있는지를 다양한 방법으로 연구해왔다. 지금까지의 접근법을 면밀히 검토한 결과 보행 데이터 수집 단계에서 보행 실험에 참여하는 참가자들이 매우 제한적인 실험 환경에서 실험을 진행했다는 사실을 발견했다. 이러한 환경은 우리가 살아가는 실생활 환경과는 동떨어져 있다.

본 연구에서는 좀 더 실생활의 환경에 가까운 실험 환경을 설계하여 보행 실험을 통해 획득한 보행 데이터가 실생활을 더욱 잘 반영할 수 있도록 노력했다. 이를 통해 본 연구에서 제안한 시스템을 실생활에 보다 쉽게 적용시킬 수 있도록 하였다. 적법한 사용자의 보행 데이터를 기반으로 딥러닝 모델을 학습시킨 후 학습된 딥러닝 모델을 스마트폰에 탑재하여 적법한 사용자가 스마트폰을 휴대하고 걸을 때는 정상적으로 스마트폰을 사용하는 것이 가능하지만, 적합하지 않은 사용자의 경우에는 스마트폰을 사용할 수 없도록 시스템을 디자인하였다.

논문의 구성은 다음과 같다. 2장은 관련 연구로 보행 분석에 기반한 사용자 인증 방식의 관련 연구 동향을 살펴본다. 3장에서는 본 연구에서 제안한 시스템을 자세히 설명한다. 4장에서는 딥러닝 모델인 CNN(Convolutional Neural Network) 모델을 평가하고 다양한 평가지표를 통해 결과를 분석한다. 마지막으로 5장에서는 결론에 대해 기술하고 향후 연구 과제에 대하여 언급하고 논문을 마무리한다.


Ⅱ. 관련 연구

보행과 관련한 연구에는 다양한 분야가 있으며 주된 분야로는 특정 질환 판별을 위한 의학 분야, 보행 분석 및 개선을 위한 헬스케어 서비스, 그리고 보안 분야가 있다. 이러한 연구가 진행되면서 사람마다의 고유한 보행 패턴을 기반으로 한 보행 식별연구가 활발히 진행되었다. 여기서 보행 식별이란 특정 보행 데이터가 어떤 사람의 보행 데이터인지 판별하는 것을 말하며, 이러한 연구가 많아짐에 따라 보행 패턴을 기반으로 한 인증 모델 또는 시스템을 새로운 보안 인증 메커니즘으로 제안하는 연구가 현재 진행중이다.

위와 같이 인증 또는 보행 식별을 목적으로 한 연구의 대부분은 높은 정확도를 나타냈다. 하지만 보행 데이터의 수집환경이 극히 제한된 것을 확인할 수 있었는데 일부 연구는 공개 데이터셋을 사용했으며 그 종류로 Sphere2016 Challenge[1], RecodGait[1], OU-ISIR[1]-[4], WhuGAIT[4], ZJU-GaitAcc[5], Motion Sensor[6], WISDM(Wireless Sensor Data Mining)[1][4][6], HMOG[4][7], UCI-HAR[6][7] 등이 있다. 앞에서 언급했듯이 이러한 공개 데이터셋의 수집환경은 극히 제한되어 있었는데 예를 들어 OU-ISIR의 경우, 데이터 수집환경이 트레드밀로 제한되었으며 WISDM의 경우, 센서의 위치가 고정되어 있었다. 또한, 공개 데이터셋을 사용한 연구 외에도 앞의 WISDM처럼 센서의 위치가 고정되거나[8]-[15], 평지에서만 보행 데이터가 수집되었다[11]-[13]. 이를 통해 보행 데이터의 수집환경을 고려할 필요가 있다는 것을 확인했다.

보행 데이터를 수집한 후 결과를 확인하기 위한 모델의 구성은 연구마다 다양했으며, 모델의 구성에서 주로 확인할 수 있는 알고리즘은 CNN(Convolutional Neural Network)[2]-[4][6][9][11][12][15]-[17]와 LSTM(Long Short-Term Memory)[4][16][18][23], SVM[8]-[10][19], KNN(K-Nearest Neighbors)[8][20], 그리고 RF(Random Forest)[10][20]가 있다. 그중 CNN을 사용한 모델이 좋은 성능을 보인 연구가 많았으며 DHN(Deep Hybrid Netwrok)와 CNN, LST, GRU(Gated Recurrent Unit)의 성능을 비교한 연구[6]에서도 CNN이 가장 좋은 성능을 보였으므로 본 연구 또한 CNN을 사용하여 모델을 구성하고자 한다.

관련 연구를 통해 우리가 알게 된 사실은 보행 데이터 수집환경이 실제 스마트폰 사용 환경을 반영하지 못하고 있다는 것이다. 따라서, 본 연구는 스마트폰을 사용한 인증 시스템을 개발하면서 보행 데이터 수집 위치를 다양하게 설정함으로써 실제 환경을 최대한 반영하고자 했다. 또한, 본 연구에서 제안한 인증 시스템을 새로운 보안인증 수단으로 사용할 수 있는지 확인하고자 한다.


Ⅲ. 시스템 구성

지문, 홍채, 혹은 안면인식 등은 생체데이터를 이용한 사용자 인증 수단으로 널리 이용되고 있다. 여기서 사용자 인증이라 함은 사용 권한이 부여된 사용자만이, 즉 적법한 사용자만 시스템을 사용할 수 있도록 접근 권한을 부여하는 것을 말한다. 본 연구에서는 기존의 사용자 인증방식의 수단으로 이용되지 않은 새로운 생체데이터인 인간의 걸음걸이를 사용자 인증에 적용하려는 시도를 한다. 안드로이드 운영체제 기반의 애플리케이션을 개발하여 사용자의 걸음걸이를 등록하고, CNN 기반의 딥러닝 모델을 활용하여 적법한 사용인지를 판단한다. 사용자 인증은 적법한 사용자의 보행 데이터와 사용자 인증을 위해 입력된 데이터가 일치하는지를 비교함으로써 이루어진다. 사용자의 걸음걸이 데이터 등록과 인증을 수행하는 안드로이드 운영체제 기반의 애플리케이션을 사용자 인증 시스템(이하 시스템)이라고 정의한다.

대부분의 스마트폰에는 기본적으로 가속도계와 각속도계가 포함되어 있다. 기존의 많은 보행 분석 연구에서와같이 본 연구에서도 보행 실험 참여자가 걸을 때 가속도계와 각속도계가 생성하는 데이터를 보행 데이터로 삼았다.

본 연구에서 제작한 시스템의 개요는 그림 1과 같다. 시스템은 그림 1과 같이 크게 2가지 기능을 수행한다. 첫째, 사용자의 보행 데이터를 등록하는 등록 기능(Enrollment)과 둘째, 적법한 사용자인지를 확인하는 인증 기능(Authentication)이다.


Fig. 1. 
System overview

보행 데이터 등록 기능에선 적법한 사용자의 보행 데이터를 등록하기 위하여 스마트폰을 통해 수집한 가속도와 각속도 모델에 입력한 후 딥러닝 모델을 학습시킨다. 더불어 적법한 사용자인지를 확인하는 인증 기능에서는 새롭게 수집된 가속도와 각속도를 학습된 딥러닝 모델에 입력하여 결과를 확인한 후 접근 권한을 부여한다. 이러한 작업을 수행하는 본 연구의 작업환경은 다음 표 1과 같다.

Table 1. 
Working environment for the study
Category Description
Platform Desktop(PC), smartphone(LM-G850N)
IDE vscode, Android studio
Language Python, Java, Kotlin
Package Tensorflow=2.8.0, Keras, Tensorflow lite

3.1 보행 데이터 수집 및 데이터 전처리

앞에서도 언급한 것과 같이 본 연구에서는 사람의 걸음걸이를 통해 적법한 사용자인지 아닌지를 판단한다. 이를 위해서는 먼저 적법한 사용자의 보행 데이터를 시스템에 등록해야 한다. 우리는 이전 연구[12]에서 사람이 걸을 때 발생하는 관성 센서값, 즉 가속도 및 각속도 값으로 사람을 식별할 수 있었고, 이를 통해 관성 센서값이 개개인의 걸음걸이를 반영한다는 것을 알 수 있었다. 따라서 이번 시스템 또한 관성 센서값을 측정한 후 저장하기 위해 안드로이드 스튜디오에서 제공하는 Sensor EventListener 클래스를 상속받고, 아래와 같은 센서 이벤트 데이터를 사용했다.

* TYPE_LINEAR_ACCELERATION: 중력가속도를 제외한 가속도 수집
* TYPE_GYROSCOPE: 각속도 수집
* SENSOR_DELAY_FASTEST: 샘플링 주기(센서의 데이터가 변할 때마다 샘플링되며 평균 1ms 주기로 샘플링)

수집된 보행 데이터의 전처리 기법으로는 선형보간법을 사용했으며, 이전 연구와 동일하게 진행되었다. 자세한 데이터 전처리 기법을 알기 원한다면 다음 논문[12]을 참고하기 바란다. 본 연구에서는 이전 연구와 달리 데이터 필터링 기법은 사용하지 않았다. 그 이유는 인증 과정의 실시간 데이터 처리로 인해 인증 결과를 확인되는데 걸리는 시간이 지연될 수 있기 때문이다.

안드로이드 스튜디오를 활용해 개발한 안드로이드용 애플리케이션을 스마트폰에 탑재한 후 그림 2와 같이 양손 및 양쪽 바지 앞주머니에 위치시킨 후, 총 10명의 보행 실험 참여자에 대해 보행 데이터를 수집했다. 여기서 스마트폰의 위치는 이전 연구[24]에서 언급한 손의 궤적과 보행의 관계, 그리고 손목으로부터 얻은 보행 데이터가 보행주기를 판별하는 데 적절하다는 결과를 참고하여 설정했다. 모든 참여자는 보행 실험을 수행하기 전 이에 따른 유의사항을 숙지했고, 보행 실험 참여에 동의하는 절차를 거쳤다. 보행 데이터 등록 시 약 20m의 평지를 스마트폰의 위치를 바꿔가면서, 위치마다 두 번씩 총 8번을 왕복했다.


Fig. 2. 
Gait data collection at different positians

그림 2와 같이 수집된 실험 참여자별 보행 데이터의 크기(학습 데이터 크기 또는 데이터 샘플 개수)는 스마트폰의 위치로 구분하여 표 2에 표기했으며, 평균 데이터 수집 시간(Average measure time) 항목에 한 사람당(ID) 측정하는데 소요된 평균 시간을 나타냈다. 그 결과, 보행 데이터 등록과정에서 평균적 94.3초의 시간이 소요된 것을 확인할 수 있다.

Table 2. 
Size of training set at different places(Samples)
ID Device placement Average
measure
time(s)
Left
pocket
Right
pocket
Left
hand
Right
hand
1 4605 4674 4533 4570 91.9
2 4395 4327 4033 3862 83.0
3 4897 4632 4419 4382 91.6
4 4746 4756 4830 4794 95.6
5 5501 5382 5207 5449 107.6
6 4854 4795 4416 4581 93.2
7 5297 5098 4709 4686 98.9
8 3837 4121 3900 4141 79.9
9 5585 5323 4931 4545 101.9
10 5036 4729 5142 5006 99.5

3.2 딥러닝 모델의 생성 및 변환

본 연구에서 구현한 딥러닝 모델은 이미지 분류에 특화된 CNN 모델로서 conv1d 레이어(Keras 라이브러리에서 지원)로 구성했다. 모델의 구성은 이전 연구[12]에서 구성했던 모델과 동일하며 입력 데이터의 크기는 한 걸음에 해당하는 평균 시간인 1.2초로 설정했다. 신경망과 입력 데이터의 크기 등의 파라미터를 설정한 후 데이터를 학습하여 모델(Model_saved.h5)을 저장한다. 모델을 저장하기 위해서는 학습과정을 거쳐야만 하는데 모델 생성을 위해 임의의 보행데이터를 학습시킬 경우, 이 데이터가 인증 기능의 성능을 저하시키는 문제가 발생할 수 있다.

따라서 본 연구에서는 이런 위험요소를 최대한 줄이기 위해 먼저 보행 데이터의 형식을 갖춘 더미 데이터 단 하나만 학습하여 모델(Model_saved.h5)을 생성했다. 그 이후에 Tensorflow Lite 라이브러리를 통해 저장된 모델(Model_saved.h5)을 변환(Model_converted.tflite)하여 스마트폰에 탑재했다.

3.3 시스템의 사용자 인터페이스

그림 3은 시스템의 사용자 인터페이스를 보여준다. 그림 1과 같이 등록과정과 인증 과정으로 구분되어 있다. 시스템의 초기(Main)화면은 등록 및 인증 기능을 선택하는 메뉴이다. 인증 기능을 사용하기 위해서는 먼저 적법한 사용자의 보행 데이터가 등록되어있어야 한다.


Fig. 3. 
System user interface

Main 화면의 “보행 등록하기” 버튼을 클릭하면 등록 화면(Enrollment)으로 전환되고 보행지시 사항이 나타나며, 확인 버튼과 종료 버튼을 눌러 보행 등록을 할 수 있다. 등록이 완료된 후 사용자는 Main 화면으로 돌아와“보행 인증하기” 버튼을 클릭하여 인증 화면(Authentication)으로 전환할 수 있다. 그리고 인증 시작 버튼을 누르면 인증이 시작된다. 인증 과정에서 스마트폰을 휴대한 상태로 7초간 걸으면 인증 결과 화면이 나타난다. 만약 인증이 성공할 경우, “인증 성공했습니다.”라는 메시지가 나타나며, 인증이 실패할 경우 “인증 실패했습니다. 다시 한번 시도해주세요.”라는 메시지가 화면에 나타난다. 여기서 인증은 20ms마다 이전 1.2초간의 보행 데이터를 가지고 수행되며, 7초간 수집한 데이터(=샘플 290개) 샘플 중 265개 이상이 적법한 사용자의 데이터라고 판단할 경우(약 90% 이상) 인증에 성공하게 된다.


Ⅳ. 모델 평가 및 결과 분석

본 연구에서 제안한 시스템의 성능을 평가하기 위해 먼저 표 3에 제시된 모델 평가 기준을 활용했다. 원본 데이터(Actual value)와 모델의 예측 결과(Predict value)를 비교하여 표 3의 기준에 따라 4가지 서로 다른 경우를 조사하였고, 이 결과를 그림 4의 혼동행렬(Confusion matrix)로 표현했다. 모델의 평가지표로 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score를 계산했다. 또한, 판별 오류의 정도를 측정하기 위하여 FAR(False Acceptance rate: 오인식률), FRR(False Rejection Rate: 오거부율), EER(Equal Error Rate:동일 오류율)을 구했다.

Table 3. 
Model evaluation standards
Predict value
User Others
Actual value User TP FN
Others FP TN


Fig. 4. 
Confusion matrix(Results of 10 subjects)

그림 4의 혼동행렬의 행은 실제 클래스(실제 사용자)를, 혼동행렬의 열은 모델이 예측한 클래스(예측 사용자)를 의미하며 User는 적법한 사용자를, Other는 등록되지 않은 사용자를 의미한다. 그리고 색상의 채도는 모델이 분류한 결과의 분포도를 의미하며, 해당 분류 결과의 건수에 비례하여 짙어진다. 예를 들어, 그림 4에서 Subject 1의 좌측 상단의 사각형은 User의 보행 데이터 290개 중 282개를 TP(True Positive)로 분류한 것을 의미하고, 우측 상단의 사각형은 User의 보행 데이터 290개 중 8개를 FN(False Negative)으로 분류한 것을 의미한다.

그리고 좌측 하단의 사각형은 Other의 보행 데이터 290개 중 3개를 FP로, 우측 하단의 사각형은 Other의 보행 데이터 290개 중 287개를 TN(True Negative)으로 분류한 것을 의미한다. 따라서, 그림 4의 TP와 TN의 사각형이 FN과 FP(False Positive)의 사각형보다 더 짙은 것으로 보아, 본 연구에서 제안한 시스템이 좋은 성능을 보인다고 판단할 수 있다.

  • - TP: 적법한 사용자를 적법한 사용자로 바르게 분류한 경우
  • - FN: 적법한 사용자를 등록되지 않은 사용자로 틀리게 분류한 경우
  • - FP: 등록되지 않은 사용자를 적법한 사용자로 틀리게 분류한 경우
  • - TN: 등록되지 않은 사용자를 등록되지 않은 사용자로 바르게 분류한 경우

그림 4의 분류 결과를 바탕으로 모델의 평가지표인 정확도, 정밀도, 재현율 및 F1-score를 계산한 결과를 표 4에 나타냈다.

Table 4. 
Accuracy, precision, recall, F1-score
ID Accuracy Precision Recall F1-score
1 0.981034 0.981178 0.981034 0.981033
2 0.960345 0.960613 0.960345 0.960339
3 0.943103 0.943109 0.943103 0.943103
4 0.936207 0.936835 0.936207 0.936184
5 0.915517 0.915522 0.915517 0.915517
6 0.963793 0.965793 0.963793 0.963754
7 0.972414 0.973224 0.972414 0.972402
8 0.936207 0.936835 0.936207 0.936184
9 0.934483 0.934669 0.934483 0.934476
10 0.958621 0.959407 0.958621 0.958603

각 평가지표에 대한 정의와 수식은 아래와 같다.

- 정확도: 전체 분류 결과 중 적법한 사용자와 등록되지 않은 사용자를 올바르게 판단한 비율

Accuracy=TN+TPTN+FP+FN+TP(1) 

- 정밀도: 적법한 사용자로 분류한 사례 중 실제 적법한 사용자인 비율(분류가 얼마나 정확한지를 의미함)

Precision=TPTP+FP(2) 

- 재현율: 실제 적법한 사용자를 적법한 사용자로 바르게 분류한 사례의 비율(실제값을 얼마나 맞췄는지를 의미함)

Recall=TPTP+FN(3) 

- F1-score: 정밀도와 재현율의 조화평균(분류 클래스 간의 불균형이 심할 경우 주로 사용됨)

F1-score=2×Precision×RecallPrecision+Recall(4) 

표 4가 보여주듯이 평가지표를 계산한 결과, 평균 정확도는 0.950172, 평균 정밀도는 0.950718, 평균 재현율은 0.950172, 평균 F1-score는 0.950159로 모두 0.95 이상의 높은 결과를 나타냈다. 평가지표의 계산 결과가 1에 가까울수록 좋은 모델을 의미하며, 일반적인 평가지표로만 따졌을 때, 본 연구에서 구현한 시스템의 성능이 신뢰할만하다고 판단한다.

앞에서 평가한 네 가지의 평가지표는 올바르게 분류하는 것에 초점이 맞춰져 있다. 보안 측면에서는 적법한 사용자와 등록되지 않은 사용자를 올바르게 분류하는 것도 중요하지만, 어느 정도의 오류율을 가졌는지도 파악할 필요가 있다. 따라서, 바이오메트릭스(Biometrics: 고유한 신체, 행동적 생체정보를 입력으로 함으로써 작동하는 인증방식)를 사용하는 시스템 또는 모델에서 주로 사용되는 지표를 추가하여 오류율을 계산했다. 그림 5는 추가된 지표를 통해 얻은 ROC curve를 보여준다.


Fig. 5. 
ROC curve of average FAR, FRR

- FAR: 등록되지 않은 사용자를 인증한 비율

FAR=FPFP+TN(5) 

- FRR: 적법한 사용자를 인증하지 않은 비율

FRR=FNFN+TP(6) 

- EER: FAR과 FRR이 같아지는 비율

그림 5의 x축은 임곗값을, y축은 10명에 대한 평균 FAR, FRR, EER의 비율을 의미한다. FAR과 FRR은 각각 실선과 점선으로 표시했고 곡선의 교차지점 EER(FAR==FRR일 때의 비율)을 빨간색 X 마크로 표시했다. 빨간색 X 마크가 낮게 위치할수록 즉, EER이 0에 가까울수록 좋은 모델을 의미한다.

그림 5의 하단에 위치한 X 마크인 EER(=0.048403)의 값을 통해 알 수 있는 사실은 본 연구에서 제안한 시스템이 사용자를 인증하는 데 있어 낮은 오류율을 가지고 있음을 보여준다. 결론적으로 인간의 보행 데이터를 기존의 다른 사용자 인증 수단과 더불어 사용할 수 있음을 보여준다.


Ⅴ. 결론 및 향후 연구 과제

본 연구는 스마트폰에 사용자 인증을 위한 딥러닝 모델을 탑재한 사용자 인증 시스템을 개발하고 그 성능을 평가했다. 보행과 관련한 많은 연구가 보행 데이터와 보안을 연결하여 새로운 인증 시스템을 개발하고자 했다. 기존의 연구들에서 제안한 시스템은 대체적으로 좋은 성능을 보였지만, 대표적인 단점은 대부분의 경우, 극히 제한된 환경에서 수집된 보행 데이터에 국한되었다는 것이다. 보편적인 사용자 인증 시스템이기 위해서는 이러한 제약에서 벗어나야만 한다. 따라서 본 연구에서는 보행 데이터를 수집하는 데 있어 스마트폰의 위치를 다양화하여 실제 환경을 최대한 반영하려고 했다.

시스템의 입력은 스마트폰의 관성 센서를 통해 수집한 가속도와 각속도 값이며 적법한 사용자인지 아닌지를 분류한 결과가 출력된다. 시스템의 대표적인 기능은 사용자 등록과 사용자 인증으로 이루어져 있다. 등록 기능에서는 스마트폰 위치(양손, 양쪽 바지 앞주머니)에 따라 보행 데이터를 수집하고, 인증 과정에서 7초간 걸어 사용자 인증을 수행한다. 인증을 수행하는 데 있어 스마트폰의 위치는 사용자가 자유롭게 선택할 수 있다.

스마트폰에 탑재한 모델은 이전 연구에서 사용한 CNN 모델과 구성이 동일하며, 스마트폰 내에서 학습 및 평가를 할 수 있도록 Tensorflow Lite 라이브러리를 통해 모델을 변환했다. 변환된 모델은 사용자 등록과 인증에서 사용되며 인증이 완료된 후 인증 과정에서 수집한 7초간의 보행 데이터로 시스템을 평가했다. 시스템 성능 평가를 위한 지표로는 정확도, 정밀도, 재현율, F1-score, EER이 있다. 시스템을 평가한 결과, 정확도, 정밀도, 재현율, F1-score는 0.95 이상으로 나타났으며 1에 가까울수록 시스템이 좋은 성능을 가지고 있음을 의미한다. 또한, 바이오메트릭스에 기반한 시스템에서 주로 사용되는 EER 평가지표의 결과는 약 0.048로 나타났으며, 대부분의 경우, 시스템이 사용자를 오류 없이 인증한다고 판단할 수 있다.

본 연구의 보완점으로는 보행 데이터를 수집할 때 바지의 느슨함으로 인한 데이터 잡음과 이를 보완하기 위한 필터링 기법이 생략되었다는 것이다. 하지만 이를 감안하더라도 보행 데이터 수집 위치의 제약 없이 90% 이상의 정확하게 사용자를 인증할 수 있었다. 이를 통해 보행 데이터를 활용한 인증 시스템이 적법한 사용자를 판별하는데 높은 신뢰성을 가지고 있으며, 적법하지 않은 사용자가 스마트폰을 소지했을 경우를 적절히 판별 가능한 것을 알 수 있다.

비밀번호나 패턴 인증과 같은 기존의 전통적인 인증 방식과 비교했을 때, 본 연구의 인증 시스템은 타 생체인증과 같이 기억할 필요가 없으며, 모방할 수 없다는 점 외에 뚜렷한 장점은 드러나지 않는다. 하지만 본 연구의 인증 시스템을 보안인증 방식의 또 다른 접근법으로서 제안함으로써 보행 데이터가 인증 방면에 활용될 가능성을 제시하는 데 의의가 있다. 따라서 향후 연구과제로서 이러한 가능성을 제시하기 위해 실제환경을 고려하는 것이 더욱 중요하며, 이를 위해 본 연구가 기울인 노력, 즉 다양한 위치에서 데이터를 수집한 노력 말고도 지형과 온도와 같은 환경 요소들을 고려하여 연구와 실제환경의 차이를 줄이는 노력이 필요하다. 그리고 EER의 개선과 학습에 필요한 보행 데이터의 크기를 줄이는 작업이 요구되며, 본 연구의 시스템 활용방안으로 분실 또는 도난당했을 경우 적법한 사용자에게 알림을 주는 기능을 구현할 수 있다.


Acknowledgments

이 논문은 2020년도 정부(과학기술정보통신부)의 재원으로 한국연구재단 생애첫연구사업의 지원을 받아 수행된 연구임(No. 2020R1G1A1013937).


References
1. R. Leyva, G. Santos, A. Rocha, V. Sanchez, and C. -T. Li, "Accelerometer Dense Trajectories for Activity Recognition and People Identification", 2019 7th International Workshop on Biometrics and Forensics(IWBF), pp. 1-6, 2019.
2. R. Delgado-Escaño, F. M. Castro, J. R. Cózar, M. J. Marín-Jiménez, and N. Guil, "An End-to-End Multi-Task and Fusion CNN for Inertial-Based Gait Recognition", in IEEE Access, Vol. 7, pp. 1897-1908, 2019.
3. O. Adel, M. Soliman, and W. Gomaa, "Inertial Gait-based Person Authentication Using Siamese Networks," 2021 International Joint Conference on Neural Networks (IJCNN), pp. 1-7, 2021.
4. L. Tran, T. Hoang, T. Nguyen, H. Kim, and D. Choi, "Multi-Model Long Short-Term Memory Network for Gait Recognition Using Window-Based Data Segment", in IEEE Access, Vol. 9, pp. 23826-23839, 2021.
5. F. Sun, C. Mao, X. Fan, and Y. Li, "Accelerometer-Based Speed-Adaptive Gait Authentication Method for Wearable IoT Devices," in IEEE Internet of Things Journal, Vol. 6, No. 1, pp. 820-830, Feb. 2019.
6. A. R. Kothamachu and B. Chakraborty, "Real Time Gait based Person Authentication using Deep Hybrid Network," 2021 IEEE 4th International Conference on Knowledge Innovation and Invention(ICKII), pp. 155-159, 2021.
7. Giacomo Giorgi, Andrea Saracino, and Fabio Martinelli, "Using recurrent neural networks for continuous authentication through gait analysis", Pattern Recognition Letters, Vol. 147, pp. 157-163, ISSN 0167-8655, 2021.
8. Muhammad Ehatisham-ul-Haq, Muhammad Awais Azam, Usman Naeem, Yasar Amin, and Jonathan Loo, "Continuous authentication of smartphone users based on activity pattern recognition using passive mobile sensing", Journal of Network and Computer Applications, Vol. 109, pp. 24-35, ISSN 1084-8045, 2018.
9. Matteo Gadaleta and Michele Rossi, "IDNet: Smartphone-based gait recognition with convolutional neural networks, Pattern Recognition", Vol. 74, pp. 25-37, 2018.
10. N. Kala, T. Bhatia, and N. Aggarwal, "Person Identification and Characterization from Gait Using Smartphone", 2019 11th International Conference on Communication Systems & Networks (COMSNETS), pp. 492-495, 2019.
11. L. V. R. Asuncion, J. X. P. D. Mesa, P. K. H. Juan, N. T. Sayson, and A. R. D. Cruz, "Thigh Motion-Based Gait Analysis for Human Identification using Inertial Measurement Units (IMUs)", 2018 IEEE 10th International Conference on Humanoid, Nanotechnology, Information Technology, Communication and Control, Environment and Management(HNICEM), pp. 1-6, 2018.
12. J. Choi, S. Choi, and T. Kang, "Identification of Gait Patterns using Convolutional Neural Networks for Personal Authentication", Journal of Korean Institute of Information Technology(JKIIT), Vol. 20, No. 4, pp. 13-23, 2022.
13. Sai Ram Vallam Sudhakar, Namrata Kayastha, and Kewei Sha, "ActID: An efficient framework for activity sensor based user identification", Computers & Security, Vol. 108, 2021.
14. Weitao Xu, Yiran Shen, Chengwen Luo, Jianqiang Li, Wei Li, and Albert Y. Zomaya, "Gait-Watch: A Gait-based context-aware authentication system for smart watch via sparse coding", Ad Hoc Networks, Vol. 107, 2020.
15. Y. Tsai and Y. Peter Hong, "Center-Assisted Personal Gait Authentication Using Orientation Adversarial Feature Extraction," 2019 IEEE 29th International Workshop on Machine Learning for Signal Processing(MLSP), pp. 1-6, 2019.
16. Q. Zou, Y. Wang, Q. Wang, Y. Zhao, and Q. Li, "Deep Learning-Based Gait Recognition Using Smartphones in the Wild," in IEEE Transactions on Information Forensics and Security, Vol. 15, pp. 3197-3212, 2020.
17. L. He, C. Ma, C. Tu, and Y. Zhang, "Gait2Vec: Continuous Authentication of Smartphone Users Based on Gait Behavior", 2022 IEEE 25th International Conference on Computer Supported Cooperative Work in Design(CSCWD), pp. 280-285, 2022.
18. Yuji Watanabe and Masaki Kimura, "Gait identification and authentication using LSTM based on 3-axis accelerations of smartphone", Procedia Computer Science, Vol. 176, pp. 3873-3880, 2020.
19. Y. Li, H. Hu, and G. Zhou, "Using Data Augmentation in Continuous Authentication on Smartphones," in IEEE Internet of Things Journal, Vol. 6, No. 1, pp. 628-640, Feb. 2019.
20. R. Luca, S. I. Bejinariu, H. Costin, and F. Rotaru, "Inertial Data Based Learning Methods for Person Authentication", 2021 International Symposium on Signals, Circuits and Systems (ISSCS), pp. 1-4, 2021.
21. H. Chunsheng, W. De, Z. Huidong, and L. Guoli, "Human Gait Feature Data Analysis and Person Identification Based on IMU," 2020 IEEE International Conference on Artificial Intelligence and Computer Applications(ICAICA), pp. 437-442, 2020.
22. Rubén San-Segundo, Julián David Echeverry-Correa, Cristian Salamea-Palacios, Syaheerah Lebai Lutfi, and José M. Pardo, "I-vector analysis for Gait-based Person Identification using smartphone inertial signals", Pervasive and Mobile Computing, Vol. 38, No. 1, pp. 140-153, 2017.
23. M. Abuhamad, T. Abuhmed, D. Mohaisen, and D. Nyang, "AUToSen: Deep-Learning-Based Implicit Continuous Authentication Using Smartphone Sensors", in IEEE Internet of Things Journal, Vol. 7, No. 6, pp. 5008-5020, Jun. 2020.
24. J. Choi, H. Yoo, S. Choi, and T. Kang, "Identification of Gait Cycle using LSTM", Journal of Korean Institute of Information Technology (JKIIT), Vol. 19, No. 8, pp. 27-39, 2021.

저자소개
최 지 우 (Jiwoo Choi)

2019년 ~ 현재 : 강릉원주대학교 컴퓨터공학과 학부생

관심분야 : 인공지능

최 상 일 (Sangil Choi)

2000년 : 강릉대학교 컴퓨터공학과(학사)

2008년 : 아이오와주립대학교 컴퓨터과학과(석사)

2015년 : 네브래스카주립대학교 컴퓨터공학과(박사)

2015년 ~ 2016년 : 스와질랜드 기독대학교 컴퓨터공학과 교수

2016년 ~ 2019년 : 아주대학교 소프트웨어학과 강의전담교수

2019년 ~ 현재 : 강릉원주대학교 컴퓨터공학과 교수

관심분야 : 사물인터넷, 머신러닝 및 딥러닝, 보행 분석

강 태 원 (Taewon Kang)

1985년 : 연세대학교 수학과(이학사)

1988년 : 고려대학교 전산과학과(이학사)

1991년 : 고려대학교 수학과(이학석사)

1996년: 고려대학교 컴퓨터학과(이학박사)

1997년 ~ 현재 : 강릉원주대학교 컴퓨터공학과 교수

관심분야 : 복잡계, 인공생명, 인공지능, 소프트컴퓨팅