Current Issue

공유경제 개념을 바탕으로 한 공유 서비스, 예를 들어, 개인 소유의 주택을 숙박시설로 활용하거나 개인 소유의 차량을 이용한 교통 서비스 등은 시간이 지남에 따라 더욱 많이 생겨날 것으로 예상된다. 다양한 이유가 있겠지만 이러한 서비스가 가능하게 된 이유로 인터넷을 필두로 한 통신 인프라의 발달과 4차산업혁명의 대표적인 기술인 사물인터넷, 빅데이터, 인공지능의 눈부신 발전이 한몫을 담당했을 것이다. 공유경제에 기반한 다양한 플랫폼으로 인해 사용자는 좀 더 저렴하고 편리한 서비스를 이용하는 것이 가능해졌다. 그렇지만 이러한 경제성과 편리성 이면에는 언제나 보안 취약성의 위험이 도사리고 있다. 공유 서비스를 이용하기 위해서는 어쩔 수 없이 민감한 개인정보를 제공해야 하기 때문이다. 정보통신 기술이 발달해감에 따라 이러한 보안의 문제는 우리 모두가 해결해야 하는 숙제임에 틀림없다.

개인정보보호법에 따르면 개인정보처리자는 ‘고유식별정보’를 정보 주체의 별도의 동의없이 함부로 다룰 수 없다고 명시되어있다. 여기서 고유식별정보라는 것은 주민등록번호, 여권번호, 운전면허번호 등이 있다. 또한, 개인의 신상정보를 포함하여 감정, 사상 또는 종교 등의 개인정보를 민감정보로 구분하여 해당 정보의 침해나 유출을 방지하기 위해 노력해야 함을 강조하고 있다. 이를 통해 우리는 민감한 개인정보를 다루는 데 있어 무엇보다 중요한 것은 개인을 식별할 수 있는 명확한 방법이 제시되어야 한다는 것이다. 따라서, 본 연구에서는 개인의 걸음걸이 정보를 활용한 개인식별 방법에 대해 논한다.

본 연구에서 제안하는 개인식별 시스템은 보행 데이터를 딥러닝 모델의 하나인 CNN으로 학습시켜 특정 개인을 식별하는 데 그 목적이 있다. 머신러닝 및 딥러닝 모델에 기반한 다양한 개인식별 연구가 진행 중이다. 기존의 연구에서는 보행 데이터를 수집하는 환경이 제한적이었다. 예를 들면, 보행 데이터를 수집할 때 사용한 신발의 유형에 변화가 없거나 평지에서 수집한 보행 데이터만을 사용하여 실험을 진행하였다. 실제 환경에서는 다양한 종류의 신발을 착용할 수 있고, 평지를 포함하여 다양한 환경이 존재할 수 있다. 같은 보행자라고 할지라도 이렇게 보행 환경에 따라 다른 결과를 만들어 낼 수 있다. 만약 환경의 변화에 따라 식별 시스템의 성능에 영향을 받는다면 이러한 시스템은 민감한 개인정보를 식별하는 도구로 사용되기에는 한계가 존재한다. 이러한 한계를 극복하고 다양한 환경에서 수집한 데이터를 바탕으로 식별 시스템의 성능을 일정하게 유지하는 것이 가능한지를 확인하는 것이 본 연구의 목적이다. 결과적으로, 환경의 변화에 적절하게 적응할 수 있는 개인식별 시스템을 제안하고 우리가 살아가는 실제 환경에서 개인식별에 대한 문제를 다룰 때 고려해야 할 사항에 대해 논한다. 마지막으로 개인의 걸음걸이와 머신러닝 및 딥러닝 모델에 기반한 개인식별 시스템을 개발할 때 유의해야 할 점에 대해 살펴본다.

본 논문의 구성은 다음과 같다. 2장에서는 관련 연구로 보행 분석을 이용한 개인의 보행 식별에 관한 연구 동향을 살펴보고 기존의 보행 식별 연구가 가진 한계점을 알아본다. 3장에서는 보행 데이터 수집 및 CNN 모델 학습 방법에 대해 자세히 설명한다. 4장에서는 3장에서 구성한 모델의 성능을 4가지 척도(정확도, 정밀도, 재현율, F1-SCORE)를 이용하여 평가하고 분석한다. 마지막으로 5장에서는 본 연구를 통해 발견한 사실에 대해 정리하고 향후 연구 과제를 제시하며 연구를 마무리한다.

지금까지 진행된 보행과 관련한 많은 연구에서 보행 데이터를 수집 및 분석하여 데이터의 소유자(출처)를 식별하는 다양한 연구가 이루어졌다. 이러한 연구를 통해 개개인의 보행 데이터마다 고유한 특징을 가지고 있다는 것이 입증되었으며, 이 특징을 활용할 분야로 보안 인증에 초점을 맞추어 연구를 진행한 사례가 다수 존재했다[1-11]. 여기서 보행 데이터는 가속도계 또는 각속도계를 통해 수집한 관성 데이터를 의미하며, 이 데이터를 기반으로 획득 가능한 여러 다양한 시간 및 공간 데이터를 모두 아우르는 개념이다.

또한, 식별이란 특정 보행 데이터의 소유자를 판별하는 것을 뜻하며, 식별에서 더 나아가 보행 데이터를 보안 분야에서 널리 사용되는 지문, 홍채, 얼굴 등의 인식 메커니즘과 함께 새로운 사용자 인증 수단으로 제안하는 연구 또한 많았다[9]-[22]. 특별히, 본 논문에서는 보행 데이터와 머신러닝 모델을 사용하여 식별하는 연구의 보행 데이터 수집환경에 대해 간략하게 논의한다.

위에서 언급했듯이 다양한 보행 연구에서 보행 데이터를 수집할 때 수집환경이 제한되는 경우가 많이 존재했는데 그러한 보행 데이터의 대표적인 사례로 다음과 같은 공개 데이터셋이 있다. Sphere2016 Challenge[1], OU-ISIR[1][2][16][20], WISDM(Wireless Sensor Data Mining)[1][20][21], RecodGait[1], ZJU-GaitAcc[12], UCI-HAR[19][21], HMOG[19][20], WhuGAIT[20], Motion Sensor[21]. 해당 공개 데이터셋의 수집환경 중 OU-ISIR의 경우, 데이터 수집환경이 트레드밀로 제한되기도 했으며 WISDM의 경우, 관성센서의 위치가 고정되어 있기도 했다. 또한, 공개 데이터셋을 사용한 연구 외에도 센서의 위치가 고정되거나[3][5]-[8][13][14], 특정 실험환경에서만 데이터가 수집되는[7][8][13] 등의 제약사항이 존재했다. 실제 환경에서 보행 데이터를 수집할 때 센서의 위치가 변경되거나 평지가 아닌 실험환경에서도 여전히 비슷한 성능을 유지할 수 있는지에 대한 궁금증으로부터 본 연구는 시작되었다.

본 연구에서는 기존 연구에서의 제한된 데이터 수집환경의 문제를 해결하기 위해 신발의 유형을 변경하면서 시스템의 성능에 영향을 미치는지를 조사한다. 또한, 시스템의 성능을 개선하기 위한 방법으로 보행주기 데이터를 활용한 식별 방법을 제시하고 평가한다. 여기서 보행주기 데이터란 이전 연구[28]의 딥러닝 모델로 얻은 HS(Heel Strike: 뒷굽 닿기)와 TO(Toe Off: 발가락 떼기)를 말한다. 보행과 관련한 많은 연구에서 머신러닝 모델을 구성할 때 대표적으로 CNN(Convolutional Neural Network)[2][5][7]-[9][11][16][20][21]과 LSTM(Long Short-Term Memory)[9][10][20][22], SVM[3][5][6]18], KNN(K-Nearest Neighbors)[3][15], RF(Random Forest)[6][15] 등을 활용했는데, 본 연구에서는 가장 성능이 우수한 CNN을 채택하였다.

본 연구의 실험과정은 다음 그림 1과 같으며, 그림 1이 보여주듯이 실험과정은 본 연구에서 구성한 딥러닝 모델에 따라 크게 2개로 구분된다. 딥러닝 모델 A(CNN model A)는 관성 데이터가 입력되며, 딥러닝 모델 B(CNN model A)는 관성 데이터뿐만 아니라 이전 연구[23]의 LSTM 모델로부터 얻은 HS와 TO에 대한 결과가 함께 입력된다. 앞으로 이 결과를 보행주기 데이터라고 정의한다. 신발의 유형은 운동화를 착용한 경우(신발 유형 1)와 슬리퍼를 착용한 경우(신발 유형 2)로 구분된다. 신발 유형 1을 통해 얻은 관성 데이터와 보행주기 데이터를 딥러닝 모델 A와 B에 입력하여 각 모델을 학습시킨다.

Fig. 1. 
Overview of experiment

본 연구에서 식별을 위해 사용한 딥러닝 모델 A와 B는 이전 연구[8]에서 사용된 CNN(Convolutional Neural Network)모델의 구조와 동일하게 중첩층(Conv1d) 4개, 풀링층(Max_pooling1d) 4개, 드롭아웃(Dropout: 0.3) 레이어 2개, 플래튼(Flatten) 레이어 1개, 분류층(Dense: softmax) 1개로 구성되며, 딥러닝 모델 A에 신발 유형 1을 통해 얻은 관성 데이터를 학습시키고, 딥러닝 모델 B에 신발 유형 1을 통해 얻은 관성 데이터와 보행주기 데이터를 학습시킨다.

본 연구에서 사용한 데이터는 가속도와 각속도로 이루어진 관성 데이터와, 보행주기 데이터 두 가지로 구분되는데 그 중 관성 데이터의 경우, Shimmer3(IMU) 센서 장비를 스트랩으로 왼쪽 손목에 고정하여 데이터를 수집했다. 표 1과 표 2에는 Shimmer3 IMU 장비의 제원을, 그림 2에는 센서의 크기 및 모습을 보였다. 데이터를 수집할 때 참여한 실험참여자의 수는 총 10명(남:4명, 여:6명, 연령:23±2)으로 20m 평지를 2번 왕복하는 과정을 신발 유형 1(실험참여자 소유)과 신발 유형 2(실험운영 측에서 제공)를 착용하고 각각 한 번씩 수행했다. 실험에서 착용한 신발 유형의 외형은 그림 3(좌: 신발 유형 1, 우: 신발 유형 2)과 같으며, 신발을 착용한 실험참여자의 보행 모습은 그림 4(좌: 신발 유형 1, 우: 신발 유형 2)와 같다. 이렇게 수집된 관성 데이터는 선형보간법이라는 전처리 작업을 거쳐 그림 5와 같은 데이터를 얻게 된다. 그림 5의 x축은 시간을 나타내며, y축은 총 3축으로 측정된 가속도와 각속도의 크기를 나타낸다.

Fig. 2. 
Shimmer3 IMU unit

Fig. 3. 
Appearance of shoe(left: type 1, right: type2)

Fig. 4. 
Experimental participant’s walking

Fig. 5. 
Inertial data

보행주기 데이터의 경우, 이전 연구[23]의 결과를 사용한다. 이전 연구의 LSTM 모델은 관성 데이터를 입력으로 HS와 TO의 시점을 판별하는 모델로, 위에서 수집한 관성 데이터를 입력하여 그림 6과 같은 형태의 데이터를 출력한다. 그림 6의 y축은 HSL(왼쪽 발), TOL(왼쪽 발), HSR(오른쪽 발), TOR(오른쪽 발), NONE(공중에 있을 때) 총 5가지의 경우를 나타내며, x축은 시간(샘플 ID)을 나타낸다. LSTM 모델은 빨간색 사각형으로 강조한 데이터를 출력하며, 출력된 데이터는 이후 관성 데이터와 함께 딥러닝 모델 B에 입력된다.

Fig. 6. 
Gait cycle data

이번 장에서는 3장에서 신발 유형 1의 관성 데이터와 보행주기 데이터를 통해 학습된 딥러닝 모델 A와 B에 테스트 데이터를 입력하여 모델을 평가하고 결과를 분석한다. 테스트 데이터는 그림 7과 같이 총 네 가지로 구분된다.

Fig. 7. 
Overview of test data

첫 번째 테스트 데이터(그림 7의 Test A-1번)는 신발 유형 1을 통해 얻은 관성 데이터이며, 두 번째 테스트 데이터(그림 7의 Test A-2번)는 신발 유형 2를 통해 얻은 관성 데이터이다. 세 번째 테스트 데이터(그림 7의 Test B-1번)는 신발 유형 1을 통해 얻은 관성 데이터와 보행주기 데이터이며, 네 번째 테스트 데이터(그림 7의 Test B-2번)는 신발 유형 2를 통해 얻은 관성 데이터와 보행주기 데이터이다.

성능 평가에 앞서 먼저, 판별 기준인 TP(True Positive), FN(False Negative), FP(False Positive), TN(True Negative)를 정의(표 3 참조)하고 혼동행렬(Confusion Matrix)로 판별 결과를 확인한다. 그 후 확인한 판별 결과를 통해 정확도(Accuracy), 정밀도(Precision), 재현율(Recall) 그리고 F1-Score 총 4개의 평가지표로 성능을 평가한다.

• TP: 특정인을 그 사람으로 바르게 분류
• FN: 특정인을 타인으로 틀리게 분류
• FP: 타인을 특정인으로 틀리게 분류
• TN: 타인을 특정인이 아닌 것으로 바르게 분류

네 가지의 테스트 데이터를 딥러닝 모델에 입력하고 표 3에 제시된 판별 기준을 통해 판별한 결과, 그림 8, 9, 10, 11에 표현된 혼돈행렬을 얻었으며, 이 혼동행렬은 모델이 판별한 결과를 시각적으로 나타낸 것이다. 그림 8에서 X축은 모델이 판별한 클래스이며, Y축은 실제 클래스를 의미한다. 예를 들어 그림 8의 좌측 상단의 6619로 표기된 사각형은 P1의 데이터 6630개 중 6619개를 TP로 바르게 판별했음을 의미하며, X축 기준 나머지(0, 5, ⋯, 0)는 FN으로 틀리게 분류했음을 의미한다. 그리고 Y축 기준 나머지(8, 4, ⋯, 2)는 FP로 틀리게 분류했음을 의미하고, TP, FN, FP가 아닌 사각형은 TN으로 바르게 판별했음을 의미한다.

Fig. 8. 
Result of first test data

Fig. 9. 
Result of second test data

Fig. 10. 
Result of third test data

Fig. 11. 
Result of fourth test data

다른 클래스와 그림 9, 10, 11 또한 이와 동일하게 해석할 수 있으며, 대각선에 배치된 사각형의 수치가 높을수록(색상이 짙을수록) 모델의 성능이 뛰어나다고 판단할 수 있다. 이를 통해 모델이 첫 번째 테스트 데이터의 결과(그림 8)에 대해 높은 식별 성능을 보이는 것을 확인할 수 있지만, 두 번째 테스트 데이터의 결과(그림 9)에서 대각선 외에 다른 사각형의 수치가 높은 것으로 보아 첫 번째 테스트 데이터에 비해 낮은 식별 성능을 보인 것을 알 수 있다. 식별 성능이 떨어진 이유는 신발 유형이 바뀌면서 실험 환경에 변화가 생긴 것으로 풀이된다. 성능 하락은 세 번째 테스트 데이터의 결과(그림 10)와 네 번째 테스트 데이터의 결과(그림 11)를 비교했을 때도 동일하게 발생한 것을 볼 수 있다. 그러나 두 번째 테스트 데이터에서 틀리게 판별한 것의 수치(≥100: 61개, ≥200: 22개, ≥300: 1개)와 네 번째 테스트 데이터에서 틀리게 판별한 것의 수치(≥100: 27개, ≥200: 1개, ≥300: 0개)를 비교했을 때, 틀리게 판별한 것이 줄어든 것을 확인할 수 있다. 이는 실험 환경의 변화로 인해 발생하는 성능 하락의 정도를 보행주기 데이터를 활용하여 줄일 수 있다는 것을 의미한다.

이렇게 시각적으로 처리된 판별 결과를 수치로써 더욱 정확히 평가하기 위해 정확도와 평균 정밀도, 평균 재현율, 그리고 평균 F1-score를 계산하여 표 4에 표기했다. 사용된 지표의 정의와 수식은 다음과 같으며 수치가 1에 가까울수록 높은 성능을 나타낸다.

정확도(Accuracy): 전체 분류 사례 중 특정인과 타인을 올바르게 판단한 비율이다.

정밀도(Precision): 특정인으로 분류한 사례 중 실제 특정인인 비율이다. 분류가 얼마나 정확한지를 의미한다.

재현율(Recall): 실제 특정인을 특정인으로 바르게 분류한 사례의 비율이다. 실제값을 얼마나 맞췄는지를 의미한다.

F1-score: 정밀도와 재현율의 조화평균을 의미하고 분류 클래스 간의 불균형이 심할 경우 주로 사용된다. LSTM 모델을 구성하며 발생한 HS, TO의 클래스 불균형 문제의 재발생을 고려하여 사용한다.

표 4에서 나타난 각 평가지표의 결과를 확인했을 때, 지표마다 큰 차이를 보이지 않는 것으로 보아 클래스 불균형과 같은 문제는 없는 것을 확인할 수 있다. 이를 참고하여 정확도를 기준으로 결과를 평가했을 때, 두 번째 테스트 데이터(0.81)의 경우, 첫 번째 테스트 데이터의 식별 결과(0.99)에서 약 0.18이 하락한 것을 볼 수 있다. 그러나 관성 데이터뿐만 아니라 보행주기 데이터가 모두 포함되어있는 네 번째 테스트 데이터(0.90)의 경우, 세 번째 테스트 데이터의 식별 결과(0.99)에서 약 0.09 만이 하락하였다. 이와 같이 하나의 신발 유형의 데이터만 학습된 딥러닝 모델에 다른 신발 유형의 데이터를 입력할 경우, 즉 실험환경이 달라질 경우, 식별 성능이 하락하는 문제가 발생한다는 것을 확인할 수 있었다. 하지만 관성 데이터만을 사용했을 때 발생한 성능 하락(딥러닝 A의 테스트 결과: 0.99 > 0.81) 문제를 보행주기 데이터를 함께 입력함으로써 성능 하락의 문제를 개선(딥러닝 B의 테스트 결과: 0.99 > 0.90)할 수 있었다. 결과적으로 보행주기 데이터를 활용하는 것이 실험환경의 변화에 의해 발생하는 성능 하락 문제를 개선할 수 있다는 것을 보여준다.

본 연구는 딥러닝 모델을 사용하여 보행 데이터의 소유자를 식별할 시, 신발의 유형이 변경될 때 식별 모델의 성능에 영향을 끼치는지 확인하고 그 영향을 보행주기 데이터(HS, TO)를 통해 개선하는 방법을 제시하고 평가했다. 보행과 관련한 이전 연구에서 사람 개개인의 보행 데이터마다 고유한 특징을 가지고 있다는 것을 입증했으며, 이를 통해 보행 데이터의 소유자(출처)를 식별하거나 인증 시스템을 제안하기도 했다. 그 결과는 긍정적이었지만 그러한 연구 대부분은 보행 데이터 수집 환경을 극히 제한했기 때문에 수많은 변수가 존재하는 실제 환경에 그대로 적용하기엔 어려움이 있다. 따라서 보행 데이터의 수집환경을 실제 환경에 최대한 반영하는 것은 보행 연구에 있어 중요하다. 본 연구는 실제 환경을 최대한 반영하기 위해 신발의 유형(운동화, 슬리퍼)을 변경하며 수집한 보행 데이터를 활용해서 CNN 식별 모델에 입력하고 학습시켰으며 그 결과를 평가하고 분석했다.

본 연구에서 사용한 데이터는 관성데이터와 보행주기 데이터(HS, TO) 두 가지가 있다. 총 10명의 실험참여자의 관성 데이터를 수집했으며, 수집한 관성 데이터를 LSTM 모델에 입력하여 보행주기 데이터를 얻었다. 이렇게 수집한 두 가지의 데이터를 4개의 테스트 데이터로 구성했으며, 이를 CNN 모델에 입력하여 정확도를 기준으로 평가한 결과, 테스트 데이터 순서대로 각각 0.99, 0.81, 0.99, 0.90으로 나타났다. 이는 신발의 유형을 변경했을 때, 식별 성능이 하락하는 문제점을 보행주기 데이터를 사용하여 개선할 수 있다는 것을 의미한다.