Korean Institute of Information Technology

Current Issue

The Journal of Korean Institute of Information Technology - Vol. 20 , No. 11

[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 20, No. 10, pp. 29-37
Abbreviation: Journal of KIIT
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Oct 2022
Received 10 Aug 2022 Revised 08 Sep 2022 Accepted 11 Sep 2022
DOI: https://doi.org/10.14801/jkiit.2022.20.10.29

시간 정보를 활용한 Time Aligned-LSTM 사람 행동 예측 연구
홍성은* ; 방준일* ; 김용진** ; 김화종***
*강원대학교 컴퓨터정보통신공학과 박사과정
**주식회사 큐버 부사장
***강원대학교 컴퓨터공학과 교수(교신저자)

Research on Time Aligned-LSTM Human Activity Prediction Model using Time Information
Seongeun Hong* ; Junil Bang* ; Youngjin Kim** ; Hwajong Kim***
Correspondence to : Hwajong Kim Dept. of Computer and Communications Engineering, Kangwon National Univ., Gangwondaehak-gil 1, Chuncheon-si, Gangwon-do, Korea Tel.: +82-33-250-6323, Email: hjkim3@gmail.com

Funding Information ▼

초록

최근 IoT 장치가 널리 보급되면서 많은 센서가 존재하고 다양한 정보를 측정하고 있다. 특히, 집은 사용자의 생활에 큰 부분을 차지하고 다양한 센서의 설치가 가능해 다양한 정보를 수집하기 쉽다. 사용자의 현재 위치와 장치 사용 정보, 시간정보를 분석해 사용자의 행동이나 패턴, 습관 등을 찾아낼 수 있고 이런 행동 예측은 다양한 서비스를 가능하게 한다. 사용자의 행동 예측 기존 연구에서는 행동의 발생한 시간이 매우 중요한데 모델 학습에 이러한 정보가 활용되지 않았다. 따라서, 본 연구에서는 스마트 홈 환경에서 센서 데이터 이외에도 발생 시간 정보를 사용하는 사용자의 행동 예측 모델을 제안한다. 발생 시간의 모델 입력 활용, 여러 데이터 세트에서의 모델 성능 평가 결과 Bi-LSTM 보다 제안된 모델의 정확도가 1.2~5.7% 높았다.

Abstract

Recently, as IoT devices are widely spread, many sensors exist and measure various information. the house occupies a large part of a human's life, and various sensors can be installed, making it easy to collect various information. By analyzing the user's current location, device usage information, and time information, the user's activity, patterns, and habits can be found, and activity prediction enables various services. User's Behavior Prediction In previous studies, the time the behavior occurred is very important, but this information was not used for model training. In this study, we propose a user's behavior prediction model that uses occurrence time information in addition to sensor data in a smart home environment. The accuracy of the proposed model was 1.2~5.7% higher than that of Bi-LSTM as a result of using the model input of occurrence time and evaluating model performance in multiple data sets.


Keywords: activity prediction, smart home, time series analysis, deep learning, IoT

Ⅰ. 서 론

사람의 활동 예측 및 보조 AAL(Active and Assisted Living)는 지난 수십 년 이상의 연구가 이루어진 연구 분야로 스마트 홈과 편의 서비스와 같은 다양한 영역에 적용할 수 있는 중요한 분야이다. 스마트 홈은 센서 네트워크에 존재하는 모든 장치를 연결해 사용자의 습관을 모니터링하고 사용자에게 도움을 주면서 사용자에게 편의성을 제공한다[1].

특히, HAR(Human Activity Recognition) 분야는 IoT 장치로부터 수집된 시퀀스 데이터를 지능화하고 스마트 환경에 적용할 수 있는 유용한 방법이다. HAR을 위해서는 많은 수의 센서 데이터에서 측정된 시공간 정보를 처리해서 실제 상황에서 복잡하고 복합적인 인간 활동을 인식하는 것을 목표로 한다[2][3].

HAR에는 여러 가지 응용 도메인이 있는데 첫째, 의료 모니터링 둘째, 실내 및 실외 모니터링, 셋째, 스마트 홈을 위한 거주자 행동 예측 및 보조가 있다. 본 연구에서는 셋째 스마트 홈을 위한 거주자 행동 예측 및 보조에 집중하였다. 이러한 시스템은 거주자가 집에서 가능한 안전하고 편안하게 생활을 영위할 수 있도록 비침습적으로 적절한 기술 지원을 하는 것을 목표로 한다. 기술적으로 사람을 지원하려면 사용자가 현재하고 있는 상황에 대한 인지가 필요하다. 즉, 이 목표 달성을 위해서는 HAR 시스템의 사람 행동 예측 성능이 중요하다.

HAR 예측 성능 목표 달성의 허들로 실제 데이터의 복잡성과 불확실성이 높다는 문제가 있다[4]. 실제 수집되는 센서 데이터를 살펴보면 매우 많은 수의 센서에서 데이터가 발생해 높은 복잡성을 가지고 있으며, 데이터가 모호하여 학습에 이용하기 어렵거나, 장치의 불안정성으로 인한 노이즈가 많고, 유의미한 데이터가 희소한 문제가 있다.

실제 데이터의 복잡성은 HAR 예측을 위한 특성 가공으로 해결해야 하고, 불확실성 문제를 해결하기 위해서 가장 좋은 방법은 많은 데이터를 확보하는 것이다. 많은 데이터를 확보하기 위해서 여러 연구에서 스마트 홈 벤치마크 데이터 세트 구축에 노력을 기울였지만, 실험적 환경이라는 한계, 과거 딥러닝이 등장하기 전 만들어진 데이터가 대부분이어서 현재에는 활용하기 어렵다는 문제, 벤치마크임에도 데이터 정제가 되지 않은 Raw Data 형태로 제공한다는 문제 등으로 여전히 HAR 분야의 표준 데이터 세트 구축 문제는 해결과제로 남아 있다. 또한, 최근 HAR 딥러닝 연구에 따르면 딥러닝 모델을 사용해서 사전 지식 없이 데이터에 내포된 특징을 추출할 수 있고, 원-핫 인코딩과 같이 희소 데이터를 압축된 벡터로 변환하여 모델에 사용하는 방법을 활용할 수 있다는 장점을 연구에 활용하고 있다.

딥러닝에서도 시간 정보(순차 정보)를 반영할 수 있는 기계학습, 딥러닝 방법이 등장하면서 최근 몇 년 사이 HAR 분야는 시계열 데이터를 학습하는 DNN(Deep Neural Network), 1D-CNN, RNN, LSTM, CNN-LSTM을 적용하는 연구가 활발히 진행되고 있다[5]-[9]. 하지만, 행동의 발생 시간 정보는 사람의 활동 패턴을 발견하는데 중요한 정보임에도 사람 활동 예측 분야 연구에서는 순차 정보(데이터의 발생 순서)나 한 번에 고려할 데이터의 크기 즉, 윈도우 크기의 결정에만 사용하고 있을뿐 사람 행동의 패턴, 주기를 파악할 수 있다는 점에는 주목하고 있지 않다.

본 연구에서는 “거주자 행동 예측 및 보조를 위한 HAR 예측 성능 향상에 발생 시간 정보가 영향을 준다.” 라는 가정을 세웠다. 시간 정보를 모델의 입력으로 사용하는 방법으로 Time Aligned-LSTM 방법론을 제안하고, 6개의 홈 센서 데이터 세트에서 제안 방법을 검증하였고, 기존 연구에서 방법론으로 제시하는 Bi-LSTM 대비 평균 3%(1~6% 편차 존재)의 성능 향상을 달성했다.

논문의 구성을 다음과 같다. 2장은 관련 연구와 방법론으로 기존 행동 예측 연구 결과와 한계 그리고 논문에서 사용한 방법론을 소개한다. 3장에서는 본 논문에서 제안하는 Time Aligned-LSTM에 대해 자세하게 기술하고 학습에 사용한 데이터를 설명한다. 4장에서는 방법론 검증을 위한 실험 환경을 제시하며, 6개의 스마트 홈 데이터 세트를 사용한 제안 방법의 성능을 평가한다. 마지막으로 5장에서는 결론에 관해 기술하고 본 연구가 갖는 한계점 및 향후 연구에 관하여 기술했다.


Ⅱ. 관련 연구 및 방법론
2.1 사람 행동 예측 기계학습 연구

스마트 홈에서 사용자의 행동을 예측하는 문제는 기계학습, 시계열 분석 등의 기법으로 다양한 기존 연구들이 있다[10]-[12]. 딥러닝 기법 이전의 연구에서는 사람의 하루 행동을 예측(Activities daily living)을 수행하기 위해 집의 구조 7가지를 가정하고, IoT 센서 장치 설치하여 사람의 행동을 캡쳐할 수 있는 테스트베드를 만들고, 11개의 데이터 세트를 구축했다. 데이터 세트를 구축할 때 행동 레이블링을 하였는데 Personal Hygiene, Sleep, Bed-to-toilet, Eat, Cook, Work, Leave Home, Enter Home, Relax, Take Medicine, Bathing의 12가지 레이블을 사용했고 이는 인간 건강 상태 측정에 보편적으로 사용되는 레이블들이라고 한다. 해당 연구에서는 구축한 데이터 세트로 NBC(Naive Bayes Classifier), HMM(Hidden Markov Model), CRF(Conditional Random Field) 세 가지 기계학습 모델에서 예측을 수행했다. 그 결과 예측 성능이 90% 이상에 달하는 예도 있었지만 대부분 50~70% 정확도의 결과를 얻었다[13].

2.2 사람 행동 예측 딥러닝 연구

여러 가지 스마트 홈 공개 데이터 세트가 등장하였고 기계학습보다 더 나은 성능을 도출할 수 있는 딥러닝 방식에 관심이 집중되며 HAR 분야에 딥러닝 방법론을 사용하는 연구가 증가했다. 시계열 센서 데이터에서 사람 행동 예측을 위해 딥러닝 접근법을 사용한 연구에서는 슬라이딩 윈도우로 입력 데이터를 변환하여 1차원 컨볼루션(1D-CNN) 기법으로 시계열 데이터에서 연속된 샘플 간의 연관성을 학습하도록 했다. 하지만, 컨볼루션 방법은 소수의 인접한 샘플을 학습할 수 있도록 커널을 사용하기 때문에 측정 시간 단위가 짧아 많은 수의 샘플을 입력으로 사용해야 하는 상황에는 해당 방법이 적합하지 않다[14].

Liciotti의 연구는 CASAS 데이터 세트를 사용해 행동을 예측하는 기존 연구가 없어 CASAS 데이터 세트를 사용한 행동 예측 딥러닝 모델 연구를 수행했다. 이 연구에서는 행동 예측 딥러닝 모델로 자주 사용되는 CNN보다 LSTM이 더 낫다는 근거를 제시하고 시계열 센서 데이터에서 행동 예측을 위한 모델로 LSTM의 사용을 제안했다. 게다가, 3가지 새로운 LSTM 구조인 Casc-LSTM, Ens2-LSTM, CascEns-LSTM을 제안하였는데, 짧게 요약하면 LSTM과 biLSTM의 학습 순서와 모델 결합 방법을 달리하고 명칭을 다르게 붙였다. LSTM의 실험 결과로 약 86%~ 94%의 정확도를 얻었으며, CASAS 데이터 세트에 기계학습 방법론을 사용한 기존 연구와 비교하기 위해 Milan, Cairo, Kyoto2, Kyoto3, Kyoto4를 사용했으며, 기존 방법 대비 LSTM 모델이 많게는 30% 이상 적게는 1%의 평균적인 성능 향상 결과를 얻었다[15].

하지만, 여전히 이러한 기존 연구들에서 모두 시간 순서에 따른 순차 정보는 학습되나, 하루 중 어떤 시간에 행동이 발생하는지에 대한 정보는 반영할 수 없다는 한계가 있다.

2.3 Cyclical Encoding

Cyclical Encoding 변환 방법은 시계열 데이터에 계절성, 주기성, 순환성(Seasonality)이 있을 때 사용하는 인코딩 방식이다. 이 인코딩 방식은 일, 월, 년 단위의 변환을 주로 사용하며, 1개의 시간 데이터를 식1을 사용하여 2개의 Cos, Sin 값으로 변환한다. 여기서 시간을 입력으로 받는데 우리의 경우 24시간을 기준으로 최소단위 초를 사용하여 max를 24*60*60을 사용했다.

CosX=cos2*π*timemaxtimeSinY=sin2*π*timemaxtime(1) 

두 개의 변환된 값을 2차원 그래프에 그려보면 마치 24시간 시계를 모양의 그래프를 볼 수 있다. 즉, 이 인코딩 방식을 사용하면 일, 월, 년 단위에 따른 순환성을 표현할 수 있게 된다[16][17].

사용할 센서 데이터 측정 시계열 데이터 세트의 패턴을 보았을 때, 행동 데이터에는 24시간의 패턴이 있음을 파악하였고 이를 근거로 시각에 대한 정보를 학습할 수 있도록 이 인코딩 방식을 사용했다.


Ⅲ. 본 론
3.1 실험 데이터 세트

CASAS는 워싱턴 대학의 스마트 홈 프로젝트에 서 여러 개의 스마트 홈 환경을 가상으로 구성한 테스트 베드에서 수집한 데이터 세트이다[18]. 스마트 홈 오픈 데이터 세트에는 CASAS 이외에도 Opportunity, SPHERE, Orange4Home 등이 있었으나, 행동 예측을 위해 너무 많은 가속도 센서를 사용했거나, 순차 데이터가 아니거나, 레이블링이 없거나, 데이터를 구할 수 없거나, 데이터 오류가 많은 등의 문제가 있었다. 반면 이러한 문제가 없고, 여러 가지의 집에 대한 데이터가 있다는 점과 레이블의 클래스가 유사하여 데이터의 일관성 또한 좋았기에 연구에 활용하였다.

데이터는 침실, 욕실, 주방, 거실/식당을 포함하는 3종류의 아파트로 구성했으며 아파트 내의 거주자의 정보를 수집하기 위해 문 열림 감지, 모션 감지, 온도 센서를 사용했다. CASAS 원천 데이터는 아래의 표 1에 나타낸 것과 같다.

Table 1. 
Example of sensors data
Timestamp Sensor State/Value Activity
2009-06-10 00:00:00 T003 19 Other
2009-06-10 03:20:59 M006 ON Night wandering begin
2009-06-10 03:25:24 M012 OFF Night wandering end
2009-06-10 03:38:49 T001 20.5 Other
2009-12-01 12:19:19 D001 OPEN Leave_Home begin
2009-12-01 12:19:27 M002 OFF Leave_Home end

스마트 홈에서 센서의 발동으로 측정된 데이터 세트에서의 의미 있는 행동은 매우 희소하다. 일반적으로 측정할 수 없거나 특정 행동 이후에는 같은 행동을 지속하는 경우가 많기 때문이다. 게다가 사람의 모든 행동을 측정하고 레이블링한 것이 아니기에 기타 행동이 대부분을 차지한다는 것을 표 2의 데이터 분포표에서 확인할 수 있다.

Table 2. 
Class distribution by CASAS dataset
Dataset Cairo Milan Kyoto2 Kyoto4 Tulum 2009 Aruba
Claases
Other 725 2120 200 3234 11635 6791
Bed_to toilet 30 89 73 40 153 157
Sleep 102 96 70 567 268 401
Work 46 54 112 916 5306 171
House keeping 10 636 82 1142 1868 98
Personal hygiene X 23 3 1 197 X
Eating 127 576 102 409 2416 1863
Relax 67 445 29 220 2198 2919
Leavehome 69 214 X 208 117 431

주어진 데이터 세트의 시간 측정 단위가 일정하지 않다는 한계가 있다. 따라서, 일정 기간이 아닌 일정한 수의 데이터를 입력받을 수 있도록 기존 연구와 같게 시퀀스 길이를 2,000으로 설정하여 입력 데이터를 구성했다. 시퀀스 길이는 본 연구자가 500~4000까지의 값을 모두 실험했지만, 기존 연구에서 제안하는 길이인 2,000이 가장 성능이 좋았다.

Daniele의 연구에서는 CASAS 데이터 세트 중 Milan, Cairo, Kyoto2, Kyoto3, Kyoto4 총 5개의 데이터 세트를 데이터의 모양이 같고 레이블링되어 있어 사용했다고 제시했는데, 본 연구자가 파악했을 때, Milan, Cairo, Kyoto2, Kyoto4 이외에도 레이블 유사성이 높은 두 개의 데이터 세트(tulum2009, aruba)를 검증에 추가로 사용했다. 데이터 세트의 레이블은 Bed_to_toilet, Sleep, Work, Personal_hygiene, House_keeping, Eating, Relax, Leave_home, Other로 총 9개로 구성했으며, 일부 데이터 세트에는 레이블이 1개씩 부족한데, Cairo는 Personal_hygiene 레이블이, Kyoto2는 Leave_home 레이블이, Aruba는 Personal_hygiene 레이블이 없어 해당 데이터 세트들은 8개의 행동 레이블을 갖도록 구성했다. 따라서 실험에 사용한 데이터 세트들의 요약 정보는 표 3과 같다.

Table 3. 
Experimental data sets summary
Dataset Cairo Milan Kyoto2 Kyoto4 tulum 2009 aruba
Num of user 2+Pet 1+Pet 2 3 2 1
Num of senser 27 32 71 72 20 39
Sensor type M,T M,T,D M,T,D M,T,D M,T M,T,D
Activity 8 9 8 9 9 8
Days 56 92 46 250 84 90

이후 모델의 입력에 활용할 수 있는 형태로 변환하는 데이터 변환 작업을 수행했다. 앞서 언급한 것처럼 기존 연구들의 한계로 모델의 입력 데이터 구성 시 시간순서 즉, 순차적으로 한 번에 고려할 윈도우 크기를 정하여 모델 학습에 이용할 뿐 몇 시 몇 분 몇 초와 같은 행동의 발생 시간 데이터는 사용하지 않고 있었다. 행동 발생 시간은 일 단위, 주 단위의 주기성이나 패턴이 있는지를 파악할 수 있는 중요한 정보임에도 기존 연구자들은 모델에 이 데이터를 활용하지 않고 있었다.

2장에서 Cyclical Encoding 방법을 사용하여 단일 시간 정보에서 24시간 주기적 패턴을 Cos 시간과 Sin 시간 총 2개의 특징을 입력으로 변환했다. 다만, 센서 상태와 값의 시계열 데이터는 원-핫 인코딩을 통해 정수형으로 변환되기 때문에 이 두 가지 데이터 타입이 맞지 않아 하나의 입력으로 합쳐서 사용할 수 없다는 문제가 있다. 따라서, 별도의 입력으로 모델에 사용할 수밖에 없고, 원-핫 인코딩을 밀집 벡터로 변환할 필요도 있었기 때문에 학습 초기에는 별도로 표현 학습을 수행하고, 전체 모델의 중간에서 이 두 가지 정보를 결합하여 최종 예측을 생성하는 모델 구조인 Time Aligned-LSTM을 제안하게 되었다.

3.2 Time Aligned-LSTM

본 연구에서 제안하는 모델을 짧게 요약하면, 시계열 센서 상태 데이터와 동시에 시간 정보를 모델의 입력으로 활용한 LSTM 기반 딥러닝 모델이다. 기존의 LSTM, CNN, CNN-LSTM 방법들과 차이는 센서 상태 정보 이외에도 발생 시간 정보를 모델의 입력에 직접 활용한다는 점이다.

그림 1에는 제안 모델의 구조를 도식화했는데, 모델 입력으로 2개가 필요하다. 첫 번째 입력은 센서의 상태 데이터이고 여러 가지 센서 종류와 상태의 조합을 수치형으로 변환해야 하기에 원-핫 인코딩 변환법을 사용하게 되어 정수형이다. 두 번째 입력은 발생 시간 정보로 시간의 순환성(주기성)을 데이터에 반영하기 위해 순환 인코딩 변환법을 사용하여 cos과 sin 값으로 치환된 2차원의 부동 소수형 데이터이다.


Fig. 1. 
Time Aligned-LSTM structure for direct utilization of time information into model input

두 개의 입력의 흐름을 설명하면, 첫 번째 입력은 원-핫 인코딩된 데이터로 모델에 입력으로 활용하기 위해서는 입력을 임베딩 층을 거쳐 벡터 형태로 변환해야 했다. 이후에는 별도의 LSTM 층을 거쳐 학습된다. 두 번째 입력은 바로 LSTM 층을 거쳐 학습되며, 이렇게 생성된 두 개의 LSTM 은닉 출력을 하나의 벡터로 합치는 Concatenate 작업을 수행하여 두 입력 데이터로부터 추출한 패턴 정보를 융합하여 결합된 벡터 하나를 생성한다. 결합된 벡터는 완전 연결층 (Fully-Connectec Layer)을 거쳐 최종 출력을 생성한다.

층별 하이퍼 파라미터는 임베딩 층에는 (seq_length, embedding_size)로 (2000, 100)을 사용했으며, 첫 번째 입력에 대한 LSTM 층에서는 (input_size, hidden_size, layer_size)를 (100, 32, 3)을 사용했고, 두 번째 입력에 대한 LSTM층 에서는 (2, 32, 3)을 사용했고, Dropout은 모두 0.2를 사용했다. 또한, 학습 파라미터로 epoch는 100을 사용했고, 학습률은 1e-3을, weight_decay는 0.1을 사용했다.

모델 학습에 사용한 최적화 함수는 L2 정규화(Regularization)를 업데이트 식에 포함한 AdamW를 사용했으며, 일반적으로 많이 사용되는 Adam을 사용한 모델 학습 시 지역 최솟값에서 벗어나는데 여러 에포크가 걸리는 문제가 있어 AdamW를 사용하게 되었다[19]. 손실함수로는 다중 클래스 분류에 활용되는 Cross Entropy Loss를 사용했다.


Ⅳ. 실험 결과
4.1 실험 환경과 평가 지표

제안한 Time Aligned-LSTM을 검증하기 위해서는 3장에서 언급한 CASAS 데이터 세트 중 6개를 사용했다. 모델의 성능을 평가하기 위한 실험 환경의 스펙은 Intel 커피레이크 i9-9900 CPU 3.10GHz Core 6, 메모리 용량 32GB, Nvidia Geforce 2080ti (12GB)이며, 사용한 패키지 버전은 Python 3.8.8, Torch-gpu 1.10.1, cuda 11.2, cudnn 8.1.0이다.

모델의 성능 평가 지표는 분류 성능 평가 지표로 많이 사용되는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score를 사용했다. 주어진 학습 데이터의 불균형이 심하다는 것이 여러 가지 지표를 사용한 이유이다. 이런 경우에 정확도만을 사용해 성능을 평가할 경우, 관점에 따라 잘못된 결과가 나올 가능성이 높다. 즉, 단순하게 참을 참으로 거짓을 거짓으로 맞추는 정확도만으로는 제대로 성능 평가를 할 수 없다는 것이고, 재현율과 정밀도의 조화평균을 사용한 F1-Score까지 사용했다. 데이터는 학습 데이터와 검증 데이터로 8:2 분할 및 임의 추출했으며, 5번의 실험을 거쳐 검증 데이터의 평균 성능을 도출하였다.

4.2 성능 평가

표 4에는 6개의 CASAS 데이터 세트에 따른 Bi-LSTM과 Time Aligned-LSTM의 2가지 모델 그리고 4개의 성능 지표로 표를 구성하였다. 모델을 위와 같이 구분한 것은 Bi-LSTM은 센서 데이터 정보만을 모델 입력에 사용했고, Time Aligned-LSTM은 시간, 센서 데이터 모두를 입력에 사용했다는 차이가 있다.

Table 4. 
Bi-LSTM and Time Aligned-LSTM experimental results for 6 data sets: accuracy, precision, recall, F1-score
Metrics(%) Model Dataset
Cairo Milan Kyoto2 Kyoto4 Tulum2009 Aruba
Accuracy Bi-LSTM 84.31 91.6 71.65 83.95 89.1 95.78
Time-LSTM 88.9 94.45 78.8 86.22 92.09 96.65
Precision Bi-LSTM 82.8 91.6 82.6 85.1 88.5 95.4
Time-LSTM 89.9 94.6 83.1 87.3 91.6 96.8
Recall Bi-LSTM 84.3 91.6 71.7 84.0 89.1 95.8
Time-LSTM 88.9 94.5 78.8 86.2 92.1 96.7
F1-score Bi-LSTM 83.3 91.3 73.8 84.0 88.5 95.4
Time-LSTM 89 94.2 79.1 86.2 91.6 96.6

F1-Score를 기준으로 해석하면 1.2%~5.7%만큼의 성능 향상이 있음을 확인할 수 있어, 6개의 데이터 세트에서 전반적으로 Time Aligned-LSTM의 성능이 뛰어나다는 것을 확인할 수 있다.

또한 Liciotti 연구와의 비교 평가를 위해 공통의 데이터 세트 4개와 기존 연구의 가장 좋은 방법인 bi-LSTM 성능과 제안 방법의 Time Aligned-LSTM의 2가지 모델 그리고 4가지 평가 지표별 성능을 비교할 수 있도록 표 5에 나타내었다[15].

Table 5. 
Comparison of performance evaluation with previous studies
Metrics
(%)
Model Dataset
Cairo Milan Kyoto2 Kyoto4
Accuracy Previous[15] 86.90 94.12 74.37 85.89
Proposed 88.9 94.45 78.8 86.22
Precision Previous 86.67 94.00 75.00 86.00
Proposed 89.9 94.6 83.1 87.3
Recall Previous 87.0 94.00 74.33 86.00
Proposed 88.9 94.5 78.8 86.2
F1-score Previous 86.67 94.00 74.33 86.00
Proposed 89 94.2 79.1 86.2

마찬가지로 F1-Score로 해석하면 4개의 데이터 세트에서 전반적인 성능 향상이 있었지만, Milan과 Kyoto4 데이터 세트의 경우 기존 연구의 Bi-LSTM 방법에 비해 유의미한 개선이 있지 않았다.


V. 결론 및 향후 과제

본 연구에서는 스마트 홈에서 사람의 행동 예측을 위한 모델 성능 향상을 목표 달성을 위해 기존 방법들과 달리 시간 정보를 직접 모델링하는 Time Aligned-LSTM 방법을 제안했다. 기존 연구와의 성능 비교 시 전반적으로 뛰어난 성능을 보였는데, 검증에 사용한 데이터 세트에 따라 차이가 있으나 대략 1.2~5.7%의 성능 향상을 달성했다. 연구의 가정이었던 모델링에 시간 정보의 직접 활용이 유의미하다는 것을 bi-LSTM 방법과 Time Aligned-LSTM의 비교 평가로 입증했다. 따라서, 본 논문에서는 기존 방법들과 달리 시간 정보의 직접 활용, 이에 따른 새로운 모델 구조 제안, 기존 연구 성능 개선의 총 3가지의 기여를 했다.

시계열 데이터에서 사람의 행동을 예측하는 연구는 스마트 홈에만 적용되는 것이 아니다. 시간 순서로 발생하는 데이터에서 사람의 행동 패턴을 찾아낼 필요가 있는 전자 상거래 추천, 서비스 키오스크 추천, 뇌파에 따른 상태 예측 등과 같은 분야에서는 상태 데이터와 발생 시간 정보를 동시에 사용하는 제안 방법론을 적용할 수 있을 것으로 기대된다.

다만, 수행한 연구에서는 단일 집에서 발생하는 데이터에 같은 모델링 방법론을 적용해 성능을 검증하는 것에 그쳤다는 한계가 있다. 분산된 IoT 데이터의 대규모 학습으로 많은 수의 데이터를 확보하고 고성능의 활동 인식 모델 개발 연구가 이루어지고 있는 현시점에서 단일 데이터 세트로 검증한 모델의 연구는 한계가 있을 것이다.

따라서, 추후 연구로 가능한 실제 상황에 가깝도록 IoT 장치들을 관리하는 허브를 구축하고, 여러 집에서 발생하는 데이터를 안전하게 공통의 모델을 학습하여 고성능 모델의 달성이 가능한지를 실험하는 연구의 수행이 필요하다. 해당 연구에서는 제약적인 장치 상황에 알맞은 모델의 개선과 분산 학습할 수 있는 기술의 연구가 병행 수행되어야 할 필요가 있다.


Acknowledgments

본 논문은 2022년도 정부의 재원으로 한국산업기술진흥원의 신산업진출 사업 재편 핵심기술개발사업(과제 번호: P0020505)의 연구 지원을 받아 수행된 연구임


References
1. Mamatov Fahriddin, Min Gyu Song, Jin Young Kim, and Seung You Na, "Human Activity Recognition Using New Multi-Sensor Module in Mobile Environment", Journal of Korean Institute of Information Technology, Vol. 9, No. 5, pp. 167-174, May 2011.
2. D. J. Cook, J. C. Augusto, and V. R. Jakkula, "Ambient intelligence: Technologies, applications, and opportunities", Pervasive and Mobile Computing, Vol. 5, No. 4, pp. 277-298, Apr. 2009.
3. S. Ranasinghe, F. Al Machot, and H. C. Mayr, "A review on applications of activity recognition systems with regard to performance and evaluation", International Journal of Distributed Sensor Networks, Vol. 12, No. 8, Jul. 2016.
4. Yuen, J. and Torralba A., "A data-driven approach for event prediction", In European Conference on Computer Vision, Springer, Berlin, Heidelberg, pp. 707-720, Sep, 2010.
5. Kim H. J., Hong S. E., and Cha K. J., "seq2vec: analyzing sequential data using multi-rank embedding vectors", Electronic Commerce Research and Applications, Vol. 43, Jul. 2020.
6. Cho H. and Yoon S. M, "Divide and conquer-based 1D CNN human activity recognition using test data sharpening", Sensors, Vol. 18, No. 4, Apr. 2018.
7. Mutegeki R. and Han D. S., "A CNN-LSTM approach to human activity recognition", In 2020 International Conference on Artificial Intelligence in Information and Communication(ICAIIC), IEEE, Fukuoka, Japan, pp. 362-366, Feb. 2020.
8. Kolkar R. and Geetha V., "Human activity recognition in smart home using deep learning techniques", In 2021 13th International Conference on Information & Communication Technology and System(ICTS), IEEE, Surabaya, Indonesia, pp. 230-234, Oct, 2021.
9. Bouchabou D., Nguyen S. M., Lohr C., LeDuc B., and Kanellos I., "A survey of human activity recognition in smart homes based on IoT sensors algorithms", Taxonomies challenges and opportunities with deep learning, Sensors, Vol. 21, No. 18, Sep. 2021.
10. Feng Z., Mo L., and Li M., "A Random Forest-based ensemble method for activity recognition", In 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society(EMBC), IEEE, Milan, Italy, pp. 5074-5077, Aug. 2015.
11. Fergani L., Fergani B., and Fleury A., "Improving human activity recognition in smart homes", International Journal of E-Health and Medical Communications(IJEHMC), France, Vol. 6, No. 3, pp. 19-37, Sep. 2015.
12. Vrigkas M., Nikou C., and Kakadiaris I. A., "A review of human activity recognition methods", Frontiers in Robotics and AI, Nov. 2015.
13. D. J. Cook, "Learning setting-generalized activity models for smart spaces", IEEE Intelligent Systems, Vol. 27, No. 1, pp. 32–38, Sep. 2010.
14. Ramasamy Ramamurthy S. and Roy N., "Recent trends in machine learning for human activity recognition—A survey", Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, Vol. 8, No. 4, Feb. 2018.
15. Liciotti D., Bernardini M., Romeo L., and Frontoni E., "A sequential deep learning application for recognising human activities in smart homes", Neurocomputing, Vol. 396, pp. 501-513, Jul. 2020.
16. Encoding Cyclical Features for Deep Learning, https://www.avanwyk.com/encoding-cyclical-features-for-deep-learning. [Accessed: Aug. 04, 2022]
17. Petneházi G, "Recurrent neural networks for time series forecasting", arXiv preprint arXiv: 1901.00069, Jan. 2019.
18. CASAS Smart Home Data Sets, http://casas.wsu.edu/datasets. [Accessed: Aug. 08, 2022]
19. Loshchilov I. and Hutter F., "Decoupled weight decay regularization", arXiv preprint arXiv: 1711.05101, Jan, 2019.

저자소개
홍 성 은 (Seongeun Hong)

2015년 : 강원대학교 컴퓨터정보통신공학부(공학석사)

2015년 ~ 현재 : 강원대학교 컴퓨터정보통신공학과(박사과정)

관심분야 : 빅데이터, 데이터마이닝, 기계학습, 딥러닝

방 준 일 (Junil Bang)

2020 8월 : 강원대학교 컴퓨터정보통신공학과(공학석사)

2020년 9월 ~ 현재 : 강원대학교 컴퓨터정보통신공학과(박사과정)

관심분야 : 데이터마이닝, 머신러닝, 빅데이터, 데이터임베딩

김 용 진 (Youngjin Kim)

1989년 8월 : KAIST 전기및전자공학과(공학석사)

1997년 2월 : KAIST 전기및전자공학과(공학박사)

1983년 3월 ~ 2002년 8월 : 한국전자통신연구원(팀장)

2022년 11월 ~ 2018년 8월 : 모다정보통신(부사장)

2018년 9월 ~ 현재 : ㈜ 큐버(부사장)

관심분야 : 사물 인터넷, 인공지능

김 화 종 (Hwajong Kim)

1984년 3월 : KAIST 전기및전자공학과(공학석사)

1988년 3월 : KAIST 전기및전자공학과(공학박사)

1988년 3월 ~ 현재 : 강원대학교 컴퓨터공학과(정교수)

관심분야 : 데이터 통신