Current Issue

스마트 홈에서 사용자의 행동을 예측하는 문제는 기계학습, 시계열 분석 등의 기법으로 다양한 기존 연구들이 있다[10]-[12]. 딥러닝 기법 이전의 연구에서는 사람의 하루 행동을 예측(Activities daily living)을 수행하기 위해 집의 구조 7가지를 가정하고, IoT 센서 장치 설치하여 사람의 행동을 캡쳐할 수 있는 테스트베드를 만들고, 11개의 데이터 세트를 구축했다. 데이터 세트를 구축할 때 행동 레이블링을 하였는데 Personal Hygiene, Sleep, Bed-to-toilet, Eat, Cook, Work, Leave Home, Enter Home, Relax, Take Medicine, Bathing의 12가지 레이블을 사용했고 이는 인간 건강 상태 측정에 보편적으로 사용되는 레이블들이라고 한다. 해당 연구에서는 구축한 데이터 세트로 NBC(Naive Bayes Classifier), HMM(Hidden Markov Model), CRF(Conditional Random Field) 세 가지 기계학습 모델에서 예측을 수행했다. 그 결과 예측 성능이 90% 이상에 달하는 예도 있었지만 대부분 50~70% 정확도의 결과를 얻었다[13].

여러 가지 스마트 홈 공개 데이터 세트가 등장하였고 기계학습보다 더 나은 성능을 도출할 수 있는 딥러닝 방식에 관심이 집중되며 HAR 분야에 딥러닝 방법론을 사용하는 연구가 증가했다. 시계열 센서 데이터에서 사람 행동 예측을 위해 딥러닝 접근법을 사용한 연구에서는 슬라이딩 윈도우로 입력 데이터를 변환하여 1차원 컨볼루션(1D-CNN) 기법으로 시계열 데이터에서 연속된 샘플 간의 연관성을 학습하도록 했다. 하지만, 컨볼루션 방법은 소수의 인접한 샘플을 학습할 수 있도록 커널을 사용하기 때문에 측정 시간 단위가 짧아 많은 수의 샘플을 입력으로 사용해야 하는 상황에는 해당 방법이 적합하지 않다[14].

Liciotti의 연구는 CASAS 데이터 세트를 사용해 행동을 예측하는 기존 연구가 없어 CASAS 데이터 세트를 사용한 행동 예측 딥러닝 모델 연구를 수행했다. 이 연구에서는 행동 예측 딥러닝 모델로 자주 사용되는 CNN보다 LSTM이 더 낫다는 근거를 제시하고 시계열 센서 데이터에서 행동 예측을 위한 모델로 LSTM의 사용을 제안했다. 게다가, 3가지 새로운 LSTM 구조인 Casc-LSTM, Ens2-LSTM, CascEns-LSTM을 제안하였는데, 짧게 요약하면 LSTM과 biLSTM의 학습 순서와 모델 결합 방법을 달리하고 명칭을 다르게 붙였다. LSTM의 실험 결과로 약 86%~ 94%의 정확도를 얻었으며, CASAS 데이터 세트에 기계학습 방법론을 사용한 기존 연구와 비교하기 위해 Milan, Cairo, Kyoto2, Kyoto3, Kyoto4를 사용했으며, 기존 방법 대비 LSTM 모델이 많게는 30% 이상 적게는 1%의 평균적인 성능 향상 결과를 얻었다[15].

하지만, 여전히 이러한 기존 연구들에서 모두 시간 순서에 따른 순차 정보는 학습되나, 하루 중 어떤 시간에 행동이 발생하는지에 대한 정보는 반영할 수 없다는 한계가 있다.

Cyclical Encoding 변환 방법은 시계열 데이터에 계절성, 주기성, 순환성(Seasonality)이 있을 때 사용하는 인코딩 방식이다. 이 인코딩 방식은 일, 월, 년 단위의 변환을 주로 사용하며, 1개의 시간 데이터를 식1을 사용하여 2개의 Cos, Sin 값으로 변환한다. 여기서 시간을 입력으로 받는데 우리의 경우 24시간을 기준으로 최소단위 초를 사용하여 max를 24*60*60을 사용했다.

두 개의 변환된 값을 2차원 그래프에 그려보면 마치 24시간 시계를 모양의 그래프를 볼 수 있다. 즉, 이 인코딩 방식을 사용하면 일, 월, 년 단위에 따른 순환성을 표현할 수 있게 된다[16][17].

사용할 센서 데이터 측정 시계열 데이터 세트의 패턴을 보았을 때, 행동 데이터에는 24시간의 패턴이 있음을 파악하였고 이를 근거로 시각에 대한 정보를 학습할 수 있도록 이 인코딩 방식을 사용했다.

CASAS는 워싱턴 대학의 스마트 홈 프로젝트에 서 여러 개의 스마트 홈 환경을 가상으로 구성한 테스트 베드에서 수집한 데이터 세트이다[18]. 스마트 홈 오픈 데이터 세트에는 CASAS 이외에도 Opportunity, SPHERE, Orange4Home 등이 있었으나, 행동 예측을 위해 너무 많은 가속도 센서를 사용했거나, 순차 데이터가 아니거나, 레이블링이 없거나, 데이터를 구할 수 없거나, 데이터 오류가 많은 등의 문제가 있었다. 반면 이러한 문제가 없고, 여러 가지의 집에 대한 데이터가 있다는 점과 레이블의 클래스가 유사하여 데이터의 일관성 또한 좋았기에 연구에 활용하였다.

데이터는 침실, 욕실, 주방, 거실/식당을 포함하는 3종류의 아파트로 구성했으며 아파트 내의 거주자의 정보를 수집하기 위해 문 열림 감지, 모션 감지, 온도 센서를 사용했다. CASAS 원천 데이터는 아래의 표 1에 나타낸 것과 같다.

스마트 홈에서 센서의 발동으로 측정된 데이터 세트에서의 의미 있는 행동은 매우 희소하다. 일반적으로 측정할 수 없거나 특정 행동 이후에는 같은 행동을 지속하는 경우가 많기 때문이다. 게다가 사람의 모든 행동을 측정하고 레이블링한 것이 아니기에 기타 행동이 대부분을 차지한다는 것을 표 2의 데이터 분포표에서 확인할 수 있다.

주어진 데이터 세트의 시간 측정 단위가 일정하지 않다는 한계가 있다. 따라서, 일정 기간이 아닌 일정한 수의 데이터를 입력받을 수 있도록 기존 연구와 같게 시퀀스 길이를 2,000으로 설정하여 입력 데이터를 구성했다. 시퀀스 길이는 본 연구자가 500~4000까지의 값을 모두 실험했지만, 기존 연구에서 제안하는 길이인 2,000이 가장 성능이 좋았다.

Daniele의 연구에서는 CASAS 데이터 세트 중 Milan, Cairo, Kyoto2, Kyoto3, Kyoto4 총 5개의 데이터 세트를 데이터의 모양이 같고 레이블링되어 있어 사용했다고 제시했는데, 본 연구자가 파악했을 때, Milan, Cairo, Kyoto2, Kyoto4 이외에도 레이블 유사성이 높은 두 개의 데이터 세트(tulum2009, aruba)를 검증에 추가로 사용했다. 데이터 세트의 레이블은 Bed_to_toilet, Sleep, Work, Personal_hygiene, House_keeping, Eating, Relax, Leave_home, Other로 총 9개로 구성했으며, 일부 데이터 세트에는 레이블이 1개씩 부족한데, Cairo는 Personal_hygiene 레이블이, Kyoto2는 Leave_home 레이블이, Aruba는 Personal_hygiene 레이블이 없어 해당 데이터 세트들은 8개의 행동 레이블을 갖도록 구성했다. 따라서 실험에 사용한 데이터 세트들의 요약 정보는 표 3과 같다.

이후 모델의 입력에 활용할 수 있는 형태로 변환하는 데이터 변환 작업을 수행했다. 앞서 언급한 것처럼 기존 연구들의 한계로 모델의 입력 데이터 구성 시 시간순서 즉, 순차적으로 한 번에 고려할 윈도우 크기를 정하여 모델 학습에 이용할 뿐 몇 시 몇 분 몇 초와 같은 행동의 발생 시간 데이터는 사용하지 않고 있었다. 행동 발생 시간은 일 단위, 주 단위의 주기성이나 패턴이 있는지를 파악할 수 있는 중요한 정보임에도 기존 연구자들은 모델에 이 데이터를 활용하지 않고 있었다.

2장에서 Cyclical Encoding 방법을 사용하여 단일 시간 정보에서 24시간 주기적 패턴을 Cos 시간과 Sin 시간 총 2개의 특징을 입력으로 변환했다. 다만, 센서 상태와 값의 시계열 데이터는 원-핫 인코딩을 통해 정수형으로 변환되기 때문에 이 두 가지 데이터 타입이 맞지 않아 하나의 입력으로 합쳐서 사용할 수 없다는 문제가 있다. 따라서, 별도의 입력으로 모델에 사용할 수밖에 없고, 원-핫 인코딩을 밀집 벡터로 변환할 필요도 있었기 때문에 학습 초기에는 별도로 표현 학습을 수행하고, 전체 모델의 중간에서 이 두 가지 정보를 결합하여 최종 예측을 생성하는 모델 구조인 Time Aligned-LSTM을 제안하게 되었다.

본 연구에서 제안하는 모델을 짧게 요약하면, 시계열 센서 상태 데이터와 동시에 시간 정보를 모델의 입력으로 활용한 LSTM 기반 딥러닝 모델이다. 기존의 LSTM, CNN, CNN-LSTM 방법들과 차이는 센서 상태 정보 이외에도 발생 시간 정보를 모델의 입력에 직접 활용한다는 점이다.

그림 1에는 제안 모델의 구조를 도식화했는데, 모델 입력으로 2개가 필요하다. 첫 번째 입력은 센서의 상태 데이터이고 여러 가지 센서 종류와 상태의 조합을 수치형으로 변환해야 하기에 원-핫 인코딩 변환법을 사용하게 되어 정수형이다. 두 번째 입력은 발생 시간 정보로 시간의 순환성(주기성)을 데이터에 반영하기 위해 순환 인코딩 변환법을 사용하여 cos과 sin 값으로 치환된 2차원의 부동 소수형 데이터이다.

Fig. 1. 
Time Aligned-LSTM structure for direct utilization of time information into model input

두 개의 입력의 흐름을 설명하면, 첫 번째 입력은 원-핫 인코딩된 데이터로 모델에 입력으로 활용하기 위해서는 입력을 임베딩 층을 거쳐 벡터 형태로 변환해야 했다. 이후에는 별도의 LSTM 층을 거쳐 학습된다. 두 번째 입력은 바로 LSTM 층을 거쳐 학습되며, 이렇게 생성된 두 개의 LSTM 은닉 출력을 하나의 벡터로 합치는 Concatenate 작업을 수행하여 두 입력 데이터로부터 추출한 패턴 정보를 융합하여 결합된 벡터 하나를 생성한다. 결합된 벡터는 완전 연결층 (Fully-Connectec Layer)을 거쳐 최종 출력을 생성한다.

층별 하이퍼 파라미터는 임베딩 층에는 (seq_length, embedding_size)로 (2000, 100)을 사용했으며, 첫 번째 입력에 대한 LSTM 층에서는 (input_size, hidden_size, layer_size)를 (100, 32, 3)을 사용했고, 두 번째 입력에 대한 LSTM층 에서는 (2, 32, 3)을 사용했고, Dropout은 모두 0.2를 사용했다. 또한, 학습 파라미터로 epoch는 100을 사용했고, 학습률은 1e-3을, weight_decay는 0.1을 사용했다.

모델 학습에 사용한 최적화 함수는 L2 정규화(Regularization)를 업데이트 식에 포함한 AdamW를 사용했으며, 일반적으로 많이 사용되는 Adam을 사용한 모델 학습 시 지역 최솟값에서 벗어나는데 여러 에포크가 걸리는 문제가 있어 AdamW를 사용하게 되었다[19]. 손실함수로는 다중 클래스 분류에 활용되는 Cross Entropy Loss를 사용했다.

제안한 Time Aligned-LSTM을 검증하기 위해서는 3장에서 언급한 CASAS 데이터 세트 중 6개를 사용했다. 모델의 성능을 평가하기 위한 실험 환경의 스펙은 Intel 커피레이크 i9-9900 CPU 3.10GHz Core 6, 메모리 용량 32GB, Nvidia Geforce 2080ti (12GB)이며, 사용한 패키지 버전은 Python 3.8.8, Torch-gpu 1.10.1, cuda 11.2, cudnn 8.1.0이다.

모델의 성능 평가 지표는 분류 성능 평가 지표로 많이 사용되는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score를 사용했다. 주어진 학습 데이터의 불균형이 심하다는 것이 여러 가지 지표를 사용한 이유이다. 이런 경우에 정확도만을 사용해 성능을 평가할 경우, 관점에 따라 잘못된 결과가 나올 가능성이 높다. 즉, 단순하게 참을 참으로 거짓을 거짓으로 맞추는 정확도만으로는 제대로 성능 평가를 할 수 없다는 것이고, 재현율과 정밀도의 조화평균을 사용한 F1-Score까지 사용했다. 데이터는 학습 데이터와 검증 데이터로 8:2 분할 및 임의 추출했으며, 5번의 실험을 거쳐 검증 데이터의 평균 성능을 도출하였다.

표 4에는 6개의 CASAS 데이터 세트에 따른 Bi-LSTM과 Time Aligned-LSTM의 2가지 모델 그리고 4개의 성능 지표로 표를 구성하였다. 모델을 위와 같이 구분한 것은 Bi-LSTM은 센서 데이터 정보만을 모델 입력에 사용했고, Time Aligned-LSTM은 시간, 센서 데이터 모두를 입력에 사용했다는 차이가 있다.

F1-Score를 기준으로 해석하면 1.2%~5.7%만큼의 성능 향상이 있음을 확인할 수 있어, 6개의 데이터 세트에서 전반적으로 Time Aligned-LSTM의 성능이 뛰어나다는 것을 확인할 수 있다.

또한 Liciotti 연구와의 비교 평가를 위해 공통의 데이터 세트 4개와 기존 연구의 가장 좋은 방법인 bi-LSTM 성능과 제안 방법의 Time Aligned-LSTM의 2가지 모델 그리고 4가지 평가 지표별 성능을 비교할 수 있도록 표 5에 나타내었다[15].

마찬가지로 F1-Score로 해석하면 4개의 데이터 세트에서 전반적인 성능 향상이 있었지만, Milan과 Kyoto4 데이터 세트의 경우 기존 연구의 Bi-LSTM 방법에 비해 유의미한 개선이 있지 않았다.