스마트폰 IMU 센서와 딥러닝을 활용한 낙상 탐지에 관한 연구

2.1 데이터 수집

본 연구는 스마트폰에 내장된 관성측정장치(IMU)를 사용하여 데이터를 수집하였다[8]. 주요 센서는 3축 가속도계(Accelerometer)와 자이로스코프(Gyroscope)이며, 보조적으로 자기계(Magnetometer), GPS(Global Positioning System) 신호, 회전·방위각(Rotation/azimuth), 기울기(Tilt) 센서 데이터가 함께 기록되었다. 스마트폰은 실제 생활성을 반영하기 위하여 손, 허리, 주머니, 가방, 4가지 위치에 휴대하여 데이터를 수집하였으며[9], 기기에서 제공하는 100Hz 고정 표본화 주기 설정을 통해 연속적인 데이터가 수집되었다[10][11].

데이터 기록 절차와 품질 관리 또한 중요하게 고려되었다. 보행·ADL(Activities of Daily Living) 세션과 낙상 세션은 분리하여 진행하되, 피로 누적과 학습 효과를 줄이기 위해 과제 순서를 교차 배치하였다. 모든 세션에는 과제명, 스마트폰 부착 위치, 환경(실내/실외), 신발 착용 및 보행 보조기 사용 여부, 반복 횟수, 인터벌 시간 등 메타데이터를 기록하였다. 또한 과제 시작과 종료 시점을 음성이나 제스처 신호로 동기화하여 후처리 시 정확한 레이블 정합성을 확보하였다. 수집된 데이터는 결측이나 센서 드롭, 포화(Clipping), 극단치 발생 여부를 점검하여 이상이 발견될 경우 재수집하거나 플래그를 부여하였다.

2.2 비낙상(Non-Fall) 데이터

비낙상(Non-Fall) 데이터는 일반 보행과 일상생활 동작(ADL)을 포함하여 수집하였다. 일반 보행 시나리오에서는 직선 20m 구간을 평상시 속도와 빠른 속도로 각각 왕복하였으며, 속도 변화를 주어 천천히 걷기와 빠르게 걷기를 교차하는 방식으로 보행 리듬의 자연스러운 변화를 유도하였다. 일상생활 동작 과제에는 약 20종 전후의 활동이 포함되었으며, 이는 이동·유산소 활동(천천히/빠르게 걷기, 천천히/빠르게 뛰기, 제자리 뛰기), 자세 전환(의자 및 소파에서의 천천히/빠른 앉기와 일어서기, 바닥에서의 천천히/신속한 앉기와 일어서기, 앉았다가 눕고 다시 앉기), 무릎 굴곡 동작(양측 또는 단측 무릎 굽힘 후 일어서기) 등을 포함하였다. 또한 환경 맥락을 반영하기 위해 계단 오르내리기, 차량 탑승 및 하차를 모사한 동작도 포함하였다. 이러한 과제 설계는 주기적이고 안정적인 보행 및 ADL 패턴뿐만 아니라 간헐적인 고강도 회전과 급격한 움직임까지 비낙상 분포에 반영하도록 구성되었다[12].

2.3 낙상(Fall) 데이터

낙상(Fall) 데이터는 피험자의 안전을 최우선으로 확보한 상태에서 수집하였다. 충격 흡수 매트를 설치하고 보조자(Spotter)를 배치하였으며, 각 과제 수행 전 예행 연습을 진행하였다. 또한 과제 간에는 충분한 휴식 시간을 부여하고 피험자의 상태를 지속적으로 점검하였다. 낙상 시나리오는 전방 낙상(팔 지지, 걸려 넘어짐, 회전 포함, 회전 후 바로 누움, 앉은 자세에서 전방 낙상), 후방 낙상(미끄러짐, 앉으려다 실패, 걷다 미끄러짐, 앉은 채 뒤로 넘어짐), 측면 낙상(좌측·우측 낙상, 앉은 채 옆으로 넘어짐), 그리고 기타 낙상(수직 주저앉음/실신, 실생활 경험 기반 낙상 재현) 등 다양한 방향과 상황을 포함하였다. 이러한 시나리오는 고가속도 및 고각속도 스파이크와 함께 보행 리듬의 붕괴를 유발하는 낙상 패턴을 충분히 포괄하도록 설계되었다.

2.4 데이터 레이블링

본 연구에서는 수집된 보행 및 낙상 데이터에 대해 낙상 이벤트가 발생하는 시점을 정확히 식별하고 이를 학습 데이터로 활용하기 위하여 레이블링 과정을 수행하였다. 낙상 데이터의 레이블링은 사전에 정의된 낙상 시나리오의 수행 순서를 기준으로 이루어졌다. 각 실험은 정해진 시나리오에 따라 순차적으로 진행되었으며, 이를 바탕으로 가속도(acc_mag)와 자이로스코프(gyro_mag) 신호를 시각화하였다. 시각화된 데이터 상에서 시나리오별 낙상 발생 구간을 확인한 뒤 해당 시점과 주변 구간을 낙상(Fall)으로 레이블링하였다. 그림 1 은 레이블링 과정을 통해 얻은 결과를 나타낸 것으로, x축은 시간의 흐름에 따라 수집된 센서 데이터의 샘플 순서를 나타내며, y축의 acc_mag과 gyro_mag는 각각 3축 가속도와 자이로스코프 신호의 벡터 크기(Magnitude)를 의미한다. 이 값이 클수록 순간적인 가속이나 회전과 같은 급격한 자세 변화가 발생했음을 나타낸다. 낙상 이벤트로 판정된 구간은 붉은색 음영으로 표시하였다. 낙상 구간에서는 신호가 급격히 변화하며 불안정한 패턴을 보이는 반면, 일반적인 보행 구간은 주기적이고 안정적인 파형을 유지함을 확인할 수 있었다. 이러한 레이블링 방식은 단순히 자동 검출에 의존하지 않고, 실험 설계에 따른 낙상 시나리오의 맥락을 반영함으로써 데이터의 정확성과 신뢰성을 확보하였다.

Fig. 1.

Fall class labeling

비낙상 데이터는 낙상 데이터와의 균형을 맞추기 위해 보행·ADL 시퀀스에서 무작위 구간을 동일한 길이의 윈도우로 추출하여 레이블링하였다.

최종적으로 낙상과 비낙상이 각각 3,805개씩 균형 있게 구성된 학습 데이터셋을 구축하였다. 데이터셋은 151 시점(time steps)과 8개 채널(accx, accy, accz, gyrox, gyroy, gyroz, acc_mag, gyro_mag)로 이루어져 있다.

2.5 Fall, Non-Fall 데이터 시계열 비교

그림 2와 3은 동일한 이벤트 구간에서 낙상 데이터와 비낙상 데이터를 비교하여 나타낸 것이다. x축은 데이터 샘플 순서이며, y축은 가속도, 자이로 신호의 벡터 크기이다. 낙상 데이터의 경우 가속도(acc_mag) 신호가 순간적으로 40 이상까지 치솟는 급격한 스파이크를 보였으며, 자이로스코프(gyro_mag) 신호 또한 6 rad/s 수준까지 불규칙하게 변동하였다. 이러한 특성은 넘어지는 과정에서 발생하는 충격과 회전 동작이 동시에 반영된 결과로, 짧은 시간 안에 급격히 변화하는 불안정한 파형을 형성하였다. 반면, 비낙상 데이터는 가속도 값이 최대 16 정도에서 변화하며 낙상에 비해 진폭이 훨씬 작았고, 자이로스코프 값 또한 2 rad/s 이하에서 안정적인 범위를 유지하였다. 특히 비낙상 데이터는 주기적이고 반복적인 파형을 보여, 낙상에서 나타나는 급격하고 비주기적인 변화와 뚜렷한 대조를 이루었다. 이러한 비교 결과는 낙상 구간과 비낙상 구간이 신호의 크기, 변동성, 그리고 파형의 안정성 측면에서 명확한 차이를 가진다는 점을 보여주며, 본 연구에서 구축한 분류 모델이 두 클래스를 효과적으로 구분할 수 있는 근거를 제공한다.

Fig. 2.

Fall class

Fig. 3.

Non-fall class

그림 4 는 낙상(Fall) 데이터와 비낙상(Non-Fall) 데이터의 최대 가속도(acc_max) 분포를 비교하는 Box Plot 이다. 낙상 데이터의 경우 중앙값이 약 5 이상으로 나타났으며, 사분위 범위가 넓고 상위 극단값이 다수 존재하여 분산이 큰 특징을 보였다. 이는 낙상 과정에서 신체가 급격히 지면과 충돌하거나 불규칙한 움직임을 보이면서 순간적으로 매우 높은 가속도가 발생했음을 의미한다. 반면, 비낙상 데이터는 중앙값이 2 이하로 낮게 분포하고 있으며, 사분위 범위도 좁아 전반적으로 안정적인 움직임을 반영하였다. 일부 이상치(Outlier)가 존재하나, 낙상 데이터에서 나타나는 극단적인 값과 비교하면 그 규모와 빈도가 강대적으로 작았다.

Fig. 4.

Data distribution box plot

이러한 결과는 낙상과 비낙상 구간이 최대 가속도의 크기와 변동성 측면에서 뚜렷하게 구분됨을 시사하며, 가속도의 최대값이 낙상 탐지에서 유용한 특징으로 활용될 수 있음을 보여준다.

3.1 학습데이터셋 구축

본 연구에서는 스마트폰에 내장된 IMU 센서(가속도계, 자이로스코프)를 활용하여 수집된 낙상(Fall) 및 비낙상(Non-Fall) 데이터를 기반으로 학습용 데이터셋을 구축하였다. 먼저 낙상 데이터는 사전에 정의된 다양한 낙상 시나리오(전방 낙상, 후방 낙상, 측면 낙상, 수직 낙상 등)에 따라 수집되었으며, 각 시나리오 수행 시 기록된 가속도 및 자이로스코프 신호를 시각화하여 낙상 발생 시점을 확인하였다. 낙상 구간은 낙상 이벤트를 중심으로 전·후 일정 구간을 포함한 윈도우 단위로 레이블링하여 Fall 클래스 데이터로 정의하였다.

비낙상 데이터는 일반 보행 및 일상생활 동작(ADL) 데이터를 활용하였다. Non-Fall 클래스 데이터는 낙상 데이터와의 균형을 맞추기 위해 동일한 길이의 윈도우 단위로 무작위 추출되었으며, 최종적으로 낙상 데이터와 동일한 개수의 샘플을 확보하였다. 이 과정을 통해 Fall 3,805개, Non-Fall 3,805개, 총 7,610개의 균형 잡힌 학습용 샘플을 생성하였다. 각 샘플은 151 시점(Time steps)과 8개의 채널(accx, accy, accz, gyrox, gyroy, gyroz, acc_mag, gyro_mag)로 구성되어 시계열 딥러닝 모델 학습에 적합한 형태를 갖추었다.

3.2 모델링

본 연구는 시계열 처리에 효과적인 LSTM 네트워크를 활용하였다[13]. LSTM은 장기 의존성을 해결하며, 연산 복잡도가 낮아 스마트폰 환경에서의 실시간 추론에 유리하고 급격한 변화를 보이는 낙상 탐지에 적합하다. 입력층은 151 시점×8 채널 텐서를 입력받고, 은닉층은 LSTM 유닛으로 시간적 패턴을 학습한다. 출력층은 시그모이드 함수로 낙상 여부를 이진 분류하도록 구성하였다. 상세 구성은 표 1과 같다.

Table 1.

Network summary

모델 학습 과정에서 과적합을 방지하기 위해 드롭아웃(dropout) 기법을 적용하였으며, 최적화 함수로는 Adam 옵티마이저를, 손실 함수로는 이진 교차 엔트로피(binary cross entropy)를 사용하였다. 또한 모델 성능을 안정적으로 평가하기 위하여 전체 데이터를 학습용, 검증용, 시험용 데이터셋으로 분할하였다[14].

3.3 학습 방법

학습 과정에서 데이터셋은 7:2:1의 비율로 학습(Training), 검증(Validation), 시험(Test) 데이터로 분할하였다. 학습 데이터는 모델의 파라미터 업데이트에 사용되었으며, 검증 데이터는 모델의 일반화 성능을 확인하고 조기 종료(Early stopping) 및 학습률 감소(ReduceLROnPlateau)와 같은 학습 제어 기법을 적용하는 데 활용되었다. 시험 데이터는 최종 모델의 성능을 객관적으로 평가하기 위해 사용되었다. 모델 학습은 에포크(Epoch)를 30으로 설정하고 배치 크기(Batch size)는 64로 설정하였다. 학습 과정에서 조기 종료 기법을 도입하여 검증 데이터에서의 성능(AUC, Area Under the Curve)이 일정 기간 향상되지 않을 경우 학습을 종료하도록 하였다.

4.1 모델 성능 평가

본 연구에서 구축한 LSTM 기반 낙상 탐지 모델은 총 7,610개 샘플(낙상 3,805, 비낙상 3,805)을 활용하여 학습·검증·시험 데이터로 분할하여 성능을 평가하였다. 최종 학습된 모델은 시험 데이터셋에서 정확도(Accuracy) 97.7%, 정밀도(Precision) 97.4%, 재현율(Recall) 98.1%, F1-score 97.3%를 기록하였다.

Table 2.

Learning results

4.2 혼동 행렬(Confusion matrix)

혼동행렬 분석 결과, 전체 1,142개의 시험 샘플 중 1,116개를 정확히 분류하여 모델은 97.7%의 높은 정확도를 달성하였다. 구체적으로 비낙상 데이터 571개 중 556개를 올바르게 예측하였으며, 15개는 낙상으로 잘못 분류되었다. 또한 낙상 데이터 571개 중 560개를 정확히 예측하였고, 11개는 비낙상으로 오분류되었다. 이와 같이 오탐(False positive)과 미탐(False negative)의 비율이 모두 2% 이하로 나타나, 낙상과 비낙상 두 클래스에서 균형 잡힌 성능을 보이며, 낙상 상황을 놓치지 않으면서도 비낙상을 낙상으로 잘못 판단하는 경우가 적음을 확인할 수 있었다.

Fig. 5.

Confusion matrix

4.3 False positive 오류

전체적인 성능은 높게 나타났으나 일부 사례에서는 모델이 낙상을 비낙상으로, 혹은 비낙상을 낙상으로 잘못 분류하는 경우가 발생하였다. 이러한 오분류 사례를 분석한 결과, 낙상과 유사한 급격한 움직임을 포함한 비낙상 데이터(예: 계단에서 빠르게 내려오는 동작, 급격한 방향 전환 등)는 일시적인 가속도·자이로스코프 스파이크로 인해 낙상으로 오인되었다. 그림 6과 7은 오탐 사례를 시각화한 그래프 이며, x축은 샘플 인덱스, y축은 acc_mag와 gyro_mag 이다.

Fig. 6.

False Positive Example

Fig. 7.

False Nagative example

4.4 False negative 오류

낙상 데이터 중 충격이 상대적으로 약하거나 회전이 뚜렷하지 않은 경우는 정상적인 보행 신호와 유사하게 나타나 비낙상으로 분류되는 경향이 있었다. 이러한 분석은 향후 모델 개선 방향을 제시한다. 예를 들어, 데이터 증강(Data augmentation) 기법을 적용하거나, CNN(Convolutional Neural Network)-LSTM 또는 Transformer 기반 모델을 활용하여 공간적·시간적 특징을 동시에 반영하면 성능 향상이 가능할 것으로 기대된다.