스마트폰의 모션 센서를 사용한 낙상 감지 접근방법

Ⅰ. 서 론

낙상은 노인들의 일상생활에서 일어나는 부상의 가장 중요한 원인이다. 상황대처 능력과 판단 능력이 떨어지는 노인은 균형 감각과 체력의 저하로 인하여 잦은 낙상을 경험한다. 65세 이상의 노인들 중에서 25~30%, 70세 이상에서 35%, 80세 이상에서 50%가 낙상을 경험하였다. 이러한 이유로 낙상 감지는 활발한 연구 분야이다[1]. 가속도계가 사용되는 낙상 연구의 대부분은 가속도의 크기 변화를 결정하는 데 초점을 맞춘다[2]. 가속도 값이 임계값을 초과하면 낙상이 감지된다. 그러나 큰 가속도에만 집중할 경우에는 빨리 앉거나 달리기와 같은 격렬한 활동으로 인하여 낙상으로 잘못 감지될 수가 있다[3].

최근에 여러 논문에서 낙상 감지 방법들이 제안되었다. 낙상 감지 방법은 데이터 수집 방법에 따라 세 가지 범주로 나눌 수 있다. 첫 번째 범주는 보통 압력 센서를 이용하여 사람이 낙상했는지 여부를 감지하는 상황 인식 방법이라고 할 수 있다[4]. 낙상 후에 사용자의 체중이 압력에 미치지 않으면 이러한 종류의 방법은 작동하지 않는다. 두 번째 범주는 가정 내에 보조 시스템의 중요한 부분으로 설치된 카메라 기반 방법이다[5][6]. 이 방법은 분류 기법으로 비디오 영상을 분석하여 낙상 이벤트를 검출한다. 전체 시스템은 비싸고 비디오 감시 장소에서만 작동한다. 세 번째 범주는 가장 보편적으로 사용되는 가속도 기반 방법이다[7]-[10]. 가속도 기반 시스템은 가속도 센서 및 자이로스코프 센서와 같은 몸 부착 형 센서를 사용하여 사람의 움직임으로부터 운동 데이터를 수집한다. 이 방법으로 낙상 이벤트를 감지 할 수는 있으나 전용 낙상 감지 휴대용이 아니다. 그러나 최근의 스마트폰에는 다양한 내장 센서가 장착되어 있어서 낙상 감지에 직접 사용될 수가 있다[10].

일부 낙상 감지 알고리즘은 몸이 바닥에 엎드려있을 때 낙상으로 가정한다. 그러나 낙상이 계단에서 일어났을 때처럼 낙상 자세가 수평이 아닌 경우에는 효과가 떨어진다. 또한 이전 연구에서는 복잡한 알고리즘을 사용하여 낙상을 감지했으나 시스템의 정확성은 매우 효과적이지 않은 것으로 입증되었고, 과도한 양의 계산 리소스를 사용하여 실시간으로 응답 할 수가 없었다[11]. 따라서 이 논문에서는 걷기, 달리기, 점프하기, 아래층내려가기, 위층 올라가기와 같은 일상생활 활동(Activities of Daily Living, ADL)과 낙상 이벤트를 구별하기 위해 가속도계 및 자이로스코프 원시 데이터에서 앞의 여섯 가지 특징을 추출하였다. 그리고 가속도 센서와 자이로스코프 센서를 이용하여 낙상 감지의 민감도와 정확성을 높였다.

이 논문의 나머지 부분은 다음과 같이 구성되어 있다. 2장에서는 관련 연구로 모션 센서의 내용과 낙상 감지 방법에 관련된 연구에 대하여 소개한다. 3장에서는 제안된 낙상 감지 방법론에 대하여 제안하고, 4장에서는 실험 결과 및 논의 과정으로 실험 결과 및 성능을 비교 평가하였다. 5장에서는 결론 및 향후 과제를 논한다.

Ⅱ. 관련 연구

2.1 모션 센서

글로벌 시장조사업체 카운터포인트리서치의 연구 보고서에 의하면 2017년에 판매된 스마트폰에 탑재된 센서의 수는 총 60억 개가 넘으며, 2020년에는 100억 개까지 늘어나 약 70% 성장이 전망된다. 센서는 프리미엄 스마트폰 뿐만 아니라 저가 스마트폰에도 탑재되는 추세이다. 현재 스마트폰에는 다양한 종류의 센서가 탑재되어 다수의 기능을 제공하며 사용자 만족도를 높이는데 큰 역할을 하고 있다. 일부 프리미엄 스마트폰의 경우에는 MEMS(Micro Electro Mechanical System) 및 기타 다른 센서 기술의 발전에 힘입어 이미 15개가 넘는 센서를 장착하고 있다. 다음의 그림 1은 2017년에 판매된 스마트폰의 센서 보급률을 나타내고 있다[12].

Fig. 1.

Sensor penetration rate sold in 2017

안드로이드 모션 센서는 x, y, z 각축에 해당하는 가속도, 회전각(각속도)을 측정하며, 가속도 센서, 자이로스코프 센서, 중력 센서 등이 있다. 가속도 센서는 사물의 중력 가속도를 측정한다. 3축 센서인 x, y, z는 각축에 걸리는 중력가속도의 크기를 반환한다[13]. 자이로스코프 센서는 3차원 공간상에서의 회전각에 대한 값을 구한다.

즉 그림 2와 같이 가속도와 자이로스코프 센서는 임의의 점(x, y, z축)의 성분을 알 수가 있으며, 자이로스코프 센서에서 x 성분은 회전각 Roll, y 성분은 회전각 Pitch, z 성분은 회전각 Yaw를 구할 수 있다.

Fig. 2.

(a) Acceleration for accekerometer, (b) Rotation angle for gyroscope

Ⅲ. 제안된 낙상 감지 방법론

3축 요소를 포함하는 가속도 벡터 합(SAV)은 다음의 식과 같다. 식에서 A_x, A_y 및 A_z는 각각 가속도계의 x, y 및 z 축의 가속도(g)를 나타낸다.

가속도와 유사하게, 각속도 값 ANV는 다음의 식과 같이 나타낸다. 식에서 Ω_x, Ω_y, Ω_z는 각각 x, y 및 z 축의 각속도(°/s)이다.

피사체가 낙상하면 가속도가 빠르게 증가하고 각속도는 낙상하는 방향으로 변화가 많은 신호를 생성한다. 이러한 낙상을 식별하기 위하여 사용된 가속도 및 각속도에 대한 하한 낙상 임계값과 상한 낙상 임계값은 다음과 같이 도출된다[16].

• 하한 낙상 임계값(LFT) : 각각 기록된 활동의 결과에 대한 부정의 최고점은 LPV(신호 하한 최고점 값)라고 한다. 가속도 신호에 대한 LFT는 기록된 LFP(최소 크기 하한 낙상 최고점) 수준으로 설정된다.

• 상한 낙상 임계값(UFT) : 각각 기록된 활동에 대해 기록된 신호의 긍정의 최고점은 UPV(신호 상한 최고점 값)라고 한다. 각 가속도 및 각속도 신호에 대한 UFT는 기록된 최소 크기 UPV의 수준으로 설정된다. UFT는 낙상 충돌 단계에서 몸의 일부분이 겪는 최대 충격력과 관련이 있다.

원도우 시간인 T_win과 LTF, 가속도 UFT인 UFT_acc와 각속도 UFT인 UFT_ang는 고정된 임계값이다. 이 논문에서 T_win , UFT_acc과 UFT_ang는 BMI(신장과 체중의 체질량 지수)와 성별과 같은 실험자의 정보에 따라 조정된다. BMI 18.5~25는 정상 체중을, 18.5보다 낮은 BMI는 저체중을, 25~30인 BMI는 과체중을, 30~39인 BMI는 비만을 나타낸다. 이러한 실험자의 정보에 따라서 실제 임계값 설정은 표 1과 같이 조정할 수가 있다.

Table 1.

Thresholds adapt by experimentor information

이 논문에서는 낙상 감지를 수행하기 위해 LTF와 각속도의 UFT와 결합된 가속도인 LFT 양쪽을 사용한다. 알고리즘의 흐름도는 그림 3에 요약되어있다. 흐름도는 다음과 같은 단계로 구성된다. 실험자의 정보에 따라서 표 1에 의해 임계값을 조정한다. 우선 수집된 데이터를 기반으로 가속도 및 각속도에 대한 LFT 및 UFT를 결정한다.

Fig. 3.

Proposed fall detection flowchart

다음에 가속도 벡터를 계산하여 LFT와 비교한다. 그리고 가속도 벡터가 LFT 임계값 아래로 떨어지는 순간에 가속도 및 각속도 벡터에 대해 데이터의 다음 0.5초를 UFT와 비교한다. 0.5초가 낙상 지속 시간으로 가정된다. 가속도 벡터와 각속도 벡터가 모두 UFT 이상이면 낙상이 감지된다.

흐름도에서 SAV는 가속도 벡터 합을, LFT는 가속도 값의 하한 낙상 임계값을 나타낸다. UFT_acc는 가속도 값의 상한 낙상 임계값을 나타내며, UFT_ang는 각속도 값의 상한 낙상 임계값을 나타낸다. Timer를 10초 동안 작동시켜 가속도와 각속도 값의 신호 성분의 변화가 미묘한지 또는 활동량이 있는지 구분한다. Timer 동안에 임계값 이상의 변화가 있더라도 가속도와 각속도 값의 신호 성분이 활동성 패턴을 보인다면 낙상으로 감지하지 않는다. 그러나 Timer 동안에 가속도와 각속도 값이 임계값 이상의 변화가 있고 신호 성분이 미묘한 변화나 움직임이 없다면 낙상으로 감지하였다.

Ⅳ. 실험 결과 및 논의

4.1 실험 설정 및 결과

실험 데이터는 10명의 실험자가 시뮬레이션 낙상과 ADL(Activities of Daily Living, 일상생활 활동) 작업으로 얻었다. 그들 중에 7명은 남성이고 3명은 여성이다. 각 참가자는 셔츠 주머니에 스마트폰을 넣고 4가지 유형의 낙상(전방, 후방, 오른쪽, 왼쪽)을 수행했다. 각 종류의 낙상 시뮬레이션을 2분간 실시하고 4회 반복했다. 또한 각 참가자는 5가지 ADL 활동(걷기, 달리기, 점프하기, 아래층 내려가기, 위층 올라가기)을 수행했으며, 각 유형의 ADL은 5분간 실시하고 5번 반복되었다. 전체적으로 각참가자는 20번의 낙상 실험으로 10명이 200번의 낙상 실험을 하였다. 또한 각 참가자는 5 종류의 ADL을 각각 10회 실시하여 50번의 ADL 실험으로 10명이 500번의 ADL에 대한 데이터를 얻었다.

이 논문에서는 낙상과 같은 고강도 ADL과 몸의 선회 및 비틀림을 낙상으로 잘못 식별할 가능성을 없애기 위해서 가속도 센서와 자이로스코프 센서를 결합하여 시스템의 민감도와 정확성을 향상시켰다. ADL과 낙상의 가속도 및 각속도 실험 데이터의 결과로 가속도의 LFT는 0.3g, 가속도의 UFT(UFT_acc)는 2.5g, 각속도의 UFT(UFT_ang)는 200°/s를 임계값으로 설정한다.

그림 4는 ADL의 걷기, 달리기, 아래층 내려가기, 위층 올라가기의 가속도의 벡터 값 변위와 낙상의 벡터 값 변위를 그래프로 나타냈다. 그래프는 가속도의 LFT와 가속도의 UFT, 각속도의 UFT 사이에서 시그널이 변동함을 알 수가 있다. 그림 4에서 달리기와 같은 고강도 ADL에서 LTF와 UFT의 사용이 낙상으로 인한 동작으로 잘못 식별될 수 있음을 보여준다. 이것은 달리기 가속도 벡터의 범위가 UFT를 초과하기 때문이다.

Fig. 4.

Displacement for ADL, fall

일련의 실험적 테스트에 의해 표 2, 표 3에 실험 결과가 제시되었다. 각 활동의 합계 값은 각 활동의 횟수를 나타내며, 이 논문에서 제시한 알고리즘의 인식률은 높게 나타났다. 표 2의 실험 데이터 중에서 걷기와 위층 올라가기는 올바르게 식별되었으며, 인식률은 데이터 집합에서 100% 달성했다. 낙상으로 착각한 12개의 점프하기 이벤트, 7개의 아래층 내려가기 이벤트, 5개의 달리기 이벤트가 있다. 이 현상의 주요 원인은 실험 참가자가 점프하기 및 달리기 활동을 시뮬레이션 하는데 노인의 ADL과 다르기 때문에 나타났다고 판단한다. 또한 표 3의 실험 결과에서 전방 낙상은 제일 좋은 인식률을 나타냈지만 후방 낙상은 좋지 않은 인식률을 나타내었다.

Table 2.

Result of the ADL experiment tests

Table 3.

Result of the fall experiment tests

4.2 성능 비교

우리는 민감도(Sensitivity)와 정확성(Specificity) 측면에서 ADL과 낙상 감지 성능을 측정한다. (3)의 식에서 정의된 민감도는 낙상을 감지하는 알고리즘의 성능을 평가하는데 사용된다.

$\[ \mathrm{민}\mathrm{감}\mathrm{도}=\frac{TP}{TP+FN}\times 100\% \]$

(3)

민감도 식에서 TP는 낙상을 올바르게 표시하는 값이며, 시스템이 제대로 감지한 경우이다. FN은 낙상을 틀리게 표시하는 값이며, 낙상이 발생하지만 시스템이 낙상을 감지하지 못하는 경우이다. 반면에 (4)에서 정의된 정확성은 ADL의 감지 능력을 평가하는데 사용된다.

$\[ \mathrm{정}\mathrm{확}\mathrm{성}=\frac{TN}{TN+FP}\times 100\% \]$

(4)

정확성 식에서 TN은 시스템이 ADL 활동을 올바르게 나타내는 값이고, 시스템은 낙상을 알리지 않는다. FP는 낙상이 발생하지 않았지만 시스템이 낙상으로 알리는 값이다.

표 4의 성능 비교에서는 이 논문의 방법을 [17]의 방법과 [18]의 방법으로 비교하였다. 표 4는 세 가지 방법의 결과를 나타내고 있으며, 그 중에서 이 논문의 알고리즘이 가장 좋은 결과를 보여주고 있다. [17]의 방법은 3 축 가속도를 기반으로 하며 가속도 결과 값만 고려한다. 이 논문에서 [17]의 방법과 비교하는 이유는 가속도 센서와 자이로스코프 센서인 두개의 센서가 낙상 사건을 판별하기 위해 더 많은 정보를 얻을 수 있다는 것을 증명하기 위해서이다. [18]의 방법은 이 논문과 같은 스마트폰의 가속도와 자이로스코프 센서를 기반으로 하였다. [18]의 알고리즘은 정확성에서 이 논문과 거의 차이가 없는 성능을 도출하였다. 그 이유는 실험한 ADL의 활동 중에서 오류인 낙상으로 감지할 확률이 아주 높은 점프하기를 실험하지 않아서 정확성이 높아졌기 때문이다. 따라서 점프하기 ADL을 추가하여 실험하였다면 더 나쁜 정확성을 도출하였을 것이다.

Table 4.

Result of performance comparison with other methods

이 논문에서 설정한 임계값인 LFT와 UFT의 값에 따라 결과는 상당히 다를 수가 있다. 따라서 LFT와 UFT에 대한 정확한 임계값을 설정하기 위해서는 더 많은 연구와 실험이 필요할 것이다.

Ⅴ. 결론 및 향후 과제

노인들의 일상생활에서 일어나는 부상 사고의 가장 중요한 원인은 낙상이다. 이 논문에서는 가속도와 자이로스코프 센서가 내장된 스마트폰을 이용하여 ADL과 낙상 사고를 인지하는 낙상 감지 방법론을 제안하였다. 이전 연구들에서는 가속도 센서를 이용한 많은 낙상 감지 시스템이 제안되었다. 이 논문에서는 민감도와 정확성을 높이기 위하여 가속도 센서와 자이로스코프 센서를 동시에 사용하는 방법을 제안하였다. 이전 연구에서의 낙상 감지 시스템과 우리의 시스템과 비교한 결과는 민감도와 정확성이 향상되었다. 따라서 가속도 센서와 자이로스코프 센서의 조합을 사용하여 높은 민감도와 정확성 결과를 나타내는 낙상 감지 방법이 검증되었다. 향후 연구는 이 연구에 자기계를 이용하여 더 정확하게 ADL을 구별할 수 있는 알고리즘을 연구하는 것이다.

References

• J. T. Ryu, "The development of fall detection system using 3-axis acceleration sensor and tilt sensor", Journal of the Korea Industrial Information Systems Research, 18(4), p19-23, Aug.), (2013. [https://doi.org/10.9723/jksiis.2013.18.4.019]
• M. Kangas, A. Konttila, P. Lindgren, I. Winblad, and T. Jamsa, "Comparison of low-complexity fall detection algorithms for body attached accelerometers", Gait & Posture, 35, p500-505, Aug.), (2008.
• J. M. Flores, B. S. Student, and I. V. Laurens, "Rapid Response Fall Detection System", 15th LACCEI, Boca Raton F1, USA, 19-21 Jul. 2017.
• H. W. Tzeng, M. Y. Chen, and M. Y. Chen, "Design of fall detection system with floor pressure and infrared image", in System Science and Engineering (ICSSE) 2010 International Conference on, 1-3 Jul. 2010.
• L. Alhimale, H. Zedan, and A. Al-Bayatti, "The implementation of an intelligent and video-based fall detection system using a neural network", Applied Soft Computing, 18, p59-69, May), (2014. [https://doi.org/10.1016/j.asoc.2014.01.024]
• J. L. Chua, Y. C. Chang, and W. K. Lim, "A simple vision-based fall detection technique for indoor video surveillance", Signal, Image and Video Processing, 9(3), p623-633, Mar.), (2015. [https://doi.org/10.1007/s11760-013-0493-7]
• X. Yang, A. Dinh, and L. Chen, "Implementation of a wearable real-time system for physical activity recognition based on Naive Bayes classifier", 2010 International Conference on ICBBT, Chengdu, China, 16-18 Apr. 2010.
• C. Wang, M. R. Narayanan, S. R. Lord, S. J. Redmond, and N. H. Lovell, "A low-power fall detection algorithm based on triaxial acceleration and barometric pressure", 2014 36th Annual International Conference of the IEEE EMBC, Chicago, IL, USA, 26-30 Aug. 2014.
• P. T. Phu, N. T. Hai, and N. T. Tam, "A threshold algorithm in a fall alert system for elderly people", in 5th International Conference on Biomedical Engineering in Vietnam, Springer, p347-350, Aug.), (2015. [https://doi.org/10.1007/978-3-319-11776-8_85]
• J. Dai, X. Bai, Z. Yang, Z. Shen, and D. Xuan, "Perfalld: A pervasive fall detection system using mobile phones", in Pervasive Computing and Communications Workshops(PERCOM Workshops) 2010 8th IEEE International Conference on, Apr. 2010.
• P. Jayachandram, T. F. Abdelzaher, J. A. Stankovic, and R. K. Ganti, "SATIRE: A software architecture for smart attire", Proceedings of MobiSys'06, Uppsala, Sweden, 19-22 Jun. 2006.
• http://blog.naver.com/counterpoint_korea/221176815062, , [accessed: Apr. 25, 2019]
• J. H. Yang, Y. A. Kim, S. Y. Jeon, and G. M. Park, "Estimation of Camera Pose and Position using Gyroscope Sensor", 2017 IEIE Fall Conference, Inchon, Korea, 24-25 Nov. 2017.
• F. Sposaro, and G. Tyson, "ifall: an android application for fall monitoring and response", in Engineering in Medicine and Biology Society, EMBC 2009 Annual International Conference of the IEEE, 3-6 Sept. 2009. [https://doi.org/10.1109/iembs.2009.5334912]
• R. Tiwari, A. K. Singh, and S. N. Khan, "Using android platform to detect free fall", in Information Systems and Computer Networks (ISCON) 2013 International Conference on, 9-10 Mar. 2013. [https://doi.org/10.1109/iciscon.2013.6524194]
• A. K. Bourkea, K. J. O’Donovan, and G. OLaighin, "The identification of vertical velocity profiles using an inertial sensor to investigate pre-impact detection of falls", Medical Engineering & Physics, 30(7), p937-946, Sep.), (2008.
• Y. Cao, Y. Yang, and W. Liu, "E-falld: A fall detection system using android-based smartphone", in Fuzzy Systems and Knowledge Discovery(FSKD) 2012 9th International Conference on, May 2012. [https://doi.org/10.1109/fskd.2012.6234271]
• A. Z. Rakhman, L. E. Nugroho, Widyawan, and Kurnianingsih, "Fall Detection System Using Accelerometer and Gyroscope Based on Smartphone", 2014 ICITACEE, Semarang, Indonesia, 8 Nov. 2014. [https://doi.org/10.1109/icitacee.2014.7065722]