Home

아동 관련 실내외 안전사고가 끊임없이 발생하고 있다. 아동 교육 시설, 여가문화 및 놀이시설의 안전사고는, “미끄러짐·넘어짐”과 “추락” 그리고 “부딪힘”에 대한 사례가 빈번히 발생한다[1]. 해외 (미국) 1:8(4~5세), (노르웨이) 1:14(3세 이상), (네덜란드) 1:8(4세 미만) 에 비해 국내 - 어린이집 1:15(3~4세), 유치원 1:22(만 3~5세) 어린이집·유치원 교사 1인당 평균 담당 아동 비율이 높은 편이다. 아동의 행동은 개인의 성격 또는 환경에 따라 나타나는 증상 또는 동반되는 질환이 다르게 발생하여 돌발적으로 취하는 행동을 예측하는 것은 어렵다. 특히 성인보다 표현이 서툴고 소통을 어려워하는 발달지연, ADHD 아동의 돌발 행동은 예측하는데 더 큰 어려움을 갖는다. 현재는 교육 기관 담당자가 사고가 발생한 후, 설치된 CCTV를 활용하여 단순히 사고원인만 파악할 수 있다.

본 논문에서 제안한 기술들을 활용한다면 조기에 발견하여 큰 사고로 확대되는 것을 사전에 차단할 수 있다. 인공지능 기술을 활용한 아동 행동 분석기반 소프트웨어에서 가장 중요한 기술은 아동 행동 분석 및 재식별 기술이다. 딥러닝 기반의 행동 분석연구는 산업계·대학·연구소에서 현재까지 꾸준히 진행되고 있다. 윤 영 등은 Intel RealSense 카메라와 딥러닝 기반의 영상 분석기술(Two-Stream CNN)을 활용해서 노인들의 낙상을 인식하였다[2]. J. T. Park 등은 인간 행동을 구분할 수 있는 4가지 특징을 제시하고, 그 특징에 기계학습 알고리즘인 최근접 이웃(KNN, K-Nearest Neighbor)기법을 적용하여 위험 상황 인식 시스템을 구현하였다[3]. H. R. Yoo 등은 정면과 측면의 구애를 받지 않는 OpenPose를 활용하여 성인과 아동을 구분하여 아동이 학대를 당할 때 자세의 특성을 적용하여 아동 학대 판단 모델을 설계 및 구현하였다[4]. H. Y. Kim 등은 대상 감시 영상의 연속 영상 프레임을 행동 인식 성능이 좋은 I3D(Inflated 3D ConvNet) 네트워크로 전송하여 시공간적 특징을 추출하고 경합 영상의 모호한 시작과 끝을 완화하기 위해 다중 인스턴스 학습을 사용하여 모호한 충돌 경계를 인식하는 학습 방법을 통해 싸움(다툼) 행동 인식 방법을 제안하였다[5]. S. Lee 등은 지능형 CCTV 시스템을 위한 보행자 검출과 재식별 기술을 통해 보행자의 통행량이나 이동 경로 분석 및 위험 지역이나 보안 지역에 진입하려는 보행자에게 경고를 주는 기술을[6], WENZHENG QU등은 딥러닝을 활용한 보행자 재식별 모니터링 시스템을 제안하였다[7]. K. Pi 등은 치매 환자의 상태와 관련된 정보를 의료진과 보호자가 실시간으로 전달받을 수 있는 스마트 모니터링 기술을[8], K. Hwang 등은 딥러닝 기반의 얼굴 인식과 손 제스처 인식을 활용하는 원격 제어 시스템을 제안하였다[9].

행동 인식은 전통적으로 짧은 동영상에서 행동을 분류하는데 목적을 두고 있다. 2D ConvNets , 2D ConvNets with LSTMs , 3D ConvNets 은 최신 행동인식 방법들이다. 비디오에서는 행동 분류는 성공적일 수 있으나. 짧은 영상에 대해서는 선천적으로 제한적이다. 만약 긴 영상을 대상으로 한다면, temporal localization은 행동 분류와 함께 필수적이다[10]. 기존 대부분 아동과 노인 행동 분석 시스템은 특정한 한 가지 행동에 대해서만 집중했다면, 본 논문에서는 어린이집에서 주로 발생하는 5가지 이상 행동 모두에 대해서 딥러닝 기반의 영상분석 기술을 활용하여 객체 및 이벤트 검출이 가능하다. 또한 단일 채널 영상분석이 아니라 다중데이터 동시 입력 및 분석기술을 적용하여 아동 행동에 대한 재식별 기술을 연구개발 하였다. 그 결과 다양한 유형의 어린이 사고에 대응할 수 있다.

본 논문에서는 실시간 다중센서 데이터 기반 영상 동시 입력 기술, 재식별(Re-identification) 및 딥러닝 기반 아동 행동 분석기술 등 실내에서 발생하는 다양한 아동 사고를 예방할 수 있는 기술들을 제안 드린다. 이러한 기술들은 맞춤형 아동 케어를 지원하고 다양한 사고를 예방하는 통합서비스 플랫폼에 핵심기술로 사용된다.

그림 1은 본 논문에서 제안하는 이상 행동 분석 시스템의 전체구조를 나타낸다. 첫번째로 아동 심리 행동 패턴에 기반한 아동의 심리 상태 분석 및 외현화 장애 기반의 행동에 대해서 조사 하였고 대표적인 이상 행동 5가지를 정의하였다.

Fig. 1. 
Elements of child behavior analysis

인공지능 기반 객체 검출 및 이벤트(아동 이상 행동) 분석을 위해서는 관련 학습데이터 구축이 필수이다. 실시간 다중센서 데이터 기반 아동 행동 분석용 데이터 추출 및 변환을 위해 아동 재식별 데이터셋 구축과 행동 분석 데이터셋 구축, 학습모델 설계 및 파라미터 설정을 통한 가중치를 도출하였다. 아동의 정서불안에 따라 빈번한 위치이동 확인을 위해 재식별 기술을 이용한 아동 특징점 기반 동일아동 위치추적 기술을 개발하였다. 아동과 관련해 발생하는 주요 '이상행동(Abnormal behavior)'을 분석하여 정상적인 행동을 제외한 5가지 행동들을 규정하여 딥러닝 기술을 적용하여 이벤트 검출을 수행한다. 이상 행동 인식정확도 mAP[11] 80% 이상 정확도를 나타낸다. 웹 접근성 및 웹 호환성이 적용된 UI/UX 사용자인터페이스 연구개발을 통해 최종적으로 실제 어린이집 및 놀이시설 관리자들에게 사용자 맞춤형 어린이 이상행동 분석 서비스를 제공할 수 있을 것이다.

다중센서 환경에서의 실시간 데이터 수신은 Nvidia deepstream 파이프라인 아키텍처를 적용하였다. 전처리부는 Gst-nvstreammux 플러그인을 통해 여러 입력 소스에서 프레임 배치를 형성하고 batch-size는 gst 객체 속성을 사용하여 지정되며 muxer는 배치 크기 프레임의 배치 버퍼를 생성한다. muxer의 출력 형식과 입력 형식이 동일한 경우 muxer는 해당 소스의 프레임을 muxer의 출력 일괄 처리 버퍼의 일부로 전달한다. muxer가 출력 버퍼를 다시 가져올 때 프레임이 소스로 반환되는데 만약 소스의 해상도가 동일하지 않으면 muxer는 프레임을 입력에서 일괄 처리된 버퍼로 확장한 다음 입력 버퍼를 업스트림 구성요소로 반환한다. 배치가 정해진 수량에 도달하거나 배치 생성 제한시간을 초과한다면 muxer가 배치를 다운스트림으로 전달한다. 새 배치에 대한 첫 번째 버퍼가 생성되면 muxer는 라운드 로빈 알고리즘을 사용하여 소스에서 프레임을 수집 및 각 소스에서 배치당 평균 (배치 크기/소스 개수) 프레임을 양을 파악한다. muxer를 사용해 사전에 지정한 소스의 너비 및 높이로 변경함으로써, 배치의 모든 프레임을 동일 해상도를 갖도록 구성하였다. GPU 아키텍처인 Ada의 고속 하드웨어 코덱을 활용하여 최대 3배 압축을 확보하여 8k60FPS까지 지원 가능하다.

영상 분석부는 객체를 탐지하고 추적하는 기능을 수행한다. 객체 탐지 및 분석 플러그인, 객체트래킹 플러그인 및 탐지된 객체의 ID와 바운딩 박스 표현 플러그인으로 구성한다. 먼저 객체 탐지 및 분석 플러그인은 분석 시 사용할 모델과 방법 정의하고 primary-gie를 통해 객체를 탐지한다.

영상출력부는 영상 소스 분석결과를 시각적인 결과물로 출력하는 기능을 수행한다. 출력화면 플러그인은 한 화면에 출력할 비디오 크기, 해상도 및 배치 정의하고 rows 및 columns를 통해 한 화면에 비디오를 가로, 세로 배치 개수를 결정한다. 출력방식은 sink 키워드를 통해서 정의한다. 영상 출력방식을 결정하고 결과 영상을 RTSP 스트밍으로 표출한다.

그림 2는 다양한 멀티채널 데이터 스트리밍 결과이다. 실시간 다중센서 데이터 영상 소스를 동시 입력 및 분석(객체 인식)을 위해 동시 입력 20개가 입력되고 동시 최대 8명 인식되는 영상분석 기능을 구현하였다. 그림 3은 실증 어린이집에서 수행한 멀티채널 수신데이터 영상분석 결과이다.

Fig. 2. 
Multi-channel data(streaming)

Fig. 3. 
Analysis results of images

아동 행동분석 기반 통합서비스 플랫폼 개발을 위해 사용자 중심 UI/UX 디자인을 도출하였다. 사용자 중심 인터랙션 간소화를 위한 디자인 와이어프레임 프로토타입 적용하였다. 또한 3종 이상의 웹브라우저(IE, Chrome, Safari 등)에 적합한 웹 접근성 UI/UX를 개발하였다. 이상 행동 분석 및 재식별 기술을 적용하였다. 최종테스트 결과, 그림 11과 같이 서비스 플랫폼에서 5가지 이상 행동을 80% 이상의 정확도로 인식하였다.

Fig. 11. 
Service Platform for child behavior analysis

실내에서 다양한 아동 사고를 예방하기 위한 실시간 다중센서 데이터 기반 영상 동시 입력 기술, 재식별(Re-identification) 및 딥러닝 기반 아동 행동 분석기술 연구개발을 통해 본 논문에서는 다음과 같은 결론을 얻을 수 있었다.

첫째 아동 이상 행동 재식별 기술은 아동 이상 행동 판단 중 중요한 기준이다. 특정 시간 동안 무리에서 이탈하는 행동은 ADHD를 포함한 많은 이상 행동을 하는 아동들의 공통된 특징이다. 본 연구에서는 재식별 기술을 이용하여 동일아동을 추적 성공하는 테스트를 진행하여 mAP 65% 결과를 도출하였다. 향후 학습데이터 셋을 추가확보 및 소프트웨어 성능 개선을 통해 mAP 70% 이상으로 추적 성공률을 높일 예정이다.

둘째 아동 이상 행동 패턴 인식 소프트웨어의 이상 행동 인식정확도 mAP 80% 이상 정확도를 확보하였다. 총 5가지 이상 행동(넘어지다, 눕다, 때리다, 던지다, 휘두르다) 동작에 대해 1121개의 이상 행동 영상데이터 및 재식별용 이미지 409장을 수집하였다. 향후 사립 유치원들과 협력하여 아동의 개인정보가 보호되는 범위에서 10,000건 이상의 데이터를 추가확보 및 강인한 행동 분석알고리즘 추가적용으로 mAP 90% 이상 정확도를 확보할 예정이다.

셋째 현재까지 아동 행동 분석을 위해 재식별 기술 및 아동 행동 분석 소프트웨어 요소기술 연구하였다. 향후 통합서비스 플랫폼 UI/UX, 공통기능 및 모바일 앱 및 알람 시스템 개발할 예정이다. 그 결과 어린이집 및 놀이시설 관리자들이 무인으로 아동 사고를 사전 예방할 수 있는 통합서비스가 가능할 것이다. 이를 통해 큰 안전사고 예방을 통해 사회적 비용감소, 발달지연, ADHD, 정서적 문제행동 등 치료가 필요한 아동을 조기 판별 및 아동별 상이한 발달단계에 따라 맞춤형 교육이 가능할 것으로 판단된다.