Home

시선 추정(Gaze estimation) 기술을 이용한 아동 집중도 분석 시스템 설계하였다. 오재광 등은 특징 기반으로 단일 눈 이미지를 통해 눈 영역의 랜드마크를 감지하여 시선을 추정하는 방법을 제안하였다[14]. X. Zhou et al.은 Kinect센서를 활용하여 3D 눈 모델을 통해 피사체의 시선을 자유로운 움직임의 허용 범위로 추정하는 효과적인 방법을 제시하였다[15]. A. A. Abdelrahman et al.은 시선추정 예측 정확도를 향상시키기 위해 개별적으로 각도를 조절할 수 있는 강인한 CNN기반 모델을 제시하였다[16]. 본 논문에서는 아동의 집중도를 분석할 영상이 입력되고 아동의 시선이 향해야 하는 영역인 ROI(Region of Interest)를 우선 지정한 후, 영상 안정화 딥러닝 모델로 흔들리는 영상을 보정하고 객체 탐지 모델로 몸, 얼굴을 탐지하였다. 탐지된 몸, 얼굴 결과로 IOU(Intersection Over Union)를 계산하여 한 명씩 몸, 얼굴을 매칭시키고, 몸만 탐지됐다면 비 집중 상태로, 몸, 얼굴 모두 탐지됐다면 다음 단계로 이동한다.

탐지된 얼굴 이미지를 사용하여 그림 3과 같은 시선 추정 모델로 아동의 시선을 추정한다. 추정된 시선 좌표가 설정한 ROI영역을 지나가는지 여부를 확인하여 지나간다면 집중 상태로, 지나가지 않는다면 비 집중 상태로 분석한다. 그림 4는 아동 집중도 분석 시스템 구성도를 나타낸다.

Fig. 3. 
Structure of the gaze-estimation model

Fig. 4. 
Structure of the children's visual attention analysis system

어린이집에서 수업 시간에 아동을 정면으로 바라보는 각도로 영상 수집을 진행하였다. 아동 집중도 분석 데이터셋 구축 과정은 다음과 같다. 우선 데이터를 정의한 후 수집을 진행하였다. 그 후 데이터 가공을 위해 라벨링 툴을 제작하고 오토 라벨링을 통해 데이터 라벨링을 진행하였고, 최종적으로 인공지능 학습에 적절한 데이터인지 시스템 테스트 과정을 통해 검증하였다.

아동 집중도 분석 데이터셋 설계 기준은 다음과 같다. 이미지 샘플링은 OPENCV를 통해 영상을 이미지로 변환 및 프레임 수를 조절하고 이미지 확장자는 PNG로 지정한다. 프레임 수는 30프레임당 1장씩 영상에서 이미지를 저장한다. 저장한 이미지들은 객체 탐지 모델로 몸과 얼굴을 오토 라벨링 하여 1차 결과 확인한다. 라벨링 작업자는 1차 결과를 검수하고 몸과 얼굴이 탐지되지 않은 부분은 직접 라벨링한다. 제작한 라벨링 툴을 사용하여 이전 탐지 결과의 이미지에서 탐지된 얼굴의 시선 방향을 추정하여 직접 라벨링한다.

최종적으로 영상 및 촬영정보와 객체의 정보는 라벨링 정보를 입력한다. 그 결과 아동들의 개인정보가 보호되는 범위에서 500건의 집중도 데이터셋을 구축하였다.

J. Redmon et al.은 Yolov5 기반 아동 탐지 및 IOU기반 아동의 몸, 얼굴 매칭 기술을 구현하였다[17]. 얼굴 검출기를 적용하여 실증 어린이집에서 확보된 아동의 얼굴 대상 테스트 진행하였을 때, 오검출 또는 미검출 결과가 확인되었다. 모델의 임계값에 변화를 주어 오검출과 미검출을 감소시키는 것은 영상마다 임계값을 조절해야 하고 정확하지 않았다. 몸 검출기를 추가로 적용한 결과 오검출이 줄었다. 또한 얼굴을 추가로 추적한 결과 미검출이 되는 경우가 줄어들었다. 추가적으로 유치원 수업시간에 촬영된 영향으로 시선 추정을 위한 영상 흔들림 보정 기술 개발이 필요하였다. 기존 영상 안정화 방법들은 왜곡을 생성하거나 aggressive cropping이 동반되지만 영상 안정화 딥러닝 모델인 Hybrid Neural Fusion을 적용함으로써 이러한 문제점들을 감소시켰다. 그림 5처럼 아동 집중도 분석을 위해서 집중해야 할 영역을 OPENCV를 통해 영상에서 직접 지정하였다.

Fig. 5. 
Attention area setting

프레임에서 탐지된 몸 bbox와 얼굴 bbox로 IOU 계산 결과, 몸만 탐지됐을 때 해당 아동은 얼굴을 숙였다거나 뒤를 돌아보는 행위로 인해 얼굴이 탐지되지 않았다고 판단하여 비 집중 상태로 판단한다. 시선 추정 결과 해당 시선 방향이 지정된 집중 영역을 통과한다면 해당 아동은 집중 한다고 판단한다. 시선 추정 결과 해당 시선 방향이 지정된 집중 영역을 통과하지 않는다면 해당 아동은 비 집중 상태로 계산한다.

L2CS-Net, VSL2G-Net 두 가지 시선추정 딥러닝 모델을 적용하여 테스트를 진행하였다. L2CS-Net 테스트 결과, 영상이 흔들릴 때 추정 결과와 실제 아동의 시선에 차이가 있었다. 영상 흔들림 보정이 가능한 VSL2G-Net 시선 추정 모델을 사용하여 테스트 진행했을 때는 같은 프레임에서 올바른 시선 추정 결과를 확인할 수 있었다. 아동의 아동 집중도 분석 결과 지표로 Accuracy를 사용하였다. 그 결과, 평균 Accuracy는 표 1처럼 0.960에서 0.968로 0.008 향상된 정확도를 확인할 수 있었다.

아동의 이상행동(외현화 및 내현화) 식별을 위한 표적행동목록을 정의하였다. DSM-5의 진단기준과 진단을 위해 사용하는 척도 질문지를 사용해 과학적 근거를 기반으로 외현화 장애의 표적 행동을 선별하여 목록화 하였다. ADHD, 적대적반항장애(ODD)등 외현화 장애의 표적 행동 목록을 구체화하였다. 임상 현장에서 사용하는 심리검사의 문항들의 내용을 분석하였다. 그 결과는 표 2와 같다.

9가지 이상행동에 대해서 비슷한 유형을 크게 4가지 Class로 구분하여 이상행동을 재정의하였다. Class1 : 아동이 넘어지는 경우, 아동이 바닥 등에 등을대고 누워있는 상태. Class 2: (성인, 아동등) 손을 사용하여 상대를 폭행한 경우, 아동이 물건 등을 던지는 경우, 사물이나 주먹 등을 허공에 휘두르는 행위. Class 3: 아동이 손, 몸 등을 사용해 상대를 미는 경우, 상대방 물건을 강제로 뺏는 경우, 손, 물건 등을 사용해 상대를 잡아 당기는 경우. Class 4: 타인 또는 사물 등에 신체가 부딪히는 경우이다.

아동의 행동 및 학습활동에 대한 이상행동 인식을 위한 데이터셋을 구축하였다. 총 4가지 이상 행동 class에 대해 3,000개의 영상 데이터를 수집 하였다. 원본 비디오 영상으로부터 아동의 특이 행동이 발생하는 시간 영역을 CSV로 작성하였다. CSV 파일로부터 Clip Video Frame을 자동 추출하였다. 생성된 모든 Clip Video Frame에 대하여 Openpose 기반의 Key-point 추출하였다. 표 3과 같은 Key-point 정보로부터 Feature Map 생성하고 생성된 Feature Map은 Stream Embedding 통해 분할, 분할된 Patch는 Transformer 기반의 병렬 학습 진행하였다.

그림 6과 같은 아동 특징 맵 추출을 위해 방향성이 있거나(Directed) 없는(Undirected) 엣지(Edge)로 연결된 노드(Nodes=verticles)들의 집합인 Graph를 생성하였다. Openpose를 활용하여 Key-point 추출하여 25개 Node와 23개 Edge로 구성하였다. 연결된 각 Node들의 Edge 길이를 Matrix의 값으로 지정하고 지정된 Matrix 값을 L2 Normalization 하여 정규화 처리(0~1) 값으로 변경하였다. 한 프레임 내의 각 객체마다 Adjacency Matrix를 구성한 다음, 프레임 간의 Adjacency Matrix를 구성하였다. 프레임 간 구성시 같은 Key-point끼리 사잇각을 연산하는데 입력단에서 프레임 스트림의 재사용이 있으므로 사잇각에서 중복은 제외한다. 기존 2D Convolution으로는 시간에 따른 특징은 분석할 수 없어 3D Convolution으로 변경하였다. 3D Convolution은 x, y의 RGB 픽셀 특징과 시간에 따른 변화인 z 특징까지 같이 Convolution 연산하였다.

Fig. 6. 
Inter-skeleton feature map

Transformer는 최근 텍스트뿐만 아니라 이미지, 동영상 등 다양한 데이터에도 적용하고 있다[18]. 기존 아동 행동 분석 모델의 경우 자세 추정 모델을 3D 차원 좌표계로 변환하여 급속탐색 랜덤트리 알고리즘 기반의 분류 기법을 사용한다.

하지만 초기 입력값인 3D 좌표가 부족할 경우 최적의 분류 결과를 얻을 수 없다. 그 결과 자세 추정과 분류 모델을 단일 스트림으로 처리하여 다중 인원 분석 시 딜레이가 생성된다. 본 논문에서제안하는 방법은 공간적 특징과 시간적 특징을 분리하여 특징 정보를 학습 할 수 있다. Transformer Encoder 구조 적용을 통한 시공간 특징 동시 분석을 진행하였다.

우선 두 개의 서로 다른 특징을 학습하는 모델의 결합된 구조인 SlowFast 네트워크 모델을 활용한 딥러닝 학습 병렬화를 적용하였다. 공간적 영역에서 객체가 무엇인지 인지하는 Slow-path와 시간적 영역에서 객체의 움직임을 인지하는 Fast-path로 구성된다. 두 path 입력되는 Frame의 시간 간격이 다르다는 차이점이 있다.

Slow-path의 경우 공간적 정보인 색상, 모양 및 크기와 같은 세부 정보를 학습하기 위해 16개 프레임 중 하나를 선택하고 Fast-path의 경우 모션 정보만 얻기 위해 높은 프레임 속도로 작동되어 단 2개의 하나를 선택한다. 사용되는 Layer는 모두 3D Resnet이며, Fast-path에서 모션 정보만 보기 때문에 채널 수는 Slow-path보다 8배 작게 들어간다. 채널 수가 다르므로 전체 계산의 20%는 Fast-path에 할당되고 나머지 80%는 Slow-path에 할당된다. 공간적 시간적 특성을 모두 적용하기 위해 같은 입력에 대해 서로 다른 Patch의 정보를 합쳐서 학습한다.

그림 7처럼 아동행동분석 SW를 실행하여 아동 행동 패턴을 확인하였다.

Fig. 7. 
Result of a image analysis

Mean Average Precision 계산을 사용하여 성공률을 계산 (모든 영상에서 Precision 값과 Recall 값을 구하여 Precision-Recall 그래프의 면적을 계산 후 백분율로 변환)하였다. 표 4는 본 과제에서 제안한 모델과 Tsubasa 모델의 f1-Score를 비교한 것이다. 제한한 모델은 83% 이상이고 2차원의 키-포인트를 3차원으로 사영하여 급속탐색 랜덤트리 알고리즘 기반으로 행동 예측하는 Tsubasa 모델은 74%로 F1-Score[19]는 9% 차이를 보인다.