Home

인체감지 기술에는 R-CNN(Region proposals with Convolutional Neural Network)[3], Faster R-CNN[4], YOLO(You Only Look Once)[5], SSD(Single shot multibox detector)[6]가 있다. 본 논문에서 사용될 SSD는 객체 후보영역을 추출하고 클래스를 분류하는 과정을 동시에 하는 단일 신경망 모델이다. SSD는 일반적인 CNN(Convolutional Neural Network)의 VGG(Visual Geometry Group) Network를 사용한다. SSD는 그림 1과 같이 깊이 및 크기가 다른 복수의 특징 맵(Feature Map)을 생성하고, 이미지를 기준으로 얕은 쪽 특징 맵을 사용하여 작은 객체를 감지하고, 깊은 쪽 특징 맵을 사용하여 큰 객체를 감지하게 된다. 생성된 특징 맵은 합성곱 층(Convolution Layer)이 진행됨에 따라 크기가 줄어들게 된다. SSD는 객체 후보영역 추출과 이미지 변형 과정을 제거한 방식을 이용하여 높은 정확성(mAP 74.3%)과 빠른 속도(59 FPS)로 객체를 인식할 수 있다.

Fig. 1. 
SSD system structure

열화상 카메라는 물체에서 발산하는 적외선으로부터 감지되는 주파수 반응을 사용하여 전기적인 신호로 변환한 뒤 이를 대상물체의 온도 분포를 나타내는 화상으로 시각화하는 장비이다. 기본적으로 렌즈, 센서, 이미지 구현 부분으로 구성되어 있다. 일반적으로 사용되는 비접촉식 온도계는 한 지점의 온도만 측정하지만, 열화상 카메라의 경우 광범위한 범위의 표면 온도를 비접촉식으로 측정할 수 있다. 또한, 접근이 어려운 지점의 온도 측정 또는 빛이 부족하여 일반 카메라로 촬영이 불가한 환경에서도 영상의 구현이 가능한 장점이 있다. 초기에는 국방 감시장치 등에 사용되고, 센서 및 광학계 기술의 발달로 현재는 산업 및 의료용으로 사용되고 있다.

감시 시스템의 영상은 보통 HDD와 SSD(Solid State Drive), SD 카드 같은 저장장치에 기록된다.

HDD는 모터로 플래터를 회전시키고, 헤드가 데이터를 읽어서 컨트롤러로 보내어 처리하는 구조이다. 수명은 100,000시간 정도이며, 용량에 비해 가격이 저렴하지만, 모터가 있어서 소형화에 한계가 있다. SSD는 병렬로 연결된 플래시 메모리의 데이터를 컨트롤러에서 처리하는 구조이다. 플래시 메모리는 한 개의 셀이 가지는 bit가 증가함에 따라 수명이 감소하며, 많이 쓰이는 TLC의 경우 셀당 쓰기 횟수는 1,000회이다. SD 카드는 플래시 메모리의 데이터를 컨트롤러에서 처리하는 구조이다. 플래시 메모리가 병렬로 연결된 SSD에 비해 짧은 수명을 가지며, 제조 방식이 수명에 큰 영향을 끼친다. 크기가 매우 작고 고장이 발생하면 교체가 쉬워서 소형 시스템에 널리 사용된다.

3개의 카메라를 구동하기 위한 시스템은 Cortex-A53 (ARMv8) 64-bit SoC @ 1.4GHz 및 1GB LPDDR2 SDRAM을 탑재하고 있는 Raspberry Pi 3 B+에 영상 기반의 인체감지를 위한 시스템을 구현한다. 시스템의 처리속도 향상을 위하여 USB 형태의 Movidius Neural Compute Stick을 사용하여 신경망 가속기를 추가한다. 실험에 사용한 카메라 모듈 중 일반 카메라는 RPI 8MP CAMERA V2.1, 적외선 카메라는 RPI Infrared CAMERA, 열화상 카메라는 FLIR사의 Lepton 3.5[7] 모델을 사용한다.

영상처리를 위해 Raspberry Pi 3 B+에 OpenCV를 설치하고, 딥러닝을 위해 Tensorflow를 설치한 뒤, 프레임워크로 Caffe를 사용한다. 학습 데이터는 PASCAL VOC DataSet에서 기본적으로 제공하는 데이터를 사용하고, 신경망 가속기인 Movidius Neural Compute Stick[8]을 동작시키기 위해 NCSDK를 설치했으며, 열화상 카메라인 Lepton 3.5를 동작시키기 위해 PyLepton을 설치한다. Python으로 설계한 소프트웨어는 각각의 카메라로 촬영된 영상을 하나의 소프트웨어에서 처리한다. 소프트웨어는 프레임 단위로 영상을 처리하여 감지된 인체를 표시하고, 저장장치에 기록한다.

실험 환경은 표 1과 같다. 모형과 사진은 실험실 내부의 온도와 같아지도록 3시간 이상 실험실에 비치한다. 그 후 일반 카메라와 적외선 카메라, 열화상 카메라로 인체(남성 2명, 여성 2명)와 사진(모델 10개), 모형(관절 인형)을 형광등 조명이 있는 상태(주간)에서 100장씩 3번씩 촬영하고, 형광등을 끄고 조명이 없는 상태(야간)에서 다시 100장씩 3번씩 촬영한다. 사진은 촬영 각도를 변경하여 진행하고, 모형은 자세를 변경하여 진행한다.

일반 및 적외선 그리고 열화상 카메라로 기록한 영상의 프레임에 대하여 딥러닝을 수행한다. 딥러닝 결과의 클래스가 인체에 해당하면 해당 영역을 표시하고, 인체와의 일치율을 퍼센트를 표시한다.

표 2는 일반 카메라를 사용하여 인체를 감지한 결과이다. 주간에는 사람과 사진, 모형이 기록되며 감지 시스템은 98.5%의 확률로 모두 인체로 감지하게 된다. 야간에는 일반 카메라로 기록하기 위한 빛이 부족하므로 영상은 검은색으로 기록되어 아무것도 감지되지 않는다.

	Human	Picture	Model
Day
	95.8%	100%	100%
Night
	0%	0%	0%

표 3은 적외선 카메라를 사용하여 인체를 감지한 결과이다. 주간에는 일반 카메라와 비슷하게 99.7%의 확률로 인체로 감지한 결과를 보였다. 야간에는 적외선 카메라 주위에 있는 적외선 LED를 통하여 발사된 적외선이 반사된 값을 이용하여 제한된 색상의 영상이 기록된다. 야간에도 사람과 사진, 모형이 기록되어 모두 인체로 감지하였지만, 흰색 배경에 흰색 옷을 입고 있는 모형은 인체로 감지하지 못하여 50%의 신뢰도를 보였다.

	Human	Picture	Model
Day
	99.75%	100%	100%
Night
	99.67%	100%	50%

표 4는 열화상 카메라를 사용하여 인체를 감지한 결과이다. 주간과 야간 모두 물체가 발산하는 적외선을 사용하여 대상물체의 온도 분포를 나타내는 영상이 기록된다. 사람은 주변환경과 다른 독립적인 열원이기 때문에 촬영이 되지만 사진과 모형은 독립적인 열원이 아니므로 배경과 유사한 색상을 지닌 채로 기록되었다. 98.9∼99.6%의 확률로 인체를 감지하는 결과를 보였다.

	Human	Picture	model
Day
	99.67%	0%	0%
Night
	98.92%	0%	0%

무압축 동영상의 용량산출 식은 식 (1)과 같다.

여기서 H: 세로 해상도, W: 가로 해상도, C: 표현 색상의 Bit, F: 초당 Frame, B: 용량 단위, T: 저장되는 시간(초)이고, x는 식 (1)을 통해 계산된 동영상의 용량이다. 영상이 기록되는 방식은 인체감지 이벤트가 발생한 시점의 앞과 뒤 각 30초를 기록한다. 저장되는 영상의 해상도는 160×120, 표현 가능한 색상은 24bit, 프레임은 초당 5라고 가정한다.

위 설정을 토대로 계산하여 나타낸 그림 2를 보면 일반 및 적외선 카메라는 인체가 아닌 것도 감지되어서 이벤트가 발생할 때마다 누적되는 용량이 증가한다. 일반 카메라는 적외선 카메라 보다 영상의 용량이 적어 보이지만, 야간에 이벤트가 발생해도 영상이 기록되지 않아서 신뢰성이 낮다. 열화상 카메라의 경우 주·야간 환경에 상관없이 98% 이상의 신뢰도로 인체만을 감지하였다. 열화상 카메라의 저장장치 사용 용량은 일반 카메라보다 33.3%, 적외선 카메라보다 66.6% 적게 누적됨을 확인하였다.

Fig. 2. 
Storage capacity over time

그림 3에 나타냈듯이 16 Giga Byte의 TLC 플래시 메모리의 경우 적외선 카메라는 약 3년마다 교체해야 하지만, 열화상 카메라는 약 10년의 사용이 가능하였다.

Fig. 3. 
Count of writes per year