열화상을 사용한 인체감지 시스템 신뢰성 향상 연구

Ⅰ. 서 론

감시 시스템은 카메라로 촬영된 영상을 기록하여 방범과 감시, 화재 예방 등 안전 문제가 발생하면 관리자가 확인할 수 있도록 하는 시스템이다. 감시 시스템의 일종인 CCTV는 장시간의 영상을 기록을 위하여 용량이 큰 HDD(Hard Disk Drive) 같은 저장장치를 사용해야 했다.

하드웨어와 소프트웨어의 발전으로 고화질이지만 저용량의 영상을 기록하여 저장장치를 효율적으로 사용할 수 있게 되면서 SD(Secure Digital) 카드를 활용하는 차량용 블랙박스가 개발되었다. CCTV는 상시 영상기록이 목적이기 때문에 대용량 저장장치인 HDD가 필요하지만, 차량용 블랙박스는 하루 정도의 주행 영상과 짧은 이벤트 영상을 기록하기 때문에 일반적으로 저용량의 SD 카드를 사용한다. SD 카드는 플래시 메모리라서 HDD보다 수명이 낮지만, 크기가 훨씬 작고 고장이 발생하면 교체가 쉽다. 블랙박스 같은 소형 감시 시스템에서 사용되는 저장장치인 SD 카드의 사용하면 할수록 수명이 감소한다. 수명을 증가시키기 위해서는 필요한 영상만 기록해서 쓰기 횟수를 줄여야 한다[1].

발생하는 사고의 대부분은 사람이 원인이기 때문에 감시 시스템에 인체를 감지하는 센서를 장착하기도 한다. 대표적인 인체감지 센서에는 PIR(Passive Infrated Sensor) 센서가 있다. PIR 센서는 인체를 감지할 수 있지만, 움직임이 없으면 감지되지 않고, 태양 빛 내에도 PIR 센서에서 감지되는 빛이 존재하기 때문에 오작동을 하는 문제가 있다[2].

최근에는 센서에 의한 정보 이외에도 촬영된 영상의 실시간 분석 정보도 사용자에게 알려준다. CCTV의 움직임 감지 같은 이벤트와 블랙박스의 차선이탈경보와 전방추돌경보가 대표적이다. 딥러닝을 통해 인체감지를 학습한다면 낮은 사양의 하드웨어로도 정밀하게 인체를 감지할 수 있다. 초기의 실시간 인체감지에는 일반 카메라를 사용하였지만, 야간에는 빛의 양이 부족하여 감지할 수 없었다. 이러한 문제를 해결하기 위해서 적외선 카메라를 사용하면서 야간에도 인체를 감지할 수 있게 되었다. 일반 및 적외선 카메라의 인체감지는 사람 외에 사람 사진 및 모형도 감지해서 불필요한 영상을 기록하는 문제가 발생한다. 영아 뒤집힘 감지와 같은 인체감지를 통한 위험감지 시스템에서 인체와 유사한 물체를 오인식한 잘못된 경보는 시스템의 오류로 신뢰성의 저하 요인이다.

본 논문에서는 일반 및 적외선 카메라에서 사람과 사람 사진 및 비슷한 모형을 전부 인체로 감지하는 문제를 해결하기 위해서 열화상 카메라를 사용한 감시 시스템을 연구했다. 열화상 카메라는 범위 안의 모든 열 정보를 영상으로 기록한다. 딥러닝을 통하여 실제 인체만 감지된 영상만을 기록할 수 있다면 신뢰성 높은 인체감지 시스템을 구현할 수 있을 것으로 예상한다. 부가적으로 저장장치의 쓰기 횟수가 감소하여 수명을 증가시키고, 저장공간이 확보되어 효율적으로 사용할 수 있을 것이다. 1장은 연구배경과 목적, 2장은 기존 관련 연구, 3장은 제안하는 방법, 4장은 실험 및 결과, 5장에서 결론을 도출하였다.

Ⅱ. 기존 관련 연구

2.1 인체감지 기법

인체감지 기술에는 R-CNN(Region proposals with Convolutional Neural Network)[3], Faster R-CNN[4], YOLO(You Only Look Once)[5], SSD(Single shot multibox detector)[6]가 있다. 본 논문에서 사용될 SSD는 객체 후보영역을 추출하고 클래스를 분류하는 과정을 동시에 하는 단일 신경망 모델이다. SSD는 일반적인 CNN(Convolutional Neural Network)의 VGG(Visual Geometry Group) Network를 사용한다. SSD는 그림 1과 같이 깊이 및 크기가 다른 복수의 특징 맵(Feature Map)을 생성하고, 이미지를 기준으로 얕은 쪽 특징 맵을 사용하여 작은 객체를 감지하고, 깊은 쪽 특징 맵을 사용하여 큰 객체를 감지하게 된다. 생성된 특징 맵은 합성곱 층(Convolution Layer)이 진행됨에 따라 크기가 줄어들게 된다. SSD는 객체 후보영역 추출과 이미지 변형 과정을 제거한 방식을 이용하여 높은 정확성(mAP 74.3%)과 빠른 속도(59 FPS)로 객체를 인식할 수 있다.

Fig. 1.

SSD system structure

Ⅲ. 제안하는 방법

본 논문에서는 별도로 열화상으로 학습을 진행하지 않고, PASCAL VOC DataSet에서 기본적으로 제공하는 학습데이터를 사용하여 실험을 진행한다. 일반 및 적외선 카메라, 열화상 카메라를 이용하여 사람과 사진, 모형을 촬영하고 객체 후보영역을 추출하고 클래스를 분류하는 과정을 동시에 하는 단일 신경망 모델인 SSD를 사용하여 인체를 감지하여 기록한다. 먼저 3개의 카메라를 통해 입력되는 영상의 프레임 단위 이미지를 조정하여 훈련된 이미지의 크기와 맞춰준다. 그 후, VGG-16의 마지막 합성곱 층까지 영상의 특징을 추출한다. 추출된 특징 맵을 사용하여 객체의 후보영역 및 해당하는 클래스를 예측한다. 인체로 감지되어 저장된 사진을 확인하여 실제 사람인지와 사진, 모형을 인체로 감지했는지 확인한다. 실험 데이터를 바탕으로 카메라의 종류에 따른 사람을 감지했을 때의 실험 데이터의 크기와 인체감지의 신뢰도를 확인할 수 있다. 인체감지의 신뢰도가 높다면, 시스템의 정확성과 안정성이 향상되고, 부가적으로 오인식으로 인해 사용되었던 불필요한 데이터의 용량이 감소한다.

Ⅳ. 실험 및 결과

4.2 실험 환경

실험 환경은 표 1과 같다. 모형과 사진은 실험실 내부의 온도와 같아지도록 3시간 이상 실험실에 비치한다. 그 후 일반 카메라와 적외선 카메라, 열화상 카메라로 인체(남성 2명, 여성 2명)와 사진(모델 10개), 모형(관절 인형)을 형광등 조명이 있는 상태(주간)에서 100장씩 3번씩 촬영하고, 형광등을 끄고 조명이 없는 상태(야간)에서 다시 100장씩 3번씩 촬영한다. 사진은 촬영 각도를 변경하여 진행하고, 모형은 자세를 변경하여 진행한다.

Table 1.

Experiment environment

4.3 인체감지 결과

일반 및 적외선 그리고 열화상 카메라로 기록한 영상의 프레임에 대하여 딥러닝을 수행한다. 딥러닝 결과의 클래스가 인체에 해당하면 해당 영역을 표시하고, 인체와의 일치율을 퍼센트를 표시한다.

표 2는 일반 카메라를 사용하여 인체를 감지한 결과이다. 주간에는 사람과 사진, 모형이 기록되며 감지 시스템은 98.5%의 확률로 모두 인체로 감지하게 된다. 야간에는 일반 카메라로 기록하기 위한 빛이 부족하므로 영상은 검은색으로 기록되어 아무것도 감지되지 않는다.

Table 2.

CCD camera detection result

표 3은 적외선 카메라를 사용하여 인체를 감지한 결과이다. 주간에는 일반 카메라와 비슷하게 99.7%의 확률로 인체로 감지한 결과를 보였다. 야간에는 적외선 카메라 주위에 있는 적외선 LED를 통하여 발사된 적외선이 반사된 값을 이용하여 제한된 색상의 영상이 기록된다. 야간에도 사람과 사진, 모형이 기록되어 모두 인체로 감지하였지만, 흰색 배경에 흰색 옷을 입고 있는 모형은 인체로 감지하지 못하여 50%의 신뢰도를 보였다.

Table 3.

IR camera detection result

표 4는 열화상 카메라를 사용하여 인체를 감지한 결과이다. 주간과 야간 모두 물체가 발산하는 적외선을 사용하여 대상물체의 온도 분포를 나타내는 영상이 기록된다. 사람은 주변환경과 다른 독립적인 열원이기 때문에 촬영이 되지만 사진과 모형은 독립적인 열원이 아니므로 배경과 유사한 색상을 지닌 채로 기록되었다. 98.9∼99.6%의 확률로 인체를 감지하는 결과를 보였다.

Table 4.

Thermal camera detection result

4.4 시간에 따른 저장 용량 비교

무압축 동영상의 용량산출 식은 식 (1)과 같다.

$\[ x=\frac{H\times W\times C\times F}{B}\times T \]$

(1)

여기서 H: 세로 해상도, W: 가로 해상도, C: 표현 색상의 Bit, F: 초당 Frame, B: 용량 단위, T: 저장되는 시간(초)이고, x는 식 (1)을 통해 계산된 동영상의 용량이다. 영상이 기록되는 방식은 인체감지 이벤트가 발생한 시점의 앞과 뒤 각 30초를 기록한다. 저장되는 영상의 해상도는 160×120, 표현 가능한 색상은 24bit, 프레임은 초당 5라고 가정한다.

위 설정을 토대로 계산하여 나타낸 그림 2를 보면 일반 및 적외선 카메라는 인체가 아닌 것도 감지되어서 이벤트가 발생할 때마다 누적되는 용량이 증가한다. 일반 카메라는 적외선 카메라 보다 영상의 용량이 적어 보이지만, 야간에 이벤트가 발생해도 영상이 기록되지 않아서 신뢰성이 낮다. 열화상 카메라의 경우 주·야간 환경에 상관없이 98% 이상의 신뢰도로 인체만을 감지하였다. 열화상 카메라의 저장장치 사용 용량은 일반 카메라보다 33.3%, 적외선 카메라보다 66.6% 적게 누적됨을 확인하였다.

Fig. 2.

Storage capacity over time

그림 3에 나타냈듯이 16 Giga Byte의 TLC 플래시 메모리의 경우 적외선 카메라는 약 3년마다 교체해야 하지만, 열화상 카메라는 약 10년의 사용이 가능하였다.

Fig. 3.

Count of writes per year

Ⅴ. 결 론

딥러닝이라는 개념의 등장으로 낮은 사양의 하드웨어에서도 딥러닝을 통해 인체감지를 학습하여 정밀하게 인체를 감지할 수 있게 되었다. 하지만 이미지를 기반으로 처리되는 인체감지 시스템에서 사람 이외의 객체가 인체와 유사한 형태를 취하고 있다면 인체로 감지되기도 하는 문제를 지니고 있어서 신뢰성이 떨어진다는 단점이 있다. 오인식으로 인해 기록된 불필요한 데이터는 저장장치의 쓰기 횟수를 증가시켜 수명이 감소하고, 사용할 수 있는 용량이 감소하고, 관리 비용이 증가한다. 본 논문에서 제안하는 방법을 적용하면 인체를 주·야간에 상관없이 약 98% 이상의 신뢰도로 감지하여 시스템의 정확성과 안정성이 향상된다. 부가적으로 같은 시스템에서 저장장치의 사용 용량을 일반 카메라보다 약 33.3%, 적외선 카메라보다 약 66.6% 적게 사용되었다. 이처럼 필요한 영상만 기록하기 때문에 기존의 감시 시스템에서 요구되던 용량보다 적은 용량의 저장장치 사용이 가능해진다. 또한, 저장장치의 쓰기 횟수가 감소하여 적외선 카메라를 사용한 시스템보다 기대수명이 약 3배 증가한다. 결과적으로 감시 시스템의 인체감지 신뢰도가 증가하고, 저장장치의 기대수명이 증가하여 고성능의 소형화 감시 시스템이 될 것으로 기대된다.

Acknowledgments

이 논문은 2019년도 한남대학교 학술연구조성비 지원에 의하여 연구되었음

References

• Kang-Deog Suh, "Introduction to the Technologies of Flash Memory and its Capacity Growth Process", Journal of the Korean Institute of Information Scientists and Engineers, Vol. 36, No. 6, pp. 56-61, Jun. 2018.
• Yeon-Woo Jeong, Vo Huynh Noc Bao, Seongwon Cho, and Sun-Tae Cuhng, "Intruder Detection System Based on Pyroelectric Infrared Sensor", In Journal of Korean Institute of Intelligent Systems, Vol. 26, No. 5, pp. 361-367, Oct. 2016. [https://doi.org/10.5391/JKIIS.2016.26.5.361]
• R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation", The IEEE Conference on Computer Vision and Pattern Recognition, Columbus, Ohio, pp. 580-587, Jun. 2014. [https://doi.org/10.1109/CVPR.2014.81]
• S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks", Advances in Neural Information Processing Systems 28, pp. 1-9, Dec. 2015.
• J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You only look once: Unified, real-time object detection", The IEEE Conference on Computer Vision and Pattern Recognition, pp. 779-788, Jun. 2016. [https://doi.org/10.1109/CVPR.2016.91]
• Wei Liu, et all, "Ssd: Single shot multibox detector", European Conference on Computer Vision, Amsterdam, Netherlands, pp. 21-37, Oct. 2016. [https://doi.org/10.1007/978-3-319-46448-0_2]
• FLIR LEPTON® Engineering Datasheet, https://groupgets-files.s3.amazonaws.com/lepton/3.5/Lepton Engineering Datasheet Rev200.pdf, . [accessed: Sep. 24, 2019]
• Intel® Movidius™ Neural Compute Stick, https://software.intel.com/en-us/movidius-ncs, . [accessed: Sep. 2, 2019]