Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 18, No. 1, pp.35-40
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Jan 2020
Received 07 Oct 2019 Revised 24 Oct 2019 Accepted 27 Oct 2019
DOI: https://doi.org/10.14801/jkiit.2020.18.1.35

열화상을 사용한 인체감지 시스템 신뢰성 향상 연구

양성목* ; 최진규**
*한남대학교 대학원 석사과정
**한남대학교 전기전자공학과 교수(교신저자)
A Study on Improvement of Human Sensing System Reliability Using Thermal Image
Sung-Mok Yang* ; Jin-Kyu Choe**

Correspondence to: Jin-Kyu Choe Dept. of Electronic Engineering, Hannam University, 50 Hannam-ro, Daeduk-gu, Daejeon, 306-791, Korea, Tel.: +82-42-629-7566, Email: jkchoe@hnu.kr

초록

기존의 인체감지를 사용하는 시스템은 사진과 모형을 인체로 감지한다는 문제가 있다. 열화상 이미지를 활용하여 사람과 모형을 감지 대상에서 제외할 수 있다면 시스템의 신뢰성을 향상시켜, 정확성과 안정성이 향상될 것으로 예측된다. 본 논문에서는 열화상 카메라를 사용하여 사진과 모형을 전부 인체로 감지하여 불필요한 데이터로 시스템의 신뢰성을 저하하는 문제를 해결하는 감시 시스템을 제안한다. 일반 카메라와 적외선 카메라, 제안하는 열화상 카메라를 사용한 인체감지 측정 결과의 비교를 통해 열화상 카메라를 사용한 감시 시스템은 다른 카메라보다 약 98%로 신뢰도가 높은 것을 확인하였다. 저장 용량도 적외선 카메라보다 약 66.6% 적게 소요되어 저장장치의 효율성도 증가함을 확인하였다.

Abstract

The existing system using the human body detection has the problem of detecting photographs and models as the human body. It is expected that the accuracy and stability will be improved by improving the reliability of the system if human and model can be excluded from the sensing object by using the thermal image. In this paper, we propose a surveillance system that solves the problem of degrading the reliability of the system with unnecessary data by detecting all the pictures and models with the human body using a thermal imaging camera. By comparing the results of the human body detection measurements using general cameras, infrared cameras and proposed thermal imaging cameras, it was confirmed that the surveillance system using thermal imaging cameras was about 98% reliable than other cameras. The storage capacity also takes about 66.6% less than the infrared camera, which increases the storage efficiency.

Keywords:

thermal image, deep learning, CNN, single shot multiBox detector, human sensing, storage

Ⅰ. 서 론

감시 시스템은 카메라로 촬영된 영상을 기록하여 방범과 감시, 화재 예방 등 안전 문제가 발생하면 관리자가 확인할 수 있도록 하는 시스템이다. 감시 시스템의 일종인 CCTV는 장시간의 영상을 기록을 위하여 용량이 큰 HDD(Hard Disk Drive) 같은 저장장치를 사용해야 했다.

하드웨어와 소프트웨어의 발전으로 고화질이지만 저용량의 영상을 기록하여 저장장치를 효율적으로 사용할 수 있게 되면서 SD(Secure Digital) 카드를 활용하는 차량용 블랙박스가 개발되었다. CCTV는 상시 영상기록이 목적이기 때문에 대용량 저장장치인 HDD가 필요하지만, 차량용 블랙박스는 하루 정도의 주행 영상과 짧은 이벤트 영상을 기록하기 때문에 일반적으로 저용량의 SD 카드를 사용한다. SD 카드는 플래시 메모리라서 HDD보다 수명이 낮지만, 크기가 훨씬 작고 고장이 발생하면 교체가 쉽다. 블랙박스 같은 소형 감시 시스템에서 사용되는 저장장치인 SD 카드의 사용하면 할수록 수명이 감소한다. 수명을 증가시키기 위해서는 필요한 영상만 기록해서 쓰기 횟수를 줄여야 한다[1].

발생하는 사고의 대부분은 사람이 원인이기 때문에 감시 시스템에 인체를 감지하는 센서를 장착하기도 한다. 대표적인 인체감지 센서에는 PIR(Passive Infrated Sensor) 센서가 있다. PIR 센서는 인체를 감지할 수 있지만, 움직임이 없으면 감지되지 않고, 태양 빛 내에도 PIR 센서에서 감지되는 빛이 존재하기 때문에 오작동을 하는 문제가 있다[2].

최근에는 센서에 의한 정보 이외에도 촬영된 영상의 실시간 분석 정보도 사용자에게 알려준다. CCTV의 움직임 감지 같은 이벤트와 블랙박스의 차선이탈경보와 전방추돌경보가 대표적이다. 딥러닝을 통해 인체감지를 학습한다면 낮은 사양의 하드웨어로도 정밀하게 인체를 감지할 수 있다. 초기의 실시간 인체감지에는 일반 카메라를 사용하였지만, 야간에는 빛의 양이 부족하여 감지할 수 없었다. 이러한 문제를 해결하기 위해서 적외선 카메라를 사용하면서 야간에도 인체를 감지할 수 있게 되었다. 일반 및 적외선 카메라의 인체감지는 사람 외에 사람 사진 및 모형도 감지해서 불필요한 영상을 기록하는 문제가 발생한다. 영아 뒤집힘 감지와 같은 인체감지를 통한 위험감지 시스템에서 인체와 유사한 물체를 오인식한 잘못된 경보는 시스템의 오류로 신뢰성의 저하 요인이다.

본 논문에서는 일반 및 적외선 카메라에서 사람과 사람 사진 및 비슷한 모형을 전부 인체로 감지하는 문제를 해결하기 위해서 열화상 카메라를 사용한 감시 시스템을 연구했다. 열화상 카메라는 범위 안의 모든 열 정보를 영상으로 기록한다. 딥러닝을 통하여 실제 인체만 감지된 영상만을 기록할 수 있다면 신뢰성 높은 인체감지 시스템을 구현할 수 있을 것으로 예상한다. 부가적으로 저장장치의 쓰기 횟수가 감소하여 수명을 증가시키고, 저장공간이 확보되어 효율적으로 사용할 수 있을 것이다. 1장은 연구배경과 목적, 2장은 기존 관련 연구, 3장은 제안하는 방법, 4장은 실험 및 결과, 5장에서 결론을 도출하였다.


Ⅱ. 기존 관련 연구

2.1 인체감지 기법

인체감지 기술에는 R-CNN(Region proposals with Convolutional Neural Network)[3], Faster R-CNN[4], YOLO(You Only Look Once)[5], SSD(Single shot multibox detector)[6]가 있다. 본 논문에서 사용될 SSD는 객체 후보영역을 추출하고 클래스를 분류하는 과정을 동시에 하는 단일 신경망 모델이다. SSD는 일반적인 CNN(Convolutional Neural Network)의 VGG(Visual Geometry Group) Network를 사용한다. SSD는 그림 1과 같이 깊이 및 크기가 다른 복수의 특징 맵(Feature Map)을 생성하고, 이미지를 기준으로 얕은 쪽 특징 맵을 사용하여 작은 객체를 감지하고, 깊은 쪽 특징 맵을 사용하여 큰 객체를 감지하게 된다. 생성된 특징 맵은 합성곱 층(Convolution Layer)이 진행됨에 따라 크기가 줄어들게 된다. SSD는 객체 후보영역 추출과 이미지 변형 과정을 제거한 방식을 이용하여 높은 정확성(mAP 74.3%)과 빠른 속도(59 FPS)로 객체를 인식할 수 있다.

Fig. 1.

SSD system structure

2.2 열화상 카메라

열화상 카메라는 물체에서 발산하는 적외선으로부터 감지되는 주파수 반응을 사용하여 전기적인 신호로 변환한 뒤 이를 대상물체의 온도 분포를 나타내는 화상으로 시각화하는 장비이다. 기본적으로 렌즈, 센서, 이미지 구현 부분으로 구성되어 있다. 일반적으로 사용되는 비접촉식 온도계는 한 지점의 온도만 측정하지만, 열화상 카메라의 경우 광범위한 범위의 표면 온도를 비접촉식으로 측정할 수 있다. 또한, 접근이 어려운 지점의 온도 측정 또는 빛이 부족하여 일반 카메라로 촬영이 불가한 환경에서도 영상의 구현이 가능한 장점이 있다. 초기에는 국방 감시장치 등에 사용되고, 센서 및 광학계 기술의 발달로 현재는 산업 및 의료용으로 사용되고 있다.

2.3 저장장치

감시 시스템의 영상은 보통 HDD와 SSD(Solid State Drive), SD 카드 같은 저장장치에 기록된다.

HDD는 모터로 플래터를 회전시키고, 헤드가 데이터를 읽어서 컨트롤러로 보내어 처리하는 구조이다. 수명은 100,000시간 정도이며, 용량에 비해 가격이 저렴하지만, 모터가 있어서 소형화에 한계가 있다. SSD는 병렬로 연결된 플래시 메모리의 데이터를 컨트롤러에서 처리하는 구조이다. 플래시 메모리는 한 개의 셀이 가지는 bit가 증가함에 따라 수명이 감소하며, 많이 쓰이는 TLC의 경우 셀당 쓰기 횟수는 1,000회이다. SD 카드는 플래시 메모리의 데이터를 컨트롤러에서 처리하는 구조이다. 플래시 메모리가 병렬로 연결된 SSD에 비해 짧은 수명을 가지며, 제조 방식이 수명에 큰 영향을 끼친다. 크기가 매우 작고 고장이 발생하면 교체가 쉬워서 소형 시스템에 널리 사용된다.


Ⅲ. 제안하는 방법

본 논문에서는 별도로 열화상으로 학습을 진행하지 않고, PASCAL VOC DataSet에서 기본적으로 제공하는 학습데이터를 사용하여 실험을 진행한다. 일반 및 적외선 카메라, 열화상 카메라를 이용하여 사람과 사진, 모형을 촬영하고 객체 후보영역을 추출하고 클래스를 분류하는 과정을 동시에 하는 단일 신경망 모델인 SSD를 사용하여 인체를 감지하여 기록한다. 먼저 3개의 카메라를 통해 입력되는 영상의 프레임 단위 이미지를 조정하여 훈련된 이미지의 크기와 맞춰준다. 그 후, VGG-16의 마지막 합성곱 층까지 영상의 특징을 추출한다. 추출된 특징 맵을 사용하여 객체의 후보영역 및 해당하는 클래스를 예측한다. 인체로 감지되어 저장된 사진을 확인하여 실제 사람인지와 사진, 모형을 인체로 감지했는지 확인한다. 실험 데이터를 바탕으로 카메라의 종류에 따른 사람을 감지했을 때의 실험 데이터의 크기와 인체감지의 신뢰도를 확인할 수 있다. 인체감지의 신뢰도가 높다면, 시스템의 정확성과 안정성이 향상되고, 부가적으로 오인식으로 인해 사용되었던 불필요한 데이터의 용량이 감소한다.


Ⅳ. 실험 및 결과

4.1 하드웨어 및 소프트웨어 설계

3개의 카메라를 구동하기 위한 시스템은 Cortex-A53 (ARMv8) 64-bit SoC @ 1.4GHz 및 1GB LPDDR2 SDRAM을 탑재하고 있는 Raspberry Pi 3 B+에 영상 기반의 인체감지를 위한 시스템을 구현한다. 시스템의 처리속도 향상을 위하여 USB 형태의 Movidius Neural Compute Stick을 사용하여 신경망 가속기를 추가한다. 실험에 사용한 카메라 모듈 중 일반 카메라는 RPI 8MP CAMERA V2.1, 적외선 카메라는 RPI Infrared CAMERA, 열화상 카메라는 FLIR사의 Lepton 3.5[7] 모델을 사용한다.

영상처리를 위해 Raspberry Pi 3 B+에 OpenCV를 설치하고, 딥러닝을 위해 Tensorflow를 설치한 뒤, 프레임워크로 Caffe를 사용한다. 학습 데이터는 PASCAL VOC DataSet에서 기본적으로 제공하는 데이터를 사용하고, 신경망 가속기인 Movidius Neural Compute Stick[8]을 동작시키기 위해 NCSDK를 설치했으며, 열화상 카메라인 Lepton 3.5를 동작시키기 위해 PyLepton을 설치한다. Python으로 설계한 소프트웨어는 각각의 카메라로 촬영된 영상을 하나의 소프트웨어에서 처리한다. 소프트웨어는 프레임 단위로 영상을 처리하여 감지된 인체를 표시하고, 저장장치에 기록한다.

4.2 실험 환경

실험 환경은 표 1과 같다. 모형과 사진은 실험실 내부의 온도와 같아지도록 3시간 이상 실험실에 비치한다. 그 후 일반 카메라와 적외선 카메라, 열화상 카메라로 인체(남성 2명, 여성 2명)와 사진(모델 10개), 모형(관절 인형)을 형광등 조명이 있는 상태(주간)에서 100장씩 3번씩 촬영하고, 형광등을 끄고 조명이 없는 상태(야간)에서 다시 100장씩 3번씩 촬영한다. 사진은 촬영 각도를 변경하여 진행하고, 모형은 자세를 변경하여 진행한다.

Experiment environment

4.3 인체감지 결과

일반 및 적외선 그리고 열화상 카메라로 기록한 영상의 프레임에 대하여 딥러닝을 수행한다. 딥러닝 결과의 클래스가 인체에 해당하면 해당 영역을 표시하고, 인체와의 일치율을 퍼센트를 표시한다.

표 2는 일반 카메라를 사용하여 인체를 감지한 결과이다. 주간에는 사람과 사진, 모형이 기록되며 감지 시스템은 98.5%의 확률로 모두 인체로 감지하게 된다. 야간에는 일반 카메라로 기록하기 위한 빛이 부족하므로 영상은 검은색으로 기록되어 아무것도 감지되지 않는다.

CCD camera detection result

표 3은 적외선 카메라를 사용하여 인체를 감지한 결과이다. 주간에는 일반 카메라와 비슷하게 99.7%의 확률로 인체로 감지한 결과를 보였다. 야간에는 적외선 카메라 주위에 있는 적외선 LED를 통하여 발사된 적외선이 반사된 값을 이용하여 제한된 색상의 영상이 기록된다. 야간에도 사람과 사진, 모형이 기록되어 모두 인체로 감지하였지만, 흰색 배경에 흰색 옷을 입고 있는 모형은 인체로 감지하지 못하여 50%의 신뢰도를 보였다.

IR camera detection result

표 4는 열화상 카메라를 사용하여 인체를 감지한 결과이다. 주간과 야간 모두 물체가 발산하는 적외선을 사용하여 대상물체의 온도 분포를 나타내는 영상이 기록된다. 사람은 주변환경과 다른 독립적인 열원이기 때문에 촬영이 되지만 사진과 모형은 독립적인 열원이 아니므로 배경과 유사한 색상을 지닌 채로 기록되었다. 98.9∼99.6%의 확률로 인체를 감지하는 결과를 보였다.

Thermal camera detection result

4.4 시간에 따른 저장 용량 비교

무압축 동영상의 용량산출 식은 식 (1)과 같다.

x=H×W×C×FB×T(1) 

여기서 H: 세로 해상도, W: 가로 해상도, C: 표현 색상의 Bit, F: 초당 Frame, B: 용량 단위, T: 저장되는 시간(초)이고, x식 (1)을 통해 계산된 동영상의 용량이다. 영상이 기록되는 방식은 인체감지 이벤트가 발생한 시점의 앞과 뒤 각 30초를 기록한다. 저장되는 영상의 해상도는 160×120, 표현 가능한 색상은 24bit, 프레임은 초당 5라고 가정한다.

위 설정을 토대로 계산하여 나타낸 그림 2를 보면 일반 및 적외선 카메라는 인체가 아닌 것도 감지되어서 이벤트가 발생할 때마다 누적되는 용량이 증가한다. 일반 카메라는 적외선 카메라 보다 영상의 용량이 적어 보이지만, 야간에 이벤트가 발생해도 영상이 기록되지 않아서 신뢰성이 낮다. 열화상 카메라의 경우 주·야간 환경에 상관없이 98% 이상의 신뢰도로 인체만을 감지하였다. 열화상 카메라의 저장장치 사용 용량은 일반 카메라보다 33.3%, 적외선 카메라보다 66.6% 적게 누적됨을 확인하였다.

Fig. 2.

Storage capacity over time

그림 3에 나타냈듯이 16 Giga Byte의 TLC 플래시 메모리의 경우 적외선 카메라는 약 3년마다 교체해야 하지만, 열화상 카메라는 약 10년의 사용이 가능하였다.

Fig. 3.

Count of writes per year


Ⅴ. 결 론

딥러닝이라는 개념의 등장으로 낮은 사양의 하드웨어에서도 딥러닝을 통해 인체감지를 학습하여 정밀하게 인체를 감지할 수 있게 되었다. 하지만 이미지를 기반으로 처리되는 인체감지 시스템에서 사람 이외의 객체가 인체와 유사한 형태를 취하고 있다면 인체로 감지되기도 하는 문제를 지니고 있어서 신뢰성이 떨어진다는 단점이 있다. 오인식으로 인해 기록된 불필요한 데이터는 저장장치의 쓰기 횟수를 증가시켜 수명이 감소하고, 사용할 수 있는 용량이 감소하고, 관리 비용이 증가한다. 본 논문에서 제안하는 방법을 적용하면 인체를 주·야간에 상관없이 약 98% 이상의 신뢰도로 감지하여 시스템의 정확성과 안정성이 향상된다. 부가적으로 같은 시스템에서 저장장치의 사용 용량을 일반 카메라보다 약 33.3%, 적외선 카메라보다 약 66.6% 적게 사용되었다. 이처럼 필요한 영상만 기록하기 때문에 기존의 감시 시스템에서 요구되던 용량보다 적은 용량의 저장장치 사용이 가능해진다. 또한, 저장장치의 쓰기 횟수가 감소하여 적외선 카메라를 사용한 시스템보다 기대수명이 약 3배 증가한다. 결과적으로 감시 시스템의 인체감지 신뢰도가 증가하고, 저장장치의 기대수명이 증가하여 고성능의 소형화 감시 시스템이 될 것으로 기대된다.

Acknowledgments

이 논문은 2019년도 한남대학교 학술연구조성비 지원에 의하여 연구되었음

References

  • Kang-Deog Suh, "Introduction to the Technologies of Flash Memory and its Capacity Growth Process", Journal of the Korean Institute of Information Scientists and Engineers, Vol. 36, No. 6, pp. 56-61, Jun. 2018.
  • Yeon-Woo Jeong, Vo Huynh Noc Bao, Seongwon Cho, and Sun-Tae Cuhng, "Intruder Detection System Based on Pyroelectric Infrared Sensor", In Journal of Korean Institute of Intelligent Systems, Vol. 26, No. 5, pp. 361-367, Oct. 2016. [https://doi.org/10.5391/JKIIS.2016.26.5.361]
  • R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation", The IEEE Conference on Computer Vision and Pattern Recognition, Columbus, Ohio, pp. 580-587, Jun. 2014. [https://doi.org/10.1109/CVPR.2014.81]
  • S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks", Advances in Neural Information Processing Systems 28, pp. 1-9, Dec. 2015.
  • J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You only look once: Unified, real-time object detection", The IEEE Conference on Computer Vision and Pattern Recognition, pp. 779-788, Jun. 2016. [https://doi.org/10.1109/CVPR.2016.91]
  • Wei Liu, et all, "Ssd: Single shot multibox detector", European Conference on Computer Vision, Amsterdam, Netherlands, pp. 21-37, Oct. 2016. [https://doi.org/10.1007/978-3-319-46448-0_2]
  • FLIR LEPTON® Engineering Datasheet, https://groupgets-files.s3.amazonaws.com/lepton/3.5/Lepton Engineering Datasheet Rev200.pdf, . [accessed: Sep. 24, 2019]
  • Intel® Movidius™ Neural Compute Stick, https://software.intel.com/en-us/movidius-ncs, . [accessed: Sep. 2, 2019]
저자소개
양 성 목 (Sung-Mok Yang)

2014년 2월 : 한남대학교 전자공학과(공학사)

2020년 1월 : 한남대학교 전자공학과(석사과정)

관심분야 : 디지털시스템 설계, Embedded System, 컴퓨터 비전, 딥러닝

최 진 규 (Jin-Kyu Choe)

1980년 : 고려대학교 전자공학과(공학사)

1982년 : 고려대학교 전자공학과 공학석사

1987년 : 고려대학교 전자공학과 공학박사

2005년 ~ 2006년 : 미국 University of Arizona 방문 교수

2020년 1월 현재 : 한남대학교 전기전자공학과 교수

관심분야 : 통신망 성능평가, 디지털시스템 설계, Embedded System

Fig. 1.

Fig. 1.
SSD system structure

Fig. 2.

Fig. 2.
Storage capacity over time

Fig. 3.

Fig. 3.
Count of writes per year

Table 1.

Experiment environment

Measured value
Area 3.2 × 8.6m = 27.5m2
Date and time 2019.08.22. 21:00~23:00
Temperature Human Human: 31.6°~32.5°, wall: 29.1°, Ground: 29.4°
Picture Picture: 29.5°, wall: 29.4°, Ground: 29.4°
model model: 30°, wall: 29.8°, Ground: 29.7°

Table 2.

CCD camera detection result

Human Picture Model
Day
95.8% 100% 100%
Night
0% 0% 0%

Table 3.

IR camera detection result

Human Picture Model
Day
99.75% 100% 100%
Night
99.67% 100% 50%

Table 4.

Thermal camera detection result

Human Picture model
Day
99.67% 0% 0%
Night
98.92% 0% 0%