배경 분리를 통한 화재 검출 영역 지정과 밝기 분포에 따른 적응형 색공간 필터링을 이용한 실시간 화재 검출 개선 방법

Ⅰ. 서 론

현재 한국에서는 매년 약 4만 건 이상의 화재 사고가 발생하고 있고 이로 인한 인명, 재산피해 또한 적지 않게 발생하고 있다[1]. 특히 건물 내부에서 최초 발화가 시작되면 화염이 번지면서 순식간에 수직이동하기 때문에 건물화재에 대한 방지책이 필요한 상황이다. 기존의 건물 내부의 화재 감지 방법은 연기 감지, 열 감지 등 보편적인 센서 장치를 이용한 화재 판단 방법이 주를 이루고 있으나 밀폐 공간 내에서 외부 환경의 단순 변화를 이유로 화재를 오감지 하는 경우가 많이 존재한다. 이를 개선하기 위해 건물 내부에 설치된 CCTV 영상과 연동하여 화재를 검출하는 방법들이 제시되었고[2][3], 그 주요 아이디어는 가공철근 내의 일정 화재 영역에 해당하는 범위를 필터링하여 화재를 검출하는 기술이다[4]-[6].

하지만 이 기술은 그림 1과 같이 화재와 유사한 객체를 잘못 탐지하는 경우가 존재하고 이는 화재 검출 영역이 고정된 범위의 색공간으로 지정되어 환경 변화에 따른 화재 검출을 정확히 수행하지 못한다는 단점이 존재한다. 최근에는 화재 영역 검출을 위해 딥러닝을 이용한 방법을 사용하여 조기 화재 검출을 위한 방법이 많이 제시되었으나 다양한 사례의 환경에 적용하기에 모델 학습과 추론 장비에 필요한 비용이 높다는 문제점이 있다.

Fig. 1.

False detection example like similar fire object

본 논문에서는 기존의 전체 화면 영역의 색공간 기반 필터링을 통한 화재 검출 방법을 배경 분리를 통해 화재 의심 영역의 ROI(Region of Interest)를 지정하여 검출속도를 개선하고, 환경변화에 따른 지역의 실시간 Value 채널의 분포에 따른 적응형 Hue 임계값 지정 방법을 통한 색공간 필터링을 기반으로 하는 화재 오감지와 환경 영향을 최소화하는 방법을 제안한다.

또한, 저전력, 저사양 환경에서 동영상 기반 화재 검출 방법을 실험하고, 최종적으로는 카메라 모듈과 연동을 통해 저비용으로 실시간 화재 검출 시스템 구축이 가능한지 여부를 평가한다.

Ⅱ. 관련 연구

영상에서 화재를 검출하기 위해 건물 내부를 확인할 수 있는 일정 거리에 카메라를 설치하고, 이를 기반으로 실시간 화재 영역을 검출한다. 제안하는 방식으로 화재를 검출하기 위해 아래와 같은 방법에 관한 연구가 필요하다.

2.1 배경 분리

일반적인 비디오 감시 시스템에서는 카메라의 위치가 고정되어 있고 이를 토대로 영상에서 움직임이 없는 배경과 변화가 있는 전경으로 분리할 수 있다. 배경 분리는 여러 방면에서 널리 사용되고 있으며 본 논문에서 사용하는 목적은 ROI 영역을 지정하기 위해서 사용한다.

주요 배경 분리 기법은 배경 차분, 가우시안 혼합 모델, 워터 쉐드 등이 존재한다.

2.1.1 배경 차분

배경 차분은 현재 프레임에서 이전의 다른 한 프레임을 뺀 값을 기반으로 큰 변화가 있는 부분을 전경으로 추출하는 방법이다[7].

이는 알고리즘 구현이 간단하고 속도가 빨라 실시간 구현에 용이하지만, 실제 환경에서는 정밀도가 높지 않으며 정확한 객체의 검출 판단이 어렵다. 그림 2는 차분으로 배경을 분리한 결과이다.

Fig. 2.

Result of frame difference background subtraction

2.1.2 가우시안 혼합 모델

가우시안 혼합 모델은 K개의 가우시안 분포 커널을 배경 픽셀에 적용함으로써 배경과 전경을 분리한다. 커널 K값이 3 혹은 5인 가우시안 분포 믹스쳐를 배경 픽셀에 적용하여 배경 제거를 수행한다[8]. 가우시안 혼합 모델은 배경 분리의 정확도가 상당히 높지만, 연산 양이 많아 실시간으로 사용하기에는 제약이 존재한다. 그림 3은 가우시안 혼합모델을 통한 배경 분리 결과이다.

Fig. 3.

Gaussian Mixture Model background subtraction result

2.1.3 워터쉐드 알고리즘

워터쉐드 알고리즘은 그림 4에 표시된 것처럼 영상의 윤곽선에 해당하는 부분을 산등성이로 보고 특징이 없는 균일한 영역을 계곡으로 생각하여 배경 전경 분할을 수행한다.

Fig. 4.

Background subtraction method of watershed algorithm

우선 영상의 그래디언트를 구하고 이 과정을 통해서 질감이 없는 평탄한 지역에 계곡 혹은 웅덩이가 생기게 되고, 영상 내에서 윤곽선이 두드러지는 부분에서 산 또는 산맥이 생기게 된다. 이렇게 만든 그래디언트 영상에서 알고리즘에 의해 설정되는 점들에서 물을 채우기 시작하고 다른 계곡 지점을 만날 때 정지한다. 이때 마커에 의해 영역은 물이 채워지면서 하나의 영역으로 합쳐지게 된다[9].

Ⅲ. 제안하는 방법

본 항목에서 제안하는 바는 그림 5와 같은 과정을 통하여 실시간 화재를 검출하는 방법이다.

Fig. 5.

Proposed fire detection block diagram

실시간 영상이 입력되면 하나는 배경 분리를 수행하여 객체를 배경과 전경으로 나누고, 다른 하나는 색공간 변환을 통해 적응형 임계값을 계산한다.

배경 분리 과정에서는 실시간으로 배경과 전경을 분리할 수 있으면서 정확도 또한 갖추어야 하므로 연산 양이 많은 가우시안 혼합 모델이나 정확도가 낮은 배경 차분 방식을 사용할 수 없다. 본 논문에서는 식 (4)를 통해 변수 X의 커널 분포 추정 방법[13][14]을 통해 배경과 전경을 분리한다.

식 (1), (2), (3)을 통하여 RGB 영상을 HSV로 변환하고, 여기에서 얻어진 Value 채널의 값을 이용하여 색 영역 필터링을 수행한다.

그림 6은 Hue 채널 범위에 따른 색상표이며 화염/불꽃에 해당하는 Hue 채널의 영역은 10-45라고 할 수 있다. 영상에서 화재가 존재하면 화재의 빛으로 인해 전체영역의 밝기가 색상에 영향을 끼치기 때문에 단순히 Hue 채널의 영역을 고정하면 정확한 화재를 검출할 수 없다.

Fig. 6.

Color pallet by Hue range

식 (5), (6)은 영상의 밝기 분포에 따라 Hue 검출 범위 필터를 지정하기 위한 임계값을 얻는 식이다.

Thr_min, Thr_max는 색영역 필터링을 수행할 최소 임계치와 최대 임계치 범위를 지정하는 변수이며, V_ij는 각 픽셀의 밝기 값을 의미한다. w, h는 각각 전체 이미지 프레임의 가로 픽셀과 세로 픽셀 크기를 의미한다.

이 임계값을 배경 분리한 결과에 적용하여 화재 영역에 대한 필터링을 한 후 이를 이진화 이미지로 표시한다. 화재 영역에 해당하는 이진화 이미지를 아래 a-e 순서로 프로세스를 통해 레이블링 처리를 한다.

a. 이진 영상을 기반으로 최초 이미지의 첫 번째 픽셀을 시작으로 하여 현재 레이블로 지정한다.

b. 해당 픽셀이 전경 픽셀이고 아직 레이블 되지 않았다면 현재 레이블로 지정하고 큐에 추가한다.

c. 만약 해당 픽셀이 배경 픽셀이고 이미 레이블로 지정되어있다면 이는 전경 픽셀이고 레이블로 지정되지 않는 픽셀을 찾을 때까지 반복한다.

d. 모든 수행을 종료하면 큐에서 요소를 꺼내고 그 인접성을 보고 연결된 유형에 따라 전경 픽셀로 판단한다. 이미 레이블링 되지 않았다면 현재 레이블을 부여하고 큐에 추가한다. 이 과정을 큐에 저장된 레이블이 없을 때까지 반복한다.

e. 다시 b 과정으로 가서 다음 픽셀에 대해 과정을 수행하고 현재 레이블을 1 증가하는 과정을 한다.

화재 검출 결과를 평가하기 위해 레이블링 된 결과와 원본 영상을 AND 비트 연산을 통해 결과를 병합하고 사전에 정의된 Ground Truth를 통해 화재 검출 정확도를 측정하고 저전력의 낮은 사양 환경에서 화재 검출 수행이 가능한지 알아보기 위해 IV 절에서 제안하는 방법 통해 화재 검출 정확도와 처리 속도를 평가한다.

Ⅳ. 실험 방법 및 결과

본 논문에서는 배경 분리와 밝기 분포에 따른 적응형 임계값 설정을 이용한 실시간 화재 검출 개선 방법을 제안하였다. 실험은 실내, 실외 화재 발생 SD(480p) 샘플 영상 50개를 통해 진행하였다. 제안 방법의 구동 환경은 Odroid XU4 싱글보드, Ubuntu LTS 16.04이고, 실시간 화재 검출을 위해 사용한 카메라는 OV5640 센서 기반 720p@30fps이다.

제안된 방법을 통하여 실험한 결과는 그림 7과 같다. 표 1은 밝기 분포에 따라 적응형 임계값 설정을 적용한 방법과 Hue 채널을 10~45로 고정한 방법에 따라 화재를 검출한 결과를 나타낸 결과이다.

Fig. 7.

Fire detection result using background subtraction

Table 1.

Results of the existing and adaptive threshold application method

표 2는 본 논문에서 제안하는 커널 분산 배경 분리 방법과 기존의 배경 분리기법을 같은 환경에서 샘플 영상 데이터를 통해서 실험하여 배경 분리한 평균 처리 속도를 나타낸 결과이다. 표 3은 배경 분리 방법을 변경하여 적용하였을 때 화재 검출 성공 횟수와 오인식 횟수를 나타낸 결과이다.

Table 2.

Video processing speed according to background subtraction method

Table 3.

Fire detection accuracy according to background subtraction method

제안하는 방법은 특정 Hue 범위에 포함되는 색공간에 대한 필터링이기 때문에 그림 8과 같이 연기만 자욱한 영상의 경우에 화재에 해당하는 영역을 검출하지 못한다. 또한, 그림 9와 같이 화재가 아님에도 색조가 비슷하고 움직임이 존재하는 사례[15]에 대해서 오감지 하는 사례도 존재하였다.

Fig. 8.

Undetected smoke not included in Hue range

Fig. 9.

Non-fire false detection example

표 4는 화염과 연기의 Ground Truth를 나누고 제안한 방법의 화염과 연기를 분리해서 검출한 결과를 나타낸 결과이다.

Table 4.

Results of detecting smoke and fire through the proposed method

샘플 동영상을 기반으로 한 화재 검출뿐 아니라 실제 저전력으로 구동되는 Odroid 환경에서 카메라 모듈을 설치하여 성능을 평가하였다. 그림 10은 카메라 모듈을 통해서 화재검출을 수행한 결과이다.

Fig. 10.

Real-time fire detection results using the camera module

실시간 영상에서 라이터를 켜는 실험을 50회 수행하였고 화재 검출 성공 횟수와 화재가 아닌 영역을 화재로 감지하는 결과를 실험하였다.

식 (7)에서 Rate_F는 오감지율, Detect_T는 화재 검출 성공 횟수, Detect_F는 오감지 검출 횟수를 나타내고, 이를 통해 최종 화재 오감지율을 평가한다. 표 5는 화재 검출 성공 횟수, 오감지 횟수, 오감지율을 나타낸 결과이다.

Table 5.

Fire recognition results in real-time fire detection

표 6은 실시간 카메라의 동영상 처리 속도와 제안 방법의 배경 분리 방법의 평균 처리속도를 비교한 결과이다.

Table 6.

Real-time image processing speed according to background subtraction method

Ⅴ. 결 론

본 논문에서는 배경 분리와 밝기 분포에 따른 적응형 임계값 설정을 통한 실시간 화재 검출 개선 방법을 제안하였다. 제안된 방법은 배경에 해당하는 고정된 객체를 배제하고, 색공간의 밝기 분포를 통해 가변적인 색 영역 필터 임계값을 적용하여 화재 검출 정확도와 화재 검출 속도가 15% 이상 개선되었다. 또한, 저전력, 저사양 환경에서 카메라를 통해 실시간 화재를 검출해본 결과 화재 발생 횟수 전체를 검출하는 결과를 보여주었다.

하지만 제안 방법에서도 화재와 빨간색의 깃발과 같이 화재와 유사한 색 영역을 가지면서 움직임이 존재하는 객체를 부분적으로 인식하는 오류 또한 존재하고 있다. 마찬가지로 표 4와 같이 연기영역 검출에는 취약하고 화재 상황에서 발생하는 화재가 아닌 영역을 화재로 검출하는 문제점도 존재한다.

본 연구의 최종적인 목표는 이러한 예외 상황을 처리하여 완벽한 정확도와 처리속도를 동시에 충족하는 방법을 도출하는 것이다. 이를 기반으로 저전력 저사양 장치에서 영상 기반 화재의 오감지를 상호 보완할 수 있는 화재 감지 센서와 연동[16]하여 화재 검출 장치를 만드는 것이 추후 연구의 목표이다.

Acknowledgments

이 논문은 2017 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.2017R1D1A1B04030870)

References

• National Fire Agency, "Statistical Yearbook of Fire Department 2018", National Fire Agency Information Statistics Office, pp. 85-94, Sep. 2018.
• J. W. Kim and D. H. Baek, "Fire Sensing and Position Tracing Using CCD Camera", Proceeding of The Conference of Korean Institute of Electrical Engineers, Vol. 2009, No. 4, pp. 166-168, 2009.
• H. T. Kim, "Real-time Flame Detection Using Colour and Dynamic Features of Flame Based on FFmpeg", Journal of the Korea Institute of Information and Communication Engineering, Vol. 18, No. 9, pp. 977-982, Sep. 2014. [https://doi.org/10.13067/JKIECS.2014.9.9.977]
• P. Santana and J. Barata, "A Vision-Based System for Early Fire Detection", IEEE International Conference on Systems Man and Cybernetics, Seoul, South Korea, pp. 1-6, Oct. 2012. [https://doi.org/10.1109/ICSMC.2012.6377815]
• T. K. Oh, J. H. Lee and H. S. Kim, "A Study on Vision-based Flame Detection System Using OpenCV", Korean Society of Mechanical Engineers Conference, pp. 35-37, May 2015.
• S. W. Kim, S. Y. Lee and J. W. Park, "Fire Image Processing Using OpenCV", Korea Contents Association Conference, pp. 79-82, May 2015.
• D. Stalin Alex and A. Wahi, "Background subtraction frame difference algorithm for moving object detection and extraction", Journal of Theoretical and Applied Information Technology, Vol. 60, No. 3, pp. 623-628, Feb. 2014.
• C. Stauffer and WEL Grimson, "Adaptive background mixture models for real-time tracking", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Jun. 1999.
• C. Vachier and F. Meyer, "The Viscous Watershed Transform", Journal of Mathematical Imaging and Vision, Vol. 22, No. 2, pp. 251-261, May 2005. [https://doi.org/10.1007/s10851-005-4893-3]
• J. Y. Hong, "Colour Appearance Modelling based on Background Lightness and Colour Stimulus Size in Displays", The Journal of the Institute of Internet, Broadcasting and Communication, Vol. 18, No.4, pp. 43-48, Aug. 2018.
• RGB to HSV Conversion, https://www.rapidtables.com/convert/color/rgb-to-hsv.html, , [accessed: Nov. 9. 2019]
• Swati and G. Dixit, "Improved algorithm for blob detection in document images", IEEE International Conference Confluence the Next Generation Information Technology Summit, Sep. 2014. [https://doi.org/10.1109/CONFLUENCE.2014.6949314]
• Z. Zivkovic and F. Van Der Heijden, "Efficient adaptive density estimation per image pixel for the task of background subtraction", Pattern Recognition Letters, Vol. 27, No. 7, pp. 773-780, May 2006. [https://doi.org/10.1016/j.patrec.2005.11.005]
• T. Trnovszky, P. Sykora and R. Hudec, "Comparison of background subtraction methods on near Infra-Red spectrum video sequences", Procedia Engineering, Vol. 192, pp. 887-892, 2017. [https://doi.org/10.1016/j.proeng.2017.06.153]
• J. Y. Hong, "Correlations between Stereoscopic Perception and Colour Attributes in Graphic Images", The Journal of the Institute of Internet, Broadcasting and Communication, Vol. 19, No.2, pp. 19-24, Apr. 2019.
• S. H. Kim and Y. G. Kim, "A Study on Light Weight Authentication Method of Distributed Cluster-based IoT Devices", The Journal of the Institute of Internet, Broadcasting and Communication, Vol. 19, No. 2, pp. 103-109, Apr. 2019.