Home

소방청의 화재통계연감에 따르면 2017년부터 최근 5년간 화재 발생 건수는 2017년 44,178건에서 2021년 36,267건으로 꾸준한 감소 추세에도 불구하고 화재로 인한 재산 피해 금액은 2017년의 50억 6,914만원에 비해 2021년 109억 9,125만원으로 2배 가까이 증가하여 높은 상승 추세를 보여주고 있다[1]. 화재를 조기에 감지하여 피해를 줄이기 위해 탑재되어 있는 화재 감지기는 일반적으로 열 감지기와 연기 감지기로 구성되어있다. 이러한 화재 감지기들은 비화재로 인한 열과 연기에도 반응하므로 높은 오감지율을 보인다. 감지기의 비화재보(자동화재속보설비, 경보 오동작)에 의해 발생하는 서울시 오인출동 현황은 2020년 852건으로 같은 해 서울시 화재 발생 건수인 5,088건과 비교하면 비화재보에 의해 약 17%의 오인출동이 발생 됨을 확인하였다[2][3]. 화재 감지기의 작동 시간 비교실험에서 유염 화재의 발생 이후 연기 감지기는 최소 3분 31초 이후, 열 감지기는 5분 15초 이후에 감지되어 초기 화재진압이 어렵다[4].

본 논문에서는 비화재보와 늦은 검출 속도에 의한 신뢰성이 부족한 문제점을 해결하기 위해 YOLOv7로 화재 영역을 검출하고, 색상 필터를 적용하여 배경을 제거한 불꽃 후보 영역만을 남겼다. 이를 불꽃의 특징을 활용한 불꽃 탐지 알고리즘으로 화재인지 확인하여 조기에 화재를 검출하고 검출 신뢰성을 개선한 시스템을 구현하였다. 본 논문의 구성은 다음과 같다. 2장의 YOLOv7 및 색상 필터를 적용한 화재감지, 3장에서 시스템 구현 방식을 서술하였다. 4장에서 화재 데이터셋과 학습 환경을, 5장에서 화재 및 비화재 검출 결과를 서술하였다.

본 논문에서 제안하는 시스템은 딥러닝 객체 검출을 이용한 빠른 검출 속도와 화재 특성을 이용한 색상 필터 및 불꽃 탐지 알고리즘을 적용하여 검출 정확도를 높여 비화재보를 줄이고자 하였다. 화재 검출 시스템은 추론(Inference)과 보정(Correction)과정으로 구성하였다. 추론 과정은 화재에 대해 학습된 YOLOv7 모델을 사용하여 화재 영역을 검출한다. 이미지 내 화재 영역은 경계 상자(Bounding box)로 나타내며, 각 경계 상자마다 신뢰 점수(Confidence score)를 표기하여 얼마나 신뢰할 수 있는지 나타낸다. 화재 영역 중 신뢰 임곗값(Confidence threshold)이상의 신뢰 점수를 가질 경우에만 화재로 판단한다. 화재로 판단된 전체 이미지에서 화재 영역만을 잘라내어 화재 영역의 중심 좌표와 함께 보정 과정으로 전달한다. 보정 과정은 화재의 특성을 응용하여 추론 과정에서 발생할 수 있는 비화재보를 줄이고자 하였다. 추론 과정의 화재 영역에 색상 필터를 적용하여 불꽃만 나타내었다. 불꽃은 크게 겉불꽃과 속불꽃으로 나누어진다. 일반적인 화재에서 속불꽃에 비하여 겉불꽃은 온도가 낮고 불규칙 적인 움직임을 보인다. 반면 속불꽃은 온도가 매우 높고 매우 밝은 빛을 내는 특성을 보인다. 보정 과정에서는 흐름을 사용하여 겉불꽃의 움직임을 검출하는 겉불꽃 탐지 알고리즘과, 속불꽃의 특성을 고려한 속불꽃 밝기 알고리즘으로 화재 영역을 검토하였다. 광학 흐름은 추론 결과의 연속되는 두 프레임으로부터 광학 흐름을 계산하여 겉불꽃을 검출한다. 광학 흐름은 이미지 크기가 같아야 연산할 수 있다. 두 불꽃 이미지의 크기를 일치시켜 광학 흐름을 계산한다. 이미지 외곽의 광학 흐름으로 움직임이 관찰되었을 시 겉불꽃으로 판단하였다. 속불꽃은 불꽃의 중심부를 지칭하므로 화재 영역의 중심부만 고려하였다. 속불꽃 밝기 알고리즘에서는 중심부의 평균 밝기가 임곗값 이상일 경우 속불꽃으로 판단하였다. 겉불꽃과 속불꽃이 검출될 경우 최종적인 화재로 판단하였다.

3.1 겉불꽃 탐지 알고리즘

광학 흐름의 연산은 Computer Vision 오픈소스 라이브러리인 OpenCV를 사용하였다. 그림 1의 좌측 이미지와 같이 8 픽셀 간격으로 격자를 만들어 광학 흐름의 연산 결과를 저장한다. 겉불꽃의 움직임만을 사용하기 위해 광학 흐름을 사용하였다. 광학 흐름은 물체의 밝기 항상성(Color constancy)과 작은 움직임(Small motion)을 전제로 간접적으로 움직임을 계산하는 방식이다. 그림 1의 우측과 같이 겉불꽃의 경계에 해당하는 격자의 광학 흐름만 평균 내어 임곗값 이상일 경우에 겉불꽃으로 판단한다. 본 논문에서는 식 (4)을 제안하여 기존 광학 흐름의 연산량을 줄인 Gunner Farneback의 광학 흐름을 사용하였다[10].

It1x=xTA1x+b1Tx+c1

(4)

Fig. 1. 
Example of optical flow in a fire image

3.2 HSV 색상 필터 알고리즘

논문 [8]의 모델은 화재 영역의 중심부가 손실되는 문제점이 있다. 본 논문에서는 이를 해결하기 위해 백색 손실을 보완한 화재 색상 범위를 적용하였다.

화재는 일반적으로 노란색 계열부터 붉은색 계열의 색상으로 표현되므로 화재와 관련되지 않은 색상을 제거하여 오경보를 낮추었다. 불꽃의 중심부는 백색을 나타내므로 제거된 부분에서 백색을 표현하는 부분을 다시 추가하여 백색 손실이 발생하는 문제를 해결하였다. 이를 적용한 색상 범위를 그림 2에 흐름도로 나타내었다. 추가로 그림 3에 좌측의 원본 이미지와 우측의 필터 적용 이미지를 나타내었다.

Fig. 2. 
HSV filter algorithm flowchart

Fig. 3. 
Area of the simulated fire based on HSV filter application

3.3 속불꽃 밝기 알고리즘

추론 과정으로부터 전달받은 이미지는 색상 필터를 적용한 결과이다. 색상 필터를 적용하였을 때, 이미지에 필터 경계에 있는 색상이 다수 존재할 경우 그림 4의 좌측과 같이 이미지에 잡음(Noise)이 발생한다. 이 영역을 가우시안 필터를 적용하여 줄인다[11]. 속불꽃의 밝기를 측정하기 위해 이미지를 회색조(Grayscale)로 변환한다. 회색조 이미지의 각 픽셀당 밝기 임계치를 넘기면 백색으로, 나머지를 흑색으로 처리하여 최종적으로 그림 4의 우측의 결과를 얻는다. 속불꽃은 중심부에 있으므로 그림 5와 같이 이미지를 3×3 격자로 나누고 중심 이미지의 백색 픽셀의 개수가 임계치인 절반 이상이면 속불꽃으로 판단한다.

Fig. 4. 
Noise in image and denoising image

Fig. 5. 
Flame inner area brightness algorithm

성능평가는 추론 및 보정 과정을 시험하는 화재 검출 시험과 비화재를 의도적으로 검출시켜 보정 과정만 시험하는 비화재 검출 시험의 두 방법으로 실시하였다. 추론 과정의 결과는 평균 정밀도(mAP)인 mAP@0.5와 mAP@[0.5:0.95]로 나타내었다. 평균 정밀도는 정밀도(Precision)와 재현율(Recall)을 모두 고려하여 신뢰성이 높고 간단히 나타낼 수 있어 평가에 주로 사용되는 방식이다. 보정 과정의 결과는 CNN(ConvNet)의 평가에 사용되는 정확도(Accuracy)로 평가하였다[18][19].

화재 검출 시험은 각각 다른 시험 데이터셋을 사용하여 총 5회 실시하였고 추론 과정은 학습 결과와 동일한 방식으로 측정하였고, 보정 과정에서 화재 검출 발생 시 화재 영역을 그림 6의 우측과 같이 저장하였다. 화재 영역이 저장된 경우 화재(TP)로, 저장되지 않았을 경우 비화재(TF)로 분류하여 식 (5)에 대입하였다. 추론과 보정 과정에 따른 시험결과를 표 2와 표 3에 나타내었다. 그림 7에 각각 추론 과정의 예측과 정답의 예시를, 그림 8에 각 보정 과정의 데이터셋에 따른 시험 결과를 나타내었다.

Fig. 6. 
Fire detection in the inference and correction process

Fig. 7. 
Predictions and answers on Inference test

Fig. 8. 
Results of correction test based on the datasets

추론 과정은 모든 프레임에서 화재가 옳게 검출되었고, 5회의 시험 평균은 mAP@0.5 0.969, mAP@[0.5:0.95] 0.313이다. 보정 과정 정확도의 평균은 0.838이고 30FPS의 영상 기준 초당 약 25프레임의 화재가 검출되었다.

비화재 검출 시험은 화재 검출 시험의 보정 과정과 동일한 방식이나. 그림 9과 같이 추론 과정에서 비화재를 의도적으로 검출시켜 보정 과정을 시험하였다. 시험 데이터셋의 이미지에 있는 화재와 비슷한 색상을 띄는 바스켓을 의도적으로 추론 과정에서 검출시켜 보정 과정에서 화재인지 판단하도록 하였다.

Fig. 9. 
Detecting baskets in inference process

바스켓은 정지된 물체이므로 움직임이 감지되지 않아 모든 시험에서 비화재로 검출되었다. 따라서 평균 정확도는 1.00으로 측정되었다.

추가로 화재 색상을 띄고 움직임이 있는 붉은 깃발을 검출시켜 동일한 방식으로 비화재 검출 시험을 실시하였다.

Fig. 10. 
Detecting flags of inference process

깃발의 비화재 검출 시험결과는 2번 데이터셋과 5번 데이터셋에서 그림 11과 같은 오검출이 발생하였다. 정확도 평균은 0.976으로 30FPS 기준 초당 약 1프레임의 오검출이 발생하였다. 오검출이 발생한 2번째, 5번째 시험의 경우 30FPS 기준 각각 초당 2프레임, 3프레임의 오검출이 발생하였다.

Fig. 11. 
False Positive Examples for Non-Fire Detection Tests

본 논문은 기존 화재 감지기가 가지는 비화재보와 느린 화재 검출 속도를 화재 검출 시스템을 구현하여 해결하고자 하였다. 화재 검출 시스템은 딥러닝 모델인 YOLOv7을 사용한 추론 과정, 색상 필터와 불꽃의 특성을 응용한 보정 과정으로 나누어진다. 추론 과정은 이미지 내 화재 영역을 실시간으로 검출하고 이를 보정 과정에 전달한다. 보정 과정은 HSV 색상 필터와 불꽃의 특징을 활용한 겉불꽃 탐지 알고리즘과 속불꽃 밝기 알고리즘으로 구성하였다. 기존 색상 필터의 백색 손실을 보완한 HSV 색상 필터로 화재 영역의 배경을 제거하여 불꽃 이미지만을 저장한다. 이를 Gunner Farneback 광학 흐름을 이용한 겉불꽃 탐지 알고리즘과 색상 필터에 의한 노이즈를 제거한다. 이미지 중심부의 밝기가 임계치 이상일 경우 속불꽃으로 판단하는 속불꽃 밝기 알고리즘으로 불꽃 후보 영역을 화재인지 판단하여 조기에 화재를 검출하고 검출 신뢰성을 개선한 시스템을 구현하였다. 성능평가는 화재 검출 시험과 비화재 검출 시험의 두 방법으로 다섯 종류의 데이터셋으로 각각 한번씩 실시하였다. 화재 검출 시험은 추론 과정의 경우 mAP@0.5 0.969, mAP@[0.5:0.95] 0.313을, 보정 과정은 평균 정확도 0.838을 나타냈다. 보정 과정의 결과를 FPS로 나타내면 30FPS 기준 초당 약 25프레임의 화재가 검출되었다. 비화재 검출 시험은 바스켓과 움직이는 깃발을 화재로 검출시켜 진행하였다. 바스켓의 경우 움직임이 감지되지 않아 5회 평균 정확도 1의 결과를 보였다. 깃발의 경우 5회 평균 정확도 0.976을 나타냈고 30FPS 기준 초당 약 1프레임을 화재로 검출하는 결과를 보였다. 향후 연구에서는 속불꽃 밝기 알고리즘의 중심 이미지가 겉불꽃과 중복되지 않고 속불꽃을 검출하는 방안과 화재 영상에서 다양한 화재의 특징점을 추출하고 딥러닝과 연계하여 오검출을 줄이기 위한 연구를 지속할 것이다.