Journal Archive

최근 노후화된 건물과 복잡하고 급변한 환경으로 인해 화재에 취약한 지역의 안전 관리에 어려움이 있다. 특히나 다세대 주택과 노령인구가 많은 지역에 화재 발생이 해마다 증가하여 인명피해가 발생하고 있다. 이를 해결하기 위해 AIoT(Artificial Intelligence of Thing)[1] 기반 화재 판단을 위한 연구를 진행 중이다. 이전 논문인 화재 예방 감시 시스템의 YOLO를 기반으로 한 실시간 화재 영상 검출에서 화재 데이터 생성을 통하여 YOLOv4에 학습후 AI 디바이스인 NVIDIA Jetson Nano에 YOLOv4를 구축한 뒤에 화염 추론을 하였다.

그림 1과 같이 MAP(Mean Average Precision)는 71.6%, FPS(Frame Per Second)는 1.2로 낮은 성능을 보였다. 또한 화염의 크기가 줄어들수록 추론 정확도는 더욱더 성능이 낮아지는 문제를 보였다[2].

Fig. 1. 
Performance indicators of YOLOv4 obtained by learning fire datasets from previous papers

본 연구는 이러한 문제점들을 해결하기 위해 기존의 시스템에서 전처리 기법을 적용하여 화재 추론 정확도를 개선하였다. 또한, 추론 속도를 개선하기 위해 이전 연구에서 사용된 AI 디바이스인 Jetson Nano에서 그림 2와 같이 Jetson 계열 Xavier NX를 선정하여 개발하였다.

Fig. 2. 
NVIDIA Xavier NX developer kit

NVIDIA Jetson Nano와 Jetson Xavier NX의 하드웨어와 사양을 비교해보면 Xavier NX에는 냉각 장치가 설치되어 있지만 Jetson Nano에는 방열판만 있으므로 실시간으로 화재 영상 검출을 하기 위해 Jetson Nano에서 YOLOv4를 적용하여 화재 추론을 하게 되면 저전력으로 운영하더라도 시간이 지날수록 하드웨어 발열이 높아져 셧다운이 되는 문제가 있다.

또한, Xavier NX에는 48개의 Tensor 코어와 전용 뉴럴 네트워크 가속기가 있어 딥러닝 모델의 FPS 및 추론 성능을 크게 향상시킬수 있다[3].

즉, Jetson Nano에서의 문제를 해결하기 위해Xavier NX를 활용하여 추론 AI 디바이스 개발을 하고 학습된 모델 최적화 도구를 적용하여 AI 디바이스 프로세서용으로 추론 모델 최적화를 한 뒤에 영상 전처리 기법을 적용하여 최적화된 모델 데이터를 로딩하여 실시간 화재 추론 성능을 개선하는 것이 본 연구의 핵심이다.

본 논문의 구성은 다음과 같다. 관련 연구에서는 YOLOv4, K-NN, 데이터 증강, TensorRT 기술들에 대하여 이론을 기술한다. 제안하는 방법에서는 이미지 블랜딩 기법, 전처리 기법, 데이터 증강 기법, TensorRT를 통해 화재를 추론하는 흐름에 대해서 기술한다. 실험방법 및 성능평가에서는 블랜딩 기법 및 전처리 기법을 적용하여 얻은 성능 지표와 영상 내에서 화염, 연기, 불꽃들의 추론 결과에 대해 논한다. 마지막으로 결론에 대해 기술하고 본 연구가 가지는 한계점 및 향후 연구 방안에 대하여 기술한다.

본 연구에서 사용된 화재 데이터셋의 종류는 그림 6과 같이 화염, 연기 그리고 불꽃 데이터셋을 이미지 블랜딩을 통하여 생성 하였다.

Fig. 6. 
Dataset types for fire detection, (a) flame, (b) smoke, (c) spark

이미지 블랜딩을 할 때에 배경 이미지는 검은색을 사용하였다. 특정 배경 이미지 위에 화염, 연기, 불꽃 이미지들을 블랜딩 하게 되면 특정 환경에서는 추론 정확도 성능이 좋으나 환경이 달라지면 추론 정확도가 떨어지기 때문이다.

생성된 데이터셋을 YOLOv4에 학습을 하고 본 연구에서 사용된 화재 추론을 위한 전체 흐름도는 그림 7과 같다.

Fig. 7. 
Proposed process for fire detection

화염 영상, 연기 영상, 불꽃 영상들로부터 들어오는 입력 영상을 K-NN 배경 분리 알고리즘을 적용하여 배경과 전경 분할을 한 뒤에 이진 영상에 기본적인 모폴로지 연산중 하나인 팽창 연산을 통해 잡음을 제거하고, 윤곽선을 검출한 뒤, 면적이 임계값 이상의 화소 위치를 움직임이 있는 화소로 판단하여 좌표 추출을 한 뒤에 관심 영역으로 지정하여 학습된 YOLOv4에 관심 영역 정보를 보내줌으로써 관심 영역에 해당하는 부분만 검출하게 된다.

3.1 Data Augumentation을 적용한 YOLOv4학습

생성된 화재 데이터셋을 데이터 증강 기법을 적용하여 YOLOv4에 학습을 하기 위해 우선 YOLOv4에 있는 데이터 증강 기법인 angle을 30으로 맞추어 이미지를 30도 돌리면서 학습을 하도록 설정한다.

추가적으로 실재 화재 추론 테스트를 하였을 때 화재의 모양과 크기가 다르고 거리가 멀어질수록 추론 정확도가 떨어지는 걸 알수 있었다. 이러한 문제를 개선하기 위해 데이터 증강 기법 중 하나인 데이터셋 크기를 줄이고 늘리는 기법을 적용하여 학습을 진행하였다. 이미지 크기를 줄이면 작은 객체를 검출하는데 추론 정확도가 증가하고 이미지가 늘어나 커지면 큰 이미지에 대한 추론 정확도가 증가한다. 화재 데이터셋 이미지 크기는 416x416이지만 학습을 하는 동안에 352x352, 384x384, 416x416, 508x508, 544x544, 576x576의 크기들로 줄이고 늘리면서 학습을 진행하였다.

두 가지의 데이터 증강 기법을 적용하여 YOLOv4에 화재 데이터셋을 학습을 하였다. 화염, 연기, 불꽃 추론을 위한 작업 흐름은 그림 8과 같다.

Fig. 8. 
Flow for fire inference

3.3 RTSP카메라 / Xaiver NX와 연결

최종 실시간으로 화재 영상 검출을 하기 위해 RTSP 카메라를 포트포워딩을 통해 Xavier NX와 연결을 한다. 그림 9와 같이 화염, 연기, 불꽃들이 RTSP 카메라를 통해 영상이 들어오면 Xavier NX에서 YOLOv4를 통해 추론을 한 뒤에 추론된 결과를 모니터로 전송을 하여 화재 검출 여부를 판단을 한다[11].

Fig. 9. 
Real-time fire detection system

제안하는 방법을 통해 추론 정확도와 추론 FPS의 성능이 크게 향상된 것을 확인하였다. 연기나 불꽃의 테스트는 출력된 이미지를 통하여 실시간으로 추론 테스트를 하였다.

이미지 블랜딩을 통하여 생성된 화재 데이터를 YOLOv4에 학습을 시키기 위한 환경은 CPU는 Intel(R) Xeon(R) CPU @ 2.30GHZ, GPU는 NVIDIA Tesla K80, RAM은 25.51G 그리고 추론을 위하여 사용된 AIoT 디바이스 NVDIA Jetson Xavier NX는 CPU는 6-core NVIDIA Carmel 64-bit ARMv8.2 @ 1400MHz, GPU는 384-core NVIDIA Volta @ 110MHz with 48 Tensor Cores, RAM은 8G의 환경에서 실험을 하였다.

제안된 방법을 통한 화염, 연기 그리고 불꽃 검출 결과의 객관적인 평가를 위해 Eq. (1)의 정확도, Eq. (2)의 정밀도 그리고 Eq. (3)을 통해 에러율을 구하였다[12].

TP(True positive)는 관심 영역 내에서 화재가 존재하는 경우에 YOLOv4에서 올바르게 판단한 횟수, FN(False Negative)은 화재가 존재하지만 YOLOv4에서 화재가 아닌 것으로 잘못 판단한 경우에 해당된다. FP(False Positive)는 화재와 관련이 없는 영상에서 YOLOv4가 화재로 잘못 판단한 경우, TN(True Negative)은 화재가 아닌 것으로 올바르게 판단한 경우이다.

표 1, 표 2, 표 3은 제안하는 방법을 통해 화재 영상으로부터 움직임을 추론하여 화염, 연기, 불꽃의 각 3가지의 비디오 영상을 통해 평균 정확도, 정밀도, 에러율, FPS의 결과를 통해 추론 성능을 확인하였다.

제안하는 방법을 통해 추론 성능 결과를 확인한 결과 화염 영상에서의 화염 정확도 95.94%, 정밀도 90.3%, 에러율 4.06%, FPS 19.45의 결과를 얻었고, 연기 영상에서의 정확도 86.56%, 정밀도 88.7%, 에러율 13.43%, FPS 20.34 그리고 불꽃 영상에서의 불꽃 정확도 92.3%, 정밀도 91.7%, 에러율 11.04%, FPS 21의 결과를 보여주었다. 연기의 경우 화염/불꽃의 비해 상대 적으로 낮은 정확도, 정밀도를 보였다. 본 연구에서는 화염, 연기, 불꽃 3가지의 화재를 검출 가능하므로 초기에 화재 추론이 가능하다는 장점이 있다.

그림 10은 제안하는 방법을 통해 K-NN 배경 분리 후 움직이는 영역을 관심 영역으로 추출하여 해당 영역의 좌표를 학습된 YOLOv4에 정보를 넘겨 화재 여부를 추론한 결과를 나타낸다.

Fig. 10. 
Inferring the region of interest to YOLOv4 after detecting the moving region after separating the K-NN background from the video image

그림 11, 12, 13은 화염, 연기, 불꽃들의 각 비디오 영상 3가지를 제안된 방법으로 화재를 추론하여 얻은 결과이다. 각 비디오 영상들은 실내외에서 촬영된 영상들을 수집한 것이며 화염 영상에서는 라이터 불꽃, 산불, 모닥불 그리고 연기 영상에서는 담배 연기, 화재 연기 마지막으로 불꽃 영상에서는 주로 불꽃 막대에서 나오는 불꽃들에 대한 영상들이다.

Fig. 11. 
Fire inference results from flame video

Fig. 12. 
Smoke inference results from flame video

Fig. 13. 
Spark inference results from flame video

표 4는 YOLOv4에서 Jetson nano와 GPU, Xavier NX와 GPU, TensorRT가 적용된 Xavier NX의 FPS 성능 지표를 비교하여 각각 나타내었다.

본 논문은 이미지 블랜딩 기법을 통하여 신뢰성 높은 화염, 연기, 불꽃 3가지의 화재 데이터셋을 생성하고 데이터 증강 기법을 YOLOv4에 적용을 한 후 학습을 한 뒤에 제안된 방법으로 전처리를 적용하여 화염 정확도 95.94%, 정밀도 90.3% 연기 정확도 86.56%, 정밀도 88.7% 불꽃 정확도 92.3%, 정밀도 91.7%의 결과를 얻었다. 초기 연구에서는 화염과 불꽃에 대한 추론 성능이 뛰어났으나 연기에 대한 추론 성능이 크게 떨어져 제안된 방법을 통해 추론 정확도가 크게 개선되는 결과를 보았다.

검출 속도에서도 학습된 YOLOv4를 화재 추론 AI 디바이스 Xavier NX에 구축을 한 뒤에 TensoRT를 적용하여 추론 속도를 비교해 본 결과 Jetson Nano & GPU는 FPS 1.2, Xavier NX & GPU는 FPS 5.2, Xavoer NX & TensorRT에서는 FPS 20.5의 결과를 얻어 TensorRT를 적용하였을 때 기존의 GPU만을 사용하였을 때 보다 YOLOv4 추론 속도가 크게 개선된 결과를 얻어 실시간 화재 영상 검출에 적합하다는 것을 보여주었다.

향후 이미지 블랜딩을 통해 더 많은 데이터셋을 생성을 하여 학습을 하여 추론 정확도 성능을 높이고 낮은 추론 정확도를 보이는 연기에 대하여 전이 학습과 추가적으로 신뢰성 높은 연기에 대한 데이터셋을 생성하여 학습을 하여 추론 성능을 높이는 연구가 필요할 것으로 보인다.