Home

AI 모델 탐지 정확도를 향상하기 위해 배경과 같이 불필요한 영역을 제거한다. 일반적인 AI 모델의 경우 대용량의 학습데이터를 통해 정확도를 향상시키는 것이 일반적이나, 현재 보유 중인 국내 화재 데이터 세트의 개수가 적어 일반적인 방법으로는 진행하는 데 한계가 존재한다. 또한, 학습 케이스가 한정적이므로 장소 및 환경의 변화에 AI 모델의 탐지 정확도가 영향을 많이 받아 탐지 정확도가 낮아질 수 있다. 이러한 문제를 해결하고자, 히스토그램 분석을 통해 AI가 배경 등 불필요한 정보를 학습하고 분석하는 것을 최소화하였다.

그림 2와 같이 영상 픽셀값 분포인 히스토그램을 분석하여 연기 특성과 유사한 부분을 제외한 나머지 부분은 최소화되며, 환경에 따라 이미지 내 히스토그램의 값이 달라지므로 AHE(Adaptive Histogram Equalization), HSV, YCbCr 등을 통해 전처리 된 데이터로 환경변화에도 AI 탐지 성능을 유지할 수 있어 일반화 성능을 향상시킬 수 있다. AHE란 이미지 전처리기법으로 이미지의 contrast를 늘리는 방법이다. Grid를 이용해서 여러 개로 분할하고, 분할된 이미지에 대해서 각각 histogram으로 pixel intensity의 redistribution을 수행한다. 이 과정에서 grid 안의 pixel intensity가 매우 좁은 지역에 몰려있는 경우가 발생하며, AHE는 매우 좁은 지역에 있는 pixel intensity를 넓은 지역으로 퍼트리게 된다. 이때, 이 안에 다른 지역과 매우 작은 차이를 보이는 Noise가 존재하더라도 상당한 크기의 peak을 만들어, 의미 없는 pixel의 값이 크게 변화되는 noise amplification 문제가 발생하게 된다. 이를 위해 그림 3처럼 CLAHE(Contrast Limited Adaptive Histogram Equalization)으로 contrast limit을 두어 Noise amplification을 해결한다.

Fig. 2. 
Detection of a characteristic of smoke()

Fig. 3. 
Contrast limited adaptive

카메라로부터 들어오는 입력 영상은 RGB(Red, Green, Blue) 값으로 주어진다. 입력 영상을 HSV, YCbCr 색상 모델로 변환한 뒤 값을 필터링하여 비 연기영역을 최소화한다. 산불 및 연기 감지와 같이 학습 대상의 데이터양이 적을 경우, 최소한의 데이터로 높은 탐지 정확도 모델을 구축하기 위해 데이터 증강기법을 사용해야 한다.

데이터 증강은 적은 데이터를 증식시켜 추가 데이터 세트를 확보하는 효과를 얻을 수 있으며, 새로운 케이스의 데이터를 생성하는 것과 유사한 효과를 기대할 수 있게 된다. 이러한 이점을 고려하여, 경변화와 유사한 데이터 증강을 수행하기 위해 color shifting, dropout, distortion, 밝기 변화, 자연 현상, 크기 변환 등의 데이터 증강기법을 사용하였다. Distortion이란 그림 4와 같이 이미지를 왜곡시켜 이미지의 패턴을 일부 변화시키는 방법이다. 이미지를 격자 형태로 나누고, grid 포인트를 변화시키는 affine transformation 방법을 적용한다. 이러한 방법으로 distortion 된 이미지는 환경적 요인에 따라 달라지는 연기의 특성을 반영할 수 있게 된다. 이를 통해 적은 수량의 데이터를 학습하더라도, 다양한 특성을 학습해 더욱 정확한 탐지를 수행할 수 있게 된다.

Fig. 4. 
Distortion using affine transformation

Q. X. Zhang 등은 전통적인 영상 기반 산불 연기감지 방법에서 복잡한 수동 특징 추출 프로세스를 피하고자 산불 연기 감지에 faster R-CNN을 적용하였다[10]. Y. Cao 등은 비디오 기반 산불 연기 감지를 위해 ABi-LSTM 방법을 제안하여 산불 연기 인식 정확도를 높였다[11]. F. M. A. Hossain 등은 기존 연구에 화염과 연기 신호 모두의 색상 및 다색 공간 로컬 이진 패턴과 단일 인공 신경망을 사용하여 산불을 감지하는 새로운 방법을 제안하였다[12]. M. Jeong 등은 산불 연기의 공간적, 시간적 특성을 반영하여 산불 연기 감지 성능을 향상시키기 위해 You-Only-Look-Once 감지기와 LSTM(Long Short-Term Memory) 분류기를 조합하여 적용하였다[13]. 산불 및 연기 탐지를 위한 딥러닝 모델(이하 딥러닝 모델) 이미지를 입력받은 후, 추론 과정을 거쳐 그 결과로 이미지 내에서 화재 추정 위치를 출력한다. 딥러닝 모델은 이미지 처리에 특화된 합성 곱 신경망을 사용하며, 이미지 내에서 화재가 발생한 것과 유사한 형상을 탐지하도록 학습된 모델을 사용한다. 불, 연기과 같은 화재 요소를 탐지하며, 이미지에서 화재 요소가 검출되면 화재가 발생한 것으로 인지하게 된다. 딥러닝 모델의 구축과정은 크게 학습, 테스트, 실증(서비스)으로 구성된다. 딥러닝 모델의 학습 과정은 먼저 산불 관련 학습 이미지와 그 안에서 찾고자 하는 객체의 종류와 픽셀 좌표(x, y 값)로 구성된 학습 데이터 세트를 구축하고 구축된 데이터를 통해 모델을 학습시킨다. 테스트 과정에서는 모든 데이터 세트 학습이 끝난 딥러닝 모델은 실증 환경과 유사한 테스트 데이터 세트를 입력하여, 딥러닝 모델이 예측한 픽셀 좌표와 실제 좌표값을 비교하여 오차가 실제 좌표값과 근사하게 예측할 때까지 학습 데이터 세트를 처음부터 다시 학습하는 과정을 반복 수행한다. 이 과정을 통해 딥러닝 모델이 산불을 탐지하는 정확도가 올라가게 된다. 산불탐지 모델은 전처리 데이터 세트를 통해 학습된 모델에 레이어 경량화를 수행해 실시간 다채널 영상분석을 수행할 수 있도록 한다. 산불 탐지 모델의 경우 다중 CCTV로부터 이미지를 입력받은 후 경량화된 딥러닝 레이어를 거쳐 최종적으로 영상분석 결과를 도출한다. 산불 탐지 모델을 최적화하여, 탐지 정확도는 93.41%로 높으며, 탐지 소요시간은 평균 30.143초로 나타났다. 오탐을 최소화하기 위해, 분석환경에 따라 일정 시간 동안 연속해서 연기가 탐지되면, 화재로 인식한다. 데이터 세트의 경우 위치를 달리하여 수집한 화재/연기 영상 3개로 테스트를 수행했다.

기존 산불 연기 인식 관련 연구들 중 [12]는 color+muti-space LBP+Bayes classifier, YOLOv3등을 적용한 방법들과 비교하여 color+muti-space LBP+ANN 기반으로 한 테스트 결과를 나타낸다. 표 1처럼 F1-Score 90%, FPS 19 결과를 도출했다.

본 논문에서는 맑음, 흐림, 비 등 다양한 환경에서 수집된 화재/연기 및 비화재/연기 등 악조건의 데이터를 사용하였으며, 그림 5는 각 환경에 대한 테스트 결과를 나타낸다.

Fig. 5. 
Results of test with similar conditions

표 2에서 TP는 True Positive로 화재로 예측한 것이 실제 화재인 경우를 의미한다. TN은 true negative로 비화재로 예측한 것이 사실인 경우이다. FP는 False Positive이며, 화재로 예측했지만 실제로는 비화재인 경우를 의미한다. FN은 false negative이며, 경우 비화재로 예측했지만 실제로 화재가 발생한 것을 의미한다. 정확도는 화재 탐지 모델이 예측한 결과와 실제가 일치한 것에 전체 검출된 것을 나누어 도출했다.

본 논문에서는 표 3처럼 산불 연기 감지 정확도(F1-Score) 90% 및 감지속도(FPS, Frames Per Second) 25결과를 도출하였다. 기존 연구들에 비해 정확도는 유사한 결과를 도출하였지만 Trade-Off인 감지속도를 함께 개선(25fps) 한 부분이 중요한 연구 성과이다.

AI 기반 실시간 다채널 산불감시를 위해 본 논문에서는 GPU 기반의 추론 가속기인 TensorRT를 이용한다. 이를 통해 다채널 CCTV로부터 실시간 영상처리 및 분석 가능하다. 높은 수준의 C++ API와 고성능 런타임(High performance runtime)을 통해 GPU 가속 transcoding과 딥러닝 추론 기능을 빠르게 통합하여 반응이 빠른 AI 기반 서비스를 제공한다. 이로써 처리량(Throughput) 및 반응 시간(Latency)이 보장된다.

그림 6은 데이터 수신부의 상세 동작 과정을 나타낸다. 다중센서로부터 영상 데이터를 수신하기 위해 멀티미디어 프레임워크인 gstreamer를 사용한다. 다중영상을 고속으로 처리하기 위해 Nvidia사의 gstreamer plugin을 활용하여 별도의 전처리부를 둔다. Gst-nvstreammux 플러그인은 여러 입력 소스에서 프레임 배치를 형성한다. Batch-size는 gst 객체 속성을 사용하여 지정되며 muxer는 배치 크기 프레임의 배치 버퍼를 생성한다. 만약 소스의 해상도가 동일하지 않으면 muxer는 프레임을 입력에서 일괄 처리된 버퍼로 확장한 다음 입력 버퍼를 업스트림 구성 요소로 반환한다. 배치가 정해진 수량에 도달하거나 배치 생성 제한시간을 초과한다면 muxer가 배치를 다운스트림으로 보내게 된다.

Fig. 6. 
Operational process of receiving data

영상분석부는 객체를 탐지하고 기능을 수행한다. 영상분석부는 객체 탐지 및 분석 플러그인과 탐지된 객체 ID 및 바운딩박스 표현 플러그인으로 구성된다. 객체 탐지 및 분석 플러그인은 분석 시 사용할 모델과 방법을 정의한다. 기 학습된 모델을 TensorRT로 변환하여, 파라미터에 맞는 엔진 생성을 통해 Gstreamer 기반 플러그인에 연계하여 파이프라인을 구축한다.

출력부는 소스 분석결과를 시각적인 결과물로 출력하는 기능을 수행한다. 출력부는 탐지된 객체 ID 및 바운딩박스 표현 플러그인, 영상 데이터 처리 후 출력화면 플러그인 및 데이터 분석결과 처리 방법 플러그인 3가지로 구성된다. 탐지된 객체 ID 및 바운딩박스 표현 플러그인을 통해 탐지된 객체정보를 표시 방법을 설정할 수 있다. 표시되는 정보는 탐지된 객체의 클래스명, 트래킹 아이디이다. 폰트 종류, 폰트 크기 및 폰트 색상 등을 설정할 수 있다. 영상 데이터 처리 후 출력화면 플러그인은 영상분석 후 결과를 출력하는 형식을 정의한다. 한 화면에 출력할 비디오 크기, 해상도 및 배치를 정의한다. rows 및 columns를 통해 한 화면에 비디오를 가로, 세로에 몇 개씩 배치할지 설정할 수 있다. 데이터 분석결과 처리 방법 플러그인은 영상 출력방식을 정의한다. 결과를 실시간 스트리밍으로 볼 수 있도록 RTSP 형식의 기능을 제공하거나 비디오로 저장하는 등의 출력방식을 설정할 수 있다.

다중 채널 영상분석의 경우 50개의 CCTV로부터 HD 해상도의 영상을 수신하는 것을 가정했다. 수행환경은 v100 GPU가 1개 장착된 서버에서 수행되었으며, 그림 7은 실제 100개 이상의 CCTV가 설치된 실증환경에서 실시간으로 50채널 영상분석 수행된 결과를 보여준다.

Fig. 7. 
Analysis of video image for 50 channels

산불은 골든타임 이후 진화가 어려우므로 화재를 초기에 탐지해 신속히 대응해야 한다. 산불감시 CCTV를 통해 화재를 조기에 탐지한 뒤, 화재 발생 위치를 빠르게 파악하여, 진화까지 소요시간을 최소화해야 한다. 이를 위해 본 시스템에는 CCTV 프리셋 정보 연계를 통한 영상 내 연기감지 영역에 대한 실제 위치 추정 방법을 사용한다.

위치 추정을 위한 방법은 산불 감시부가 검출모델을 통해 영상장치가 촬영한 감시 영상에서 산불징후 객체를 경계 상자를 통해 검출하면, 감시 영상을 촬영한 영상장치에 대한 제어 파라미터 및 경계 상자의 중심점의 픽셀 좌표를 제공하고, 위치 추정부가 제어 파라미터를 매개로 저장부로부터 기 저장된 산불 발생 가능 지형의 복수 특징점의 픽셀 좌표 및 GPS 좌표를 추출한다. 위치 추정부가 복수의 특징점 중 3개의 특징점을 선택하고, 선택된 3개의 특징점의 픽셀 좌표 및 GPS 좌표를 이용하여 중심점의 픽셀 좌표를 화재 영역의 GPS 좌표로 도출한다.

위치 추정부는 그림 8과 같이 3개의 특징점(A, B, C)을 선택한 후, 특징점들이 이루는 외부 삼각형(ABC) 넓이를 산출한다. 그런 다음, 위치 추정부는 3개의 특징점(A, B, C)과 경계 상자의 중심점(P)을 조합하여 3개의 내부 삼각형(ABP, BCP, CAP)을 형성한다. 최종적으로 위치 추정부는 3개의 내부 삼각형(ABP, BCP, CAP) 각각의 넓이를 산출한다.

Fig. 8. 
Triangles(u, w, v) for location estimation

여기서, Area는 외부 삼각형의 넓이 혹은 3개의 내부 삼각형 각각의 넓이고, x 및 y는 특징점 혹은 경계 상자의 중심점의 픽셀 좌표, i는 특징점 혹은 경계 상자의 중심점의 인덱스, n은 픽셀 좌표 개수다. 중심점의 GPS 좌표를 화재 영역의 GPS 좌표로 도출하는 단계는 위치 추정부가 3개의 특징점 중 어느 하나를 기준 특징점으로 선택하고, 나머지 2개의 특징점을 보조 특징점으로 선택하면, 위치 추정부가 경계 상자의 중심점의 GPS 좌표를 도출한다.

화재 탐지 지점의 GPS 위치값 추정은 실제 CCTV 환경에서 테스트를 수행한다. 그림 9와 같이 이미지상 임의의 점 3개를 지정한 뒤, 픽셀 X, Y값과 실제 장소에 매칭되는 GPS 값 구한다. 그 뒤 임의의 점 3개로 구성된 삼각형 안의 임의의 화재 탐지 지점 픽셀 1개를 선택한다.

Fig. 9. 
Location in detection of fire

픽셀 선택 후, 화재 탐지 지점 GPS 위치값 추정 방법을 통해 임의의 화재 탐지 지점 픽셀에 매칭되는 GPS 값을 도출할 수 있다. 실제 서비스 적용 시엔 PTZ 제어 및 축과 같은 상태값을 통해 CCTV가 동적으로 움직이는 환경에 적용할 수 있도록 한다. 기설정된 CCTV 위치로 PTZ를 이동하며, 기설정된 CCTV 위치에서 보이는 화각에서 화재가 발생할 장소를 사전에 선정한다. 선정된 장소에서 3개 이상의 픽셀 포인트를 선택하고, 픽셀 포인트 좌표와 실제 GPS 좌표가 매칭되는 정보를 DB에 저장한다. 다음 그림 10은 위치 추정과정에 대한 일부를 나타내는 그림이다.

Fig. 10. 
Process of location estimation

이후 화재 탐지 시 현재 CCTV 상태값에 해당하는 픽셀 포인트를 DB로부터 받아와 화재 탐지 지점 GPS 위치값 추정 방법으로 산불 발생이 예상되는 지점의 GPS를 구한 뒤, 관리자에게 위치를 포함하는 알림을 전송한다.

다양한 환경에서 발생하는 초기 산불 및 연기 감지를 위한 데이터 세트 수집을 위해, 연무기를 활용한 실제 데이터, 일반 배경에 대해 영상처리 기반 연기객체를 합성하여 데이터 세트를 구축한다. 그 결과, AI 산불감지 시스템의 초기 산불탐지 속도 및 정확도가 향상된다. 해당 데이터에 대해 이미지 크기도 함께 조정하여 단거리 및 장거리 연기 특성을 함께 학습할 수 있도록 1920*1080 크기의 이미지에 다수의 이미지로 구성하는 방법을 사용한다. 그림 11은 1920*1080에 이미지 1장에서 36장까지 삽입하여 구성된 결과이며, 이러한 방법을 통해 학습데이터 세트에 있는 연기 특성에 편향되지 않도록 하여, 환경이 달라져도 탐지 성능 저하를 최소화할 수 있게 한다. 해당 데이터 세트는 최종적으로 라벨링 툴을 통해 이미지에 대한 연기영역 좌표를 지정하여 학습데이터 세트를 구축하였다.

Fig. 11. 
Building fire datasets

M. JoaoSousa 등은 데이터 한계를 극복하기 위해 10배 교차 검증 방식으로 테스트 된 데이터 증대 기술과 결합 된 전이학습 접근 방식을 제안하였다[14]. J. Ryu 등은 화염, 연기뿐만 아니라 기존 방법으로 영상 내에서 객체검출의 어려움이 있는 연무 형태의 실내 연기 형성 여부 또한 검출할 수 있도록 연무 데이터 세트를 추가하여 학습을 진행하였다[15]. J. Kim 등은 딥러닝을 활용하여 연기추출을 고도화하는 것이 그 목적이며, 그 과정에서 데이터 세트의 부족에 따른 연기추출의 한계점을 구름을 활용한 전이학습으로 해결했다. 전이학습의 효율성 확인을 위해 본 연구에서는 Landsat-8 위성영상을 기반으로 연기추출 학습용 데이터 세트를 소규모로 제작한 후, 공공 구름 데이터 세트를 활용하여 전이학습을 적용하기 전과 후의 연기추출 성능을 비교하였다[16]. 산불 및 연기감지와 같이 학습대상의 데이터양이 적을 경우, 최소한의 데이터로 높은 탐지 정확도 모델을 구축하기 위해 데이터 증강기법을 사용해야 한다.

데이터 증강은 적은 데이터를 증식시켜 추가 데이터 세트를 확보하는 효과를 얻을 수 있으며, 새로운 케이스의 데이터를 생성하는 것과 유사한 효과를 기대할 수 있게 된다. 이러한 이점을 고려하여, 본 논문에서는 환경변화와 유사한 데이터 증강을 수행하기 위하여 color shifting, dropout, distortion, 밝기 변화, 자연 현상, 크기 변환 등의 데이터 증강기법을 사용한다. 다음의 그림 12는 기존 데이터 세트에 데이터 증강 기법을 적용한 결과를 나타낸다.

Fig. 12. 
Building datasets with data augmentation

시스템 사용자 인터페이스는 효율적인 접근성을 위하여, web 기반으로 시스템을 구현한다. 웹 기반 개발의 경우, 자바스크립트의 프레임워크인 Vue.js 를 활용한다. Vue 프레임워크는 표준 HTML, CSS 및 Javascript를 기반으로 구축되며, 복잡도가 높은 웹 기능의 사용자 인터페이스를 효율적으로 개발할 수 있는 컴포넌트 기반 프로그래밍 모델을 제공한다. 웹은 기본적으로 클라이언트에서 서버로 가는 단 방향성이지만, 서버에서 클라이언트로 알림을 보내 줘야 하는 요구사항 대응을 위해 여러 가지 기법이 생겨났다. 크게 Ajax(Polling, long polling, streaming), WebSocket, Socket.IO 으로 구분 된다. Ajax-Polling 기법은 가장 기본적인 기법으로, 클라이언트가 서버에 주기적으로 요청을 보내는 기법이다. Ajax-Long Polling 기법은 클라이언트가 HTTP request를 보낸 뒤, 일정 시간동안 응답을 대기한다. 서버에서 클라이언트로 보내는 메시지가 있으면 HTTP response로 내용을 담아서 보내고, 일정 시간이 지난 후에도 보낼 메시지가 없으면 HTTP 연결을 끊는다. 실시간 채팅과 같이 전송되는 메시지가 많은 경우에는 적절하지 않다.

Ajax-Streaming 기법은 클라이언트가 서버로 연결을 맺은 후에, 그 연결을 통해서 서버가 이벤트를 보내는 방식이다. 한번 연결되면 계속해서 그 연결을 통해 이벤트 메시지를 보내는 방식으로 재연결에 대한 부하가 없다. 그러나 연결을 계속 유지 시켜야 하므로 보안성, 효율성 둘 다 좋지 않다.

Ajax 기법은 각 브라우저 마다 구현방식이 상이하다는 단점이 있다. 이와 같은 문제점을 해결하기 위해 나온 표준이 WebSocket이다. 다만 WebSocket 은 예전 브라우저는 지원하지 않는다는 단점이 존재한다. 본 논문에서 사용하는 Socket.IO는 WebSocket이 가진 단점을 보완한 실시간 웹 어플리케이션을 위한 이벤트 기반 라이브러리이다. 개발자는 Socket.IO로 개발을 하고 클라이언트로 메시지를 보내기만 하면, WebSocket을 지원하지 않는 브라우저의 경우, 브라우저 모델과 버전에 따라서 다양한 방법으로 메시지를 보내준다. 즉, WebSocket을 지원하지 않는 어느 브라우저라도 메시지를 일관된 모듈로 보낼 수 있다. 백엔드(딥러닝 처리 서버)와 브라우저 간의 실시간 양방향 통신을 지원하며, 해당 라이브러리는 서버 사이드와 클라이언트 사이드로 구분된다.

기본적인 출력은 연기 및 화재이벤트만 감지하여 출력되나, 딥러닝 모델에서 분석되는 모든 이벤트(안개, 빛, 구름 ‘등)를 확인할 수 있는 출력 기능을 구성하였으며, 다음 그림 13은 모든 이벤트 감지영역을 출력하는 결과이다.

Fig. 13. 
Detection of smoke in dashboard

적응형 웹은 그림 14와 같이 기본적으로 서버에서 클라이언트의 정보를 미리 받아 해당 조건별로 정해진 화면을 보여주는 형태이다. Vuetify 기반 그리드 구조를 활용하여, 너비 사이즈 별 small, middle, large의 세 단계로 구분하여 단계별로 렌더링 될 수 있도록 구성한다.

Fig. 14. 
Dashboard for mobile

산불 및 연기 탐지 시스템에 대한 사용자 편의를 위해 PC 기반의 디자인과 통일된 모바일 기반 레이아웃을 구성하여 적용하였다. 기능의 경우, PC 기반과 동일하며, 영상 출력은 모바일 기반 출력에 맞도록 조정하여 리소스 낭비를 최소화하도록 설계하였다.

M. J. Kim등은 긴급재난문자 서비스를 활용한 재난정보 전달 애플리케이션을 제안하였다[17]. 산불은 최초 발화지점에서 100m 이내로 산불이 확산하는 것을 막아야 한다. 이에 산불감시 CCTV를 통해 화재를 조기에 탐지한 뒤, 화재 발생 위치를 빠르게 파악하여, 진화까지 소요시간을 최소화해야 한다. 이를 위해 화재 탐지 시 SMS를 통해 위치 정보 및 화재 발생 시간을 관리자에게 전송한다. 이를 위해 SENS(Simple & Easy Notification Service)를 이용해 다양한 메시지 알람을 전송하게 된다. SENS는 별도의 메시지 서버 구축 없이, 웹 콘솔 및 HTTP API를 통해 문자 메시지 및 모바일 푸시 메시지 등을 보낼 수 있다. 화재가 검출된 시간, 장소 정보가 포함된 문자를 그림 15처럼 관리자에게 전송하며, 전송 소요시간은 산불/연기가 탐지된 이후 6.82초 안으로 화재 알림 메시지가 수신된다.

Fig. 15. 
Send text message for a fire

연기 또는 화재 발생 시, 실시간으로 화면상에 알림을 출력하도록 구현한다. 이벤트가 발생한 화면을 확대 출력하는 방법, 다채널 모니터링 화면에서 해당 화면으로 확대하여 출력되도록 구현한다. 해당 이벤트는 딥러닝 분석 정확도 사용자가 설정한 임계값 이상으로 판단될 경우 실행된다. 그림 16은 웹 기반 알람 출력 결과이다.

Fig. 16. 
Alarm service based web