Home

시계열 데이터는 Time series data[4]라고 한다. 글자 그대로 시간의 순서대로 일정한 주기로 측정, 저장된 데이터들을 시계열 데이터라 한다. 시계열 데이터를 가장 많이 활용되는 분야는 데이터를 기반으로 하는 예측 분야이다. 시간의 순서에 따라 저장된 데이터는 과거의 데이터에 영향을 많이 받을 수밖에 없다. 이러한 데이터 변화 패턴을 분석하여 앞으로 어떻게 변할지를 예측하는 것이다. 입력되는 데이터 순서에 준해 약간씩 어긋나는 데이터를 찾을 수 있고 그 어긋난 데이터의 범위가 서서히 커지는 것을 이용하여 언제쯤이면 장애 기준 값에 도달하는지를 예측하여 장애를 검출할 수도 있다. 즉 시계열 데이터는 시간에 따른 변화를 보고 패턴을 분석하여 이후에 어떤 데이터를 얻을 것인지 예측하는 게 가장 중요한 목적이다[5]. 그래서 단순히 과거의 데이터를 이용한 패턴 분석만으로는 다양한 데이터에 대한 예측을 신뢰하기 어렵다. 또한 데이터에서 어떤 값과 어떤 변수를 중심으로 분석하는지가 많은 성능 변화를 보이기 때문이다.

전통적인 딥러닝 모델은 점 예측(Point estimate)을 제공하는 경우가 많지만, 이러한 예측과 관련된 불확실성을 측정하기는 매우 어렵다. 불확실성을 추정하는 가장 보편적 방법의 하나는 BNN으로 예측 분포를 추론하는 것이다. 몬테카를로 드롭아웃은 베이지 규칙의 한 방법이다. 불확실성(Uncertainty)을 구하는 여러 방법 중에서 가장 많이 사용되는 방법이 몬테카를로 방법이다. 몬테카를로 드롭아웃에서는 필요에 따라 각 드롭아웃 층을 활성화한 후 모델을 학습한다. 하지만 기존의 드롭아웃과 달리, 추론 시에도 드롭아웃을 활성화해, 뉴럴 네트워크의 가중치를 샘플링 하는 방식이다. 이를 통해 여러 번의 출력 값을 구한다. 이렇게 나온 출력 값들의 예측 분포를 사후확률에서 샘플링 된 분포의 결과를 보고, 불확실성의 분포를 계산할 수 있다[6].

BNN은 추론 속도가 느리다는 단점 때문에 실용적으로 쓰이기에 많은 제약이 있다. 이를 해결하기 위해 사전에 기억된 예측을 사용해 추론 속도를 향상하는 벡터 양자화 베이지안 딥러닝(VQ-BNN, Vector Quantized Bayesian Neural Network)을 제안하였다[2]. VQ-BNN은 BNN과 달리 관측 데이터에 대해 한 번만 예측을 추론하는 대신, 사전에 기억된 예측을 사용해 추론 속도가 느리다는 단점을 보완하는 방식이다. 이때, 기억된 예측이 얼마만큼의 중요도(Importance)로 결과에 반영될지는 관측(Observed)된 데이터와 기억된(Memorized) 데이터 사이의 유사도를 기반으로 결정된다.

VQ-BNN은 이 과정에서 뉴럴넷을 사용해 예측을 단 한 번만 추론하기 때문에, 효율적으로 결과를 계산할 수 있다. VQ-BNN 추론을 실제로 적용하기 위해서는 어떤 프로토타입을 기억할 것인지, 중요도를 어떻게 정할 것인지 결정해야 한다[7].

실시간 동영상에서 BNN(몬테카를로 드롭아웃)을 활용하기 위해서는 앞서 VQ-BNN 논문처럼 활용해도 되나 비선형성이나 복잡한 종속성이 있는 동영상 모델에서는 사용하기 어려운 단점이 있다[8][9]. 특히 화재와 같이 초 단위로 모양과 형태가 변하는 경우에는 기존 방식을 적용하기에는 어려움이 있어 보인다. 실시간으로 화재 객체를 따라가지 못하거나 다른 객체를 추적하는 오류 가능성이 높아 보인다.

그래서 본 논문에서는 화재의 특징 중 불의 확산 속도와 바람에 따른 움직임 특성을 고려하여 CCTV 동영상에서 실시간 화재 추론이 가능한 방법을 제안한다. 그림 2에는 화재 발생 시 화재의 변화를 2프레임 단위로 잘라 그림으로 표시하였다. 1프레임은 화재의 변화가 적어 2~3프레임 단위로 화재 변화가 많은 부분만을 뽑아 예시 사진으로 활용하였다. 시계열에서 불확실성 분포를 추출하는 방법은 간단하다. 화재를 추론한 예측 결과 정확도가 81% 이상이면 바로 라벨링 처리하며, 화재 예측 결과 정확도가 81% 이하이면, 5프레임의 연속 화재의 불확실성을 추론하고 예측 결과 불확실성이 0.4 이상일 경우에는 생성된 라벨링 판단을 잠시 보류하고 다음 5프레임에서는 불확실성 분포를 추출하여 불확실성이 0.4 이하일 경우에만 라벨링 하는 방식이다.

Fig. 2. 
Real-time fire inference method using time series uncertainty distribution

불확실성 분포를 확인하는 중에도 추론 정확도가 2프레임의 연속 81% 이상이면 확률분포로 라벨링을 진행한다. 다만 계속 프레임별 81% 이하이면 불확실성 분포를 1차에서 먼저 확인하고 불확실성 분포가 0.4 이상이면 2차에 걸쳐 확인 후 최종 라벨링 유무를 결정한다. 표 1에는 시계열에서 불확실성 판단 조건을 표로 나타내었다.

시계열에서 화재 BB 표시는 현재 인식된 화재의 정확도에 따라 BB 표시를 즉시 할 수도 있고 몬테카를로 드롭아웃의 시계열 분포가 확인될 때까지 시간적 최대 0.33초까지 BB 표시를 보류하는 경우가 있을 수 있다. 그리고 이때 시계열에서 한 번에 여러 개의 화재 BB를 추적하여 표시할 경우에는 근접 BB에 대해 표시를 못 하거나 2개의 화재가 통합되어 하나로 표시될 수도 있기 때문이다[10].

본 논문에서는 연속 근사형 IOU 방식을 활용하여 몬테카를로 드롭아웃의 시계열 분포가 계산이 완료될 때까지 화재의 정확도와 IOU를 계산하면서 동일한 화재를 추적하는 방식이다.

추론을 위해 활용한 network는 CNN(Darknet-53)을 사용하였으며 화재 객체 검출은 Yolov4를 사용하였다. 표 3에는 fire test1.mp4 동영상을 사용하여 기존 CNN을 사용하였을 때 객체 검출 추론 속도와 BNN-시계열 방식을 사용하였을 때 객체 검출 추론 속도를 비교하였다.

표 4에는 전체 5분을 확인하기에는 검출 용량이 너무 커 1분대 시간만 측정하였다. 그리고 객체 분류(Classification) 시 사람 라벨링을 제외하고 BNN-시계열 불확실성을 분석하였다. 1차 1~5프레임에서 불확실성이 분포가 작을 경우(40% 이하)에는 참으로 판단하며, 그 이상이면 2차 6~10프레임의 불확실성을 한 번 더 판단하여 불확실성의 분포가 60% 이상이면 최종 거짓으로 판단하였다. 실험 결과에서 알 수 있듯이 BNN-시계열 방식의 불확실성이 높아 판단을 보류한 경우가 전체 7.1%. 정도이다. 그리고 객체 분류 중 spark는 시험 동영상에서 인지가 되지 않아 표시하지 않았다.

표 5에는 기존 CNN(Darknet-53) 방식에서 화재로 오인식한 부분을 BNN-시계열 방식을 사용할 경우 실시간 화재 동영상에서 최종 추론에 영향 미치는 정도를 실험하였다. 그 결과를 시간대별로 나누어 표시하였다. 대부분 화재 오인식은 BNN-시계열 방식으로 개선이 되나 한 부분은 여전히 개선되지 않고 있다. 추론 결과 값이 확률로 존재하는 CNN과는 달리 BNN-시계열은 확률이 분포로써 존재하므로 시계열 이미지마다 매번 결과가 다르게 나온다.

그림 3에는 BNN-시계열 방식을 사용하여 시간대별로 기존 CNN 방식과 비교하여 화재 BB가 개선된 사항을 확대 이미지로 표시하였다. 1:27.52시간에서 기존 CNN 방식은 우측 노란색 방호시설을 화재로 오인식 하나 BNN-시계열 방식은 이 오인식이 개선되었음을 알 수 있다. 나머지 시간대에서도(1:31.01, 2:25.41) 역시 기존 CNN에서는 노란색 방호시설을 화재로 오인식 하나 BNN-시계열 방식은 이 오인식이 개선되었음을 알 수 있다. 하지만 2:49.72시간대에서는 여전히 오인식이 존재하며 개선이 되지 않았다.

Fig. 3. 
Improvements using BNN-time series compared to existing CNN