Home

VGGNet[8] 모델은 convolution과 MaxPooling layer로 구성된 기본적인 CNN으로 모든 합성곱 layer에서 3 × 3 필터를 사용하고 있으며, 16 또는 19개의 layer로 심화한 특징을 가지고 있다. 그림 1은 VGGNet 모델의 구성도이며, head에서는 모델의 버전, block의 반복 횟수, channel 및 필터의 수 등의 layer 조합을 위한 기초 설정 데이터들을 포함한다. 특히 VGGNet은 3 × 3 크기의 작은 필터만 사용했음에도 초창기 영상 분류 정확도를 개선한 모델이므로 도로 침수 탐지를 위한 성능 비교 분석 모델로 선정하였다.

Fig. 1. 
Block diagram of VGGNet model

ResNet[9] 모델은 VGGNet 모델과 유사한 CNN 구조를 가지지만 특징 맵(Feature map)을 다운샘플링(Downsampling) 할 때 MaxPooling layer를 사용하지 않고 필터 적용 간격(Stride)을 조절하여 다운샘플링 효과를 갖는다. 즉, 과적합(Over-Fitting)을 발생시키는 Gradient Vanishing 문제를 해결하기 위해 스킵 연결(Skip connection) 구조를 사용한다. 또한 그림 2와 같이 CNN 구조에 residual block의 적용은 네트워크가 깊어질수록 gradient vanishing 또는 exploding이 발생하는 문제를 해결하고, 더욱 깊은 네트워크를 구축할 수 있다.

Fig. 2. 
Block diagram of ResNet model

ResNet 모델은 대부분의 딥러닝 모델에서 대표적인 backbone으로 사용되는 기초 모델이므로 도로 침수 탐지를 위한 성능 비교 분석 모델로 ResNet-50과 ResNet-101 모델을 선정하였다.

SqueezeNet[10] 모델은 매우 적은 수의 파라미터를 가진 CNN 모델로서 ImageNet 데이터세트(dataset)에서 AlexNet[11]과 동일한 정확도를 가지며, 용량이 매우 작아 제한된 하드웨어 환경에 적용하기 쉬운 장점이 있다. CCTV 기반 도로 침수 탐지는 실시간으로 정보를 전송해야 하므로 SqueezeNet 모델을 성능 비교 분석 모델로 선정하였다.

SqueezeNext[12] 모델은 SqueezeNet 모델의 정확도를 향상시킨 모델로 경량화를 위해 하나의 필터를 두 개의 작은 필터로 나누는 decompose 기법을 적용하고 있다. SqueezeNext 모델은 기존 SqueezeNet 모델의 단점을 보완한 네트워크이므로 도로 침수 탐지를 위한 성능 비교 분석 모델로 선정하고, 구현된 SqueezeNext 모델의 구성은 그림 3과 같다.

Fig. 3. 
Block diagram of SqueezeNext model

ShuffleNet[13] 모델은 V1과 V2가 제안되었다. ShuffleNet V1은 제한된 하드웨어 환경에서 계산 효율을 위해 point-wise group convolution과 channel shuffle을 적용하여 convolution 모델의 경량화를 실현한 모델이다. 특히 AlexNet[11] 모델의 성능을 유지하면서 13배 이상의 빠른 계산속도를 갖고 있다. ShuffleNet V2는 FLOPS(FLoating point Operations Per Second) 이외에 MAC(Memory Access Cost), GPU/ARM device 등 inference speed에 집중하여 설계되었다. 따라서, 제한된 하드웨어 환경과 inference speed 성능은 다수의 CCTV를 효율적으로 처리 및 실시간 작업에 적용할 수 있으므로 ShuffleNet 모델을 성능 분석 모델로 선정하였다.

Fig. 4. 
Block diagram of ShuffleNet model

EfficientNet[14] 모델은 기존 모델들보다 복잡도를 높여 정확도를 높인 모델로서 channel과 layer의 수, 이미지의 해상도를 변화시켜 성능이 우수한 조합으로 ConvNet 모델을 구성할 수 있다. 또한 EfficientNet 모델은 compound scaling 방법을 제안 및 적용하고 있으며, 오픈소스로 공개되어 있어 기존 모델의 변화를 줄 수 있다. 본 논문에서는 도로 침수 탐지를 위해 가장 가벼운 EfficientNet-B0 모델을 이용하였다.

딥러닝 학습 및 추론을 위한 데이터세트는 소셜미디어와 진주시에서 제공한 CCTV 영상들에서 추출하였으며, 그림 5와 같이 과적합을 방지하고 성능을 높이기 위해 width_shift, height_shift, brightness, vertical_flip, hue, saturation 등의 데이터 증강기법을 활용하였다. 수집 및 데이터 증강기법으로 확보된 데이터세트, 즉 도로가 포함된 영상 5,457개 중에서 침수된 영상과 침수되지 않은 영상은 각각 2,549개와 2,908개로 구성되었으나, 최종 사용자 검증을 통해 딥러닝 학습과 검증에 사용한 영상의 수는 각각 3,857개와 600개로 추출되었다.

Fig. 5. 
Image data augmentation techniques

본 절에서는 도로 침수 탐지를 위한 딥러닝 학습모델들은 Pytorch를 기반으로 구현하였으며, 3장에서 제시하고 선정한 학습모델 8종류에 대해 학습 분류와 검증의 정확도를 기술하였다. 3.6절에서 제시한 EfficientNet 모델은 사용자 기반 모델 변화가 가능하므로 본 연구에서는 feature extraction에서 convolution layer의 역전파를 제한하고 classifier를 추가 작성 후 모델의 마지막 layer에 추가하였다. 도로 침수 탐지를 위한 딥러닝 학습의 분류와 검증 결과는 표 1에 제시하고 있으며, 학습모델별 네트워크 파라미터 수 및 batch size 등을 비교 분석한 결과들을 나타내었다. 표 1에서 최대 batch size와 추론 속도는 동일한 하드웨어 기준으로 학습 데이터 수에 영향을 받지 않으며, 이를 통해 분석가능한 CCTV 채널 수의 추정이 가능하다.

그림 6은 batch size 16으로 120 epoch로 통일시켜 딥러닝 학습 분류 및 검증의 결과이며, 3장에서 제시한 학습모델 중에서 정확도가 높은 ShuffleNet V1과 SqueezeNet 모델의 학습 결과들이다. 표 1에서 보여주듯이 딥러닝 학습과 검증의 정확도는 ShuffleNet V1 모델이 94.6%와 91.2%로 가장 높게 나타났으며, 두 번째로 SqueezeNet 모델이 학습과 검증의 정확도가 높게 분석되었다. 그러나 도로 침수 초기 단계에서 실시간 도로 침수 경보를 위한 주요 항목으로는 표 1에서 제시하고 있는 파라미터의 수, 최대 batch size 및 batch 당 추론 시간이다. 즉, batch 당 추론 시간이 짧고, 분석가능한 CCTV의 개수가 많아야 한다.

Fig. 6. 
Accuracy and loss graphs of learning models with high training and validation results

표 1에서 CCTV 수의 추정은 RTX 2060 SUPER GPU 2ea가 장착된 워크스테이션에서 하나의 CCTV에서 10초에 1번씩 도로 침수 여부를 분석한다고 가정했을 때의 분석 가능한 CCTV 개수이다. 본 연구에서는 도로 침수 탐지를 위한 딥러닝 학습모델로 학습 분류 및 검증 정확도가 높고, 분석가능한 CCTV의 수가 많은 ShuffleNet V1과 SqueezeNet 모델이 적합하다고 분석되었다.