Home

VGG 네트워크는 구조적으로 간단하게 구성되어 있으면서도 좋은 성능을 가진 CNN 구조이다. 이해하기 쉽고 변형이 쉬워 현재 대부분 CNN 기반 연구들의 기본 구조로 사용되고 있다. 기본적인 CNN 구조와 같이 합성곱 계층(Convolution layer), 풀링 계층(Pooling Layer), 그리고 전결합 계층(Fully Connected Layer)으로 구성되어 있다. 구조에 사용된 합성곱 필터의 크기는 모두 3x3의 크기로 고정되어 있어 타 구조들에 비해 간단하게 구현할 수 있다. 합성곱 계층의 개수에 따라 여러 종류가 있는데 주로 사용되는 구조는 총 16개의 층을 가진 VGG-16과 19개의 층을 가진 VGG-19이다. 그림 1은 VGG-16의 구조를 나타낸 그림이다.

Fig. 1. 
Structure of VGG-16

그림과 같이 총 5개의 합성곱 구역(Convolution block)이 있고 각 구역은 2~3개의 합성곱 계층과와 1개의 최대 풀링 계층(Max Pooling Layer)으로 구성되어 있다. 총 13개의 합성곱 계층을 거쳐 추출된 특징 맵을 평탄한 계층(Flatten Layer)에서 1차원 벡터 형태로 변환하고 이후 2개의 전결합 계층을 거쳐 학습과 분류를 수행한다.

SSD는 한 번의 네트워크 진행으로 다중 객체를 검출할 수 있는 검출기이다. 기존에 있던 R-CNN 방법의 경우 RPN(Region Proposal Network)이라고 불리는 객체 후보 영역을 추출하기 위한 네트워크와 CNN 기반의 객체 분류를 위한 네트워크를 따로 설계하여 검출이 2단계에 걸쳐 이루어진다. 때문에 성능은 뛰어났으나 속도가 다소 느린 단점이 있었다. SSD는 2단계의 검출 과정을 1번의 네트워크로 줄여 성능 대비 속도를 크게 개선하였다[9][11].

SSD에서는 기반 네트워크로 VGG 네트워크를 사용하였으며 기반 네트워크 뒤에 특징 계층이라 불리는 여러 크기의 특징 맵들을 이용하여 각각 다른 크기의 객체들을 검출한다. 그림 2는 SSD의 객체 검출 과정을 나타낸 그림이다.

Fig. 2. 
Object detection process of SSD

그림과 같이 VGG 네트워크의 마지막 합성곱 계층인 Conv 5_3 layer를 거친 38x38 크기의 최종 특징 맵에 여러 크기의 특징 계층들을 적용하여 객체를 검출한다. 특징 계층의 특징 맵들은 미리 정해진 크기의 셀(Cell)로 분할되어 있고 각 셀에는 k개의 정해진 개수의 경계 박스들이 있다. 이 경계 박스들은 다양한 모양과 비율을 가지고 있다. 한 칸의 셀에서 k개의 경계 박스를 생성하고 각 경계박스 마다 객체의 존재 유무와 객체의 종류를 분류한다. 그 후 NMS(Non-Maximum Suppression) 알고리즘을 통해 가장 객체에 가까운 하나의 경계 박스를 제외하고 모두 제거되면서 검출이 이루어진다. 그림 3은 특징 계층의 경계 박스 검출의 예를 나타낸다.

Fig. 3. 
Detection bounding box of feature layer

그림 3과 같이 8x8 크기의 셀을 가진 특징 맵에서는 비교적 작은 객체를 검출하고 4x4 크기의 셀을 가진 특징 맵에서는 큰 객체를 검출하는 것을 알 수 있다[11].

Hu의 불변 모멘트는 객체의 모양을 특징으로 사용하는 방법 중 하나로 영상 내 객체의 전체 픽셀값과 위치값을 이용해 고유한 값을 획득해 다른 객체들과 구별할 수 있다. 따라서 불변 모멘트 특징은 영상의 회전, 이동, 크기변화 등 각종 변화에 불변한 특징 값을 표현할 수 있다.

x축과 y축을 가진 2차원 영상을 함수 f(x,y)로 나타낼 때 영상의 기하학적 모멘트는 식 (1)과 같이 정의된다. (p+q)를 모멘트의 차수라고 부르며 M, N은 픽셀의 가로축과 세로축의 크기이다. 기하학적 모멘트는 영상의 이동 변환 시 그 값이 변하는 단점이 있다. 따라서 식 (2)와 같이 영상의 무게 중심을 고려하여 계산한 중심 모멘트를 사용한다. Hu는 모멘트 차수가 3차 이하인 중심 모멘트 값들을 조합하여 식 (3)과 같이 크기에 불변한 특성을 기반으로 한 총 7개의 불변 모멘트 특징을 만들었다.

이는 크기를 정규화한 중심 모멘트의 비선형 조합들로 구성되어 있으며 영상의 회전, 크기 및 위치 변화에 불변한 특징 값을 가진다. 표 1은 7개의 불변 모멘트 특징이다[13][14].

미세 조정 기법은 최근 CNN 연구에서 주로 사용되는 학습 방법이다. 많은 양의 데이터에 대해 미리 학습된 CNN 구조의 가중치를 그대로 사용하여 또 다른 데이터를 학습하는 방법이다. ImageNet 데이터셋에 대해 학습된 가중치를 주로 사용하며, 많은 CNN 구조들의 개발자들이 제공하기 때문에 손쉽게 사용할 수 있다. 본 논문에서 사용된 SSD 역시 VGG-16 구조의 마지막 계층인 Convoltion 5_3 계층까지의 가중치를 사용하여 특징 맵을 생성한다.

SSD의 핵심은 기반 네트워크인 VGG-16 네트워크 이후 6개의 특징 계층들이다. 기존 VGG-16의 전 결합 계층 2개를 포함하여 점점 줄어드는 크기를 가진 6개의 계층들을 통해 여러 크기의 객체들을 검출하게 된다. 특징 계층을 통해 생성되는 특징 맵을 다중 스케일(Multi-Scale) 특징 맵이라고 하며 SSD는 이 특징 맵들을 다른 크기들로 만들어 크기가 큰 맵에서는 작은 물체를 검출하고 작은 맵에서는 큰 물체를 검출한다.

각 특징 맵의 셀들은 k개의 경계 상자를 가지며 경계 상자들은 다양한 모양과 비율을 가지고 있다. 각 특징 계층들은 공통적으로 3×3×p 크기의 필터를 사용한다. p는 채널의 수를 뜻한다.

본 논문에서는 각 특징 맵 하나의 셀에 4개 혹은 6개의 경계 상자를 가지고 있다. 그림 5는 VOC 데이터셋의 실제 라벨링 된 객체의 경계 상자 위치와 특징 계층들을 통해 예측된 경계 상자들을 시각화한 그림이다. (a)는 라벨링된 실제 객체의 위치 정보를 경계 상자로 나타내고 (b)는 예측된 경계 상자들을 나타낸다.

Fig. 5. 
Predictive bounding box of feature layer

특징 계층을 통해 객체의 후보 영역들을 추출한 뒤 보다 정확한 하나의 후보 영역을 찾기 위해 NMS 알고리즘을 이용한다. NMS는 주어진 경계 상자들 중 IoU(Intersection of Union) 값이 가장 큰 상자를 남기고 나머지는 제거하는 방법이다. IoU란 2개의 경계 상자 중 겹치는 부분의 비율을 나타낸다. NMS의 과정은 크게 3단계로 나뉘는데 먼저 생성된 경계 상자 중 가장 클래스 점수가 높은 영역을 찾는다. 이후 그 영역과 나머지 영역들의 IoU를 계산하고 일정 임계값 이상인 영역은 제거 하고 이하인 영역은 유지한다. 임계값 이상인 영역의 경우 똑같은 객체를 예측하고 있다고 판단하기 때문에 제거 된다. 그 후 남은 영역들에 대하여 하나의 영역이 남을 때까지 반복하면 가장 객체에 가까운 하나의 경계 상자를 찾을 수 있다.

본 논문에서 사용된 Hu 불변 모멘트 특징은 7개의 특징 중 크기, 회전, 위치에 불변인 특징인 I₅, I₆, I₇ 3개의 특징만 사용하였다. 나머지 특징들은 값이 작기 때문에 약간의 차이에도 오인식 할 가능성이 높아 제외하였다.

NMS 알고리즘을 통해 객체 후보 영역이 정해지면 경계 박스의 좌표 값 정보를 가져와 해당 영역을 Grayscale로 변환한 뒤 불변 모멘트 특징을 계산하여 라벨링 된 객체의 클래스와 함께 저장하여 검출 과정에서 사용한다.

실험의 개발환경은 Python 기반의 Tensorflow를 사용하였고, GPU는 Geforce GTX980 Ti를 사용하였다. 데이터셋은 Pascal VOC 2007을 사용했다. VOC 2007은 객체 검출 분야의 성능 분석을 위해 주로 사용하는 데이터셋으로 배경을 포함해 총 21개의 클래스를 가지고 있고 학습 데이터에는 영상 내 모든 객체의 위치 정보와 클래스 정보가 라벨링 되어 있다. 총 이미지의 개수는 5,011개이며 이미지 내 총 객체의 수는 12,608개가 있다[12].

실험은 원본 테스트 이미지를 시작으로 이미지를 임의로 15도씩 회전시켜 15도, 30도 2번의 단계로 회전된 이미지에 대해서도 검출 하였다.

그림 6은 원본 이미지에 대한 검출 결과이다. 그림 7과 그림 8은 영상에 회전 변형이 일어난 후 검출이 되지 않은 경우와 제안하는 방법을 이용하여 검출에 성공하는 결과를 나타낸다. 각각 15도, 30도의 회전 변형이 일어난 경우에 대해 나타 내었다. 그림 7(a)는 기존의 SSD를 이용해 검출한 결과이고, 7(b)는 제안하는 구조를 이용해 검출한 결과이다. 그림 8(a)와 그림 8(b)도 동일하다.

Fig. 6. 
Detection result of original image

Fig. 7. 
Detection result of 15 degree rotated image

Fig. 8. 
Detection result of 30 degree rotated image

표 2는 전체 실험 결과의 검출 성능을 판단하는 mAP(mean Average Precision)에 대한 표이다. mAP는 객체 검출 분야의 대표 성능 평가 지표로 객체 검출기가 검출한 정보들과 라벨링 된 실제 정보가 일치하는 비율을 나타낸다[12].

실험 결과의 비교에는 SSD와 YOLOv3[15]의 검출 결과와 MI-FL을 적용한 SSD를 비교하였다.