Home

최근 자율 주행 자동차에 대한 연구가 활발하다. 자율 주행 자동차는 최종적으로 인간의 제어 없이도 완벽하게 도로를 주행하는 것이 목표이다. 자율 주행 자동차의 주요 기술 중 하나에는 환경인식이 있는데, 그중 차량 주변의 보행자의 검출 및 인식은 안전과 직결되어 있기 때문에 정확성이 매우 중요하다. 대부분의 검출 기술들은 입력 영상으로부터 보행자의 특징을 추출해서 학습된 분류기를 통해 분류하는 방법을 이용한다. 특징 추출 방법에는 영상의 밝기 차이를 이용하는 Haar-like, LBP(Local Binary Pattern) 등이 있다[1][2]. 그리고 영상 내 기울기의 변화를 이용하는 HOG(Histogram of Oriented Gradients) 특징과 여러 크기의 HOG 특징을 조합하여 사용하는 Cascade HOG 등이 있다[3][4]. 위에 언급한 특징 추출 방법들은 Hand-crafted 방식으로서 설계자가 직접 특징 값에 대해서 설계하기 때문에 성능의 한계가 있었다.

최근에는 딥 러닝(Deep Learning)을 이용한 특징 추출 및 학습 방법이 주로 사용된다. 딥 러닝은 기계 학습의 한 분야로서 기존의 인공 신경망의 층을 깊게 쌓은 신경망을 뜻한다. 하드웨어의 발전으로 방대한 계산량을 감당할 수 있게 되었고 때문에 최근 다시 활발하게 연구 되고 있는 분야이다. 영상 처리에서는 CNN(Convolutional Neural Network) 신경망 구조가 대부분 사용된다. CNN은 컨볼루션(Convolution) 연산을 기반으로 특징을 추출하는 방법으로서 대표적인 CNN 구조로는 AlexNet[5], VGGNet[6], ResNet[7] 등이 있다.

본 논문에서는 AlexNet 구조에 해마 구조를 적용한 H-CNN(Hippocampal-CNN) 기반 보행자 검출 시스템을 제안한다. 기존의 AlexNet을 이용한 보행자 검출의 경우 과거의 Hand-crafted 방식을 사용한 방법들보다 우수한 성능을 보인다. 그러나 입력 영상의 환경에 따라서 성능이 저하되는 경우가 있다[8]. 따라서 본 논문에서는 AlexNet을 기반으로 해마 구조의 장기 기억 장치의 구현을 통해 보행자의 특징 패턴을 미리 기억하고 검출에 사용하여 보다 정확한 검출을 가능하게 한다. 보행자의 특징 패턴 추출에는 LGP(Local Gradient Pattern) 특징추출 방법을 사용하였다[9]. LGP 특징은 밝기 차의 평균값을 이용하기 때문에 주변 환경의 변화나 밝기의 변화 등에 강인한 장점이 있다. 기존의 연구로는 CNN의 전처리 과정에서 LGP 특징을 이용하여 학습 데이터를 검출 목적에 맞게 전 처리하여 학습에 사용한 방법이 있다[10]. 언급한 방법은 검출률은 우수하지만 처리 과정이 전처리 과정과 학습 과정 2단계로 구성되기 때문에 전체적인 학습 속도가 오래 걸리는 단점이 있었다. CNN은 컨볼루션 필터를 이용해서 특징을 스스로 학습 하는 능력이 있기 때문에 전처리 과정 없이도 특징 추출 능력은 충분히 우수하다. 따라서 본 논문에서는 전처리 과정은 없애고 CNN 내부에 LGP-FL(Local Gradient Pattern-Feature Layer)을 추가하였다. LGP-FL에서는 LGP 특징 패턴을 추출하여 해마 구조의 장기 기억 장치에 출현 빈도순으로 저장하는 역할을 한다. 그 후 검출 단계에서 빈도순으로 저장된 LGP 특징 패턴 정보를 이용하여 보다 정확하게 보행자를 검출할 수 있다. 실험에는 INRIA 보행자 Dataset을 이용하여 기존의 방법들과 제안하는 기법의 비교를 통해 성능을 평가하였다.

그림 5는 제안하는 CNN 구조를 나타낸다. 먼저 입력 영상의 크기를 227x227 영상으로 동일하게 변환한다. 그 후 총 5개의 층의 Convolution layer들을 거쳐 특징을 추출한다. 그 과정에서 Feature layer를 추가하였다. Feature layer에서는 LGP 특징 패턴을 연산하여 출현이 잦은 특징 패턴들을 장기 기억 장치에 저장한다. LGP 특징 패턴은 총 16가지의 패턴으로 변환되며 상위 빈도수 8가지 패턴을 저장시켜 검출에 사용 하였다.

Fig. 5. 
Proposed algorithm

Pooling은 Max-pooling을 적용했고, 첫 번째와 두 번째 그리고 마지막 Convolution layer에 적용시켰다. 그 후 Fully-Connected layer를 거쳐 학습 및 검출이 이루어진다.

장기 기억 패턴의 경우 학습 과정에서는 빈도 순서로 저장만을 수행하며 이후 Test Image를 이용한 검출 과정에서 저장된 패턴과 비교하는 과정을 통해 최종적으로 검출이 이루어진다.

3.1 Dataset 구성

Dataset은 표 1과 같이 INRIA Person dataset을 사용하였고 Train data는 총 2446장이 사용되었고 테스트 데이터는 총 741장이 사용되었다. Dataset에는 그림 6과 같이 Positive image와 Negative image가 포함되어 있다. 또한 그림 7과 같이 Train data를 좌우 반전 시킨 데이터를 추가하면서 Data augmentation 기법을 적용하였다.

Table 1. 
Experimental dataset

INRIA	Positive image	Negative image
Train	1228	1218
Test	288	453

Fig. 6. 
Positive image and negative image

Fig. 7. 
Reverse data left and right

3.3 S-LGP(Symmetry-LGP)

기본적인 LGP는 현재 픽셀과 이웃의 8개 픽셀을 비교하여 패턴이 생성되는데 이 값은 총 256가지로 나누어진다. 본 논문에서는 패턴을 더 단순화 시켜 8방향 모두 비교하지 않고 서로 마주 보는 픽셀들만 비교하여 총 16가지의 특징 패턴으로 간소화 시켰다[14]. S-LGP의 구조는 그림 8과 같이 나타낼 수 있다.

Fig. 8. 
Structure of S-LGP

실험은 Geforce GTX980 Ti GPU를 이용해 Python 기반의 Tensorflow framework를 사용하여 진행하였다. 학습 알고리즘에는 딥 러닝 학습에서 자주 사용되는 stochastic gradient descent 방법[15]이 사용되었다. 실험을 통해 적절한 학습 epoch는 50으로 정하였다.

표 4는 3장에서 언급했던 Data augmentation에 대한 효과를 비교하여 나타낸 표이다. 먼저 입력 영상을 1채널 Gray-scale로 변환하여 실험한 결과 검출률이 약 3% 감소하였다. 그 후에 입력 영상을 3채널 RGB 채널 그대로 실험하였고 좌우 반전 데이터를 약 600장 추가하여 학습한 결과 검출률이 더 개선되었다. 배경의 밝기 및 보행자의 각도 조절 등을 통해 더 많은 양의 Data augmentation을 추후 적용하면 더 개선된 검출률을 얻을 수 있을 것으로 보인다.

표 5에서는 제안하는 방법인 LGP-FL을 적용하였을 때의 학습 속도 및 검출률을 비교하였다. 기존의 AlexNet보다 검출률이 약 1% 더 개선되었음을 알 수 있다. 그러나 학습 속도에서는 중간에 LGP 특징 패턴을 연산하는 단계가 포함되어 약간의 손해가 있음을 알 수 있다. 추가로 장기 기억 패턴에 기존 LGP 특징의 256가지 패턴을 적용할 때보다 패턴을 간소화 시킨 S-LGP의 16가지 패턴을 적용시켰을 때 연산량을 줄이는 효과를 얻어 학습 속도를 줄일 수 있고 검출률에는 큰 변화가 없음을 알 수 있다.

그림 9는 제안하는 방법을 통한 보행자 검출의 결과이다. 단일 보행자부터 다중 보행자까지의 검출 결과를 나타내었다.

Fig. 9. 
Pedestrian detection results

그림 10은 기존의 Hand-crafted 방법 중 보행자 검출에 주로 사용되는 특징 추출 방법인 HOG 특징 추출 방법의 검출 결과와 제안하는 기법의 검출 결과이다. 그림 10(a)에서 보듯이 HOG 특징을 이용한 보행자 검출에서는 배경의 색상과 보행자의 색상이 비슷할 경우에는 미검출이 일어나는 경우가 있었다. HOG 특징의 경우 주로 색상 차이에 의한 기울기를 기반으로 구성되어 있기 때문에 보행자와 배경 간의 색상 차이가 비슷한 경우에는 제대로 검출이 되지 않는 경우가 많다. 제안하는 기법을 통한 검출 결과 그림 10(b)와 같이 기존의 방법에서 미검출 된 보행자까지 검출하는 것을 확인할 수 있다.

Fig. 10. 
Detection results of HOG technique and proposed method

그림 11은 LGP-FL를 통한 해마 구조의 적용 유무에 따른 검출 결과를 나타낸다. 그림 11(a)의 경우 배경이 어두운 환경에서 기존의 AlexNet 모델을 사용하였을 때 검출되지 못한 경우였는데 그림 11(b)의 경우 LGP-FL를 적용시킨 모델에서 특징 패턴의 기억을 통해 보행자 내부의 특징패턴을 이용해 추가로 검출하는 것을 알 수 있었다. 어두운 환경에서도 검출이 가능한 이유는 학습을 할 때 Positive data에도 어두운 환경의 보행자가 존재하는데 그 데이터의 내부 특징 패턴을 이용해서 검출이 가능하게 된다. 표 6은 기존의 방법들과 제안하는 기법의 검출률 비교를 나타낸다.

Fig. 11. 
Detection results applied to LGP-FL

그림 12는 보행자 검출의 대표적 어려움 중 하나인 가려짐에 의한 미검출의 경우이다. 가려짐의 경우 해마 구조를 적용한 모델에서도 검출이 불가능 하였다.

Fig. 12. 
Undetected by occlusion

본 논문에서는 대표적인 CNN 구조 중에 하나인 AlexNet을 Dataset의 크기에 맞게 재구성하고 그 구조를 기반으로 LGP-FL을 추가하여 해마 구조를 적용한 보행자 검출 시스템을 구현하였다. 제안하는 기법을 이용하여 기존의 보행자 검출에서 좋은 성능을 가졌던 HOG+SVM과 Cascade HOG, 그리고 AlexNet 기반의 CNN보다 뛰어난 검출률을 얻을 수 있었다. 특히 학습 중간 단계에서 S-LGP 특징을 이용하여 보행자의 특징 패턴을 추출한 다음 빈도순서로 패턴을 저장하여 해마 구조의 장기 기억 장치를 구현하였다. 빈도순으로 저장되어 있던 보행자의 특징 패턴을 검출 시 이용하여 기존의 방법들에서 검출에 실패한 보행자들을 재검출하여 검출률을 약 1~4%까지 증가 시킬 수 있었다. 기존의 방법들에서는 보행자와 배경과의 색상 차이, 어두운 환경의 영상 등에서 검출 실패가 있었지만 밝기 변화에 강인한 LGP 특징 패턴을 이용하여 추가 검출이 가능하게 하였다. 그러나 학습 및 검출 속도는 특징 패턴의 연산이 추가됨으로써 약간 증가하였음을 알 수 있다. 추후 실험을 통해 검출률은 유지하면서 속도를 더 빠르게 하기 위해 더 최적화된 CNN 구조를 구성해볼 필요가 있다. 추후 연구에서는 가려진 보행자를 검출할 방안을 찾고 실시간 영상에서 검출 후 추적까지 가능한 방향으로 연구를 진행할 계획이다.