Home

우리 주변에는 가정의 IP카메라, 방범지역의 CCTV, 교통감시 카메라 등 수많은 카메라들이 설치되어 있고 더 싸고 더 좋은 카메라들이 개발되면서 그 양은 계속 증가하고 있다. 또한 사고를 기록하여 책임과실을 따지기 위해, 편리한 운전을 위해 자동차에도 카메라 장착이 보편화 되었다. 보통 카메라는 항시 촬영하기 때문에 혹시 모를 일들을 녹화할 수 있다. 그렇지만 사람이 카메라에 녹화된 내용을 항상 볼 수는 없기 때문에 또는 눈에 안 띄어보지 못할 수 있기 때문에 특정 목적에 따라 영상에서 조건이 만족하면 사람에게 알려준다. 이러한 기능을 위해서 가장 기본이 되는 기술이 검출 및 인식, 추적이기 때문에 관련 학문들이 계속해서 연구되고 있다. 그중에서 사람분류는 영상에서 사람으로 예상되는 후보지역에 대해 최종적으로 사람인지 판단할 수 있다. 또한 사람을 대상으로 이벤트를 주는 것은 범죄, 안전, 보안[1], 인구통계[2] 등에 관련성이 크기 때문에 중요하다. 보안 또는 안전 등의 이유로 사람이 있어서는 안 될 장소에서 사람이 검출된다면 그것은 안전이든 보안이든 문제가 있음을 의미한다. 마찬가지로 자동차를 운전할 때 진행방향쪽에 사람이 있는데 운전자가 확인을 못할 수도 있기 때문에 이를 영상처리를 이용해서 운전자에게 알림을 줌으로서 보행자를 사고로부터 예방할 수 있다[3][4].

몇 년 전만해도 영상처리는 사람에 의해 수동적으로 특징들이 추출되었고 형태적인 조건들을 줘서 영상에서 원하는 기능들을 구현하였다. 사람에 의해 제안된 경계선 특징추출 방법만 해도 Prewitt[5], Sobel[6], Robert[7], Canny[5] 등이 있다. 또한 통계적인 방법으로는 주성분 분석, 선형 판별 분석 등이 있고[8], 그 외에도 변형된 알고리즘들이 다수 존재한다[9]-[12]. 이런 방법들을 이용하여 실험자가 시스템을 만들더라도 실험환경, 데이터 특성에 따라 성능에 상이한 차이를 보여 제한적으로 활용될 수 밖에 없었다. 그러다가 머신러닝이 등장하여 입력된 데이터를 바탕으로 분류기가 자동으로 그 데이터를 잘 분류할 수 있도록 학습되는 기법[13][14]들이 나타났다. 전보다 사람이 분석하기 어려웠던 부분들을 복잡한 계산을 통해 수치를 근거로 더 나은 성능을 얻을 수 있었다.

최근에는 딥러닝이 개발되어 기존의 많은 한계점들을 돌파하였고 여전히 개선된 방법들이 제시되고 있다. 딥러닝[15]은 기존 머신러닝의 다층퍼셉트론[14]을 시작으로 다양한 타입의 레이어들이 추가되고 그 레이어들이 쌓이고 쌓여 깊어진 방법으로 작은 층 수로는 해결되지 못한 문제들이 깊은 층으로 해결되고 있는 추세이다. 대표적으로 심층 신경망(Deep Neural Network)[16], 합성곱(Convolutional) 신경망[17], 순환(Recurrent) 신경망[18], 심층 신뢰 신경망(Deep Belief Network)[19], 심층 Q-네트워크(Deep Q-networks)[20] 등이 있다. 영상처리에서 가장 두드러지는 방법 중 하나가 합성곱 신경망으로 다양한 특징추출 필터들을 자동으로 학습하고 자동으로 분류하도록 설계된 신경망이다. 기존에 특징추출이 사람에 의해 설계되고 분류만 기계학습으로 했었더라면 합성곱 신경망은 특징추출과 분류가 하나의 패키지로 되어 분류기만아니라 좋은 특징도 학습한다[21]. 합성곱 신경망을 이용해 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 좋은 성능을 보인 딥러닝 모델들이 있는데 이미 좋은 성능을 검증받아서 많은 사람들이 그 모델을 연구에 활용하고 있다. 대게는 학습데이터가 적거나 하드웨어 성능이 부족할 경우 전이학습을 이용해 학습시간도 줄이고 충분히 잘 분류할 수 있게 되었다[22]. 대표적으로 AlexNet[23], GoogLeNet[24], ResNet[25] 등이 있다. AlexNet은 7개 레이어로 구성되어 있으며, 기존 LeNet[26]과 비슷한 구조로 2개의 GPU를 이용하여 병렬처리하였다[23]. GoogLeNet은 22개 레이어로 구성되어 있으며, 인셉션(Inception) 모듈을 고안하여 9개의 모듈을 적용하였고[24], ResNet은 152 레이어로 구성되어 있으며, 깊은 층의 망을 학습하는데 발생하는 문제를 나머지 학습(Residual Learning)을 통해 시간도 단축시키고, 성공적으로 학습을 가능하게 한다[25].

본 논문은 자동차 주행환경에서 딥러닝 모델에 따른 보행자인식의 성능비교를 한다. 2장은 딥러닝 모델에 대해 기술하고, 3장은 데이터베이스를 보여준다. 4장은 실험 및 결과를 나타내며, 5장에서 결론을 맺는다.

벤치마킹 데이터베이스인 INRIA는 학습데이터와 검증데이터가 구분되어 있으며, 각각 사람이미지와 배경이미지로 구성되어 있다. 사람이미지에서 한 이미지에는 사람 한명이상 포함되어 있으며, 이미지에서 사람의 정보는 별도의 주석파일에 주어져 있다. 학습용 사람이미지는 614개 있으며, 주석에 포함된 사람의 수는 1237명이다. 학습용 배경이미지는 1218개 있다. 검증용 사람이미지는 288개 있으며, 주석 파일에 포함된 사람의 수는 589명이다. 검증용 배경 이미지는 453개 있다. 그림 4는 INRIA 데이터의 예시를 보여준다.

Fig. 4. 
Example of INRIA data

유튜브에서 수집한 데이터와 직접 카메라 장비로 획득한 데이터를 사용한다. 유튜브에서 수집한 동영상 수는 10개이며 그 비디오들은 119초, 119초, 40초, 119초, 119초, 60초, 59초, 3219초, 455초 및 2157초짜리로 구성되어 있다. 이 비디오들의 내용으로는 자동차가 주택이 밀집지역, 상가 밀집지역, 주유소에서 다양한 시간대, 다양한 날씨 등이 포함되어있다. 도로에는 차가 천천히 서행하고 있으며, 길가에 자동차들이 주차된 곳도 여러 군데 있다. 또한 보행자들은 보도와 횡단보도에서 대기하거나 걸어가고 있다. 유튜브 데이터는 광각 뷰가 적용되어 모서리부분에 약간의 변형이 있으며, 비디오 해상도는 1280×720이고 비디오 프레임 속도는 30 프레임/초이다. 비디오는 비슷한 내용이 중복되기 때문에 특정 시간마다 한 이미지를 샘플링하여 사용한다.

동영상 별로 추출 된 프레임의 수는 119, 119, 40, 119, 119, 60, 59, 161, 152 및 144개이다. 긴 영상은 긴 주기로 추출되고 짧은 영상은 작은 주기로 추출된다. 직접 카메라 장비로 수집한 데이터는 삼성 갤럭시 노트5와 블랙뷰 DR400G로 녹화하였다. 이 장비들은 자동차 실내 앞에 부착하였다. 촬영한 내용은 캠퍼스에서 자동차 주행 중에 두 개의 세션으로 녹화하였으며, 각 영상의 길이는 181초와 79초이다. 캠퍼스의 보도에는 나무들이 있어 그림자로 인한 어두운 이미지와 강한 빛에 의해 매우 밝은 이미지들이 포함되어 있다. 추출 된 프레임 수는 59와 27개이며 해상도는 1280×720이다.

Fig. 5. 
Example of directly built CU data

직접 카메라 장비로 수집한 데이터는 사진에서 직접 사람부분과 배경부분에 라벨링을 하여 잘라내었다. 그리고 이미지상에서 사람이 사람이라고 판단되면 확대를 해서라도 라벨을 설정하였기 때문에 아주 작은 사람부터 큰 사람까지 다양한 해상도의 사람이미지를 라벨링하였고, 또한 자동차나 건물 등에 가려서 신체일부만 나온 사람도 상반신이 어느정도 노출된 경우 라벨링을 하였다. 배경은 사진에서 사람이 없는 부분들을 무작위로 선택하여 라벨링하였다. 마찬가지로 아주 작은 배경부터 큰 배경까지 다양한 해상도로 라벨링 하였으며, 높이와 너비의 비율도 다양하게 라벨링하였다. 직접 구축한 데이터베이스 크기는 사람이미지는 4787개이며, 배경이미지는 4426개이다[31].

실험을 위한 환경은 CPU-Intel (R) Xeon (R) E5-160 v3 @ 3.50GHz, RAM-32GB, GPU-GTX Titan X 및 OS-windows7 64bit 및 MATLAB R2018a이다. 비교실험에 사용한 딥러닝 모델은 AlexNet, GoogLeNet, ResNet이고, 모델의 학습은 INRIA 데이터베이스에서 학습용 사람이미지 1237장과 학습용 배경이미지 1218장이다. 학습데이터 중에서 70%는 학습(Training)에 사용하고, 30%는 확인(Validation)에 사용한다. 검증(test)은 INRIA의 검증용 사람이미지 589장과 검증용 배경이미지 453장을 사용하였고, 추가로 직접 구축한 데이터베이스인 사람이미지 4787장과 배경이미지 4426장도 검증에 활용하여 성능을 비교하였다. 성능은 인식의 정확도로 식 (1)과 같이 정의한다.

표 1은 AlexNet을 이용한 보행자인식의 정확도를 보여준다. 표 2는 GoogLeNet을 이용한 보행자인식의 정확도를 보여준다. 표 3은 ResNet을 이용한 보행자인식의 정확도를 보여준다. 학습방법으로 확률적 미분 강하법(SGDM; Stochastic Gradient Descent Method), RMSProp, 적응 모멘트 예측(Adam; Adaptive Moment Estimation)을 사용하였다. 기본적인 학습방법은 확률적 미분 강하법으로 무작위 샘플 그룹으로부터 미분방향과 반대로 이동하는 방법이다. 이로 부터 파생된 학습방법이 RMSProp, Adam 등이 있다. 모티브는 학습 초기에는 적당히 큰 학습률로 파라미터 업데이트를 하고 해에 다가갈수록 학습률을 작게 하는 기법들이다. Adam은 모멘텀(Momentum)과 RMSProp의 장점을 결합한 방법이다. 일반적으로 미니배치 미분강하 학습을 하면 손실함수는 줄었다가 커졌다가 반복하면서 전체적으로 줄어드는데, 모멘텀은 과거의 미분을 통해 현재의 미분이 너무 튀는 것을 방지한다[32]. 초기 학습률은 모두 0.0001로 진행을 하였고, 미니배치의 크기를 변경하면서 인식률을 확인하였다.

Fig. 6. 
Comparison of recognition rate

학습률 승수(Multiplier for the Learning Rate)는 마지막 전연결 레이어의 가중치와 바이어스에 대한 학습률의 승수이고, 그 값을 변경하면서 인식률을 확인하였다. 학습횟수는 6회 짜리, 10회 짜리 진행하였고 전이구간(Transferred Units)은 이미 학습된 딥러닝 모델의 파라미터 값들을 그대로 가져올지 학습시킬지 구간을 명시하며 X표시는 전이없이 학습한 것이다. 전이구간의 끝은 모델별로 마지막 유닛의 번호를 나타낸다. 확인 인식률은 학습동안 학습상태를 확인하기 위한 데이터의 인식률이고, 검증 데이터는 학습이 완료된 후 새로운 데이터를 입력하였을 때의 인식결과이다. 검증은 INRIA데이터와 구축한 데이터(BUILT DB)로 실험하였다. AlexNet은 Adam으로 학습하고 미니배치가 20이고, 학습률 승수가 30이고, 전이학습을 6회 시켰을 때, 전체 검증 인식률이 94.79%로 가장 높았다. GoogLeNet은 Adam으로 학습하고 미니배치가 20이고, 학습률 승수가 30이고, 전이학습을 6회 시켰을 때, 전체 검증 인식률이 95.95%로 가장 높았다. ResNet은 101모델을 사용하였고, 그 모델은 Adam으로 학습하고 미니배치가 100이고, 학습률 승수가 10이고, 전이학습을 10회 시켰을 때, 전체 검증인식률이 96.33%로 가장 높았다.

본 논문은 자동차 주행환경에서 딥러닝 모델에 따른 보행자인식의 성능비교를 한다. 자동자 주행환경에서 보행자인식은 운전자의 안전과 보행자 안전을 위해서 중요하다. AlexNet, GoogLeNet, ResNet이 실험에 사용되었으며, 비교실험을 위해 INRIA 데이터베이스와 자동차 운전주행에 적용하기 위해 직접 구축한 데이터베이스를 사용하였다. 딥러닝 모델들은 INRIA 데이터를 학습하고 INRIA와 직접 구축한 데이터를 검증에 사용하였다. 그 결과 ResNet이 AlexNet과 GoogLeNet보다 각각 1.54%, 0.38% 더 높은 인식률을 보였다. 향후 보행자뿐만 아니라 운전 동안에 안전과 관련된 지능적인 영상처리 방법들을 연구할 계획이다.