Current Issue

최근 머신러닝과 발전으로 인해 차량 산업에서 다양한 기술들이 개발 및 상용화되고 있다. 실제 테슬라, 현대 등과 같은 기업에서도 머신러닝을 이용한 자율주행 차량 개발에 집중하고 있으며 일반인들도 다양한 경로를 통하여 도로환경에 대한 이미지 데이터를 얻을 수 있다. 대표적인 도로환경 이미지 데이터셋은 BDD100K(Berkeley Deep Drive 100K), Waymo, TuSimple이 있으며 이와 같이 다양한 데이터셋이 제공됨에 따라 객체검출, 차선검출, 신호검출, 주행 판단 등의 기술들이 빠르게 발전하고 있다[1]-[5].

그 중에서 자율주행의 핵심적인 기술로 자리 잡고 있는 객체검출과 차선검출은 현재 다양한 방법으로 개발되거나 제안되었다. 예를 들어 YOLO(You Only Look Once)와 DOTA(Object Detection in Aerial Images), Fast R-CNN 등을 이용한 객체검출이 대표적이며 차선검출은 UNet, FCN(Fully Convolutional Networks), LaneNet 등이 대표적으로 사용되고 있다[6]-[9]. 이외에도 라이다(Lidar)와 결합한 객체 검출 시스템도 연구되고 있으며 칼만 필터를 이용하는 SORT 알고리즘을 활용하여 객체를 검출하는 방법도 연구되고 있다. 또한 YOLO를 이용하여 차선을 검출하거나 전이학습 기반 객체 탐지, CNN을 이용하여 객체를 기반으로 영상의 분류를 수행하는 등 다양한 검출 기법들이 연구되고 있다[10]-[14].

하지만 대부분의 객체검출과 차선검출은 차량에서 주행을 위한 용도로 사용되고 있으며 사고가 발생했을 때 원인분석을 위한 용도로 사용되는 것은 아직 보편화되지 않았다. 실제 주행 중 발생한 사고에 대해 원인을 파악하고 과실 비율을 판단하기 위해서는 블랙박스 영상, 차량의 충돌 위치, 차선 등의 정보들을 육안으로 확인하여 과실 비율을 산정한다. 이러한 과정은 과실 비율 산정에서 많이 시간이 소요될 뿐만 아니라 정확하지 않은 산정으로 추가적인 비용부담 또한 발생하는 경우도 있다.

본 논문에서는 UNet을 기반으로 차선과 객체를 검출하여 교통사고의 원인파악 및 사고 유형 분류에 사용될 이미지 데이터를 생성한다. UNet은 FCN을 확장한 개념으로 적은양의 데이터로도 우수한 성능을 보이며 end-to-end 구조로 속도가 빠르다. 이러한 장점 때문에 세그먼테이션 검출과 차선 검출에 많이 사용되고 있는 모델이다. 사고 유형은 IGALD(Initiative for the GLobal harmonization of Accident Data)[15]나 TAAS(Traffic Accident Analysis System)[16]를 통해 분류를 수행한다. IGLAD는 GIDAS, FIA등에서 사용되고 있는 사고 유형이고 현재 전세계 12개국의 7000건의 사례로 구성되어 있다. TAAS는 한국의 교통사고분석시스템이며 교통사고에 대한 다양한 정보들을 제공한다. 이 데이터베이스를 이용하면 교통사고 유형을 직접 조사할 필요 없이 손쉽게 유형 정보들을 얻을 수 있다[17].

일반적으로 객체를 추출할 때 YOLO, DOTA 등과 같은 알고리즘을 이용하여 바운딩 박스 형태로 검출한다. 하지만 그렇게 추출하게 되면 차량의 모양이나 방향 등을 알지 못하는 문제가 발생한다. 따라서 차량의 옆면과 정면을 구분할 수 있는 형태의 이미지가 필요하기 때문에 본 논문에서는 인스턴스 세그먼테이션(Instance segmentation) 정보를 활용하여 객체를 검출한다.

차선과 객체가 검출되면 이 두 정보들을 융합하여 IGLAD, TAAS의 사고 시나리오 분류에 최적화된 새로운 이미지 데이터를 생성한다. 새로 생성된 이미지는 배경, 나무, 건물 등의 불필요한 부분들은 제거되고 차선과 차량, 사람만이 표현된다.

본 논문의 구성은 다음과 같다. 2장은 차선 검출 구현 방법과 모델 구조에 대하여 설명하고 3장에서는 인스턴스 세그먼테이션을 이용한 객체검출 구현 방법과 딥러닝 모델 구조에 대하여 기술한다. 4장에서는 2장과 3장에서 구성한 차선검출 및 객체검출 결과를 융합하여 하나의 이미지 형태로 데이터를 추출하는 과정을 설명한다. 마지막으로 5장에서는 결론에 대하여 기술하고 구현과정에서의 문제점과 향후 개발 내용에 대해서 설명한다.

차선검출에 사용될 데이터들은 BDD100K의 데이터베이스이다[1]. BDD100K는 40초의 비디오 시퀀스와 720×1280의 도로환경 이미지 데이터를 100,000개를 제공한다. 또한 차선 정보나, 인스턴스 세그먼테이션, 시멘틱(Semantic) 세그먼테이션, json 라벨 등등 다양한 데이터를 용도에 맞게 사용하도록 세분화되어있다. 차선검출에 사용되는 BDD100K 내부 데이터셋은 lane marking, drivable area이며 두 가지 데이터셋의 차이점은 lane marking 데이터셋은 차선의 형태를 단순 라인으로 제공하는 반면 drivable area 데이터셋은 인스턴스 세그먼테이션 형태로 제공한다. 일반적으로 drivable area는 주행 가능 영역을 추출할 때 사용하고 lane marking 데이터셋은 차선 표시를 위해 사용한다. 본 논문에서는 두 개의 데이터셋 중에 학습에 소요되는 시간이 더 짧은 lane marking 데이터셋을 사용하여 학습을 수행한다.

그림 1의 (a)는 차선 정보가 없는 원본이미지이고 (b)는 차선만 표시된 이미지이다. (a)와 (b)는 모두 CNN의 모델로 입력되며 출력결과는 (b)의 형태로 출력하도록 한다. 여기서 ground truth는 라벨과는 다른 의미로 사용자가 예측해주기를 원하는 값을 말한다.

Fig. 1. 
Training data for lane detection, (a) Input image, (b) Ground truth

그림 2는 차선검출에서 사용한 모델 구조를 도식화한 것이다. 모델은 UNet[8]을 기반으로 구성하였다. 모델의 학습 과정은 128×128의 크기를 가지는 도로환경 이미지가 입력될 경우 픽셀의 값들을 0~1사이의 값으로 정규화한다. 이후 더블 컨볼루션(Double convolution)을 수행하고 풀링(Pooling)을 통해 이미지 크기를 점차 줄여나간다. 이 과정은 입력 이미지의 Context를 포착하는 것을 목표로 하며 contracting path 또는 인코딩이라 부른다. 이미지 크기가 32×32가 되면 업샘플링(Upsampling)을 통해 원래의 이미지 크기로 변환한다. 이 과정은 세밀한 localization을 가능하게 하며 expanding path 또는 디코딩이라 부른다. 업샘플링 과정에서 concatenate를 이용하여 풀링 이전의 특징맵을 카피하여 컨볼루션을 통해 소실된 픽셀 값을 보정한다. UNet에서는 softmax를 통해 픽셀단위의 분류를 수행하지만 본 논문에서는 sigmoid를 이용하여 최종 결과를 출력한다. 또한 컨볼루션, 업샘플링마다 배치정규화(Batch nomalization)를 적용하여 gradient vanishing 현상을 방지한다.

Fig. 2. 
Model structure for lane detection

학습 데이터로는 BDD100K에서 제공하는 720×1280의 크기의 컬러 이미지와 컬러맵을 사용하였으며 이 이미지들을 128×128의 크기로 변경하고 0~1로 정규화하여 사용하였다. 학습에 사용된 이미지 데이터는 25000장이며 테스트 데이터로는 1000장이 사용되었다. 학습 횟수는 100회 배치 크기는 100으로 설정하였다. 손실 함수(Loss function)는 binary crossentropy, optimazer로는 adam을 사용하였다.

그림 3은 테스트 데이터 중 하나의 에측 이미지를 출력하고 이를 입력 이미지, ground truth 이미지와 비교한 것이다. 예측 이미지와 ground truth를 비교해보면 실제 학습이 잘되어 예측 이미지가 ground truth와 유사하게 출력되는 것을 알 수 있다.

Fig. 3. 
Comparison between ground truth and predicted images, (a) Input image, (b) Ground truth, (c) Predicted image

표 1은 테스트 데이터를 이용하여 예측 결과의 정확도를 측정한 결과이다. 정확도 측정 알고리즘은 mean pixel accuracy[18]을 사용하였다. MPA(Mean Pixel Accuracy) 식은 다음과 같다.

식 (1)의 k는 테스트 데이터의 개수이며 P_c는 예측 결과와 ground truth와 비교하여 올바르게 검출한 픽셀의 개수이다. P_l은 ground truth에서 0이 아닌 모든 픽셀의 개수이다.

객체검출에 사용된 데이터들은 차선검출과 동일한 BDD100K의 데이터셋이다. 객체검출을 위한 BDD100K 내부 데이터셋은 인스턴스 세그먼테이션, 시멘틱 세그먼테이션, json 라벨이 있다. 본 논문에서는 객체의 형태를 추출하고 차량을 검출하기 위해서 인스턴스 세그먼테이션을 이용하여 학습을 수행한다.

그림 4는 인스턴스 세그먼테이션을 이용한 객체검출 모델 구조이다. 객체검출 모델은 차선검출과 동일하게 UNet을 기반으로 구성한다. 차선검출에 비해 모델의 깊이가 깊지만 Contracting path에서의 방법은 동일하다. 차이점은 expanding path에서 수행 시간을 줄이기 위해 더블 컨볼루션을 사용하지 않았다는 것이다. 그림 4를 살펴보면 모델의 길이가 깊은 만큼 필터의 수가 급격히 증가하며 contracting path 후 이미지 사이즈는 8×8로 차선검출에 비해 감소하였다.

Fig. 4. 
Object detection model structure for instance segmentation

그림 5의 (a)는 객체에 대한 정보가 없는 원본 이미지이고 (b)는 객체 정보가 색상으로 라벨링된 이미지이다. BDD100K에서 제공된 인스턴스 세그먼테이션 형태의 ground truth 이미지 (b)는 3개 이상의 색상으로 분류되어 있다. 하지만 본 논문에서는 단순히 차량과 사람, 배경의 형태나 검출 기능이 필요한 것이므로 차량 간 클래스 분류는 수행하지 않는다.

Fig. 5. 
Training data for object detection, (a) Input image, (b) Ground truth

학습 데이터는 BDD100K에서 제공하는 데이터 중에 BDD10K의 이미지와 인스턴스 세그먼테이션 이미지를 사용하였으며 전처리는 차선검출과 동일하게 720×1280의 크기의 컬러 이미지를 128×128로 변환하고 0~1로 정규화 한다. 총 학습에 사용된 데이터의 양은 차선검출보다는 적은 6500개의 데이터를 사용하고 테스트 데이터로는 500장이 사용되었다. 학습 횟수는 100회이며 배치는 50으로 설정하였다. 손실 함수와 optimazer는 binary crossentropy와 adam을 사용하였다.

그림 6은 객체검출 학습 후 테스트 데이터 중 하나의 예측 이미지를 출력하고 이를 ground truth 이미지, 입력이미지와 비교한 것이다. Ground truth와 예측 이미지를 비교했을 때 촬영한 차량의 범퍼인 파란색 부분은 검출되지 않았지만 나머지 차량들은 올바르게 검출되는 것을 확인할 수 있다.

Fig. 6. 
Comparison between ground truth and predicted images, (a) Input image, (b) Ground truth, (c) Predicted image

표 2는 객체검출 결과의 MPA를 측정한 결과이다. 계산식은 식 (1)과 같다. UNet expanding path 과정에서 더블 컨볼루션을 적용했을 경우에는 100개에서 74.62%, 500개에서 73.40%로 현재 테스트한 모델보다 정확도가 1~2% 정도 높지만 epoch 당 5~10초 정도 더 소요되기 때문에 현재 모델을 사용하였다.

2장 3장을 통해 수행한 결과들을 바탕으로 교통 시나리오 분석에 사용될 데이터들을 생성할 수 있다. 데이터 생성을 위한 테스트 데이터로는 카카오 TV에서 제공하는 교통사고 영상의 프레임을 나누어 사용하였다. 원본 이미지 크기는 BDD100K와 동일한 720×1280이며 이미지를 720×720으로 변환하여 사용하였다.

그림 7은 교통사고 영상을 통해 추출한 이미지 데이터이다. 본 논문에서는 이 데이터를 이용하여 이미지 데이터를 생성하였다.

Fig. 7. 
Test image for image generation

그림 8의 (a)는 테스트에 사용한 원본 이미지이며 이 이미지를 이용해 차선 검출을 수행한 결과는 (b), 객체를 검출한 결과는 (c)이다. 결과를 원본이미지와 비교하면 차선은 소실된 부분이 있으나 원본의 차선과 유사하게 출력되었으며 객체 검출에서는 일부의 객체 형태가 온전하지 못하고 먼 거리에 존재하는 차량이 인식되지 않지만 일정크기 이상의 모든 차량을 검출한 것을 확인할 수 있다. 검출 과정에서 발생한 문제들은 데이터양을 늘려 추가적인 학습을 진행하거나 모델, optimazer, 손실 함수 등을 개선함으로써 해결할 수 있다.

Fig. 8. 
Results of lane detection and object detection, (a) Original image, (b) Lane detection, (c) Instance segmentation

그림 9는 앞선 그림 8에서 차선 검출 결과인 (b)와 객체 검출 결과인 (c)을 합쳐 차선과 객체의 정보를 모두 포함하는 이미지를 생성한 결과이다. 그림 9를 살펴보면 각각의 차량들이 어떤 위치의 차선에 존재하는지를 알 수 있으며 각 차량들의 형태를 확인하여 대략적인 진행방향을 알 수 있다. 또한 배경, 건물, 나무 등의 불필요한 부분들이 삭제된 것을 확인할 수 있다. 현재 생성된 결과에서는 각 차량들의 색상이 분류되지 않았지만 추후 색상을 통해 각 차량들을 분류하게 되면 더욱 신뢰성 높은 데이터를 생성할 수 있을 것이다.

Fig. 9. 
Image with object and lane information

본 논문에서는 교통사고 유형 분류를 위해 UNet을 기반으로 구성한 딥러닝 모델을 이용하여 차선과 차량의 형태를 추출하여 사고 유형 분류에 활용할 수 있는 새로운 이미지 데이터 생성 시스템을 구현하였다. 학습 이미지는 BDD100K에서 제공하는 원본이미지, 컬러맵, 인스턴스 세그먼테이션 이미지를 이용하였다. 차선검출에서는 25000개의 데이터를 모델에 학습하여 100개의 테스트 데이터와 1000개의 테스트 데이터에서 각각 82.55%와 79.41%의 MPA를 얻을 수 있었다.

객체검출에서는 6500개의 테스트 데이터를 모델에 학습하여 100개의 테스트 데이터와 500개의 테스트 데이터에서 각각 73.67%와 72.57%의 MPA를 얻었다. 객체 검출 모델에서는 UNet의 expanding path 부분을 수정하여 epoch 1회 당 약 5~10초의 시간을 줄였다. 이렇게 검출한 차선과 객체 정보를 융합하여 IGLAD, TAAS의 사고 시나리오 분류에 최적화된 새로운 이미지 데이터를 생성하였다.

구현과정에서 차선검출 횡단보도와 같이 겹치는 부분이 많거나, 거리가 먼 차선은 검출률이 떨어지는 것을 알 수 있었다. 객체검출 부분에서도 멀리 있는 객체에 대한 형태가 정확하게 검출되지 않는 문제가 있었다. 검출이 올바르게 되지 않은 차선과 객체가 불필요한 부분이라면 관심영역 설정 후 제거할 수 있지만 필요한 부분이라면 더 많은 양의 학습 데이터를 제공하거나 딥러닝 모델을 재구성하여 개선해야 될 것으로 예상된다.

본 논문에서는 이전에 보편화되지 않는 교통사고에 대한 시나리오 분석에 필요한 데이터를 생성하는 것에서 연구에 의의를 찾을 수 있다. 그러나 제안한 시스템에서 생성된 데이터가 실제 교통사고 시나리오 분류에서 충분한 실험이 이루어지지 않았다는 점에서 본 연구의 한계를 찾을 수 있다. 또한, IGALD, TAAS를 이용한 교통사고 유형 분류 시스템은 내용이 방대하기에 논문에서 생성한 데이터를 활용하는 방법과 과정은 향후 과제로 한다.