휴대폰, 블랙박스, 카메라 등과 같이 영상 정보 수집 기기가 발달함에 따라 다양한 이미지 데이터들을 학습하는 CNN(Convolutional Neural Network)이 각광받고 있으며 CNN을 기반으로 하는 많은 논문들이 현재에도 지속적으로 제안되고 있다. 예를 들어 object detection을 위한 Regions with Convolutional Neural Networks features, FCN(Fully Convolutional Networks for Semantic Segmentation), YOLO(You only look once) 등이 있으며, segmentation에 특화된 모델 U-Net, DeepLab 등이 있다[1]-[4]. 이 제안된 모델들은 의료, 자율주행, 보안 카메라 등과 같은 다양한 산업 분야에 활용되고 있으며 이에 따라 다양한 오픈 데이터셋들이 제공되고 있다. 이렇게 다양한 CNN 기반 모델 중에서 본 논문에 기반이 되는 U-Net는 의료 분야에서 segmentation을 위해 주로 사용되며 YOLO는 객체 탐지에 사용된다. 예를 들어 U-Net을 이용하여 장기의 segmentation 검출과 객체를 인식하는 방법이 제안되었으며, YOLO를 사용한 객체인식에서는 CCTV 영상 내 군중 밀집도 분석 방법 및 자율주행을 위한 융복합 영상 식별 시스템 개발 등 지속적으로 다양한 기술들이 제안되고 있다[5]-[8]

본 논문에서는 제한된 데이터를 이용하여 도로환경에서 차량의 형태, 위치를 더 정밀하게 추정할 수 있는 방법을 연구하였다. 데이터는 도로환경 오픈 데이터인 BDD100K(Berkeley Deep Drive 100K)[9]를 사용하였다. 이 데이터를 YOLO를 통해 사전처리하고 이렇게 처리된 결과를 U-Net3+[10]의 입력으로 사용하여 U-Net3+ 단일 모델과 제안한 방법의 성능을 비교 분석한다.

YOLO v5[11]는 2020년 6월에 발표된 객체 인식 알고리즘이며 파이토치로 구현된 CSPNet(Cross Stage Partial Network) 기반 백본과 헤드로 구성되어 있다. 백본은 이미지의 특징맵 추출을 수행하며 헤드는 추출된 특징맵을 기반으로 클래스를 예측하거나 bounding box 예측을 수행한다. U-Net[2]은 2015년에 biomedical 분야에서 segmentation을 목적으로 제안된 모델이며 모델의 구조가 U자 형태로 되어있다. U-Net은 CNN을 기반으로 제안된 모델이며 FCN의 확장 개념으로도 볼 수 있다. U-Net은 기본적으로 인코더에 해당하는 수축경로(Contracting path)와 디코더부분에 해당하는 확장경로(Expanding path)로 구성되어 있다. U-Net3+는 2020년에 U-Net, U-Net++를 발전시킨 모델로 U-Net++에서 발생하는 메모리 자원, 파라미터의 증가를 full scale skip connection을 통해 해결하는 모델이다. 이전에 제안한 YOLO를 통해 병렬로 U-Net을 연결하여 segmentation을 수행하는 방법[12]의 단점인 파라미터 수 감소와 추가적인 성능 개선을 위해 병렬구조를 제거하고 모델을 U-Net3+기반의 모델로 변경하여 실험을 진행하였다.

본 논문의 구성은 다음과 같다. 2장에서는 제안한 모델의 전체적인 구성을 설명하고 2.1에서는 YOLO v5를 통해 데이터를 생성하는 방법 2.2에서는 U-Net3+의 구조와 학습 방법에 대해 설명한다. 3장에서는 실험에 사용된 장비, 학습데이터에 대해 설명하고 기존 U-Net3+를 기반으로 구성된 모델을 통해 학습하는 방법과 제안한 방법의 결과를 비교한다. 4장에서는 결론에 대해서 기술하고 개선방향에 대하여 설명한다.

Segmentation은 의료, 제조공정, 자율주행 분야에 주로 활용되고 있으며 크게 객체와 배경을 분리하여 위치와 형태를 예측하는 방법이다. 따라서 객체인식에서 사용되는 bounding box의 방법으로는 확인하기 어려운 객체의 형태를 파악할 수 있다는 장점이 있으며 픽셀단위로 클래스를 분류하기 때문에 더 세분화된 정보를 제공할 수 있다. 대표적인 segmentation 모델로는 U-Net, U-Net3+, DeepLab 등이 있다.

표 1은 실험에 사용된 CPU, GPU, Memory 성능을 나타낸 것이다. CPU는 i9-10920X를 사용했으며 GPU는 Titan RTX를 사용하여 segmentation 학습을 수행하였다. 학습 횟수는 100번 배치 사이즈는 100으로 설정하였다.

제안한 segmentation 예측 시스템의 성능 평가를 위해서 본 연구에서는 기존에 U-Net3+를 기반으로 작성된 동일한 모델 2개를 준비하고 하나는 YOLO를 거치지 않은 모델과 하나는 YOLO v5를 거쳐 U-Net3+에 학습한 결과의 mIoU 결과를 측정한다.

그림 5는 각 모델의 trainning loss의 결과를 나타낸 것이다. (a)는 기존 U-Net3+ 기반의 모델로만 학습한 것이고 (b)는 YOLO v5를 적용하여 U-Net3+를 학습한 손실 값이다. 학습 횟수와 배치사이즈 모두 두 모델 동일하게 구성하였다. 그림을 살펴보면 (a)보다 (b)의 손실값이 더 낮은 것을 확인 할 수 있다.

Fig. 5. 
Training loss of UNet3+ based model and the proposed model (a) U-Net3+ based system loss, (b) YOLO-U-Net3+ based system loss

그림 6은 학습데이터의 라벨에 해당하는 ground truth의 이미지를 나타낸 것이다. segmentation 학습 시 학습 결과가 얼마나 ground truth와 유사한지에 따라 학습이 올바르게 되었는지 확인할 수 있다. 그림 7은 U-Net3+기반 모델과 제안한 모델의 segmentation 결과를 나타낸 것이다.

Fig. 6. 
Segmentation ground truth

Fig. 7. 
Results of U-Net3+ based model and the proposed model (a) U-Net3+ segmentation, (b) YOLO-U-Net3+ segmentation

(a)는 YOLO 데이터를 U-Net3+기반 모델 학습에 사용하지 않은 결과이며, (b)는 YOLO 데이터를 사용한 결과이다. 결과를 살펴보면 육안으로 보았을 경우에도 (a)보다 (b)가 더 정확하게 예측한 것을 확인할 수 있다.

이러한 결과를 수치적으로 표현하기 위해 segmentation와 객체 인식의 성능 평가 지표로 많이 사용되는 mIoU를 이용하여 mIoU를 측정하였다. mIoU 식 (5)과 같다.

N_t는 테스트 데이터의 이미지 개수이며 b_i는 I번째 prediction instance segmentation이며 bigt는 i번째 ground truth이다. 표 2는 U-Net3+기반 시스템과 제안한 시스템의 mIoU 결과를 측정한 것이다. threshold의 임계값은 동일하게 0.005로 설정하였다. 표 2의 측정 결과를 확인해보면 YOLO를 적용한 모델이 U-Net3+만 적용한 모델보다 더 좋은 mIoU를 가짐을 알 수 있다. 동일 조건에서 제안한 시스템의 신뢰성을 확인하기 위해 초기상태에서 여러 횟수의 학습을 시도하였는데 제안한 시스템은 YOLO에서 데이터를 생성하는 시간이 추가적으로 발생한다. 표 2의 Data creation time은 데이터 100개 당 평균 생성 시간을 나타낸 것이며 제안한 시스템이 단일 U-Net3+ 모델보다 생성시간이 6~7초 정도 더 소요되는 것을 확인하였다.

하지만 제안한 시스템이 기존의 U-Net3+기반으로 작성된 시스템보다 0.02~0.2 정도의 mIoU 향상을 보였다. 따라서 제안한 시스템이 YOLO를 통해 출력된 이미지가 segmentation 학습을 수행할 때 물체의 영역을 제한함으로써 더 좋은 성능의 segmentation 결과를 가지는 것을 확인할 수 있다.

일반적으로 모델의 정확도를 높이기 위해서는 모델의 레이어를 적층하거나 학습 데이터의 양을 늘리는 방법을 많이 사용하지만 데이터의 양을 늘리기 위해서는 라벨링 작업이 필요한데 이는 데이터 생성에 많은 시간이 소요된다. 본 논문에서는 같은 양의 데이터를 효과적으로 활용하도록 객체인식 결과를 segmentation에 활용하는 시스템을 구현하였다. 제안한 시스템은 YOLO v5s의 모델을 사용하여 BDD100K 데이터를 학습하였다. 이렇게 학습된 모델을 통해 bounding box가 포함된 객체인식 이미지를 U-Net3+의 입력으로 사용하여 semantic segmentation을 수행하였다. 그 결과 YOLO를 사용하지 않은 segmentation 시스템에서는 0.538, 제안한 시스템에서는 0.692의 mIoU를 얻어 제안한 시스템의 성능이 기존 U-Net3+기반의 모델만 사용한 시스템보다 향상되었음을 보였다.

하지만 구현과정에서 YOLO를 적용한 U-Net3+ 모델은 기존 U-Net3+만 사용한 모델에 비해 추가적인 객체 인식 과정이 추가된 점이 단점이다. 이로 인해 학습 과정에서 더 많은 시간이 소요될 수 있다. 이 부분은 U-Net3+과 YOLO 모델의 복잡도를 줄여 재구성하는 방법으로 개선해야 될 것으로 예상된다.

본 논문은 객체인식 모델 YOLO를 이용하여 U-Net3+의 semantic segmentation을 더 효과적으로 학습할 수 있다는 부분에서 연구의 의의를 찾을 수 있다. 그렇지만 더 깊은 모델에서의 성능과supervision by ground truth 과정이 추가되었을 때 성능이 검증되지 않았다는 점에서 한계를 찾을 수 있다. 따라서 이러한 문제점을 개선하기 위해 더 깊은 모델, supervision by ground truth 과정이 추가 되었을 때, 추가적으로 instance segmentation에서의 성능 평가 과정을 향후 과제로 한다.