Home

자전거 도로에 대한 데이터는 기존의 CRDDC 에 의한 표본 데이터뿐만 아니라 직접 수집하였다. 그림 1을 보면 기존의 CRDDC의 7개국에서 수집된 데이터를 살펴보면 도로 표면을 멀리 볼 수 있는 형태로 수집되었다.

Fig. 1. 
ORDDC2022 data

그림 2는 본 논문에서 사용된 영상 데이터로써, 자전거의 핸들 바 높이에서 촬영하였다. 이렇게 함으로 멀리 있는 영상은 아니지만, 자전거 가까이서 지면의 영상을 깨끗하게 얻을 수 있다.

Fig. 2. 
Bicycle road data

그림 3는 수집된 데이터의 처리 과정을 나타낸 것이다. 수집된 동영상 및 GPS 값을 물체검출과 클러스터링 처리 후, 그 결과를 데이터베이스로 구축하고 이후에 해당 자전거 도로 구간을 이용하는 사용자들에게 정보를 제공하고자 한다.

Fig. 3. 
Process of the collected data

본 논문에서는 위험 요소에 대한 인식 모델로써 YOLOv5s 모델을 사용하였다. 이는 이전의 CRDDC2020에 참가한 팀들이 사용한 딥러닝 모델과 그에 따른 순위 등을 요약[7]한 결과에서 가장 높은 성능을 보여주었기 때문이며 YOLOv4와 같이 CSPNet 기반의 백본을 사용하며 달라진 점은 학습된 모델의 크기가 작고 학습 속도가 빨라진 장점이 있음에도 물체검출 성능은 비슷하기에 사용하였다.

목표로 하는 위험 물체검출을 하기 위해 모델의 성능은 충분하며 학습 데이터 및 입력 영상의 품질이 더 중요하기 때문에 본 논문에서 목표로 하는 위험 물체검출에는 충분하다.

기존에 도로에서는 주로 아스팔트 포장에 생기는 구멍인 포트홀과 크랙 검출을 중점으로 다루고 있지만, 자전거 도로는 일반도로와 다르게 자전거에 위험을 주는 물체 맨홀, 빗물받이를 추가하고 이를 그림 4에 표시하였다. 특히, 맨홀은 시간이 지나면서 도로에 침식으로 높게 튀어나오거나, 낮게 들어가는 경향이 있다. 또한, 바퀴가 얇은 로드 사이클의 경우 빗물받이에 마찰력이 부족해 운전자가 낙차 사고를 유발할 수 있다.

Fig. 4. 
Images of the circle, rectangle manhole, rain gutter, and pothole

2.1의 그림 1에 CRDDC2022 데이터는 영상이 연속으로 이어지는 간격이 길거나, 연속되지 않은 데이터로 구성되어 있고 각 영상이 촬영 시간에 맞는 GPS 데이터가 없다. 그래서 클러스터링을 통한 결과물을 지도에 나타내기가 불가능해 특정 구간에 대해 영상은 초당 30프레임, 위치(GPS) 값은 1Hz로 수집하는 스마트폰 앱을 만들어 데이터를 획득하였다.

수집한 동영상은 사전 학습(Pre-trained)된 특징추출기인 VGG(Visual Geometry Group)-19[13]로 추출된 특징을 비지도 학습인 K-평균 알고리즘(K-means clustering algorithm)으로 클러스터링하는데 여기서 K는 입력 데이터 수 N개보다 작거나 같은 수의 그룹으로 나누기 위한 파라미터이다. VGG-19는 19개의 계층으로 구성된 CNN(Convolutional Neural Network)으로 이미지 분류에 사용하였고, 비지도 클러스터링을 수행하고 그 결과를 그래프와 지도에 표현하여 분석한다.

위험 요소 학습 데이터의 경우, 인터넷과 주변에서 영상을 획득하여 약 200장을 라벨링 작업으로 준비하였으며 COCO128 데이터셋을 PyTorch기반의 YOLOv5s로 Pre-trained된 파일을 사용하고 앞서 그림 4에서 설명한 4가지 종류의 데이터를 train 80%, val, test 10%씩 각각 구성하고 200 epochs로 학습하였다.

실험에서 입력 데이터로 사용할 영상은 5km 구간을 30분간 주행한 동영상이며 사전에 해당 경로를 조사하여 사람의 시각으로 볼 때 위험도가 높은 위험 요소를 28개를 지정하였고 학습한 모델에 영상을 입력하여 위험 요소를 검출해 표 1에 YOLO에서 사용하는 임계 값(Confidence score) 기준으로 각 결과를 나타내었다.

표 1의 결과를 분석해보면 수집한 데이터로 학습한 모델에서 임계 값이 0.60이 최적의 성능을 낼 수 있는 수치이다.

그림 5의 정밀도와 재현율을 분석해보면 위험 요소 검출 결과 중 일부를 그림 6에 나타내었는데 맨홀과 빗물받이 같은 경우는 물체의 형상이 뚜렷하고 패턴이 일정한 규칙이 있어 인식이 잘 되는 편이지만 포트홀의 경우는 다양한 패턴 때문에 이것을 검출하기 위해 다양한 형상을 학습시키는 만큼 오차가 많이 발생하는 것을 검출된 데이터를 확인해본 결과 알 수 있었다. 학습에는 많은 데이터가 중요하고 포트홀도 좀 더 세분화하여 학습할 필요가 있다.

Fig. 5. 
Precision and recall

Fig. 6. 
Detection results of the risk objects

그림 7은 위험 요소가 아님에도 위험 요소로 검출한 영상을 몇 가지 나열하였다. 영상을 살펴보면 도로가 물에 젖었거나 기타 오염된 흔적이지만 마치 포트홀처럼 생김새와 비슷하여 생긴 결과이며 이것 역시 형태가 다양하여 보완이 필요하다.

Fig. 7. 
Incorrect detection of the risk objects

우리가 수집한 포트홀 데이터로 학습한 결과와 비교를 위해 Faster-RCNN-Incention-V2[15]로 인터넷에서 모은 약 600장으로 학습된 모델을 사용해 동일한 우리의 입력 데이터에서 포트홀만을 검출하여 비교하였다.

표 2의 결과를 분석해보면 포트홀 검출에서 도로에 오염으로 인한 검출이 대다수를 차지하고 있으며 형상이 다양함이 원인이라 볼 수 있다.

획득한 영상의 프레임을 모두 클러스터링하기에는 수가 많고 처리시간이 오래 걸리기 때문에 1초 단위로 1,729개의 프레임 영상으로 추출하였다. 그림 8은 그중에서 유형이 같거나 다른 몇 가지 영상들을 나열하였다.

Fig. 8. 
Input images for clustering

그림 9는 본 논문에서 클러스터링 결과 분석을 위해 2가지로 표현하는 방법을 나타낸 것으로 입력 영상(a)에서 VGG-19를 통해 특징 추출(b)한 데이터의 차원 수가 많아 그래프 표현이 어렵다.

Fig. 9. 
Processing process (a) Input image, (b) Feature extraction, (c) Statistics, and (d) Visualization on the map

이를 통해, 2차원 그래프로 한눈에 클러스터링 결과를 확인할 수 있고 지도에 표현하여 도로 구간 분석에 사용할 수 있다.

그림 10은 그래프로 클러스터링 결과를 시각화한 결과이다. 분석해보면 비교적 뚜렷하게 패턴들이 나뉘는 것을 확인할 수 있는데 VGG-19가 도로의 노면에서 충분히 특징을 추출했다고 생각할 수 있다. 이를 통해 실제의 도로 형태에 맞게 같은 패턴들끼리 모여졌는지 클러스터링 패턴 1,729개의 영상을 확인하고 결과를 나타내었다.

Fig. 10. 
Visualization result of clustering

표 3은 확인한 결과를 나타내었고 분석해보면 아스팔트의 경우 도로에 숫자 또는 과속방지턱과 같은 것에서 오차가 발생하였고 시멘트 1, 2는 같은 형태의 도로지만 구간의 오염도가 달라 다른 패턴으로 나뉘었고 보도 구간에서 수집된 시간이 짧아 특별한 오차는 없었다. 클러스터링에서 k 값을 더 크게 하여 다양하게 해보는 방법도 있지만 사실상 도심을 떠나더라도 그만큼 나눌만한 형태의 도로 형태는 다양하지 않다고 보고 4가지 정도로 나누는 것이 성능 결과에서 볼 수 있듯이 합리적이다.

그림 11은 클러스터링이 잘못된 대표적인 패턴 영상이며 11(a)은 빠른 시점변화로 인해 카메라의 초점이 맞질 않아 흐릿한 이유이며 11(b)은 여러 형태의 도로로 인해 특징이 분산되었고 11(c)은 질감이 매우 비슷한 결과이다.

Fig. 11. 
Examples of Incorrect clustering pattern

그림 12(a)은 구간의 클러스터링 결과 패턴들을 색상 및 위치값으로 지도에 표현하였다. 결과를 보면, 색이 명확하게 분리된 부분도 있지만 여러 가지 색이 잡음처럼 바뀌는 짧게 바뀌는 부분이 있다. 이것은 오차를 나타내며 그 외에는 비교적 뚜렷하게 구간을 표현하고 있다. 그림 12(b)는 수집된 영상에서 위험 물체의 검출 결과를 지도에 겹쳐 표현하였고 사용자가 구간의 전체 또는 일부를 주행 전 또는 주행 중에 도로의 상태를 확인해 볼 수 있다.

Fig. 12. 
Mapping results (a) Clustering results on a map, (b) Result of combining the locations of risk factor objects into map