YOLOv11 기반 자동 포트홀 신고 및 시각화 시스템 구현

2.1 가속도 센서 기반 방법

가속도 센서를 활용한 포트홀 검출은 차량의 진동 데이터를 분석하여 포트홀의 위치와 심각도를 추정하는 방식이다[4]. 이 방법은 구현 비용이 낮고 설치가 간편하며, 실시간 데이터 수집이 가능하다는 장점을 지닌다. 예를 들어, 차량에 부착된 가속도 센서는 주행 중에 발생하는 진동 데이터를 분석하여 특정 위치에서의 진동 변화를 통해 포트홀을 감지할 수 있다.

그러나 가속도 센서는 도로 평탄도, 차량 속도, 서스펜션 특성 등 다양한 외부 요인에 영향을 받는다. 동일한 포트홀이라도 노면 상태와 차량 종류에 따라 진동 신호가 달라질 수 있어, 검출 정확도가 낮아지는 경우가 발생한다. 이러한 한계로, 가속도 센서 기반 방법은 높은 정밀도가 요구되는 상황에서는 제한적으로 활용된다.

2.2 라이다(LiDAR) 센서 기반 방법

라이다(LiDAR) 센서는 빛의 반사를 이용하여 물체의 거리와 형태를 측정하는 기술로, 이를 활용해 포트홀을 감지할 수 있다. 라이다 센서는 2D 및 3D 버전으로 분류되며, 특히 2D 라이다를 활용한 포트홀 검출 연구가 활발하게 진행되고 있다.

2D 라이다는 단일 평면에서 빛을 스캔하여 포트홀이 있는 구간에서 반사 신호 변화를 감지함으로써 포트홀을 식별한다. 예를 들어, 차량 전방에 2D 라이다를 설치하여 도로 표면의 패인 정도를 측정하고 측정된 데이터를 기반으로 포트홀을 검출하는 방식이다[5]. 라이다 센서는 높은 정밀도를 제공하는 반면, 하드웨어 비용이 높아 대규모로 적용하기 어렵다는 한계를 지닌다.

2.3 카메라 센서 기반 방법

카메라 센서를 이용한 포트홀 검출 방법은 도로 표면의 이미지를 획득하고, 이를 영상 처리 기술과 딥러닝 알고리즘으로 분석하는 방식이다[6-8]. 이 방법은 라이다 센서에 비해 상대적으로 저렴한 하드웨어로 구현 가능하며, 고해상도의 시각 정보를 통해 포트홀 유무를 파악할 수 있다는 장점을 지닌다. 최근에는 딥러닝 기술의 도입으로 검출 성능이 크게 향상되었다. 그러나 카메라 방식은 조명 조건과 날씨 변화에 민감해 야간이나 악천후 상황에서 성능이 저하될 수 있다. 또한, 이미지의 복잡성과 노이즈로 인해 실시간 처리에 높은 연산 자원이 요구될 수 있다.

2.4 검출 방법 비교 분석

기존 연구의 검출 방법에 대한 비교 분석한 결과를 토대로, 본 논문에서는 카메라 센서 기반 방법을 선택하였다. 카메라 센서는 가속도 센서보다 포트홀의 형태와 크기에 대한 상세한 정보를 제공하며, 라이다에 비해 경제적이면서도 충분한 검출 성능을 제공한다. 또한 딥러닝을 통해 지속적인 성능 향상이 가능하다는 점도 중요한 선택 이유이다.

카메라 센서 기반 방법은 다른 센서들과 비교해 접근성과 확장성이 뛰어나다는 장점을 지닌다. 특히 스마트폰에 내장된 카메라를 활용할 수 있어 시스템 구축에 용이하다. 또한, 인터넷 상에 풍부하게 존재하는 이미지 데이터를 활용할 수 있어 모델 학습에 유리하다.

따라서 본 논문에서는 이러한 장단점을 종합적으로 고려하여 스마트폰 카메라와 딥러닝 기술을 활용한 자동 포트홀 신고 시스템을 제안한다.

3.1 데이터셋 전처리 및 포트홀 검출기 학습

본 논문에서는 포트홀 검출을 위해 YOLO(You Only Look Once)[9] 계열 모델 중 최신 버전인 YOLOv11의 Nano 모델을 사용하였다. 이 모델은 파라미터 수가 적어 실시간 처리에 유리하며, YOLO 시리즈 내의 다른 Nano 모델(YOLOv5n, YOLOv8n, YOLOv10n)과 비교했을 때도 높은 성능을 보인다[10]. 따라서 본 논문에서는 효율 및 성능을 만족시키는 YOLOv11 Nano 모델을 최종적으로 선택하였다. YOLO는 딥러닝 기반 실시간 객체 탐지 알고리즘으로, 이미지를 단 한 번 살펴보며 객체의 종류와 위치를 동시에 예측할 수 있다.

이는 R-CNN[11] 계열 모델이 영역 제안과 분류를 순차적으로 수행하는 것과 달리, 객체 검출과 분류를 동시에 처리함으로써 높은 처리 속도를 제공한다.

본 논문에서는 Ultralytics의 오픈소스 프레임워크를 활용하여 COCO 데이터셋[12]으로 사전 학습된 모델을 포트홀 데이터셋에 적합하도록 파인튜닝(Fine-tuning)을 수행하였다.

학습 데이터는 AIHUB[13]에서 제공하는 '도로 장애물 및 표면 인지 영상(수도권)' 데이터셋으로, 동적 객체(고라니, 보행자), 정적 객체(낙하물, 라바콘, 표지판, 쓰레기), 노면(포트홀, 보수된 포트홀, 맨홀)을 바운딩 박스와 세그멘테이션(Segmentation) 방식으로 라벨링한 이미지와 어노테이션 파일로 구성된다.

전체 데이터셋은 647,830개의 이미지로 구성되었으며, 학습에는 포트홀이 포함된 이미지 중 바운딩 박스 넓이가 2,000 이상인 데이터를 선별하여 사용하였다. 이는 지나치게 작거나 부정확한 라벨 데이터를 제거해 모델의 정확도를 높이기 위함이다.

최종적으로 26,291장의 이미지를 선정해 8:2 비율로 학습 및 검증 데이터로 분할하였다. 데이터셋에 대한 정보는 표 1과 같다.

Table 1.

Details of dataset

학습 과정에서 사용된 하이퍼파라미터는 배치 크기(Batch size)는 128, 에폭(Epoch)은 100, 학습률(Learning rate)은 0.01로 설정하였다. 기타 하이퍼파라미터는 Ultralytics의 기본값을 따랐으며, 이는 COCO 데이터셋을 비롯한 다양한 벤치마크에서 검증된 설정으로, 학습 안정성과 일반화 성능을 보장하도록 설계되었기 때문이다. 하이퍼파라미터에 대한 상세 정보는 표 2와 같다.

Table 2.

Hyperparameters

본 논문에서 사용된 실험 환경의 운영체제로는 Ubuntu 22.04 LTS를 사용했으며, CPU는 Intel i9-13900K(5.5GHz), RAM은 32GB, GPU는 NVIDIA RTX A6000을 사용해 학습을 진행했다. 실험 환경에 대한 정보는 표 3과 같다.

Table 3.

Experimental environment

본 논문에서는 검출기의 성능을 평가하기 위해 대표적인 지표인 mAP(mean Average Precision)를 사용하였다. mAP는 객체 검출 분야에서 널리 활용되는 지표로, 정밀도(Precision)와 재현율(Recall)을 종합적으로 측정하여 검출 성능을 정량화한다. 정밀도와 재현율은 각각 식 (1)과 (2)와 같이 정의된다.

여기서 TP(True Positive)는 모델이 객체를 올바르게 검출한 경우, FP(False Positive)는 객체가 아닌 것을 잘못 검출한 경우, FN(False Negative)는 실제 객체가 있음에도 검출하지 못한 경우를 각각 의미한다.

정밀도는 잘못된 검출(FP)을 줄이는 데 중점을 두며, 재현율은 놓친 검출(FN)을 줄이는 데 중점을 둔다. 포트홀 검출 문제에서는 도로 상태, 조명 조건, 포트홀의 크기 및 형태가 다양하게 변화하기 때문에 FP와 FN을 모두 줄이는 것이 중요하다. 이를 위해 두 지표(정밀도, 재현율)를 개별적으로 분석하면 특정 오류 유형의 발생 원인을 파악할 수 있다.

그러나 정밀도와 재현율만으로 모델의 전반적인 성능을 충분히 평가하기는 어렵다. 따라서 본 논문에서는 정밀도-재현율(PR) 곡선 아래 면적인 AP(Average Precision)를 구한 뒤, 모든 클래스에 대해 이를 평균 내는 mAP를 지표로 사용하였다. mAP는 식 (3)과 같이 정의된다.

여기서 N은 클래스의 수를 의미한다, 본 논문에서는 검출 대상 클래스가 포트홀 하나이므로 N = 1이 된다. 즉, 단일 클래스의 AP 값이 곧 mAP가 된다.

본 논문에서는 검출기의 성능을 보다 세밀하게 평가하기 위해 두 가지 형태의 mAP를 사용하였다. mAP50은 IoU(Intersection over Union) 임계값(Threshold)을 0.5로 고정하여 계산한 mAP이며, mAP50-95는 IoU 임계값을 0.5에서 0.95까지 0.05 간격으로 변화시키며 평균을 계산한 값이다.

mAP50은 낮은 IoU 임계값(0.5)에서의 검출 성능을 평가할 때 유용하며, mAP50-95는 다양한 임계값 구간에 서 모델이 얼마나 일관되게 포트홀을 검출하는지를 종합적으로 분석하는 데 적합하다.

모델 학습 및 실험 결과, 학습한 검출기의 mAP50과 mAP50-95 값은 각각 0.54736과 0.30882로 나타났으며, 상세한 성능 결과는 표 4와 같다.

Table 4.

Detection model performance evaluation results

그림 3은 테스트 이미지를 학습된 검출기의 입력으로 하여 얻은 결과이다. 그림 3을 분석한 결과, 동그란 형태의 포트홀은 높은 신뢰도(Confidence)로 검출되었으나, 세로로 긴 포트홀의 경우에는 낮은 신뢰도를 보이는 것을 확인할 수 있었다. 따라서 세로로 길거나 불규칙한 형태의 포트홀에 대한 검출 성능 개선이 필요하다고 판단된다.

Fig. 3.

Pothole detection results

3.2 실시간 포트홀 신고 애플리케이션

본 논문에서는 스마트폰 카메라를 활용하여 포트홀을 자동으로 신고할 수 있는 애플리케이션을 개발하였다. 애플리케이션은 크게 클라이언트와 서버 부분으로 나뉘며, 각 부분의 주요 기능과 구현 방식은 다음과 같다.

클라이언트는 iOS와 안드로이드(Android) 플랫폼을 모두 지원하기 위해 플러터(Flutter) 프레임워크로 구현되었다.

본 애플리케이션은 사용자 계정 관리를 위한 로그인 및 회원가입 화면, 그리고 포트홀 검출을 위한 카메라 화면으로 구성된다. 카메라 화면에서는 촬영한 이미지를 서버로 전송하는 기능을 제공한다. 사용자가 시작 버튼을 누르면, 현재 카메라에서 촬영된 이미지와 스마트폰의 위치 정보가 2초마다 서버로 전달된다. 전송 주기를 2초로 설정한 이유는 서버 과부하 방지와 이미지 전송 속도를 고려한 결과이다. 그림 4는 구현된 애플리케이션의 카메라 화면의 실행 결과를 보여준다.

Fig. 4.

Application screen

서버는 파이썬(Python) 기반의 경량 웹 프레임워크인 FastAPI를 사용하여 구현하였다. FastAPI는 간결하고 효율적인 구현이 가능하며, 특히 PyTorch 기반 딥러닝 모델과의 호환성이 뛰어나다는 장점을 지닌다.

서버는 사용자 인증(회원가입 및 로그인) 기능을 제공하며, 사용자가 업로드한 이미지를 입력으로 받아 포트홀을 검출하는 역할을 수행한다. 포트홀 검출은 PyTorch로 학습된 딥러닝 모델을 통해 이루어지며, 검출된 포트홀 정보는 PostgreSQL 데이터베이스에 저장된다. 데이터베이스는 User 테이블과 Pothole 테이블로 구성되는데, User 테이블에는 사용자 계정 관리를 위한 정보가 저장되고, Pothole 테이블에는 검출된 포트홀의 정보가 기록된다. 각 테이블의 구조는 표 5와 같다.

Table 5.

Database table structure

PostgreSQL을 선택한 이유는 PostGIS 확장을 통해 지리 데이터를 효과적으로 처리할 수 있기 때문이다. PostGIS는 위도(Latitude)와 경도(Longitude)를 기반으로 한 지리적 거리 계산을 효율적으로 수행할 수 있게 해주어, 사용자 위치를 기준으로 반경 내의 포트홀을 신속하게 검색하고 분석할 수 있다.

포트홀 검출 과정에서 신뢰도 임계값은 0.5로 설정되었으며, 모델이 검출한 포트홀의 신뢰도가 이 값을 초과할 경우에만 해당 객체를 포트홀로 인정한다. 신뢰도는 모델이 특정 객체가 실제로 포트홀일 확률과 해당 객체의 존재 확률을 결합해 계산된다. 신뢰도는 식 (4)와 같이 정의된다.

신뢰도가 0.5를 초과한 포트홀 검출 결과는 검출 시각, 위도, 경도 정보와 함께 데이터베이스에 저장된다. 신뢰도가 0.7 이상인 경우, 검출된 포트홀 이미지와 바운딩박스 정보는 학습 데이터로 활용하기 위해 서버에 저장된다. 신뢰성 있는 데이터를 확보하기 위해, 동일한 사용자가 5m 이내에서 이미 감지한 포트홀은 중복 저장되지 않도록 설정하였다.

3.3 포트홀 데이터 시각화 웹 시스템

포트홀 신고 데이터를 효과적으로 시각화하기 위해 HTML(Hyper Text Markup Language), CSS(Cascading Style Sheets), JavaScript를 활용한 웹 시스템을 개발하였다. 지도 기반 시각화를 위해 JavaScript의 경량 오픈소스 라이브러리인 Leaflet을 사용하였으며, 이를 통해 포트홀의 위치와 분포를 직관적으로 확인할 수 있도록 구현하였다. 또한, 히트맵을 적용하여 포트홀이 집중적으로 발생하는 지역을 시각적으로 강조하였다. 구현된 웹 페이지의 그림 5와 같다.

Fig. 5.

Pothole reporting and visualization website