Current Issue

KITTI 데이터는 객체의 클래스 및 경계 상자 레이블만 제공할 뿐, 혼잡도 추정에 필요한 레이블은 제공하지 않는다. 본 연구에서는 각 이미지에 존재하는 클래스의 경계 상자 수를 합산한 뒤, 특정 임계값 구간에 따라 Low/Medium/High와 같은 혼잡도 클래스를 부여하였다. 여기서 혼잡도 클래스를 부여하는 데 필요한 구간의 개수를 K라고 칭하겠다. 간단하게 K가 3일 때는 혼잡도 클래스가 세 개임을 의미한다. 클래스별 데이터 개수가 크게 편향되지 않도록 임계값을 분위수 기반으로 산정하여 각 클래스가 유사한 수의 이미지를 갖도록 하였다. 초기에는 K=4(≤1개, 2-4개, 5-6개, ≥7개)으로 설정하였으나 K가 너무 작으면 예측 난이도가 낮아지고, 너무 크면 학습이 어려워지는 점을 고려해 K를 다양하게(K={2, 3, 4, 5}) 설정하여 실험하였다. 본 연구에서는 먼저 전체 KITTI 데이터세트에 대해 이미지 당 객체 수를 히스토그램으로 시각화하여 분포를 확인하였다(그림 1). 이 히스토그램의 주요 분포 특성을 바탕으로, K개의 혼잡도 구간에 대해 임계값을 설정하였다. K별 임계값은 표 1에 제시하였다. 이와 같은 데이터 분할 및 전처리, 레이블링 과정을 통해 실제 주행 차량 전방 시점에서 안정적으로 객체 혼잡도를 학습 및 평가할 수 있는 환경을 마련하였다.

Fig. 1. 
Histogram of the distribution of object counts per image in the KITTI training dataset

본 섹션에서는 4.1에서 정의한 혼잡도 임계값에 따라 분리된 각 혼잡도 클래스별 대표 이미지를 그림 2 ~ 그림 5에 제시한다. 각 그림의 세부 이미지는 해당 K 설정에서 각 구간의 중앙값에 해당하는 프레임을 선택하여, 클래스 간 시각적 차이를 직관적으로 보여준다.

Fig. 2. 
Example images from the K=2 dataset (a) Low (b) High

Fig. 3. 
Example images from the K=3 dataset (a) Low (b) Medium (c) High

Fig. 4. 
Example images from the K=4 dataset (a) Very low (b) low (c) High (d) Very high

Fig. 5. 
Example images from the K=5 dataset (a) Very low (b) low (c) Medium (d) High (e) Very high

전통적인 CNN은 합성곱 층→활성화 층→풀링 층 구조가 반복되며, 풀링 층이 다음 합성곱 층의 입력으로 들어갈 특성 맵의 크기를 줄이는 다운샘플링 역할을 한다. 반면 본 연구에서는 전통적 CNN의 반복 구조에서 모든 풀링 층을 제거하고 stride=2인 합성곱 연산만으로 해상도를 반씩 축소하도록 설계하였다. 이런 변형은 고정된 풀링에 비해 다운샘플링을 네트워크가 학습 가능하게 만들어 더 유연한 특징 요약을 가능하게 하는 장점이 있음이 보고되었다[13]. 모든 합성곱 층 다음에는 배치 정규화[14]와 ReLU 활성화 함수를 적용하여 학습의 안정성과 수렴 속도를 높였으며, 비선형성을 도입해 표현력을 확장하였다. 마지막에는 전역 평균 풀링(Global average pooling)을 통해 공간 차원을 1×1로 압축한 뒤, 이를 단일 완전 연결 층(FC, Fully Connected layer) 분류기에 입력하여 K개의 클래스 로짓(logits)으로 변환한다. 학습 시에는 정답 레이블 간의 교차 엔트로피 손실을 최소화하며, 추론 시에는 가장 높은 로짓 값을 가진 클래스를 선택해 혼잡도 레이블을 예측한다.

모델에 사용된 빌딩 블록(합성곱 층+정규화 층+활성화 층) 수를 3개, 5개로 설정하고 모델명을 각각 CNN-3, CNN-5로 정의하였다. CNN-5는 CNN-3의 세 블록 구조를 그대로 계승한 뒤, 두 개의 블록을 추가한 형태이다. 두 모델의 자세한 네트워크 구조와 각 층의 입력 해상도 및 빌딩 블록의 출력 채널 수는 표 2에 기술하였다. 배치 정규화 및 활성화 함수는 생략하였다.

K. He et al.[9]이 제안한 ResNet-18은 18개의 층으로 구성된 심층 CNN이다. 이전 블록의 출력을 잔차 학습(residual learning) 구조를 따르며 4개의 잔차 단계마다 2개의 잔차 블록이 배치되어 있다. ResNet-18의 각 잔차 블록에는 2개의 합성곱 층이 포함된다. 잔차 단계별 합성곱 층에 대한 자세한 구성은 그림 6에 나타내었다. 잔차 학습을 위한 shortcut connection은 U자형 화살표로 표시하였으며, 점선으로 표기된 것은 텐서 차원 불일치를 해결하기 위해 다운샘플링 및 채널 증가가 추가로 적용되었음을 의미한다. 전체 파라미터 수는 약 11.7M이다.

Fig. 6. 
ResNet-18 architecture for predicting congestion labels

본 연구에서는 PyTorch TorchVision 라이브러리에 구현된 사전학습 모델을 활용하여 ImageNet 가중치로 초기화한 뒤, 마지막 완전 연결 층을 혼잡도 클래스 수에 맞게 교체하고 통째 학습(end-to-end) 방식으로 네트워크 전체에 fine-tuning 학습을 수행하였다. 학습은 CNN과 동일하게 교차 엔트로피 손실을 최소화하도록 수행되었다.

본 분류기는 앞서 제시한 두 구조와 달리, 객체 검출 모델인 YOLO의 탐지 결과를 활용하여 혼잡도를 분류한다. 먼저 KITTI 데이터세트로 YOLO를 사전학습 한 뒤, 탐지된 객체 수를 기준으로 사전에 정의된 임계값에 따라 클래스를 결정하는 방식을 적용하였다. 이 과정에서 실제 학습이 이루어지는 것은 YOLO를 이용한 검출 단계뿐이며, 분류 단계는 규칙 기반 방식으로 결정된다. 그림 7에 YOLO 기반 분류기의 분류 과정을 나타내었다.

Fig. 7. 
Congestion classification process of the YOLO-based classifier

검출 단계에서는 사전학습된 YOLOv6-S 모델을 사용하였으며, 입력 이미지는 640×640 픽셀로 letterbox 방식으로 리사이즈된 뒤 네트워크에 투입된다. 모든 검출 결과의 경계 상자 수를 합산하여 프레임당 전체 객체 수 N을 산출한다. 이후 데이터세트 구성에서 정의한 임계값(표 1)을 적용하여 N이 속하는 구간에 따라 레이블을 할당한다. 이 방식은 별도의 분류 헤드를 추가로 학습하지 않고도, YOLOv6-S의 검출 결과를 직관적으로 혼잡도 예측에 활용할 수 있다는 장점이 있다. 특히, KITTI에 특화된 사전학습을 통해 도심 주행 환경에서의 객체 검출 성능을 극대화하고, 단순한 임계값 로직만으로 빠르고 효율적인 혼잡도 분류를 수행한다.

모델의 성능 평가는 정확도, F1 점수, 혼동 행렬, 그리고 모델 효율성 계산으로 이뤄졌다. 정확도는 전체 샘플 중 올바르게 분류된 비율로 산출했으며, F1 점수는 K개 클래스에 대해 동등하게 평가하기 위해, 각 클래스 i의 정밀도(P_i, Precision)와 재현율(R_i, Recall)의 조화평균을 구한 뒤, 이를 모든 클래스에 대해 평균화하는 매크로 방식(식 (1))으로 정의하였다.

혼동 행렬을 통해 클래스 간 오분류 패턴을 시각화하고, 모델의 계산 및 메모리 효율성은 파라미터 수와 추론 속도, GFLOPs(Giga FLoating point Operations Per second)로 비교 분석하였다. 추론 속도는 동일한 입력 배치에 대해 5회 워밍업 후 20회 반복 측정을 수행하였다. GPU의 비동기 연산 특성을 반영하기 위해 각 반복마다 CUDA 동기화를 거쳐 연산 완료 시점을 기준으로 밀리초 단위의 처리 시간을 기록하고, 그 평균값을 산출하여 최종 추론 속도로 간주하였다.

모델의 공정한 학습 및 성능 평가를 위해 KITTI 데이터세트의 이미지 7,481장에 동일한 조건의 전처리를 수행하였다. KITTI 이미지의 원본 해상도는 대체로 1242×375 픽셀이지만 몇 픽셀 오차를 가지는 데이터도 존재한다. 모델 입력의 일관성을 위해 모든 이미지를 1216×366 픽셀로 크기 조정하였다. 데이터 분할은 클래스 비율을 유지하는 계층적 샘플링(Stratified sampling)방식으로 train:validation:test를 6:2:2 비율로 수행하였으며, 재현성을 위해 난수 시드를 42로 고정하였다. 각 분할별 이미지 수와 K 값별 클래스 분포는 표 3에서 확인할 수 있다.

모든 모델은 AdamW 옵티마이저와 배치 크기 32로 학습하였으며, 손실 함수로는 교차 엔트로피 손실(Cross-entropy loss)을 사용하였다. 이때의 학습률과 가중치 감쇠(Weight decay)는 각각 1×10⁻⁵과 1×10⁻⁴로 고정하였다. 최대 1,000 에포크까지 학습하되 검증 손실이 개선되지 않으면 조기 종료하였고, 모든 실험은 PyTorch 2.0.1 / CUDA 11.3 환경의 NVIDIA RTX 3090 GPU에서 수행되었다.

표 4에는 CNN-3, CNN-5, ResNet-18, YOLO 기반 분류기 네 모델의 정량적 결과가 요약되어 있다. 이어서 결과를 바탕으로 모델 간 정확도 성능을 비교 분석한다.

K가 증가함에 따라 분류 난이도가 높아지면서 모든 모델의 정확도와 F1 점수가 점차 감소하였다. 세분화된 혼잡도 분류 과제가 더욱 어려워짐을 보여준다. 특히 2개 클래스로 나눌 때 ResNet-18은 94.8% 정확도로 가장 우수한 성능을 보였고, 이외의 K에 대해서도 전체적으로 RestNet, YOLO, CNN-5, CNN-3 순서로 성능 순위가 나타났다.

전체적으로 정확도와 F1 점수가 유사한 값을 보인 점도 눈여겨볼 만하다. 이는 모델이 특정 클래스에 과하게 치우치지 않고 전 클래스에 대해 비교적 균형 잡힌 예측 성능을 보였음을 시사한다. 특히 ResNet-18과 YOLO 분류기는 정확도 대비 F1 점수의 격차가 0.03 이내로 작아, 클래스별 분류 성능이 고르게 유지되었음을 알 수 있다.

반면 CNN-3의 경우 K=5에서 두 수치의 차이가 가장 커, 일부 클래스의 성능이 상대적으로 낮아지면서 전체 성능이 다소 불균형해졌음을 보여준다. 클래스 간 성능 차이는 5.3절의 혼동 행렬 시각화를 통해 보다 세밀히 살펴본다.

표 5에는 네 모델의 효율성 평가 결과가 요약되어 있다. 이어서 결과를 바탕으로 모델 간 효율 성능을 비교 분석한다.

CNN-3과 CNN-5는 극히 적은 파라미터 수와 낮은 연산량을 바탕으로 단일 이미지 기준 평균 0.01ms, 0.02ms라는 즉각 응답에 가까운 추론 속도를 달성하였다. ResNet-18은 두 CNN 모델과 비교했을 때, ResNet-18은 CNN-5 대비 2,795%의 모델 크기와 2,450%의 연산량을 가지지만, 최적화된 CUDA 구현을 통해 평균 0.89ms를 기록하여 여전히 실시간 처리 범위에 속한다. 반면 YOLO 분류기는 모델 규모가 네 모델 중 가장 크며, 추론 속도도 평균 3.19ms로 중간 수준의 레이턴시를 보여준다.

정확도 성능 비교와 함께 고려했을 때, 대체로 정확도와 추론 시간에 트레이드 오프가 발생한다. 따라서 초고속 추론이 최우선이거나 연산 자원이 제한된 임베디드 환경인 경우, CNN-3/5 같은 초경량 모델이 가장 적합하다. 최고 분류 성능을 위해서는 ResNet-18을 선택하는 것이 합당하지만 1ms 이하의 응답 시간이 허용되는 환경에서만 권장된다. YOLO 기반 분류기는 CNN-3/5나 ResNet-18에 비해 분류 성능이나 연산 효율 면에서 최상위권은 아니지만, 사전 정의된 임계값만 변경하면 즉시 새로운 혼잡도 클래스를 체계를 적용할 수 있다는 점에서 높은 유연성을 제공한다.

이 섹션에서는 네 모델이 테스트 데이터세트에 대해 예측한 결과를 바탕으로 혼동 행렬(confusion matrix)을 시각화 하여 클래스 간 오분류 패턴을 분석한다. 그림 8 ~ 그림 11에 제시된 각 혼동 행렬에서 셀의 색 농도는 해당 셀에 속하는 샘플 수를 나타내며, 세로축은 실제 레이블, 가로축은 예측 레이블을 의미한다.

Fig. 8. 
Confusion matrix of CNN-3 model

Fig. 9. 
Confusion matrix of CNN-5 model

Fig. 10. 
Confusion matrix of ResNet-18 model

Fig. 11. 
Confusion matrix of YOLO-based model

K=2 설정에서 네 모델 모두 대각선 셀이 매우 짙게 나타난 것은 한산(Low)과 혼잡(High) 두 클래스 간 구분이 거의 완벽하게 이뤄졌음을 의미한다. 실제 임베디드 또는 실시간 시스템에서는 혼잡 여부 판단만으로도 충분한 경우가 많기 때문에, 이진 분류를 채택하면 성능 효율을 극대화할 수 있다.

반대로 K=3, 4, 5 설정에서 대각선 셀이 연하게 나타나는 것은 해당 클래스에 속하는 샘플을 올바르게 예측한 경우가 상대적으로 적다는 것을 의미한다. 특히, CNN-3/5 모델은 Low나 High처럼 시각적 차이가 뚜렷한 극단 클래스에서는 상대적으로 높은 분류 성능을 보이나, Very Low-Low 구간처럼 차이가 미미한 클래스에 대해서는 전반적으로 모호하게 예측하는 경향이 있다. 이는 이들 경량 모델이 깊이가 얕고 채널 수가 적어 이미지에서 추출할 수 있는 표현적 특징의 수가 제한적이기 때문이다.

반면, ResNet-18과 YOLO 기반 모델은 보다 깊은 네트워크 구조와 풍부한 채널 수를 통해 중간 혼잡도에 해당하는 미세한 패턴까지 효과적으로 학습하므로, CNN-3/5와 달리 Low, Mid, Mid-High 구간에서도 상대적으로 균형 잡힌 분류 성능을 보인다.

ResNet-18은 여러 잔차 블록을 거치며 다양한 수준의 특징을 추출해 복잡한 분포 차이를 구별하고, YOLOv6는 객체 검출 단계에서 위치 및 크기 정보를 보존해 개별 객체 기반의 혼잡도 판단을 지원함으로써 중간 클래스 예측에서도 안정적인 정확도를 유지한다.