Journal Archive

3GPP는 LTE(Long Term Evolution) release 14에서 교통안전 서비스를 위해 차량 간에 BSM(Basic Safety Message)과 같은 안전 메시지를 교환하기 위한 물리계층과 MAC(Medium Access Control) 계층을 정의하는 cellular-V2X(Cellular Vehicle-to-Everything)를 표준화하였다[1]. C-V2X는 PC5 인터페이스를 통해 차량 단말(VUE, Vehicle User Equipment)간 V2V(Vehicle-to-Vehicle) 직접 통신을 지원한다. 특히, 모드 4에서 사이드링크(Sidelink)를 통해 각 VUE는 셀룰러 인프라 지원 없이 독자적으로 무선 자원을 선택하여 메시지를 전송하는 SB-SPS(Sensing-Based Semi-Persistent Scheduling) 기법을 사용한다[2].

LTE C-V2X의 mode 4에서 각 VUE는 사이드링크를 통해 인프라 지원 없이 독자적으로 무선자원을 예약하여 메시지를 전송한다. 따라서, 사이드링크에서 경쟁하는 VUE가 증가할수록 메시지 충돌 가능성이 높아지게 되므로, 각 VUE가 채널 혼잡도를 추정하고 혼잡도에 따라 메시지 전송주기(TTI, Transmission Time Interval)를 결정하는 분산혼잡제어(DCC, Distributed Congestion Control)가 제안되었다[3]-[5]. 또한, 혼잡도에 따른 메시지 전송주기를 결정하는 중요한 파라메터인 혼잡도 임계값에 대한 최적값을 DQN(Deep-Q Network)을 기반으로 결정하는 기술이 제안되었다[6][7]. 여기서, DQN 기반 DCC의 에이전트가 사전에 학습한 혼잡도와 동일한 혼잡도를 가지는 환경에서는 기존 DCC에 비해 우수한 성능을 보임을 검증하였으나, 에이전트가 학습한 혼잡도와 다른 혼잡도를 가지는 환경에서 수행될 경우에도 우수한 성능을 제공할 수 있는지에 대해 분석되지 않았다.

도로 교통의 특성상 시간과 위치에 따라 VUE 밀도는 변하게 되며, 이러한 다양한 VUE 밀도 상황이 DCC 알고리즘의 성능에 영향을 주게 된다. 본 논문에서는 주어진 단일한 VUE 밀도 환경에서 학습된 DQN 에이전트가 사전에 학습한 VUE 밀도와 다른 VUE 밀도 환경에서는 DCC 성능이 열화됨을 분석한다. 또한, 이러한 성능 열화를 극복하기 위해 다양한 VUE 밀도를 고려하여 최적 메시지 전송 주기를 적응적으로 조절하는 DQN기반 DCC 기술을 제안한다. 시뮬레이션을 통해 다양한 VUE 밀도를 가지는 혼잡도에서 학습된 DQN 에이전트를 사용하는 제안 기술과 기존 DCC 기술 및 특정 VUE 밀도를 가지는 혼잡도에서 학습된 DQN의 성능을 비교 분석한다.

본 논문에서는 기존 DQN DCC의 경우 에이전트가 사전에 학습한 혼잡도와 다른 혼잡도를 가지는 환경에서 수행될 경우에 DCC 성능이 열화됨을 분석한다. 또한, 이러한 성능 열화를 극복하기 위해 시뮬레이션을 통해 다양한 VUE 밀도의 혼잡도에서 학습된 DQN 에이전트를 사용함으로써 다양한 혼잡도 환경에서 최적 메시지 전송 주기를 적응적으로 조절하는 DQN기반 DCC 기술을 제안한다.

3GPP LTE C-V2X 네트워크 자원할당 성능을 평가하는 LTEV2Vsim[8] 시뮬레이터를 기반으로 다양한 혼잡도 환경에서 최적 메시지 전송 주기를 적응적으로 조절하는 DQN기반 DCC 알고리즘의 학습과정과 실행과정을 수행한다. LTEV2Vsim은 3GPP LTE C-V2X의 MAC과 물리계층을 모사한 시스템 레벨 시뮬레이션을 지원하며 자원할당 알고리즘을 평가할 수 있는 동적 시뮬레이터이다. 표 1은 시뮬레이션 파라미터들을 보여준다. 시뮬레이터는 5.9GHz 주파수 대역에 10MHz 대역폭을 사용하여 300bytes 크기의 패킷을 각 VUE에서 브로드캐스팅 한다. V2V 경로 손실은 일반적인 도시의 마이크로셀 환경인 WINNER Ⅱ의 B1 모델을 사용하였다. 시뮬레이션 환경은 왕복 8차선 2km 도로이고 차량 평균속도는 60km/h이며 표준편차는 3km/h이다. 도로 상 차량들의 밀집도를 다양하게 하기 위해서 포아송 분포를 사용하였다. 시뮬레이션은 1회 20초 동안 진행되는데 이는 에이전트가 1 episode 또는 20,000 step을 학습하는 시간과 같다.

제안하는 적응 DQN은 학습 중 일정 에피소드가 지나면 2km 이내 VUE 대수, 즉 차량 혼잡도를 400대와 600대로 변화시키며 학습을 수행한다. 이에 반해, 고정 DQN(fixed DQN) DCC 특정 단일 VUE 밀도 환경에서만 학습을 수행한다. 즉, 고정 DQN(400)과 고정 DQN(600)은 각각 2km내 400대와 600대의 VUE가 분포하는 개별 시뮬레이션 환경에서 학습을 수행한다.

fixed DQN은 도로상에 존재하는 차량 개수를 고정해 놓은 모델이다. 이러한 모델은 학습할 때 사용되었던 고정 밀도 외의 다른 상황에서 좋은 성능을 기대하기 어렵다. 따라서 학습 중 일정 에피소드가 지나면 차량 밀도를 변화시키며 학습하는 adaptive DQN을 제안한다.

모든 DQN-DCC알고리즘의 시뮬레이션 결과는 실행과정을 거친 모델들의 PDR과 평균 IPG값이다. 그림 2는 혼잡도가 높은 600대 VUE 분포 환경에서, J2945/1의 DCC, 고정 DQN(400), 고정 DQN(600), 그리고 적응 DQN DCC의 성능을 비교 분석하였다. 적응 DQN과 고정 DQN(600)은 관심 영역인 송수신기간 거리가 100m 이내에서 J2945/1 DCC보다 우수한 PDR 성능을 보인다. 반면에, 고정 DQN(400)은 실행 환경 보다 혼잡도가 낮은 400대 VUE 분포환경에서 학습되었기 때문에, 높은 혼잡도 환경에서 실행됨에도 불구하고 낮은 혼잡도에 적합한 보다 짧은 TTI를 선택하게 된다. 짧은 TTI에 의해 IPG는 다른 기술보다 감소하지만, 과도하게 채널 사용률 CBR이 증가되어 패킷 충돌을 증가되고 이로 인해 다른 기술보다 열화된 PDR 성능을 나타낸다. 따라서, 고정 DQN DCC의 경우에는 DQN 에이전트가 사전에 학습한 VUE 밀도와 다른 VUE 밀도 환경에서는 DCC 성능이 열화됨을 확인할 수 있다.

Fig. 2. 
Comparison of PDR and IPG (600 VUEs/2km)

그림 3은 500대 VUE 분포 환경에서, J2945/1의 DCC, 고정 DQN(400), 고정 DQN(600), 그리고 적응 DQN DCC의 성능을 비교 분석하였다. 고정 DQN이 사전에 학습한 400대 또는 600대 VUE 분포 환경과는 다른 500대 VUE 분포 환경에서, 각각 과도하게 작거나 큰 TTI를 선택하기 때문에 고정 DQN(600)은 높은 PDR과 열화된 IPG 성능을, 그리고 고정 DQN(400)은 열화된 PDR과 높은 IPG 성능을 보이게 된다. 반면에 400대와 600대 VUE 분포 환경 모두에서 학습된 적응 DQN은 사전에 학습한 환경과 다른 500대 VUE 분포 환경에서도 최적 TTI를 선택하여 J2945/1과 비슷한 IPG 특성을 보이면서 J2945/1보다 우수한 PDR 성능을 보임을 확인할 수 있다. 따라서, 제안하는 다양한 VUE 밀도의 혼잡도에서 학습된 DQN 에이전트를 사용하는 적응 DQN DCC가 학습되지 않은 다양한 혼잡도 환경에서도 최적 메시지 전송 주기를 적응적으로 조절할 수 있음을 확인하였다.

Fig. 3. 
Comparison of PDR and IPG (500 VUEs/2km)

본 논문은 3GPP LTE C-V2X의 mode 4에서 채널 혼잡에 의한 성능 열화를 극복하도록 제안했던 DQN 기반 분산혼잡제어를, 다양한 차량단말 밀도 환경에서 DQN 에이전트를 학습시켜 다양한 차량 단말 밀도에서 적응적으로 최적 메시지 전송 주기를 결정할 수 있는 적응 DQN 기반 DCC로 개선하였다. 다양한 VUE 밀도 환경에서의 시뮬레이션을 통한 성능 비교 분석을 통해, 제안하는 다양한 VUE 밀도의 혼잡도에서 학습된 DQN 에이전트를 사용하는 적응 DQN 기반 DCC가, 학습되지 않은 다양한 혼잡도 환경에서도 메시지 전송 주기를 최적으로 조절할 수 있으며 이를 통해 기존 DCC 보다 우수한 PDR과 IPG 성능을 보임을 확인하였다.