mmWave 센싱을 통한 블랙아이스 검출에 관한 연구

Ⅰ. 서 론

최근 수십 년간의 과학기술발전으로 인한 사물의 지능화 및 센서의 고도화는 다양한 분야에서 사용자에게 편의를 제공하고 있다. 이는 적응형 순향 제어 장치, 자동긴급 제동장치 등 주행보조기술에 적용되어 교통사고를 미연에 방지할 수 있도록 한다. 하지만, 빙판길 또는 블랙아이스가 포함된 도로는 일반 도로보다 낮은 마찰력을 가지므로 안전한 주행을 위한 차량 간 간격 및 제동거리가 길어지게 된다[1]. 또한, 블랙아이스는 육안으로 구분이 어려워 주행 중 운전자의 많은 주의가 요구되며 2016년부터 5년간 한국 내 서리/결빙으로 인한 교통사고가 4,868건으로 집계되는 등 겨울철 교통사고의 주요 원인으로 지목된다[2]. 따라서 운전자의 안전을 보장하는 동시에 주행보조기술을 보다 정확하게 사용하기 위해서는 블랙아이스 검출 기술이 반드시 필요하다.

카메라, 라이다를 활용한 도로표면 상태 분류에 관한 연구는 활발히 진행된 것에 반해 정밀한 탐지를 요구하는 블랙아이스 검출에 관한 연구는 상대적으로 부족하다[3][4]. 카메라, 광센서를 이용한 블랙아이스 검출기법이 제안되었지만 카메라와 광센서는 빛, 안개와 같은 외부 환경의 변화에 민감하다[5]-[7]. 따라서 본 논문에서는 외부 환경에 강인한 mmWave(millimeter Wave) 센서 기반 블랙아이스 검출기법을 제안한다. 제안기법은 표면으로부터 반사된 주파수변조연속파(FMCW, Frequency Modulated Continuous Wave)의 신호세기를 추출한다. 신호세기의 통계적 특성을 계산하고 이를 인공신경망(ANN, Artificial Neural Network) 기반 블랙아이스 검출기에 적용하여 해당 표면의 블랙아이스 유무를 예측한다.

본 논문의 구성은 다음과 같다. 먼저, 2장에서는 mmWave 센서를 통해 사용되는 주파수변조연속파와 해당 신호의 처리과정을 설명한 뒤 수신된 신호세기에 영향을 주는 표면의 주요 파라미터를 3장에서 설명한다. 본 논문에서 제안하는 블랙아이스 검출기법을 4장에서 설명하고 5장에서 제안기법을 검증하기 위해 진행된 실험 과정을 설명한 뒤 실험 결과를 분석한다. 마지막으로 6장에서 결론을 제시하며 마친다.

Ⅱ. 주파수변조연속파

제안기법에서는 mmWave 센서를 통해 수신된 FMCW의 거리 별 신호세기를 활용한다. FMCW는 식(1)과 같이 시간이 흐름에 따라 주파수가 선형적으로 증가하는 특징을 가진다[8].

식 (1)에서 f_c는 반송주파수, S는 주파수 상승비를 의미한다. 송신된 FMCW가 표면에 의해 반사되어 mmWave 센서 내 수신안테나로 수신될 때, 식 (2)와 같이 표현된다.

식 (2)에서 t_d는 송신된 FMCW가 표면에 의해 반사되어 수신되는 동안 지연된 시간을 의미한다. 송·수신신호의 주파수성분은 t_d동안 상승한 주파수만큼 차이가 발생하므로 두 신호의 주파수 차이를 측정하기 위해 주파수 혼합기에 두 신호를 통과시킨다. 주파수 혼합기에서 출력된 신호를 중간주파수신호라 하며 이는 식 (3)과 같다.

중간주파수신호를 샘플링하여 디지털영역에서 신호 해석이 가능하도록 한다.

식 (4)에서 N은 샘플링 개수를 의미하며 T_s은 샘플링 주기를 의미한다. 식 (4)에 고속푸리에변환(FFT, Fast Fourier Transform)을 적용하여 신호에 포함된 주파수성분을 확인한다. 고속푸리에변환은 식(5)와 같이 표현된다.

이때, 중간주파수신호는 t_d동안 선형적으로 상승한 주파수성분을 가진다. FMCW의 주파수 상승비를 통해 중간주파수신호의 주파수성분까지 상승하는데 소요한 시간 동안 신호가 이동한 거리를 계산하여 FFT 계산 결과의 주파수 축을 거리 축으로 변환한다. 이를 Range-FFT라고 하며 계산결과를 통해 거리 별 신호세기를 추출할 수 있다. d_res는 Range-FFT를 통해 나타낼 수 있는 거리의 분해능이며 식(6)과 같다.

FMCW 파라미터 수정을 통해 d_res의 크기를 조절할 수 있다. 본 논문에서는 정밀한 거리분해능을 갖기 위해 표 1에 도시된 FMCW 파라미터를 활용하여 4.88cm의 거리분해능을 도출하였다. 제안기법은 블랙아이스 검출을 위해 수신된 신호의 거리 별 신호세기를 활용한다. 신호세기의 크기는 표면의 매질 및 거칠기에 의해 영향을 받는다.

Table 1.

FMCW parameters

Ⅲ. 표면의 주요 파라미터

3.2 표면 거칠기에 의한 신호세기 변화

송신된 신호가 표면에 부딪쳐 그 일부가 반사될 때, 표면의 거칠기에 따라 두 가지 반사 형태를 보인다[9]. 먼저, 표면이 균일한 경우, 그림 1과 같이 균일한 방향으로 반사되며 이를 정반사라고 한다. 반면, 거친 표면의 경우, 그림 2와 같이 모든 방향으로 반사되며 이를 난반사라고 한다. 표면의 거칠기 여부는 프라운호퍼 기준을 적용하며 프라운호퍼 기준은 식 (8)과 같다[10].

$\[ h\ge \frac{\lambda }{32\text{cos}\theta } \]$

(8)

Fig. 1.

Specular reflection

Fig. 2.

Diffused reflection

식 (8)에서 h는 표면 높이의 제곱평균제곱근이며, θ는 입사각을, λ는 신호의 파장을 의미한다. 식(8)의 부등호를 만족할 때, 해당 표면이 거칠다고 판단하며 표면이 거칠수록 반사신호 내 난반사 비율이 상승한다. 수신된 신호세기의 경우, mmWave 센서 내 수신안테나를 향하는 신호의 양에 따라 신호세기가 결정되므로 표면의 거칠기에 따라 수신신호세기가 달라진다.

앞서 언급된 표면의 파라미터를 고려하여 수신된 신호세기의 변화를 이론적으로 분석하는 것은 복잡한 연산을 요구한다. 따라서 본 논문에서는 블랙아이스가 존재하는 표면과 블랙아이스가 존재하지 않는 표면으로부터 반사되어 수신된 신호세기를 수집하고 이를 ANN에 학습시킨 뒤 ANN에 신호세기를 입력하여 해당 표면의 블랙아이스 여부를 예측한다.

Ⅳ. 제안기법

본 논문에서는 mmWave 센서로부터 수신된 신호세기의 통계적 특성을 ANN 기반 블랙아이스 검출기에 적용하여 해당 표면의 블랙아이스 유무를 판별하는 기법을 제안한다. 제안기법은 그림 3의 순서로 진행된다.

Fig. 3.

System configuration of the proposed black-ice detection method

먼저, 표면을 센싱하기 위해 그림 4와 같이mmWave 센서를 설치하고 블랙아이스를 검출하고자 하는 표면에 FMCW를 송신한다. 표면으로부터 반사된 FMCW를 수신한 뒤 송·수신신호를 주파수 혼합기에 통과시켜 중간주파수신호를 생성한다. 중간주파수신호의 Range-FFT 결과를 계산하기 이전, Zero-padding을 적용한다.

Fig. 4.

Concept diagram of detecting black-ice in the proposed method

본 논문에서는 4배의 Zero-padding을 적용하였으며 식 (6)을 통해 거리분해능이 기존보다 4배 개선됨을 확인할 수 있다[11]. Zero-padding이 적용된 중간주파수신호의 Range-FFT 결과를 계산하여 거리 별 신호세기를 추출한다. Range-FFT 연산 결과는 식 (9)와 같다.

Range-FFT 연산 결과에서 행 성분은 수신안테나 순서를, 열 성분은 거리 별 신호세기를 나타낸다. 열 성분의 거리정보는 센서와 센싱영역 사이를 왕복하는 신호의 이동거리(그림 4의 d₂, d₃)를 의미한다. 따라서 블랙아이스 유무를 판별할 센싱영역 내 신호세기를 수집할 경우, 센서와 센싱영역 사이 거리(그림 4의 d₁)부터 센싱영역의 신호세기가 아닌 센서와 센싱영역 사이를 왕복하는 신호의 최소 및 최대 이동거리(그림 4의 d₂, d₃) 내 신호세기를 수집한다. 수집된 각 수신안테나의 거리 별 신호세기의 평균을 계산하고 이를 거리 별 평균 신호세기라 한다.

다음으로, 수집된 신호세기의 통계적 특성을 계산한다. 신호세기의 통계적 특성을 활용할 경우, 적은 데이터 개수로 센싱영역 내 신호세기를 표현할 수 있다[12].

본 논문에서 사용되는 통계적 특성은 평균(Mean), 분산(Variance), 변동계수(Coefficient of variation), 왜도(Skewness) 및 첨도(Kurtosis)이며 이는 식 (10)~(14)로 계산된다.

식 (10)~(14)에서 N은 수집된 신호세기의 개수, x_i는 i번째 신호세기를 의미한다. 계산된 다섯 가지 통계적 특성은 ANN 기반의 블랙아이스 검출기를 통해 해당 표면의 블랙아이스 검출에 활용된다. 단일 은닉층을 가지는 ANN은 적은 연산량을 통해 주어진 입력에 대한 출력을 예측한다. 이는 실시간으로 주어지는 정보에 대한 신속한 결과 예측이 필요한 블랙아이스 검출에 적합하다. 본 논문에서 활용되는 ANN 기반의 블랙아이스 검출기의 구조는 그림 5와 같다.

Fig. 5.

Black-ice detector based on ANN

블랙아이스 검출기 내 입력층의 노드 수는 5개이며 각 노드는 계산된 통계적 특성이 적용된다. 앞서 말한 바와 같이, 신호의 통계적 특성을 입력데이터로 사용함으로써 적은 수의 입력데이터를 사용하여 센싱영역 내 신호세기를 표현할 수 있다. 데이터의 수가 많을 경우 ANN의 학습시간이 오래 소요된다는 점을 고려할 때, 통계적 특성을 활용한 적은 수의 입력데이터는 학습시간의 감소로 이어질 수 있다[13].

또한, 입력층 내 적은 수의 노드를 사용하여 은닉층의 노드 수를 줄일 수 있다. 블랙아이스 검출기의 은닉층에서는 25개의 노드를 사용하였다. 출력층에서는 입력된 통계적 특성을 바탕으로 예측된 블랙아이스 유무를 나타내기 위해 2개의 노드를 사용하였다. ANN 기반 블랙아이스 검출기를 학습시키기 이전, Tukey fences를 활용하여 각 통계적 특성의 이상치를 검출한다[14]. 이후 이상치가 제외된 통계적 특성을 블랙아이스 검출기에 입력하여 검출기의 학습을 진행한다.

Ⅴ. 성능평가

5.1 실험 과정

제안기법의 성능평가에서 mmWave 센서는 Texas Instruments 사의 IWR1443이 사용된다. IWR1443은 2개의 송신안테나와 4개의 수신안테나를 사용한다. 또한, IWR1443에 별도로 DCA1000EVM을 부착하여 센서로부터 얻어진 신호의 ADC데이터를 생성하고 이를 Ethernet을 통해 PC로 전송한다. 이후 ADC데이터에 대한 신호처리 및 블랙아이스 검출 과정은 MATLAB 환경에서 진행한다[15].

먼저, 그림 6과 같이 mmWave 센서를 75cm 높이에 설치하여 각 표면을 센싱할 수 있도록 한다. 실험은 건조한 콘크리트(Dry concrete), 젖은 콘크리트(Wet concrete), 블랙아이스 콘크리트(Black-ice concrete)를 대상으로 진행된다.

Fig. 6.

Configuration of black-ice detection experiment

콘크리트의 경우, 가로 20cm, 세로 30cm, 높이 20cm의 크기를 가진다. 또한, 각 콘크리트는 센서 전방 20cm에 위치한다. 건조한 콘크리트와 젖은 콘크리트는 블랙아이스가 없는 표면으로, 블랙아이스 콘크리트는 블랙아이스가 있는 표면으로 분류된다. 블랙아이스 검출기를 학습시키기 위해 각 표면 당 4,320개의 데이터를 활용하였으며 그 중 15%를 블랙아이스 검출기의 성능평가에 활용하였다.

5.2 실험 결과

먼저, 수신된 신호세기의 각 통계적 특성이 블랙아이스 검출기의 정확도에 미치는 영향을 확인하기 위해 단일 통계적 특성을 사용하여 블랙아이스 검출을 진행하였다. 표 2는 단일 통계적 특성을 사용한 블랙아이스 검출 정확도이다. 표 2를 통해 평균, 분산, 변동계수, 왜도, 첨도 순으로 블랙아이스 검출기 내 정확도 향상에 기여함을 확인하였다. 또한, 검출기의 정확도 개선에 영향력이 높은 통계적 특성을 순차적으로 포함하여 블랙아이스 검출을 진행할 때, 검출기의 정확도 향상을 확인하였으며 이에 대한 결과를 표 3에 도시하였다. 실험환경에서 수신된 신호세기의 평균과 분산만을 사용한 블랙아이스 검출기의 경우, 93.1%의 정확도를 얻었다. 이후 변동계수, 왜도, 첨도가 추가될 때 마다 최대 2%의 정확도가 향상되었으며 다섯 가지 통계적 특성을 모두 활용할 때, 98.6%의 정확도를 달성하였다. 이를 통해 블랙아이스 검출에 필요한 통계적 특성의 수를 선택함으로써 블랙아이스 검출 소요시간과 블랙아이스 검출 정확도를 조율할 수 있다.

Table 2.

Black-ice detection accuracy using only one statistical feature

Table 3.

Improving black-ice detection accuracy according to increasing the number of statistical features

그림 7은 표면으로부터 수신된 신호세기의 다섯 가지 통계적 특성을 활용하여 해당 표면 내 블랙아이스를 검출한 결과의 혼동행렬이다. 블랙아이스 검출기의 성능평가를 위해 블랙아이스가 없는 표면(Non black-ice)과 블랙아이스가 있는 표면(Black-ice)의 데이터를 각각 1,168개, 615개 활용하였다. 혼동행렬의 첫 번째 행 데이터 중 1열과 2열은 검출기를 통해 Non black-ice로 예측된 Non black-ice와 Black-ice 데이터 수를 나타낸다. 또한, 혼동행렬의 두 번째 행 데이터 중 1열과 2열은 검출기를 통해 Black-ice로 예측된 Non black-ice와 Black-ice 데이터 수를 나타낸다.

Fig. 7.

Confusion matrix of black-ice detection results

혼동행렬의 세 번째 행 데이터 중 1열과 2열은 블랙아이스 검출기 내 Non black-ice와 Black-ice의 재현율을 나타낸다. 재현율은 실제 결과가 검출기 내 예측된 결과에 포함되는 비율을 나타내는 지표로서 Non black-ice(또는 Black-ice)로부터 얻어진 데이터가 검출기를 통해 Non black-ice(또는 Black-ice)로 분류될 확률을 의미한다.

그림 7의 세 번째 행 데이터에서 블랙아이스 검출기 내 Non black-ice와 Black-ice의 재현율이 각각 99.4%, 97.1%를 달성함을 보였다. 또한, 세 번째 열 데이터 중 1행과 2행은 블랙아이스 검출기 내 Non black-ice와 Black-ice의 정밀도를 나타낸다. 정밀도는 검출기의 예측 결과가 얼마나 정확히 예측되었는가를 나타내는 지표로서 블랙아이스 검출기가 Non black-ice(또는 Black-ice)로 예측한 데이터 중 실제 Non black-ice(또는 Black-ice) 데이터가 차지하는 비율을 의미한다.

그림 7의 세 번째 열 데이터를 통해 블랙아이스 검출기 내 Non black-ice와 Black-ice의 정밀도가 각각 98.5%, 98.8% 달성함을 알 수 있다. 마지막으로 혼동행렬 내 3행 3열은 블랙아이스 검출기의 정확도로서 블랙아이스 검출기가 입력된 데이터를 얼마나 정확히 예측하는지 나타낸다. 다섯 가지 통계적 특성을 활용한 블랙아이스 검출기는 수집된 데이터 기반 블랙아이스 검출 실험에서 98.6%의 정확도를 달성하였다.

Ⅵ. 결 론

블랙아이스는 겨울철 차량사고의 주요 원인 중 하나이다. 본 논문에서는 mmWave 센서와 ANN을 활용한 블랙아이스 검출기법을 제안한다. 전방표면의 매질 및 거칠기 등 표면의 파라미터에 의해 달라지는 신호세기의 특성을 활용하며 신호세기의 통계적 특성을 계산한 뒤 이를 간단하지만 강력한 성능을 보이는 ANN 기반 블랙아이스 검출기에 적용하였다. 블랙아이스 검출 실험을 진행한 결과 신호세기의 평균과 분산만을 이용한 블랙아이스 검출기의 경우, 93.1%의 정확도를 달성하였다.

또한, 신호세기의 다섯 가지 통계적 특성을 활용한 블랙아이스 검출기의 경우, 98.6%의 정확도를 달성하였으며 블랙아이스 검출에 대해 98.8%의 정밀도와 97.1%의 재현율을 달성하였다. 이를 통해 고정된 환경에서 mmWave 센서를 활용한 블랙아이스 검출 가능성을 보였다.

Acknowledgments

이 논문은 2021년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 기본연구사업임(NRF-2021R1F1A1062443)

References

• S. Kim, Y. Jang, S. Kim, D. Min, H. Na, and J. Choi, "A Study on the Effects of Factors of Traffic Accidents Caused by Frozen Urban Road Surfaces in the Winter", International Journal of Highway Engineering, Vol. 17, No. 2, pp. 79-87, Apr. 2015. [https://doi.org/10.7855/IJHE.2015.17.2.079]
• "Traffic Accident Analysis System", koroad, http://taas.koroad.or.kr/, [accessed: Nov. 10, 2021]
• R. Omer and L. Fu, "An Automatic Image Recognition System for Winter Road Surface Condition Classification", 13th International IEEE Conference on Intelligent Transportation Systems, Funchal, Portugal, pp. 1375-1379, Sep. 2010. [https://doi.org/10.1109/ITSC.2010.5625290]
• M. Aki, T. Rojanaarpa, K. Nakano, Y. Suda, N. Takasuka, T. Isogai, and T. Kawai, "Road Surface Recognition Using Laser Radar for Automatic Platooning", IEEE Transactions on Intelligent Transportation Systems, Vol. 17, No. 10, pp. 2800-2810, Oct. 2016. [https://doi.org/10.1109/TITS.2016.2528892]
• H. Lee, M. Kang, J. Song, and K. Hwang, "The Detection of Black Ice Accidents for Preventative Automated Vehicles Using Convolutional Neural Networks", Electronics, Vol. 9, No. 12, pp. 1-14, Dec. 2020. [https://doi.org/10.3390/electronics9122178]
• N. Alimasi, S. Takahashi, and H. Enomoto, "Development of a Mobile Optical System to Detect Road-Freezing Conditions", Bulletin of Glaciological Research, Vol. 30, pp. 41-51, Jun. 2012. [https://doi.org/10.5331/bgr.30.41]
• A. Bystrov, E. Hoare, T. Y. Tran, N. Clarke, M. Gashinova, and M. Cherniakov, "Sensors for Automotive Remote Road Surface Classification", 2018 IEEE International Conference on Vehicular Electronics and Safety (ICVES), Madrid, Spain, pp. 1-6, Sep. 2018. [https://doi.org/10.1109/ICVES.2018.8519499]
• X. Zhang, Q. Wu, and D. Zhao, "Dynamic Hand Gesture Recognition Using FMCW Radar Sensor for Driving Assistance", 2018 10th International Conference on Wireless Communications and Signal Processing (WCSP), Hangzhou, China, pp. 1-6, Oct. 2018. [https://doi.org/10.1109/WCSP.2018.8555642]
• M. A. Richards, J. A. Scheer, and W. A. Holm, "Principles of Modern Radar: Basic Principles", Scitech Publishing, p. 152, Jun. 2010. [https://doi.org/10.1049/SBRA021E]
• S. M. Sabery, A. Bystrov, M. Navarro-Cia, P. Gardner, and M. Gashinova, "Study of Low Terahertz Radar Signal Backscattering for Surface Identification", Sensors, Vol. 21, No. 9, pp. 1-17, Apr. 2021. [https://doi.org/10.3390/s21092954]
• J.-W. Choi, S.-J. Ryu, and J. H. Kim, "Short-Range Radar Based Real-Time Hand Gesture Recognition Using LSTM Encoder", IEEE Access, Vol. 7, pp. 33610-33618, Mar. 2019. [https://doi.org/10.1109/ACCESS.2019.2903586]
• S. Lee, B. H. Lee, J. E. Lee, and S. C. Kim, "Statistical Characteristic-Based Road Structure Recognition in Automotive FMCW Radar Systems", IEEE Transactions on Intelligent Transportation Systems, Vol. 20, No. 7, pp. 2418-2429, Jul. 2019. [https://doi.org/10.1109/TITS.2018.2865588]
• N. K. Chauhan and K. Singh, "A Review on Conventional Machine Learning vs Deep Learning", 2018 International Conference on Computing, Power and Communication Technologies (GUCON), Greater Noida, India, pp. 347-352, Sept. 2018. [https://doi.org/10.1109/GUCON.2018.8675097]
• J. W. Tukey, "Exploratory Data Analysis", Addison-Wesley, pp. 43-47, Jan. 1977.
• "Deep Learning Toolbox", Mathworks, https://kr.mathworks.com/products/deep-learning.html, [accessed: Oct. 29, 2021]