컴퓨터 비전 기반 빗물 감지 윈드실드 와이퍼 시스템

Ⅰ. 서 론

우적 감응형 와이퍼 시스템은 광학 센서로 강우 여부와 강도를 측정하여 윈드실드 와이퍼를 자동 제어하는 자동차 편의 기능 중 하나다. 우천 시 자동차 안쪽에서 앞 유리로 비스듬히 조사한 펄스 빔의 전반사 강도가 굴절률 변화로 인해 감소하게 되는데 이를 포토다이오드로 감지하여 와이퍼를 작동시킨다[1][2]. 최근에는 컴퓨터 비전 기술과 인공지능 기술을 이용하여 광학 센서 대신 영상 데이터로부터 빗물을 감지하는 다양한 기술이 개발되고 있다[3]. 자동차 기술의 진보에 따라 첨단 운전자 보조 시스템이 고도화되고 자율주행 기술도 첨단화되면서 차량의 외부 환경을 인지하기 위한 비전 기술도 함께 발전하고 있기 때문이다. 특히 에지 컴퓨팅 성능과 무선 통신 기술의 비약적 발전으로 실시간 컴퓨터 비전 데이터 처리와 클라우드 기반 데이터 공유 및 원격 관제도 가능해져 관련 기술의 상용화도 점점 가시화되고 있다[2].

비전 기반 빗물 감지 기술은 기존 광학 센서의 이중화 기능은 물론 감지 영역의 확대뿐만 아니라 인공지능 기술과의 융합을 통해 더욱 정확한 주변 상황 인식을 가능케 한다[4]. 우적 감응형 와이퍼의 작동에 있어 주변 상황 인식이 중요한 예로 차량 자동 세차 상황과 우천 시 터널 주행 상황을 들 수 있다. 차량 자동 세차 시 빗물 감지 센서가 세척수를 감지하여 와이퍼가 작동하거나 폭우 상황에서 터널 진출 후에도 곧바로 와이퍼가 작동하지 않아 우적 감지 전까지 한동안 운전자의 전방 시야 확보에 어려움이 있다. 컴퓨터 비전 기술을 활용하면 주변 상황을 판단하여 자동 세차 시 와이퍼 작동을 억제하고 폭우 상황에서 터널 전출 직전 와이퍼를 작동하는 등 차량 스마트 기능을 강화할 수 있다.

본 논문에서는 차량 전방 주시 카메라로 수집된 영상 데이터를 에지 컴퓨터상에서 실시간 비전 처리를 통해 빗물을 감지하고 와이퍼를 작동할 수 있는 알고리즘 및 실행 코드를 개발하고 와이퍼 시스템 시작품을 제작하여 그 성능을 실험적으로 평가한다. 이미지 처리를 통한 레인 센싱 알고리즘은 빗물 형상의 외곽선 검출(Edge detection)을 수행하거나[5][6] 빗물에 의한 블러 영역으로부터 이진 세그멘테이션 마스크(Binary segmentation mask)를 생성하는 방법[7]이 연구되었다. 본 연구에서는 두 방법을 혼용한 블러 영역의 기울기 기반 외곽선 검출 (Gradient-based edge detection) 알고리즘을 제안한다. 그 밖에 기존 연구와 달리 빗방울 이외에 윈드실드를 통해 관찰되는 배경 요소로부터 검출된 외곽선을 필터링하는 방법도 소개한다. 또한, 윈드실드의 특정 영역만을 대상으로 빗물을 감지[5][6]하거나 극단적으로 소수의 빗방울만을 관측 대상으로 삼는 기존 연구[7]와 달리 윈드실드 전체의 영상 데이터를 처리함으로써 별도의 카메라 추가 설치 없이 이미 탑재된 범용 차량용 비전 카메라를 그대로 활용할 수 있다는 점에서 본 연구의 차별성이 있다.

Ⅱ. 비전 기반 윈드실드 와이퍼 시스템

2.1 빗물 감지 알고리즘

그림 1은 자동차 주행 시 전방 카메라 영상으로부터 빗물을 감지하여 와이퍼를 구동할 수 있는 비전 기반 와이퍼 시스템의 작동 순서도를 나타낸다.

Fig. 1.

Flow chart for vision-based rain-sensing wiper

와이퍼 제어 신호 발생 여부를 판단하기 위한 빗물 감지 이미지 처리는 여러 단계로 구성되어 있으며 단계별로 요구되는 다양한 컴퓨터 비전 기술[8]을 활용한다. 우선 운전자의 시점에서 영상을 상시 촬영 및 녹화하는 비전 카메라로부터 이미지 프레임을 얻는다. 대상 컬러 이미지에서 대시보드나 보닛 부분을 제외한 윈드실드 관심 영역(ROI, Region of Interest)을 지정한다. 색상 정보가 아닌 밝기의 공간적 구배로부터 빗물을 감지하므로 컬러 이미지를 회색조로 변환한다. 변환 후 이미지 픽셀을 각각 0부터 255의 밝기 범위를 갖는 8비트 정수로 표현된다. 영상에서 현재 기준 과거 특정 시간 동안의 이미지 프레임을 모두 합친 후 픽셀의 데이터를 평균화하는 작업을 수행한다. 이때 평균화 작업을 통해 자동차 운행 중 빠르게 변하는 배경 형상보다 윈드실드에 맺힌 빗방울의 형상이 더 선명하게 나타난다. 평균화된 이미지에 대해 Gauss 블러 필터를 적용하여 형상 내부의 밝기 데이터의 노이즈를 감소한 후 Sobel 필터를 이용해 외곽선 검출을 수행한다. 검출된 외곽선 픽셀 중에서 강도가 낮은 값을 제거하여 선명한 외곽선만을 추출하는 작업을 수행한다. 이때 빗물은 흰색(1)으로 나머지 부분은 검은색(0)으로 픽셀 정보가 이진화 되어 저장된다. 추출된 외곽선 픽셀을 팽창(Dilation)시켜 상호 연결성을 높이고 객체 분할(Object segmentation)을 용이하게 한다. 연결된 픽셀 단위로 그룹화 및 레이블링을 진행한다. 이때 통상적인 빗물의 크기에 비해 매우 큰 픽셀 그룹은 배경 형상으로 간주하여 제거한다. 관심 영역의 전체 픽셀 수 대비 빗물로 감지된 픽셀의 비율을 면적 백분율로 정의한다. 이렇게 정량화된 빗물 픽셀의 면적 백분율이 임계치 이상이 되면 와이퍼가 작동할 수 있도록 제어 신호를 발생한다.

2.2 윈드실드 와이퍼 프로토타입

그림 2는 윈드실드 와이퍼의 동작 시연을 위해 제작한 모형 자동차를 보여준다. 기본 차대는 알루미늄 프로파일로 구성하였고 윈드실드는 투명 아크릴로 제작하였다. 나머지 외관 구조는 하드보드지와 방수용 폼보드로 제작하였고 자동차 밑판은 PVC 매트를 설치하여 방수 성능을 강화하였다. DC 모터와 감속기어 및 4절 링크 일체형 소형 와이퍼 모듈을 장착하였고 윈드실드 뒤쪽 중앙부에 카메라를 설치하였다. 윈드실드 하단부에 이미지 처리 및 제어 연산용 컴퓨터를 설치한 후 와이퍼 모터 드라이버 및 카메라와 각각 연결하였다. 물 분사 실험 시 에지 컴퓨터를 보호하기 위한 방수용 커버를 3D 프린터로 제작하였고 와이퍼에 의해 닦인 물을 배출하기 위한 배수로도 설치하였다. 전원 공급을 위해 20,800mAh 용량에 최대 80W 출력이 가능한 휴대용 전원 공급장치를 장착하였다. 표 1에 제작한 모형 자동차의 제원을 정리하였다.

Fig. 2.

Prototype car for windshield wiper demonstration

Table 1.

Prototype car specifications

Ⅲ. 성능 실험 결과 및 분석

3.1 비전 기반 빗물 감지 실험

그림 1에 제시한 알고리즘에 따라 이미지를 처리하고 와이퍼를 제어하기 위한 소프트웨어 코드는 Python 프로그래밍 개발 환경에서 컴퓨터 비전 라이브러리인 OpenCV, 수치 계산 라이브러리인 NumPy, 데이터 시각화 라이브러리인 Matplotlib, 그리고 에지 컴퓨터의 신호 입출력 제어 모듈인 GPIO를 이용하여 작성하였다. 표 2에 빗물 감지 비전 처리 코드에 사용된 주요 OpenCV 함수와 설정 인자를 정리하였다.

Table 2.

Key functions and parameters in code

그림 3은 자동차 주행 시 촬영한 블랙박스 전방 영상에 대해 그림 1에 제시한 알고리즘에 따라 비전 처리를 완료한 단계별 결과 이미지를 보여준다.

Fig. 3.

Step-by-step results of vision-based rain sensing

빗방울 이외에도 가로수나 주행 및 주차 차량 등 외곽선을 가진 많은 배경 요소가 있지만 블러 영역의 기울기 기반 외곽선 검출 기법을 적용하여 만족할 만한 빗물 감지 결과를 얻을 수 있었다. 자동차가 저속으로 운행하거나 정지한 상태에서는 이미지 프레임 평균화 처리 후에도 창밖 배경 요소의 블러 효과가 크게 나타나지 않으므로 그림 3(h)단계에서 불필요한 배경 요소의 검출 가능성이 커진다.

그림 4(a)는 정지 상태의 시연용 모형차에서 획득한 영상에 대한 이미지 처리 결과로서 배경 요소가 필터링되지 않고 검출된 예시를 보여준다. 일반적으로 배경 요소 크기가 빗방울보다 크다는 점에 착안하여 크기 기반 그룹 필터링을 추가로 적용하였다. 그림 4(b)는 전체 320×240픽셀 이미지 해상도 기준에서 10×10픽셀 이상의 픽셀 그룹을 제거한 결과로써 빗물 이외에 배경 요소가 대부분 제거됨을 확인할 수 있다.

Fig. 4.

Size-based pixel group filtering

그림 5는 강우량이 서로 다른 경우의 이미지 처리 결과로서 본 연구에서 제안한 알고리즘이 강우 세기를 정량적으로 측정할 수 있음을 보여준다.

Fig. 5.

Image processing results by rainfall strength

3.2 와이퍼 작동 실험

시연용 모형차에 설치한 컴퓨터 비전 기반 빗물 감지 윈드실드 와이퍼 시스템의 작동 실험을 수행하였다. 빗물로 감지된 픽셀의 면적 백분율이 9%가 넘으면 와이퍼가 작동하도록 설정한 후 5초부터 30초까지 약 25초간 전동 분무기로 물을 뿌리면서 와이퍼 작동 실험을 진행했다. 그림 6은 실시간으로 수집한 빗물 감지 결과 데이터의 그래프를 보여준다. 실험 중 와이퍼는 약 9초의 주기로 총 2번 작동하였고 빗물을 닦아낼 때 면적 백분율이 6% 이하로 감소함을 관측할 수 있다. 윈드실드의 면적에 비해 와이퍼 궤적의 면적이 상대적으로 작아 와이퍼 작동 이후에도 잔여 빗물이 검출되었지만, 실험 결과 실시간 비전 기반 빗물 픽셀 추출과 와이퍼 제어는 정상적으로 이루어지는 것을 확인하였다.

Fig. 6.

Real-time vision-based wiper operation graph

Ⅳ. 결론 및 향후 과제

본 논문에서는 자동차 전방 카메라 영상에서 빗물로 인해 발생한 블러 영역에 대해 기울기 기반 외곽선 검출 알고리즘을 통해 레인 센싱을 구현한 우적 감응형 와이퍼 시스템을 개발하고 모형 자동차를 통한 성능 평가를 수행하였다. 평균화 필터링, Gauss 필터링, Sobel 필터링 등 컴퓨터 비전 기반 이미지 처리를 통해 강우 여부와 강도를 측정하였다. 감지된 빗물의 픽셀 면적 비율이 임계치에 도달할 때 와이퍼 구동 모터 드라이브에 제어 신호를 전송하였고 와이퍼가 정상적으로 작동하는 것을 확인하였다. 이미지 처리 및 와이퍼 제어와 구동 관련 계산은 에지 컴퓨터에서 실시간으로 처리하였다. 본 논문에서 개발된 우적 감응형 와이퍼 시스템은 다목적 컴퓨터 비전 기술에 기반한다. 따라서 차량 주행 영상 처리를 통해 기존 광학 기반 빗물 센서뿐만 아니라 차량용 레이더, 라이더, 초음파 센서 등 첨단 운전자 보조 시스템에 사용되는 센서의 이중화도 가능하다. 또한, 비전 기술은 감지 영역이 기존 센서에 비해 넓고 인공지능 기술을 융합하여 주변 상황에 대한 스마트 인지 기능을 구현할 수 있어 추후 활용도가 매우 높을 것으로 기대한다. 다만 본문에서는 광량이 충분한 상황에서의 비전 기반 레인 센싱에 초점을 맞춰 연구를 진행하였으므로 야간 주행 상황 등 광량이 부족한 경우에 대한 비전 기반 빗물 감지 기술 개발이 향후 연구 주제가 될 수 있다.

Acknowledgments

다음의 성과는 과학기술정보통신부와 연구개발특구진흥재단이 지원하는 2021년 과학벨트 지원사업으로 수행된 연구 결과임(과제번호: 2021-DD-SB-0288)

References

• Z. Li, Z. Wu, J. Han, F. Guo, J. Xv, R. Peng, and H. Liu, "Total reflection array infrared rain sensor", In Proc. Second International Conference on Optics and Communication Technology, Hefei, China, Vol. 12473, pp. 120-124, Nov. 2022. [https://doi.org/10.1117/12.2653557]
• K. E. Supriya and R. R. Kanchi, "Real time rain sensing and wind shield wiper control system with cloud computing and geotagging applications", International Journal of Information Technology, Vol. 12, No. 3, pp. 839-847, Sep. 2020. [https://doi.org/10.1007/s41870-020-00482-0]
• Y. Hamzeh and S. A. Rawashdeh, "A review of detection and removal of raindrops in automotive vision systems", Journal of Imaging, Vol. 7, No. 3, pp. 52, Mar. 2021. [https://doi.org/10.3390/jimaging7030052]
• Y. Choi and C. H. Son, "Rain removal via deep convolutional neural networks considering orientation and strength of rain streaks", Journal of Korean Institute of Information Technology, Vol. 17, No. 1, pp. 85-98, Jan. 2019. [https://doi.org/10.14801/jkiit.2019.17.1.85]
• J. W. Son, S. B. Lee, M. H. Kim, S. Lee, and K. C. Lee, "Intelligent rain sensing and fuzzy wiper control algorithm for vision-based smart windshield wiper system", Journal of Mechanical Science and Technology, Vol. 20, No. 9, pp. 1418-1427, Sep. 2006. [https://doi.org/10.1007/BF02915965]
• S. Gormer, A. Kummert, S. Park, and P. Egbert, "Vision-based rain sensing with an in-vehicle camera", In Proc. IEEE Intelligent Vehicles Symposium, Xi'an, China, Jul. 2009. [https://doi.org/10.1109/IVS.2009.5164291]
• V. Soboleva and O. Shipitko, "Raindrops on windshield: dataset and lightweight gradient-based detection algorithm", In Proc. IEEE Symposium Series on Computational Intellilgence(SSCI), Orlando, USA, pp. 1-7, Dec. 2021. [https://doi.org/10.1109/SSCI50451.2021.9659915]
• R. Szeliski, "Computer Vision: Algorithms and Applications", Springer Nature, 2022. [https://doi.org/10.1007/978-3-030-34372-9]