Home

그림 1은 자동차 주행 시 전방 카메라 영상으로부터 빗물을 감지하여 와이퍼를 구동할 수 있는 비전 기반 와이퍼 시스템의 작동 순서도를 나타낸다.

Fig. 1. 
Flow chart for vision-based rain-sensing wiper

와이퍼 제어 신호 발생 여부를 판단하기 위한 빗물 감지 이미지 처리는 여러 단계로 구성되어 있으며 단계별로 요구되는 다양한 컴퓨터 비전 기술[8]을 활용한다. 우선 운전자의 시점에서 영상을 상시 촬영 및 녹화하는 비전 카메라로부터 이미지 프레임을 얻는다. 대상 컬러 이미지에서 대시보드나 보닛 부분을 제외한 윈드실드 관심 영역(ROI, Region of Interest)을 지정한다. 색상 정보가 아닌 밝기의 공간적 구배로부터 빗물을 감지하므로 컬러 이미지를 회색조로 변환한다. 변환 후 이미지 픽셀을 각각 0부터 255의 밝기 범위를 갖는 8비트 정수로 표현된다. 영상에서 현재 기준 과거 특정 시간 동안의 이미지 프레임을 모두 합친 후 픽셀의 데이터를 평균화하는 작업을 수행한다. 이때 평균화 작업을 통해 자동차 운행 중 빠르게 변하는 배경 형상보다 윈드실드에 맺힌 빗방울의 형상이 더 선명하게 나타난다. 평균화된 이미지에 대해 Gauss 블러 필터를 적용하여 형상 내부의 밝기 데이터의 노이즈를 감소한 후 Sobel 필터를 이용해 외곽선 검출을 수행한다. 검출된 외곽선 픽셀 중에서 강도가 낮은 값을 제거하여 선명한 외곽선만을 추출하는 작업을 수행한다. 이때 빗물은 흰색(1)으로 나머지 부분은 검은색(0)으로 픽셀 정보가 이진화 되어 저장된다. 추출된 외곽선 픽셀을 팽창(Dilation)시켜 상호 연결성을 높이고 객체 분할(Object segmentation)을 용이하게 한다. 연결된 픽셀 단위로 그룹화 및 레이블링을 진행한다. 이때 통상적인 빗물의 크기에 비해 매우 큰 픽셀 그룹은 배경 형상으로 간주하여 제거한다. 관심 영역의 전체 픽셀 수 대비 빗물로 감지된 픽셀의 비율을 면적 백분율로 정의한다. 이렇게 정량화된 빗물 픽셀의 면적 백분율이 임계치 이상이 되면 와이퍼가 작동할 수 있도록 제어 신호를 발생한다.

그림 2는 윈드실드 와이퍼의 동작 시연을 위해 제작한 모형 자동차를 보여준다. 기본 차대는 알루미늄 프로파일로 구성하였고 윈드실드는 투명 아크릴로 제작하였다. 나머지 외관 구조는 하드보드지와 방수용 폼보드로 제작하였고 자동차 밑판은 PVC 매트를 설치하여 방수 성능을 강화하였다. DC 모터와 감속기어 및 4절 링크 일체형 소형 와이퍼 모듈을 장착하였고 윈드실드 뒤쪽 중앙부에 카메라를 설치하였다. 윈드실드 하단부에 이미지 처리 및 제어 연산용 컴퓨터를 설치한 후 와이퍼 모터 드라이버 및 카메라와 각각 연결하였다. 물 분사 실험 시 에지 컴퓨터를 보호하기 위한 방수용 커버를 3D 프린터로 제작하였고 와이퍼에 의해 닦인 물을 배출하기 위한 배수로도 설치하였다. 전원 공급을 위해 20,800mAh 용량에 최대 80W 출력이 가능한 휴대용 전원 공급장치를 장착하였다. 표 1에 제작한 모형 자동차의 제원을 정리하였다.

Fig. 2. 
Prototype car for windshield wiper demonstration

그림 1에 제시한 알고리즘에 따라 이미지를 처리하고 와이퍼를 제어하기 위한 소프트웨어 코드는 Python 프로그래밍 개발 환경에서 컴퓨터 비전 라이브러리인 OpenCV, 수치 계산 라이브러리인 NumPy, 데이터 시각화 라이브러리인 Matplotlib, 그리고 에지 컴퓨터의 신호 입출력 제어 모듈인 GPIO를 이용하여 작성하였다. 표 2에 빗물 감지 비전 처리 코드에 사용된 주요 OpenCV 함수와 설정 인자를 정리하였다.

그림 3은 자동차 주행 시 촬영한 블랙박스 전방 영상에 대해 그림 1에 제시한 알고리즘에 따라 비전 처리를 완료한 단계별 결과 이미지를 보여준다.

Fig. 3. 
Step-by-step results of vision-based rain sensing

빗방울 이외에도 가로수나 주행 및 주차 차량 등 외곽선을 가진 많은 배경 요소가 있지만 블러 영역의 기울기 기반 외곽선 검출 기법을 적용하여 만족할 만한 빗물 감지 결과를 얻을 수 있었다. 자동차가 저속으로 운행하거나 정지한 상태에서는 이미지 프레임 평균화 처리 후에도 창밖 배경 요소의 블러 효과가 크게 나타나지 않으므로 그림 3(h)단계에서 불필요한 배경 요소의 검출 가능성이 커진다.

그림 4(a)는 정지 상태의 시연용 모형차에서 획득한 영상에 대한 이미지 처리 결과로서 배경 요소가 필터링되지 않고 검출된 예시를 보여준다. 일반적으로 배경 요소 크기가 빗방울보다 크다는 점에 착안하여 크기 기반 그룹 필터링을 추가로 적용하였다. 그림 4(b)는 전체 320×240픽셀 이미지 해상도 기준에서 10×10픽셀 이상의 픽셀 그룹을 제거한 결과로써 빗물 이외에 배경 요소가 대부분 제거됨을 확인할 수 있다.

Fig. 4. 
Size-based pixel group filtering

그림 5는 강우량이 서로 다른 경우의 이미지 처리 결과로서 본 연구에서 제안한 알고리즘이 강우 세기를 정량적으로 측정할 수 있음을 보여준다.

Fig. 5. 
Image processing results by rainfall strength

시연용 모형차에 설치한 컴퓨터 비전 기반 빗물 감지 윈드실드 와이퍼 시스템의 작동 실험을 수행하였다. 빗물로 감지된 픽셀의 면적 백분율이 9%가 넘으면 와이퍼가 작동하도록 설정한 후 5초부터 30초까지 약 25초간 전동 분무기로 물을 뿌리면서 와이퍼 작동 실험을 진행했다. 그림 6은 실시간으로 수집한 빗물 감지 결과 데이터의 그래프를 보여준다. 실험 중 와이퍼는 약 9초의 주기로 총 2번 작동하였고 빗물을 닦아낼 때 면적 백분율이 6% 이하로 감소함을 관측할 수 있다. 윈드실드의 면적에 비해 와이퍼 궤적의 면적이 상대적으로 작아 와이퍼 작동 이후에도 잔여 빗물이 검출되었지만, 실험 결과 실시간 비전 기반 빗물 픽셀 추출과 와이퍼 제어는 정상적으로 이루어지는 것을 확인하였다.

Fig. 6. 
Real-time vision-based wiper operation graph