Home

전방의 물체를 인식하고 가장 빠른 경보를 울리는 방법은 인식알고리즘을 탑재한 FPGA기반의 하드웨어 시스템[2]이다. FPGA기반의 방법은 영상의 관심영역이 끝나는 시점에 하드웨어 알고리즘이 즉시 동작하여 매우 빠르게 경보를 처리할 수 있다. 상용화시 고려할 부분이 영상처리와 녹화까지 처리해야 하는 하드웨어 시스템으로 설계해야한다. 그림 1과 같이 FPAG는 I/O가 많아 PCB의 크기와 비용이 증가하는 문제가 발생하게 된다. 또한 처리알고리즘의 업그레이드 및 제품 유지보수의 난점이 있어 제조사들은 Arm SoC(System On Chip)기반의 기능구현을 선호한다.

Fig. 1. 
Module of FPGA

비전센서로 거리를 정확하게 측정하는 오류를 개선하기위해 레이더를 결합한 방식[3]의 알고리즘은 레이더가 갖는 거리의 정확성을 영상에서 차량을 검출해낸 데이터와 결합하여 그림 2와 같이 오차를 보정하는 방식이다.

Fig. 2. 
Sensor fusion architecture

이 방식은 악천후 영상 발생시 동작오류를 개선하는데 효과적이다. 그러나 난반사 신호와 도로면 오차는 극복해야하며, 레이더 시스템의 장착 차량간 오류가 발생할 수 있다.

기술의 발전으로 저가형 초음파 센서를 활용하여 차량을 추적하는 방식의 알고리즘[4]이 개선되어 정확도가 98% 수준으로 높아지고 있으나, 이 또한 영상과 실시간으로 결합되어 최종 판정을 내려야 한다.

영상을 판독하여 전방차량의 물체를 식별하고 거리를 측정하는 방법에 있어, 오차를 개선하고 인식속도를 향상하기 위한 방법으로 스테레오-비전 카메라를 활용하는 알고리즘[5]이 그림 3과 같이 제안되었다.

Fig. 3. 
Sensor fusion architecture

제안된 알고리즘은 92%~99%의 정확도를 보이며, 영상의 S/W 기반 판독기술만을 가지고 충돌예측을 한다. 인식 속도에 대한 성능을 향상하기 위해 관심영역을 지정하고, 차선과 차량의 형태소 및 그림자를 추적하는 알고리즘[6]이 있다.

S/W 기반 판독 알고리즘을 초소형 시스템 및 차량용 블랙박스에 최적화하는 방식[7]으로 하드웨어를 설계 및 구현해야 한다.

상용 블랙박스 시스템을 구현하는데 사용되는 SoC를 검토한 결과, 영상처리 및 녹화성능의 향상을 위하여 싱글 코어(Single-Core) 또는 듀얼 코어(Dual-Core) 기반의 SoC가 많이 사용되고 있다. 본 논문에서는 듀얼 코어 기반의 그림 4의 RDK를 활용하여, FCWS 검출엔진의 최적화 알고리즘을 구현한다.

Fig. 4. 
Mainboard of dual-core SoC

표 1의 제원을 가지는 시스템을 선정하여, 리눅스 OS를 기반으로 일반적으로 알고리즘을 처리하는 방법과 제안하는 알고리즘의 처리방식을 비교해 본다. 그림 5와 같이 카메라와 기타 장치를 연결하여 시스템을 구성한다.

Fig. 5. 
Block diagram of system

내부에 구현되는 FCWS 검출엔진은 그림 3의 방식인 스테레오-비전 카메라를 활용하는 알고리즘을 적용한다.

테스트를 위한 하드웨어는 실시간 파일저장 기술[8]을 내장한다. 상용화된 제품은 녹화기능을 기본 탑재하기 때문에 시스템이 효율적으로 설계되고 충실하게 최적화 되는지 확인하기 위해서 필요하다.

어라운드 뷰 모니터링 전용의 시스템과 같은 경우는 LDWS(Lane Departure Wanrnning System) 알고리즘[9] 또는 FCWS 알고리즘의 적용시 단일한 기능을 수행하기 때문에 보편적인 성능을 보이게 된다.

리눅스 OS 기반 시스템으로 S/W를 구성할 경우, 영상처리를 위해서 처리되는 BSP는 그림 6과 같이 처리된다. 그림 6은 영상이 한 장 캡쳐되어 FCWS 알고리즘이 처리되기까지 과정을 보여준다. (1) 분석하고자 하는 영상이 한 장 캡쳐되어야 하고 (2) 영상의 캡쳐가 끝나는 시점에 비디오 동기 신호에 따른 인터럽트 서비스 처리를 진행해야 한다.

Fig. 6. 
Image processing method based on linux OS

이 때, V4L2(Video for Linux Version 2) 규격에 따르면, 버퍼 포인터를 다음으로 옮기는 동작을 수행하고 어플리케이션의 IoC시 함수에 폴링된 동작이 있으면, 드라이버에서 풀어주는 웨이크-업 쓰레드(Wake-up Thread) 동작이 발생하게 된다. 상기의 BSP(Board Support Package) 드라이버의 작업이 완료되면, 사용자 응용프로그램 영역의 프로세서는 (3) 대기상태에서 이미지 버퍼 포인터 수신을 확인하는 드라이버의 응답을 받아서, 영상의 RAW DATA(YUV 4:2:2 포맷의 데이터)를 얻게 된다. 이 데이터는 Full HD급의 영상이거나 고해상도의 영상이기 때문에, 영상처리가 가능한 수준의 크기로 축소(Scale-Down) 처리되어야 하며, 특히 처리와 관련된 관심영역을 추출하여 스케일러를 가동하게 된다. (4) 영상처리를 위한 데이터가 준비되어 FCWS 실제알고리즘을 판독하는 루틴을 수행하게 된다. (5) 충돌이 검출되는 상황일 때, 알람을 울리게 된다.

리눅스 OS에서 알고리즘을 구현하기 위해서 그림 6과 같은 절차가 필요하며, 드라이버 영역과 응용 프로그램 영역에서 리눅스 커널 드라이버와 쓰레드, 이벤트 폴링이 사용되게 된다. 이는 알고리즘 구현시, 녹화 동식동작 또는 추가 드라이버 동작 또는 내부 커널 쓰레드 동작시 시스템의 지연을 발생시킬 가능성이 있다. 이러한 구현 방식의 문제점은 실험을 통해서 확인할 수 있다.

논문에서 제안하는 알고리즘을 처리하는 방식은 듀얼 코어 BSP를 다르게 동작시키는 것이다. 1번 CPU는 일반적인 U/I 처리를 위하여 리눅스 OS로 녹화 및 저장처리를 실행한다. 2번 CPU는 부트로더에서 활성화하며, 전용의 RTOS로 구현한다. 1번 CPU 리눅스 OS 가동 시 캡쳐버퍼의 포인터를 공유하되 그림 7과 같이 서로 완벽하게 다른 병렬로 동작하게 한다.

Fig. 7. 
Running the method of multipul os on dual-core

그림 7은 듀얼 코어에서 다중 OS를 가동하여, FCWS알고리즘을 동작시키는 방법을 기술한다. (1) 암 코어(Arm Core) 제조사별로 부팅환경을 맞추기 위한 1st 부팅코드를 동작시킨 후, (2) 리눅스 OS 적재를 위해서, U-Boot를 1번 CPU를 통해 가동한다.

이 때, U-Boot에서 리눅스 커널의 적재동작을 1번 CPU에 서 수행하고, 2번 CPU에서는 RTOS의 적재동작을 호출한다. 여기서 OS적재 동작을 진행하는 이유는 U-Boot에서 물리적 메모리 맵을 가상 메모리 맵으로 변환할 때, 옵션설정이 가능하다. 캡쳐버퍼의 크기와 위치를 이곳에서 분리하여 포인터 및 맵처리를 진행하여, 코드-콘플리트(Code-Conflict) 또는 데이터-어보트(Data-Abort) 동작을 방지하기 위해서이다.

리눅스 OS의 로딩과정은 (3) 커널 (5) 드라이버 (6) 초기화 쉘 스크립트 (7) 응용 프로그램 실행으로 전통적인 구조로 이루어 진다.

알고리즘 동작 전용의 2번 CPU는 (4) 알고리즘 실시간처리를 위한 최소화된 RTOS가 적재된다. (8) 영상의 캡쳐 및 (9) 관심영역 축소 그리고 (10) FCWS 알고리즘의 동작이 처리되게 된다. 이 후 (8), (9), (10)의 동작만 지속적으로 반복하게 한다.

2번 CPU의 알고리즘 구현부가 완전히 독립되었고, U/I를 담당하는 1번 CPU에 의해 프로세스의 우선순위가 변동되지 않기 때문에, 실기간 처리가 보장된다. 이를 기반하여, FPGA와 유사하게 S/W 처리 블록을 구현한다. 다만 FPGA 방식과의 차이점은 블록데이터 조합 연산이 불가능한 부분에서 성능의 차이를 보이게 된다.

그림 8과 같이 영상이 한 장씩 프레임 단위로 캡쳐된다. 영상은 처리되는 프레임을 기준으로 30Hz로 입력된다. 이 시점을 기준으로 VSync 인터럽트 시점에서 타이머 인터럽트를 발생시켜, ROI이미지의 영역이 지나가는 시점에 즉시, 축소 동작함수를 호출하여, 남은 데이터가 DMA에 쌓이는 동안의 대기 시간을 줄여준다. 이후, 축소 동작 이후에 FCWS 알고리즘 처리 동작을 수행한다. 알고리즘의 수행연산시간은 축소된 영역의 크기에 비례하게 된다. RTOS이기 때문에, 전용의 알고리즘을 처리수행하기 때문에 축소 수행된 시간과 알고리즘의 처리 수행시간을 합쳐 33ms이내에 수행될 때, 실시간으로 지속적으로 알고리즘의 판독 및 알람처리가 가능하게 된다.

Fig. 8. 
Accelation method of FCWS algorithm

이런 동작방식의 경우 영상의 캡쳐 이후, 관심영역의 스케일처리와 연산처리가 별도의 인터럽트 지연없이 즉시 수행되기 때문에, 알고리즘의 최적화 정도에 따른 반응속도를 보일 수 있게 된다.

그림 9와 같이 리눅스 OS 메모리는 예외처리 영역, 커널 영역, 드라이버 영역, 파일시스템 풀, 사용자 프로세스 공간과 스택 & 힙으로 구성된다. 2번 CPUdml 알고리즘 구현부는 전용의 RTOS 공간으로 구성되어, 코어 코드 여역과 스택 & 힙으로 구성이 된다. 이 때, 리눅스의 가상 메모리 영역에 의해 조각나지 않는 전용의 대용량 DMA버퍼를 설정함으로써, 그림 8의 알고리즘을 동작시킨다. 리눅스 OS가 비디오 이미지의 캡쳐와 스케일 인터럽트에 관여하지 않음으로써, OS 태스크 스위칭에 따른 과부화와 시간지연을 최소화할 수 있게 된다.

Fig. 9. 
Sharing the momory of multipul os on dual-core