Journal Archive

최근 영상처리 기술의 발달로 이미지에서 정보를 얻을 수 있는 자율주행, 얼굴인식, 인공지능 등 다양한 연구가 진행되고 있다[1]-[5]. 영상처리 기술을 하드웨어에 적용해 빠르게 검증하기 위해 FPGA(Field Programmable Gate Array)를 택하는 시스템이 증가하고 있다[6]-[10]. FPGA를 이용한 영상처리는 회로 수정이 쉽고 빠른 검증이 가능하다. 하지만 새로운 알고리즘 및 기존 알고리즘의 파라미터가 추가될 경우, SDK의 환경을 새로 구축해야 한다. 환경을 구축하기 위해선 입력의 RGB 채널의 정보와 알고리즘에 사용되는 파라미터의 개수를 파악하여 메모리 주소를 사용자가 직접 할당해야 한다. 만약 파라미터 및 RGB 채널의 주소를 SDK에서 일치시켜주지 않으면 출력이 나오지 않거나 색상이 왜곡되는 오류를 발생시킨다. 또한, 사용자마다 주소를 다르게 할당하면 메모리 주소의 중복 사용으로 인한 오류 및 비효율적 주소 할당이 발생하게 된다.

그림 1은 FPGA를 구동시키기 위한 과정을 순서도로 나타냈다. 첫 번째로, 알고리즘을 위한 Verilog 언어의 User Logic을 생성한다. User Logic은 입력 RGB, 알고리즘 파라미터를 받아 영상처리 후 출력 RGB를 전달하는 부분이다. 두 번째로 Vivado를 통해 IP(Information Provider)를 생성한다. 세 번째로, 생성된 IP는 SDK(Software Development Kit)를 통해 SoC 보드에 업로드되며 SDK에서는 Platform과 SoC 보드 간의 통신을 담당한다. 마지막으로 C++ MFC인 Platform을 이용해 입력 RGB와 알고리즘 파라미터는 CMD(Command) Address로 데이터가 보드로 전달된다.

Fig. 1. 
SoC system drive processing

그림 2는 Platform과 FPGA 보드 간의 통신 과정을 나타냈다. 영상처리를 위한 입력 RGB 정보와 알고리즘에 사용될 파라미터 값들은 외부 PC에서 입력된다. 입력된 정보들은 USB통신으로 SDK의 메모리 주소에 데이터를 저장하여 값을 공유한다.

Fig. 2. 
Transfer process between platform and Zynq board

본 논문에서는 FPGA 검증 소요 시간을 단축하기 위해 새로운 알고리즘 및 기존 알고리즘의 파라미터가 추가되더라도 자동으로 데이터를 처리하는 시스템을 제안한다. 또한, 사용자마다 메모리 주소를 다르게 할당하는 방식이 아닌 고정된 주소를 사용하여 오류 발생 빈도를 줄여 FPGA 검증 소요 시간을 단축한다. 제안하는 시스템은 규칙화를 통해 메모리에서 사용되는 알고리즘의 파라미터는 최대 32개의 주소를 할당할 수 있다. 이런 알고리즘은 최대 8개가 사용할 수 있도록 256개의 주소를 할당했다. 입력 RGB와 알고리즘 파라미터 정보는 Microsoft 사에서 제공하는 C++ MFC(Platform)를 사용하며, 사용된 보드는 Xilinx사의 Zynq-7000 ZC706을 사용했다. 이때 Zynq 보드로 전달하기 위해 사용되는 tool은 Vivado SDK를 사용한다.

본 논문의 구성은 다음과 같다. Ⅱ장에서는 Platform과 SDK 간의 메모리 주소에 관한 내용을 소개하고 메모리 주소번지를 자동화하여 공유하는 방법을 설명한다. Ⅲ장에서는 실제 Xilinx사의 Zynq-7000 ZC706 보드와 Microsoft사의 C++ MFC 간의 데이터 송, 수신을 UART 통신으로 데이터 및 자동화된 주소번지의 할당된 파라미터 값을 제시한다. 또한, 실제 알고리즘이 적용된 Platform의 입출력을 제시한다. 마지막으로 Ⅳ장에서는 결론을 맺는다.

본 논문에서 제안한 방법을 확인하기 위해 한 개의 알고리즘을 Verilog-HDL로 설계하여 Xilinx사의 Zynq-7000 ZC706 보드에 업로드 후 실제 동작을 확인했다. 사용된 알고리즘은 CIE1931 색 좌표계를 이용한 색상보정 알고리즘을 사용했다[11].

그림 6은 SDK에 대해 기존 사용법과 자동화 시스템의 사용법을 나타냈다. 기존 사용법을 사용할 경우, RGB 정보와 알고리즘의 파라미터를 위해 SDK를 수정하게 되면 오류가 발생하고 다시 수정을 반복하게 된다. 예를 들어, 파라미터 값을 의도하지 않은 Memory Map의 주소에 할당하면 1번 오류가 발생하면 시스템이 정상적으로 작동하지 않는다. 그리고 2번 오류가 발생하면 출력 영상에 색상 왜곡이 발생할 수 있으므로 SDK 환경 구축을 다시 해야 한다. 하지만 자동화 시스템을 사용할 경우, 불필요한 수정을 줄이고 1번 또는 2번과 같은 오류가 발생하지 않으므로 빠른 FPGA 검증이 가능하다.

Fig. 6. 
Comparison of traditional methods and automation systems

그림 7은 알고리즘을 적용한 Platform과 UART 통신 결과를 나타냈다. UART 통신에서 1부터 9까지는 파라미터의 hex 값을 나타냈고 입력, 출력 RGB의 첫 번째 픽셀값을 나타냈다. 네모박스로 표시된 영역은 알고리즘의 주소 선택 신호이다. 이 신호들은 SDK에서 알고리즘 주소 위치를 판별할 때 사용된다. 제안한 규칙화 및 자동화를 확인하기 위해 1 Frame의 RGB 데이터와 알고리즘 파라미터를 platform을 통해 SDK memory map으로 입력하였다. SDK에서는 입력받은 알고리즘 선택 신호를 통해 자동으로 주소번지를 계산하여 ZC706 보드로 전달한다. 이후 processing을 거쳐 출력 RGB가 최종적으로 Platform으로 전달되어 출력된다. 보드에서 출력된 RGB의 정보와 Matlab의 fixed point로 작성된 동일한 알고리즘의 오차가 0인 것을 확인하였다.

Fig. 7. 
Platform operation and UART transfer result

또한, 실제 2개의 알고리즘이 적용된 Platform으로 테스트하여 정상적인 출력을 확인하였다. 1개의 알고리즘 파라미터는 SDK memory map의 Algorithm 1 주소번지에 입력하고 다른 1개의 알고리즘 파라미터는 Algorithm 2 주소번지에 입력하였다. 입력된 정보들은 MFC에서 SDK memory map에 할당된다. 할당된 정보는 SDK를 통해 Zynq 보드로 전달되고 processing을 거친 출력 RGB가 정상적으로 나타나는 것을 확인하였다. 2개를 사용한 알고리즘도 Matlab의 fixed point와 오차가 0인 것을 확인하였다.

위 결과에서 SDK가 정상적으로 동작하지 않는다면 PC에서 SDK를 통해 정확한 정보를 Zynq 보드로 전달할 수 없다. 따라서 출력 RGB의 오차가 0인 것은 SDK의 자동화 시스템이 정상적으로 동작하는 것을 의미한다.

본 논문에서는 SDK와 Platform 간의 사용되는 memory map의 자동화 시스템을 제안하였다. 사용할 memory map에 할당될 입력 RGB, 출력 RGB 그리고 알고리즘 파라미터의 구역을 나눠 규칙화 하였다. 그리고 규칙화 된 memory map의 시작 주소번지를 이용하여 자동화를 구현하였다. 구현된 기능을 검증하기 위해 Xilinx사의 Zynq-7000 ZC706 보드와 Microsoft사의 Visual Studio의 C++ MFC를 사용하였다. MFC와 ZC706간의 통신을 위해 Vivado의 SDK를 사용하였다. MFC에서 입력 RGB와 알고리즘 파라미터를 자동화된 SDK memory map에 할당하면 Zynq 보드에서 영상처리가 이루어지고 출력 RGB가 MFC로 전달된다. 검증할 때 사용한 알고리즘은 CIE1931 색 좌표계를 이용한 색상보정을 사용했으며 출력이 정상적으로 나오는 것을 확인하였다. 또한, 보드를 통해 출력된 RGB 정보와 Matlab의 fixed point로 작성된 동일한 알고리즘의 오차가 0인 것을 확인하였다. 앞의 내용을 근거로 자동화 기능이 정상적으로 구현되었다는 것을 증명한다. 또한, 2개 이상의 알고리즘이 적용된 Platform에서 정상적인 출력을 확인하였고 Matlab의 fixed point와 오차가 0인 것을 통해 SDK의 자동화 시스템이 정상적으로 동작하는 것을 확인하였다.