잡음에 강인한 스테레오 카메라 기반 ROI 알고리즘에 관한 연구

Ⅰ. 서 론

최근 지능형 모바일 로봇 및 자율주행 자동차 등 TOF(Time Of Flight) 센서 및 스테레오 카메라를 활용하여 물체와의 거리 정보를 활용한 ROI(Region Of Interest) 검출 관련 연구가 많이 이루어지고 있다[1]-[3].

TOF 센서를 활용한 ROI 기법에 관한 연구의 경우 주로 라이다(Lidar) 센서가 사용되며, 초음파 및 적외선 센서 등에 비해 비교적 높은 비용이 드는 단점이 있다[4]. 스테레오 카메라 기반 ROI 검출 알고리즘의 경우 깊이 영상(Depth map)을 통해 배경과 물체와의 거리 차이를 이용함으로써 복잡한 배경에서 물체를 쉽게 분리할 수 있다[5]. 하지만 스테레오 카메라를 이용하여 깊이 영상을 획득하는 과정에서 모바일 로봇의 특성인 카메라의 이동으로 인해 주변 물체에 비치는 조명 및 외란 등으로 정확한 거리 정보를 획득하지 못할 경우 배경과 물체 사이의 거리 차이를 이용할 수 없게 되어 스테레오 카메라의 장점을 이용할 수 없게 된다[6].

이에 본 논문에서는 스테레오 카메라로부터 입력받은 깊이영상에서 조명 및 외란을 제거하기위해 이진화, 형태학적(Morphology) 연산을 진행하였지만 여전히 노이즈는 존재하였으며, 이를 해결하기 위해 전처리된 깊이영상의 순차적인 프레임에 대한 라벨링 좌표값의 상관관계를 분석하였다. 본 논문에서는 연속된 프레임 중 검출되는 라벨링 좌표의 최빈값을 이용하여 복잡한 배경에서의 높은 ROI 검출률을 갖는 알고리즘을 제안한다. 본 논문은 기존 연구에서 제시된 ROI 좌표 최빈값 추출 알고리즘을 수식으로 추가 제시하였으며, 퀵정렬 기법을 활용하여 최빈값 추출에 걸리는 연산성능을 개선하였다. 추가로 다양한 실험환경 및 결과를 통해 기존 연구내용을 확장하였다[7].

본 논문의 2장에서는 기존의 2차원 영상에서의 ROI 기법과 기존 스테레오 카메라를 활용한 ROI 알고리즘에 관해 설명하며, 3장에서는 깊이 영상을 획득하는 과정에서 외란 및 잡음이 발생하는 문제를 해결하기 위해 본 논문에서 제안하는 잡음에 강인한 ROI 알고리즘을 설명한다. 이후 4장에서는 본 논문에서 제안하는 ROI 알고리즘과 기존 스테레오 카메라 기반 ROI 알고리즘을 비교 평가한다. 5장에서는 본 논문의 결론과 향후 연구과제에 대해 논한다.

Ⅱ. 기존 ROI 기법

2.1 기존 2차원 영상에서의 ROI 기법

2차원 영상에서의 ROI 기법은 크게 그림 1과 같이 색상, 크기, 형태를 이용하여 ROI를 검출하는 기법으로 나눌 수 있다. 그림 1(a)과 같이 색상을 이용하여 ROI를 검출할 때 배경이 단색일 경우 높은 검출률을 가진다. 하지만 배경과 분류하고자 하는 물체가 동일 색상일 경우 분류의 어려움을 겪게 되고 조명 변화에 민감하다는 단점을 가진다[8]. 그림 1(b)와 같이 크기를 이용하여 ROI를 검출하는 경우 카메라가 고정된 환경에서 크기가 다른 물체를 분류할 때 높은 검출률을 가진다. 하지만 카메라가 고정된 환경이 아닌 모바일 로봇이나 자동차와 같이 움직이는 환경의 경우 움직임에 따라 물체의 크기가 변하여 크기의 기준을 정하기 어렵다는 단점을 가진다[9]. 그림 1(c)과 같이 형태를 이용하여 ROI를 검출하는 경우 엣지(edge) 영상을 통해 특정 형태를 검출하여 물체를 분류하기 때문에 높은 검출률을 가진다. 하지만 다수의 형태가 존재할 경우 형태의 정의가 어려운 단점을 가진다[9].

Fig. 1.

ROI method in 2D image

2.2 기존 스테레오 카메라 기반 ROI 알고리즘

그림 2는 기존 스테레오 카메라 기반 ROI 알고리즘의 흐름도이며, 스테레오 카메라를 통해 원본 영상과 깊이 영상을 획득한다. 깊이 영상에 식 (1)을 이용하여 검출 대상의 거리를 정한다. 여기서 D는 카메라와 검출 대상의 거리를 나타내며, Camera Min Distance는 카메라와 물체 사이의 최소 거리를 나타내며, Object Detection Max Distance는 카메라와 검출 대상의 최대 거리를 의미한다. D이내에 들어온 검출 대상의 경우 이진화 및 형태학적 연산을 통해 전처리 과정을 거친 후 라벨링을 통해 ROI를 검출하는 방법이다.

$\[ \begin{array}{c}Binarization= \hfill \\ \left\{\begin{array}{cc}1 \hfill & \begin{array}{c}Camera Min Distance\prec D \hfill \\ D\le Object Detection Max Distance\hfill \end{array} \hfill \\ 0\hfill & Otherwise\hfill \end{array}\right.\hfill \end{array} \]$

(1)

Fig. 2.

Problem of conventional stereo-based ROI algorithm, (a) Original image, (b) Depth image with noise detected, (c) Labeling image with noise detected, (d) ROI image with noise detected

기존 스테레오 카메라 기반 ROI 알고리즘의 경우 깊이 영상을 획득하는 과정에서 잡음으로 인해 그림 3(b)과 같이 잡음이 섞인 깊이 영상을 획득하게 된다. 이러한 깊이 영상을 이용하여 ROI를 위한 이진화 및 형태학적 연산을 진행 하였음에도 그림 3(c)과 같이 잡음 1, 2, 4, 5를 라벨링 하게 된다. 그 결과, 그림 3(d)에서 잡음과 모니터가 함께 검출되어 ROI 검출률이 낮아지는 문제점이 발생한다.

Fig. 3.

Conventional stereo-based ROI algorithm

Ⅲ. 제안하는 스테레오 카메라 기반 ROI 알고리즘

3.1 제안하는 알고리즘 흐름도

그림 4는 제안하는 ROI 알고리즘의 흐름도이며, 여기서 Mode는 최빈값으로 정의한다. 그림 2의 기존 ROI 알고리즘에서 물체 검출률 향상을 위해 라벨링 좌표 데이터의 최빈값을 이용하였으며 연산량 감소를 위해 퀵 정렬 기법을 사용하여 최종 ROI를 검출한다.

Fig. 4.

Flowchart of ROI algorithm that robust to noises

제안하는 ROI 알고리즘에서 최빈값을 검출하기 위해 n개의 연속된 프레임에서 l개의 라벨링 좌표 데이터를 저장한다. 여기서 n은 최빈값을 검출하는데 몇 개의 연속된 프레임을 사용하는지에 대한 변수 이며, n값이 증가할수록 검출률이 증가하고, n값이 적을수록 연산량은 감소한다.

l은 라벨링의 좌표 개수로써 식 (2)와 같이 l의 개수는 결정된다. 저장된 l개의 좌표 데이터를 정렬하고 정렬된 좌표 데이터를 비교하여 최빈값을 검출한다. 검출된 각 좌표의 최빈값을 이용하여 최종 ROI를 검출한다.

$\[ l=n\times \mathrm{라}\mathrm{벨}\mathrm{링} \mathrm{영}\mathrm{상}\mathrm{에}\mathrm{서}\mathrm{의} \mathrm{라}\mathrm{벨}\mathrm{링} \mathrm{개}\mathrm{수} \]$

(2)

3.2 라벨링된 좌표 데이터 저장 및 정렬

본 논문에서는 그림 5와 같이 연속된 프레임에서의 라벨링의 상관도를 분석한 결과, 검출하고자 하는 물체는 연속적으로 검출되고 잡음은 불연속적으로 검출되는 특징을 확인하였다. 이를 통해 라벨링 된 물체의 좌표 데이터 중 가장 빈번하게 검출된 좌표 데이터인 최빈값을 이용한 ROI 검출 알고리즘을 제안한다.

Fig. 5.

Four consecutive depth and labelling images, (a) Depth image with noise detected, (b) Labeling image with 4 noise and monitor detected, (c) Depth image with noise detected, (d) Labeling image with 3 noise and monitor detected, (e) Depth image without noise, (f) Labeling image with only monitor detected without noise, (g) Depth image with noise detected, (h) Labeling image with 3 noise and monitor detected

좌표의 최빈값 검출을 위해 그림 5에서 4개의 깊이 영상과 이에 따른 라벨링 영상에서 l개의 라벨링을 그림 6과 같이 lx₁, ly₁, lx₂, ly₂좌표로 나누어 저장한다. 여기서 lx₁, ly₁, lx₂, ly₂은 라벨링의 좌표이다.

Fig. 6.

Coordinate data of labeling

영상이 들어오는 순서대로 라벨링 좌표 데이터(lx₁, ly₁, lx₂, ly₂)가 저장될 때 그림 7(a)과 같이 무작위로 정렬된다. 무작위로 정렬된 데이터에서 최빈값을 구하기 위해서는 모든 데이터를 비교해야 하므로 시간 복잡도 O(N²)를 가진다.

Fig. 7.

Data sort using quick-sort method

본 논문에서는 연산량 감소를 위해 피벗을 이용한 퀵 정렬 기법을 적용하였으며, 퀵 정렬 후 그림 7(c)과 같이 작은 데이터에서 큰 데이터 순서로 정렬되고 최빈값을 구할 때 O(N²)의 시간 복잡도에서 O(NlogN)의 시간 복잡도로 연산량이 감소하였다[10].

3.3 최빈값을 이용한 ROI 검출

그림 7(c)과 같이 정렬된 데이터에서 식 (4)~(6)을 이용하여 그림 8과 같은 방법으로 데이터가 작은 값부터 큰 값 순서로 비교하여 각 좌표의 최빈값을 검출한다. 그림 8은 α값을 3으로 설정한 그림이다.

Fig. 8.

Method for calculating the mode from sorted data

식 (4)에서 i번째 좌푯값과 i+k번째 좌푯값의 차이가 α보다 작으면 같은 위치에 있는 좌표라고 정의하여 M_count가 증가하고 그렇지 않다면 M_count는 1로 초기화 된다. 여기서 i는 검출되는 라벨링의 순서를 나타내며 c는 라벨링의 끝 번호로 정의한다. M_count는 최빈값의 카운트 값이며 초깃값은 1로 설정하였다. 여기서 M_count는 최빈값의 카운트 값과 최빈값의 카운트 값이 변할 때의 좌표값을 함께 저장한다.

식 (5)는 최종 최빈값을 검출하기 위한 수식이며 M_count값이 M_max값보다 크거나 같다면 M_max값을 M_count값으로 변경하고 그렇지 않다면 M_max값을 유지한다.

이때 M_max는 최종 최빈값 카운트로 정의하며 최종 최빈값의 카운트 값과 이때의 좌표값을 함께 저장한다.

$\[ \begin{array}{c}{lx}_1{M}_{count}=\left\{\begin{array}{c}{lx}_1{M}_{count}+1 \text{if } \sum _{k=1}^c{lx}_1^{i+k}-{lx}_1^i\le \alpha \hfill \\ 1 otherwise\hfill \end{array}\right.\hfill \\ {ly}_1{M}_{count}=\left\{\begin{array}{c}{ly}_1{M}_{count}+1 \text{if } \sum _{k=1}^c{ly}_1^{i+k}-{ly}_1^i\le \alpha \hfill \\ 1 otherwise\hfill \end{array}\right.\hfill \\ {lx}_2{M}_{count}=\left\{\begin{array}{c}{lx}_2{M}_{count}+1 \text{if } \sum _{k=1}^c{lx}_2^{i+k}-{lx}_2^i\le \alpha \hfill \\ 1 otherwise\hfill \end{array}\right.\hfill \\ {ly}_2{M}_{count}=\left\{\begin{array}{c}{ly}_2{M}_{count}+1 \text{if } \sum _{k=1}^c{ly}_2^{i+k}-{ly}_2^i\le \alpha \hfill \\ 1 otherwise\hfill \end{array}\right.\hfill \end{array} \]$

(4)

$\[ \begin{array}{c}{lx}_1{M}_{\text{max}}=\left\{\begin{array}{c}{lx}_1{M}_{count} \text{if } {lx}_1{M}_{count}\ge {lx}_1{M}_{max}\hfill \\ {lx}_1{M}_{\text{max}} otherwise\hfill \end{array}\right.\hfill \\ {ly}_1{M}_{\text{max}}=\left\{\begin{array}{c}{ly}_1{M}_{count} \text{if } {ly}_1{M}_{count}\ge {ly}_1{M}_{max}\hfill \\ {ly}_1{M}_{\text{max}} otherwise\hfill \end{array}\right.\hfill \\ {lx}_2{M}_{\text{max}}=\left\{\begin{array}{c}{lx}_2{M}_{count} \text{if } {lx}_2{M}_{count}\ge {lx}_2{M}_{max}\hfill \\ {lx}_2{M}_{\text{max}} otherwise\hfill \end{array}\right.\hfill \\ {ly}_2{M}_{\text{max}}=\left\{\begin{array}{c}{ly}_2{M}_{count} \text{if } {ly}_2{M}_{count}\ge {ly}_2{M}_{max}\hfill \\ {ly}_2{M}_{\text{max}} otherwise\hfill \end{array}\right.\hfill \end{array} \]$

(5)

최종적으로 식 (6)을 통해 M_max값을 가지는 좌표값을 lx₁', ly₁', lx₂', ly₂'에 저장한다. 여기서 lx₁', ly₁', lx₂', ly₂'는 각 좌표의 최빈 좌표값으로 정의한다.

식 (4)~(6)을 통해 최빈값을 이용하여 검출된 lx₁', ly₁', lx₂', ly₂'를 이용하여 그림 9와 같이 조명 및 외란에 강인한 최종 ROI를 검출한다.

$\[ \begin{array}{cc}{lx}_1\text{'}={{lx}_1}^i{M}_{\mathrm{m}\mathrm{a}\mathrm{x}}\hfill & {ly}_1\text{'}={{ly}_1}^i{M}_{\mathrm{m}\mathrm{a}\mathrm{x}}\hfill \\ {lx}_2\text{'}={{lx}_2}^i{M}_{\mathrm{m}\mathrm{a}\mathrm{x}}\hfill & {ly}_2\text{'}={{ly}_2}^i{M}_{\mathrm{m}\mathrm{a}\mathrm{x}}\hfill \end{array} \]$

(6)

Fig. 9.

ROI image detected by mode

Ⅳ. 성능 평가 및 실험 결과

4.1 성능 평가 환경 및 방법

본 논문에서는 해상도 740×360, Intel RealSense d435i 스테레오 카메라와 Intel Core i5-7500 CPU 기반 PC의 Visual Studio 2015 환경에서 OpenCV 3.4.7 버전을 사용하였으며, 기존 스테레오 카메라 기반 ROI 알고리즘과 본 논문에서 제안하는 잡음에 강인한 스테레오 카메라 기반 ROI 알고리즘의 성능을 비교 평가하였다.

성능 비교 평가 실험은 제안하는 알고리즘이 모바일 로봇에 적용된 상황을 가정하여 진행하였다. 스테레오 카메라가 물체와 5m 떨어진 위치에서 검출 대상이 있는 방향으로 0.3m/sec의 속도로 움직이고, 15sec 동안의 검출된 프레임에서 검출 대상과 잡음의 검출 비율을 계산하여 ROI 검출률을 나타내었다. 이때, 알고리즘의 올바른 성능 평가를 위하여 그림 10과 같이 다양한 환경에서 진행하였으며 실험 횟수의 경우 각 환경에서 5번의 실험을 진행하였다.

Fig. 10.

Experiment environment, (a) Chair, (b) Box, (c) Monitor, (d) Electric fan

4.2 실험 결과

실험 결과, 표 1, 2를 통해 본 논문에서 제안하는 ROI 알고리즘과 기존 ROI 알고리즘의 검출률을 확인할 수 있으며 기존 ROI 알고리즘의 경우 불규칙한 검출률을 보인다. 반면 본 논문에서 제안하는 ROI 알고리즘의 경우 규칙적으로 높은 검출률을 보인다. 그림 11을 통해 본 논문에서 제안하는 ROI 알고리즘과 기존 ROI 알고리즘을 비교 평가한 결과, 제안하는 ROI 알고리즘의 평균 검출률이 29% 향상되었다.

Table 1.

Proposed stereo-based ROI algorithm robust to Noises

Table 2.

Conventional stereo-based ROI algorithm

Fig. 11.

Comparison between the proposed ROI algorithm and the conventional ROI algorithm

V. 결 론

본 논문에서는 복잡한 배경에서의 물체 검출 문제를 해결하기 위해 스테레오 카메라를 활용하였으며, 스테레오 카메라에서 깊이 영상을 획득하는 과정에서 잡음으로 인해 정확한 깊이 영상을 획득하지 못하여 ROI 검출률이 낮은 문제점을 확인하였다. 이러한 문제를 해결하기 위해 본 논문에서는 스테레오 카메라로부터 입력된 각 프레임별 깊이 영상에서 추출한 라벨링 좌표 데이터의 최빈값을 이용하여 검출률을 높일 수 있는 ROI 알고리즘을 제안하였다.

제안된 스테레오 카메라 기반 ROI 알고리즘과 기존의 스테레오 카메라 기반 ROI 검출 알고리즘의 검출 성능을 비교한 결과 제안한 ROI 알고리즘은 기존의 ROI 알고리즘에 비해 균일한 검출률을 보였으며 평균 29% 이상 검출률이 향상되었다. 본 연구를 통해 향후 모바일 로봇의 임베디드 환경에서 딥러닝 기술을 적용할 때 본 논문에서 제안한 ROI 알고리즘 적용 시 불필요한 배경에 대한 연산을 수행하지 않아 물체 인식의 정확성 및 검출 속도 향상에 기여할 수 있을 것으로 사료된다.

Acknowledgments

“본 연구는 과학기술정보통신부 및 정보통신기획평가원의 Grand ICT연구센터지원사업의 연구결과로 수행되었음” (IITP-2020-0-01791)

References

• Z. Wang, Y. Wu and Q. Niu, "Multi-Sensor Fusion in Automated Driving: A Survey", in IEEE Access, Vol. 8, pp. 2847-2868, Dec. 2019. [https://doi.org/10.1109/ACCESS.2019.2962554]
• D. S. Kim, H. C. Son, J. W. Si, and S. Y. Kim, "Traffic Accident Detection Based on Ego Motion and Object Tracking", Journal of Advanced Information Technology and Convergence, Vol. 10, No. 1, pp. 15-23, Jul. 2020. [https://doi.org/10.14801/JAITC.2020.10.1.15]
• M. Kang, C. Ihm, J. Lee, E. H. Choi, and S. K. Lee, "A Study on Object Recognition for Safe Operation of Hospital Logistics Robot Based on IoT", The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 17, No. 2, pp. 141-146, Apr. 2017. [https://doi.org/10.7236/JIIBC.2017.17.2.141]
• S. Lee, J. Hyun, Y. S. Kwon, J. H. Shim, and B. Moon, "Vision-sensor-based Drivable Area Detection Technique for Environments with Changes in Road Elevation and Vegetation", Journal of Sensor Science and Technology, Vol. 28, No. 2, pp. 94-100, Mar. 2019.
• P. S. Hyun, K. M. Jin, and G. Deepak "A Study on Performance Improvement of ROI Detection Algorithm Based on Depth Map", Korea Institute Of Communication Science, pp. 13-15, Nov. 2017.
• Y. Shin and J. Min, "Fusion of stereo camera and Lidar for dense depth map acquisition", The Korean Society Of Automotive Engineers, pp. 1424-1429, Jun. 2018.
• S. H. Lee, H. M. Lee, and S. H. Ok, "A Study on Performance Improvement of Stereo Based ROI Detection Algorithm", Korean Institute of Information Technology, pp. 76-77, Jun, 2019.
• K. H. Park and O. S. Kwon, "Algorithm for Speed Sign Recognition Using Color Attributes and Selective Region of Interest", Journal of Broadcast Engineering, Vol. 23, No. 1, pp. 93-103, Jan. 2018.
• G. Bradski and A. Kaehler, "Learning OpneCV 3", In Wikibook, pp. 462-502, 2018.
• C. A. R. Hoare, "Quicksort", The Computer Journal, Vol. 5, No. 1, pp. 10-16, 1962. [https://doi.org/10.1093/comjnl/5.1.10]