Home

2차원 영상에서의 ROI 기법은 크게 그림 1과 같이 색상, 크기, 형태를 이용하여 ROI를 검출하는 기법으로 나눌 수 있다. 그림 1(a)과 같이 색상을 이용하여 ROI를 검출할 때 배경이 단색일 경우 높은 검출률을 가진다. 하지만 배경과 분류하고자 하는 물체가 동일 색상일 경우 분류의 어려움을 겪게 되고 조명 변화에 민감하다는 단점을 가진다[8]. 그림 1(b)와 같이 크기를 이용하여 ROI를 검출하는 경우 카메라가 고정된 환경에서 크기가 다른 물체를 분류할 때 높은 검출률을 가진다. 하지만 카메라가 고정된 환경이 아닌 모바일 로봇이나 자동차와 같이 움직이는 환경의 경우 움직임에 따라 물체의 크기가 변하여 크기의 기준을 정하기 어렵다는 단점을 가진다[9]. 그림 1(c)과 같이 형태를 이용하여 ROI를 검출하는 경우 엣지(edge) 영상을 통해 특정 형태를 검출하여 물체를 분류하기 때문에 높은 검출률을 가진다. 하지만 다수의 형태가 존재할 경우 형태의 정의가 어려운 단점을 가진다[9].

Fig. 1. 
ROI method in 2D image

그림 2는 기존 스테레오 카메라 기반 ROI 알고리즘의 흐름도이며, 스테레오 카메라를 통해 원본 영상과 깊이 영상을 획득한다. 깊이 영상에 식 (1)을 이용하여 검출 대상의 거리를 정한다. 여기서 D는 카메라와 검출 대상의 거리를 나타내며, Camera Min Distance는 카메라와 물체 사이의 최소 거리를 나타내며, Object Detection Max Distance는 카메라와 검출 대상의 최대 거리를 의미한다. D이내에 들어온 검출 대상의 경우 이진화 및 형태학적 연산을 통해 전처리 과정을 거친 후 라벨링을 통해 ROI를 검출하는 방법이다.

Fig. 2. 
Problem of conventional stereo-based ROI algorithm, (a) Original image, (b) Depth image with noise detected, (c) Labeling image with noise detected, (d) ROI image with noise detected

기존 스테레오 카메라 기반 ROI 알고리즘의 경우 깊이 영상을 획득하는 과정에서 잡음으로 인해 그림 3(b)과 같이 잡음이 섞인 깊이 영상을 획득하게 된다. 이러한 깊이 영상을 이용하여 ROI를 위한 이진화 및 형태학적 연산을 진행 하였음에도 그림 3(c)과 같이 잡음 1, 2, 4, 5를 라벨링 하게 된다. 그 결과, 그림 3(d)에서 잡음과 모니터가 함께 검출되어 ROI 검출률이 낮아지는 문제점이 발생한다.

Fig. 3. 
Conventional stereo-based ROI algorithm

그림 4는 제안하는 ROI 알고리즘의 흐름도이며, 여기서 Mode는 최빈값으로 정의한다. 그림 2의 기존 ROI 알고리즘에서 물체 검출률 향상을 위해 라벨링 좌표 데이터의 최빈값을 이용하였으며 연산량 감소를 위해 퀵 정렬 기법을 사용하여 최종 ROI를 검출한다.

Fig. 4. 
Flowchart of ROI algorithm that robust to noises

제안하는 ROI 알고리즘에서 최빈값을 검출하기 위해 n개의 연속된 프레임에서 l개의 라벨링 좌표 데이터를 저장한다. 여기서 n은 최빈값을 검출하는데 몇 개의 연속된 프레임을 사용하는지에 대한 변수 이며, n값이 증가할수록 검출률이 증가하고, n값이 적을수록 연산량은 감소한다.

l은 라벨링의 좌표 개수로써 식 (2)와 같이 l의 개수는 결정된다. 저장된 l개의 좌표 데이터를 정렬하고 정렬된 좌표 데이터를 비교하여 최빈값을 검출한다. 검출된 각 좌표의 최빈값을 이용하여 최종 ROI를 검출한다.

본 논문에서는 그림 5와 같이 연속된 프레임에서의 라벨링의 상관도를 분석한 결과, 검출하고자 하는 물체는 연속적으로 검출되고 잡음은 불연속적으로 검출되는 특징을 확인하였다. 이를 통해 라벨링 된 물체의 좌표 데이터 중 가장 빈번하게 검출된 좌표 데이터인 최빈값을 이용한 ROI 검출 알고리즘을 제안한다.

Fig. 5. 
Four consecutive depth and labelling images, (a) Depth image with noise detected, (b) Labeling image with 4 noise and monitor detected, (c) Depth image with noise detected, (d) Labeling image with 3 noise and monitor detected, (e) Depth image without noise, (f) Labeling image with only monitor detected without noise, (g) Depth image with noise detected, (h) Labeling image with 3 noise and monitor detected

좌표의 최빈값 검출을 위해 그림 5에서 4개의 깊이 영상과 이에 따른 라벨링 영상에서 l개의 라벨링을 그림 6과 같이 lx₁, ly₁, lx₂, ly₂좌표로 나누어 저장한다. 여기서 lx₁, ly₁, lx₂, ly₂은 라벨링의 좌표이다.

Fig. 6. 
Coordinate data of labeling

영상이 들어오는 순서대로 라벨링 좌표 데이터(lx₁, ly₁, lx₂, ly₂)가 저장될 때 그림 7(a)과 같이 무작위로 정렬된다. 무작위로 정렬된 데이터에서 최빈값을 구하기 위해서는 모든 데이터를 비교해야 하므로 시간 복잡도 O(N²)를 가진다.

Fig. 7. 
Data sort using quick-sort method

본 논문에서는 연산량 감소를 위해 피벗을 이용한 퀵 정렬 기법을 적용하였으며, 퀵 정렬 후 그림 7(c)과 같이 작은 데이터에서 큰 데이터 순서로 정렬되고 최빈값을 구할 때 O(N²)의 시간 복잡도에서 O(NlogN)의 시간 복잡도로 연산량이 감소하였다[10].

그림 7(c)과 같이 정렬된 데이터에서 식 (4)~(6)을 이용하여 그림 8과 같은 방법으로 데이터가 작은 값부터 큰 값 순서로 비교하여 각 좌표의 최빈값을 검출한다. 그림 8은 α값을 3으로 설정한 그림이다.

Fig. 8. 
Method for calculating the mode from sorted data

식 (4)에서 i번째 좌푯값과 i+k번째 좌푯값의 차이가 α보다 작으면 같은 위치에 있는 좌표라고 정의하여 M_count가 증가하고 그렇지 않다면 M_count는 1로 초기화 된다. 여기서 i는 검출되는 라벨링의 순서를 나타내며 c는 라벨링의 끝 번호로 정의한다. M_count는 최빈값의 카운트 값이며 초깃값은 1로 설정하였다. 여기서 M_count는 최빈값의 카운트 값과 최빈값의 카운트 값이 변할 때의 좌표값을 함께 저장한다.

식 (5)는 최종 최빈값을 검출하기 위한 수식이며 M_count값이 M_max값보다 크거나 같다면 M_max값을 M_count값으로 변경하고 그렇지 않다면 M_max값을 유지한다.

이때 M_max는 최종 최빈값 카운트로 정의하며 최종 최빈값의 카운트 값과 이때의 좌표값을 함께 저장한다.

최종적으로 식 (6)을 통해 M_max값을 가지는 좌표값을 lx₁', ly₁', lx₂', ly₂'에 저장한다. 여기서 lx₁', ly₁', lx₂', ly₂'는 각 좌표의 최빈 좌표값으로 정의한다.

식 (4)~(6)을 통해 최빈값을 이용하여 검출된 lx₁', ly₁', lx₂', ly₂'를 이용하여 그림 9와 같이 조명 및 외란에 강인한 최종 ROI를 검출한다.

Fig. 9. 
ROI image detected by mode

본 논문에서는 해상도 740×360, Intel RealSense d435i 스테레오 카메라와 Intel Core i5-7500 CPU 기반 PC의 Visual Studio 2015 환경에서 OpenCV 3.4.7 버전을 사용하였으며, 기존 스테레오 카메라 기반 ROI 알고리즘과 본 논문에서 제안하는 잡음에 강인한 스테레오 카메라 기반 ROI 알고리즘의 성능을 비교 평가하였다.

성능 비교 평가 실험은 제안하는 알고리즘이 모바일 로봇에 적용된 상황을 가정하여 진행하였다. 스테레오 카메라가 물체와 5m 떨어진 위치에서 검출 대상이 있는 방향으로 0.3m/sec의 속도로 움직이고, 15sec 동안의 검출된 프레임에서 검출 대상과 잡음의 검출 비율을 계산하여 ROI 검출률을 나타내었다. 이때, 알고리즘의 올바른 성능 평가를 위하여 그림 10과 같이 다양한 환경에서 진행하였으며 실험 횟수의 경우 각 환경에서 5번의 실험을 진행하였다.

Fig. 10. 
Experiment environment, (a) Chair, (b) Box, (c) Monitor, (d) Electric fan

실험 결과, 표 1, 2를 통해 본 논문에서 제안하는 ROI 알고리즘과 기존 ROI 알고리즘의 검출률을 확인할 수 있으며 기존 ROI 알고리즘의 경우 불규칙한 검출률을 보인다. 반면 본 논문에서 제안하는 ROI 알고리즘의 경우 규칙적으로 높은 검출률을 보인다. 그림 11을 통해 본 논문에서 제안하는 ROI 알고리즘과 기존 ROI 알고리즘을 비교 평가한 결과, 제안하는 ROI 알고리즘의 평균 검출률이 29% 향상되었다.

Fig. 11. 
Comparison between the proposed ROI algorithm and the conventional ROI algorithm