Home

컴퓨터 기술의 발달로 영상 분석을 이용한 다양한 응용들이 개발되고 있다. 특히 객체 추적을 이용한 감시 시스템들이 큰 관심을 받고 있다. 객체를 추적하기 위해서는 배경과 객체 분리, 객체 등록, 움직임 추적 및 객체 분석의 세부 작업들을 수행한다[1]. 하지만 픽셀 단위로 데이터를 처리하기에는 현재의 컴퓨터 기술로도 계산량이 너무 많다. 반면, 군집화된 픽셀들을 이용하여 분석 및 인식을 수행하면 처리 속도는 빨라진다. 이렇게 성능의 저하 없이 처리 속도를 개선하기 위해 군집화한 픽셀들의 집합을 슈퍼픽셀이라고 한다.

슈퍼픽셀은 유사한 특성을 가지는 픽셀들의 집합이기 때문에 입력 영상을 의미 있는 단위들로 분할하는 결과를 가져온다. 따라서 슈퍼픽셀 형태로 입력 영상을 전처리하면 영상에서 영역 기반의 특성들을 보다 편리하고 효과적으로 추출할 수 있다[2]. 이러한 장점으로 슈퍼픽셀은 객체 검출, 움직임 검출, 배경 검출 등의 다양한 컴퓨터 비전 응용에 사용되고 있다[3]-[5].

슈퍼픽셀의 이러한 장점들 때문에 효과적으로 슈퍼픽셀을 생성하는 다양한 방법들이 제안되었다. 민시피트를 이용한 방법[6], 그래프를 이용한 방법[7], 기하학적 흐름을 이용한 방법[8] 등이 전통적인 방법들에 속한다. 전통적인 방법들의 문제점들을 개선한 다양한 방법들이 최근에도 계속 제시되고 있다. 정규화 절단 방법을 사용하지만 정규화 절단 방법의 단점인 많은 계산량을 개선한 방법이 제안되었다[9]. 시드 배치에 대한 최적화 방법을 통해 경계 구분 및 슈퍼픽셀 조밀도의 성능을 개선한 방법도 제안되었다[10]. 이 방법들은 슈퍼픽셀의 크기를 일정하게 유지한다. 영상의 경계 정보를 이용하여 시드를 배치하고 영상의 복잡도에 따라 슈퍼픽셀의 크기를 다르게 함으로써 슈퍼픽셀의 수를 감소시키는 방법이 제안되었다[11]. 하지만 이 방법은 슈퍼픽셀의 형태에 대한 제어가 어려운 단점이 있다.

기본적으로 슈퍼픽셀은 계산 속도를 개선하기 위한 목적이 크다. 계산속도 면에서는 그래프를 이용한 방법이 가장 성능이 뛰어나지만 생성된 슈퍼픽셀의 형태와 크기가 다양하여 제어하기가 어렵다. 반면, 다른 방법들은 계산량이 많은 단점이 있다. 계산량도 많지 않고 슈퍼 셀의 형태와 크기를 제어하기 쉬운 방법으로 SLIC(Simple Linear Iterative Clustering) 방법이 제안되었다[3]. 참고문헌 [10]과 [11]에서 제안된 방법들은 기존 방법들에 비해 계산량이 적지만 SLIC 방법 보다는 여전히 크다.

SLIC 방법은 기존 방법에 비해 여러 가지 장점을 가지기 때문에 컴퓨터 비전 응용에 많이 활용되고 있다. 또한 SLIC 방법을 개선하여 처리 속도가 더욱 빨라진 알고리즘들이 제안되고 있다[12]. 하지만 SLIC 알고리즘은 기본적으로 영상의 복잡도를 고려하지 않고 균일하게 슈퍼픽셀들을 만든다. 즉, 복잡한 영역과 단순한 영역에 대해서 비슷한 수의 슈퍼픽셀을 생성하기 때문에 효율성이 떨어진다. 본 논문에서는 SLIC 방법을 개선하여 영상이 복잡한 부분에는 슈퍼픽셀들을 많이 생성하고 영상이 복잡하지 않은 부분에는 슈퍼픽셀의 개수를 줄여 동일한 수의 슈퍼픽셀이 생성되더라도 보다 효율적으로 영상을 분할하는 방법을 제안한다.

제안하는 슈퍼픽셀 생성 방법은 기본적으로 SLIC 방법을 기반으로 하고 있다[3]. 따라서 SLIC 알고리즘에 대해서 먼저 설명하고, 이 방법의 문제점에 대해서도 살펴본다.

SLIC 알고리즘은 RGB 입력 영상에 대해서 먼저 컬러 모델을 CIELAB로 변경한다. 컬러 모델을 변경한 입력 영상에 대해서 k개의 군집에 대한 초기 중심을 설정한다. 초기 중심은 일정한 간격으로 설정하며, 영상의 화소 수가 N일 때 초기 중심들 사이의 간격은 식 (1)과 같다.

군집의 중심점이 결정되면 초기 중심점을 중심으로 2S X 2S영역의 화소들과 초기 중심과의 유사도를 계산한다. 즉, 모든 화소들은 자신을 중심으로 의 영역에 있는 초기 중심들과 유사도를 비교하여 가장 유사한 초기 중심으로 군집화한다. 유사도는 거리로 측정되며 거리가 가까울수록 유사도가 높은 것을 의미한다. 화소와 군집의 중심과의 거리는 컬러 성분뿐만 아니라 위치도 같이 고려한다. 따라서 군집화를 위한 화소 i의 정보는 컬러 정보인 l_i, a_i, b_i와 위치 정보인 x_i, y_i로 구성되며, k번째 군집 C_k의 정보도 컬러 정보인 l_Ck, a_Ck, b_Ck와 군집의 중심 좌표인 x_Ck, y_Ck로 구성된다. 화소 i와 군집 C_k의 거리는 식 (2)와 같이 정의된다.

여기서 ⋋는 r/S 로 계산되며, r은 컬러 정보를 이용하여 측정된 거리인 D_C와 위치 정보를 이용하여 측정한 거리인 D_S를 합칠 때 사용되는 가중치이다.

SLIC 알고리즘은 각 군집 중심에 대해서 2S X 2S영역의 화소들에 대해서만 거리를 계산하고 각 화소는 거리가 가장 가까운 중심으로 군집화 시킨다. 그리고 이 과정을 10번 정도 반복하면 군집화가 수렴하기 때문에 슈퍼픽셀을 만드는 시간이 빠르다.

그림 1(a)는 성능 비교를 위해 SLIC 알고리즘을 구현한 소스코드와 함께 제공되는 벌 영상이고 그림 1(b)는 SLIC 알고리즘을 적용하여 슈퍼픽셀을 생성한 결과를 보여준다.

Fig. 1. 
Bee image and its superpixel image segmented using SLIC algorithm

벌 영상은 비슷한 특성을 가지는 배경과 복잡한 특성을 가지는 벌과 꽃으로 구성되어 있다. 그림에서 볼 수 있듯이 SLIC 알고리즘은 비교적 일정한 형태의 슈퍼픽셀로 영상을 분할하는 것을 알 수 있다. SLIC 알고리즘은 영상의 복잡도를 고려하지 않기 때문에 유사한 특성을 가지는 배경에 대해서도 유사한 크기의 슈퍼픽셀로 분할한다. 응용에 따라서는 유사한 크기의 슈퍼픽셀로 영상을 분할하는 것보다 영상의 복잡도를 반영하여 슈퍼픽셀의 크기를 조절하면 보다 효율적으로 슈퍼픽셀을 생성할 수 있다. 즉, 비교적 일정한 특성을 가지는 영역은 큰 크기의 슈퍼픽셀로 분할하고 많은 에지 성분이 있는 영역은 보다 조밀한 형태의 슈퍼픽셀로 분할하면 영상의 특성을 반영하면서도 적은 수의 슈퍼픽셀로 영상을 분할 할 수 있을 것이다.

슈퍼픽셀은 주로 영상의 인식에서 계산량을 줄이기 위한 목적으로 사용되기 때문에 영상의 경계 정보를 유지하면서도 계산량을 줄이는 것이 핵심이다. 동일한 수의 슈퍼픽셀로 입력 영상을 분할할 때, 효과적인 슈퍼픽셀을 만들기 위해서는 기본적으로 영상의 복잡도가 낮은 영역에서는 슈퍼픽셀의 크기를 크게 하고 영상의 복잡도가 높은 곳에서는 슈퍼픽셀의 크기를 작게 하는 것이 필요하다. 제안하는 방법에서는 영상의 복잡도에 따라 슈퍼 셀의 크기를 효과적으로 다르게 하는 방법을 제안한다.

제안하는 방법은 영상의 복잡도를 계산하기 위한 추가적인 방법은 사용하지 않고 SLIC 알고리즘의 특성을 이용하여 영상의 복잡도를 반영한 슈퍼픽셀을 생성한다. SLIC 알고리즘의 특징은 계산량이 슈퍼픽셀의 개수에 상관이 없다는 것이다. 슈퍼픽셀의 개수 k가 증가하면 식 (1)에 의해서 거리를 비교하는 화소의 범위가 줄어들어 전체적으로 화소와 각 군집 중심과의 거리 계산량은 일정하게 되는 것이다.

제안하는 방법에서는 먼저 SLIC 알고리즘을 이용하여 입력 영상을 충분히 작은 크기의 슈퍼픽셀로 분할하고 분할된 슈퍼픽셀들을 병합하는 형식으로 영상의 복잡도를 반영한다. 그림 1(b)는 벌 영상을 500개의 목표 슈퍼픽셀로 분할한 결과를 보여준다.

그림 2는 벌 영상을 보다 정밀하게 분석하기 위하여 1000개의 목표 슈퍼픽셀로 분할한 결과이다. 목표 슈퍼픽셀의 수가 2배만 증가해도 매우 자세하게 영상을 분해할 수 있는 것을 알 수 있다.

Fig. 2. 
Results of segmenting the image into 1000 superpixels

입력 영상을 충분한 수의 슈퍼픽셀로 분할한 후 비슷한 특성을 가지는 슈퍼픽셀들을 병합하기 위하여 각 슈퍼픽셀의 특성값을 계산한다. SLIC 알고리즘과 같이 컬러 성분 세 개와 위치 정보 두 개에 슈퍼픽셀을 구성하는 화소의 개수를 추가하여 여섯 개의 성분으로 슈퍼픽셀을 속성을 표현한다. 슈퍼픽셀 C_k의 특성은 식 (5)와 같다.

여기서 n_Ck는 C_k를 구성하는 화소의 개수를 나타낸다.

제안하는 방법은 자세히 분할된 슈퍼픽셀에 대해서 유사한 슈퍼픽셀을 병합하여 영상의 특성을 반영한다. 따라서 유사한 정도를 판단하기 위한 임계값의 설정이 필요하다. 제안하는 방법에서는 컬러특성에 대한 평균값을 이용하여 식 (6)과 같이 임계값 TH를 계산한다.

여기서 M_C는 전체화소의 컬러 성분들에 대한 합을 나타내며, α는 파라미터로 평균값과 임계값의 비율을 나타낸다.

임계값만을 이용하여 슈퍼픽셀을 병합하게 되면 배경 부분은 아주 큰 형태의 슈퍼픽셀이 생성되게 된다. 여러 픽셀을 모아 슈퍼픽셀을 만들지만 여전히 이웃하는 슈퍼픽셀들의 숫자가 적은 것이 영상을 분석할 때 유리하기 때문에 슈퍼픽셀은 크기와 형태가 일정 범위에서 유사하게 유지되는 것이 필요하다. 따라서 제안하는 방법에서는 슈퍼픽셀의 평균 화소수를 이용하여 슈퍼픽셀의 최대 화소 수를 정의하고 병합을 했을 때 최대 화소 수를 초과하게 되는 경우에는 병합을 하지 않는다. 슈퍼픽셀의 최대 화소 수 MS는 식 (8)과 같이 정의한다.

여기서 N/k은 슈퍼픽셀의 평균화소 수를 의미하고 β는 파라미터로 평균화소 수의 몇 배까지 슈퍼픽셀로 허용할지를 결정한다.

SLIC 알고리즘을 적용하여 먼저 정밀하게 슈퍼픽셀을 생성하고 병합을 위한 파라미터들이 결정되면 최종적으로 인접한 슈퍼픽셀들을 검색하여 병합을 수행한다. 검색은 각 슈퍼픽셀의 중심 좌표를 기준으로 수행한다. 슈퍼픽셀간의 평균 간격은 S이고 인접한 슈퍼픽셀을 모두 조사하여야 하기 때문에 검색의 범위를 2S로 설정한다. 따라서 전체 검색 범위는 4S × 4S의 범위가 된다.

그림 3은 가운데 중심좌표에 대해서 4S × 4S 영역을 검색하는 방법을 보여주는데, 그림의 가운데 중심 좌표에 위치하는 슈퍼픽셀과 4S × 4S 영역내의 네 개의 슈퍼픽셀에 대해서 거리를 계산하여 병합을 수행하는 예를 보여준다.

Fig. 3. 
Searching for superpixels winthin 4S × 4S region for merging

이 경우 4S × 4S의 범위의 모든 화소에 대해서 거리를 계산하는 것이 아니라 네 개의 슈퍼픽셀에 대해서만 거리를 계산하면 되기 때문에 병합을 위한 계산량은 많지 않다.

슈퍼픽셀 C_i와 C_j에 대한 거리는 다음과 같이 정의된다.

여기서 ⋋*는 SLIC 알고리즘과 동일하게 컬러 정보와 위치 정보의 가중치를 조절하기 위한 것인데, 슈퍼픽셀에서는 인접한 슈퍼픽셀과의 병합이 대부분이기 때문에 거리에 대한 가중치를 SLIC 알고리즘에서의 가중치보다 낮게 설정하는 것이 바람직하다. 제안하는 방법에서는 슈퍼픽셀을 생성할 때 사용한 가중치 ⋋의 0.1배에 해당하는 값을 사용한다.

알고리즘 1은 슈퍼픽셀을 병합하는 방법을 설명한다. SLIC 알고리즘을 이용하여 세밀하게 분할한 슈퍼픽셀 영상을 입력으로 먼저 각 슈퍼픽셀의 특성을 계산하고 임계값과 최대 화소 수를 계산한다. 병합을 위해 각 슈퍼픽셀에 대해서 주위의 슈퍼픽셀과의 거리를 계산하고 거리가 임계값 TH보다 작고 병합한 후 슈퍼픽셀을 구성하는 픽셀의 수가 최대 화소 수 보다 작은 경우에 두 수퍼픽셀을 병합한다. 병합할 때는 화소 수 MS를 병합한 슈퍼픽셀의 화소 수로 갱신하여 다음 병합 판단에 반영한다. 그림 4는 세밀하게 분할된 슈퍼픽셀 영상인 그림 2를 입력 영상으로 하여 제안하는 방법을 이용하여 병합한 결과로 총 488개의 슈퍼픽셀로 영상을 분할하고 있다.

Fig. 4. 
Merged superpixel image

제안하는 방법의 성능을 비교분석하기 위하여 SLIC 알고리즘 이용하여 제안하는 방법을 구현하였고 SLIC 알고리즘은 저자가 제공하는 C 언어로 구현된 코드[13]를 이용하였다. SLIC 알고리즘을 적용할 때 식 (2)의 ⋋를 결정하기 위한 파라미터가 필요한데, 기본값으로 사용되는 10으로 설정하였다. 제안하는 방법에 필요한 파라미터로는 먼저 세밀하게 분할할 슈퍼픽셀의 개수로 1000을 사용하였다. 실험에 사용된 영상의 크기가 임을 감안할 때 이 값은 충분히 많은 슈퍼픽셀을 생성한다. 제안하는 방법의 특징은 슈퍼픽셀의 크기를 다양하게 생성하는 것이다. 이 다양성을 조절하기 위해 추가적으로 두 개의 파라미터 α와 β가 필요하다. α가 커지면 임계값 TH도 커져서 병합되는 슈퍼픽셀이 많아진다. 병합이 많이 이루어지면 경계가 보존되지 않을 수 있기 때문에 이 값을 조절하여 적절한 병합이 이루어지게 한다. 본 실험에서는 α를 0.1의 값으로 설정하였다. β는 병합된 슈퍼픽셀의 최대 크기를 제한하는 파라미터로 최초 분할된 슈퍼픽셀의 평균 화소 수의 몇 배로 제한할지를 결정한다. 본 실험에서는 β를 16의 값을 사용하였다.

그림 5는 제안하는 방법과 SLIC 방법을 비교하기 위하여 SLIC 알고리즘을 적용한 결과인 그림 2와 제안하는 방법을 적용한 결과인 그림 4를 벌의 머리 부분을 중심으로 확대한 결과이다.

Fig. 5. 
Performance comparison of bee image

SLIC 알고리즘을 적용한 방법에 비해 제안하는 방법은 복잡한 영상의 내용을 정확하게 분할하여 슈퍼픽셀을 만드는 것을 볼 수 있다.

영상처리 성능 비교에 많이 사용되는 버클리 데이터베이스의 영상을 이용하여 SLIC 알고리즘과 제안하는 방법의 성능을 비교하였다[14]. 사용한 영상은 비행기, 독수리, 항구, 바위 영상이다.

그림 6의 첫 번째 행에 있는 영상들은 사용된 원본 영상이고 두 번째 행은 SLIC 알고리즘을 적용하여 슈퍼픽셀을 생성한 결과를 보여준다. 세 번째 행은 제안하는 방법을 적용하여 생성한 슈퍼픽셀 영상이다. 네 번째 행은 SLIC 알고리즘의 결과에 대해서 주요한 부분을 확대한 영상이고, 다섯 번재 행은 제안하는 방법에 의해 생성된 주요한 부분의 슈퍼픽셀 영상이다. 두 번째 행과 세 번째 행을 비교해 보면 SLIC 알고리즘은 비교적 일정한 형태와 크키의 슈퍼픽셀을 생성하는 것을 알 수 있다. 반면에 제안하는 방법은 영상의 복잡도에 비례하여 슈퍼픽셀을 생성하고 있는 것을 알 수 있다. 슈퍼픽셀의 가장 중요한 성능 평가 부분은 경계를 잘 구분하고 있는가이다. 이를 위해 복잡한 에지로 구성된 부분을 확대한 결과를 보면 제안하는 다섯 번째 행의 제안하는 방법에 의한 결과가 기존 방법에 의한 네 번째 행의 결과보다 에지 부분을 정확하게 구분하고 있는 것을 알 수 있다.

Fig. 6. 
Performance comparison fo four images

표 1은 그림 6의 네 가지 영상에 대해서 실제로 분할된 슈퍼픽셀의 수를 보여준다. 제안하는 방법은 처음에는 1000개의 슈퍼픽셀로 영상을 분할하지만 비슷한 특성의 슈퍼픽셀들을 병합하기 때문에 최종 슈퍼픽셀 수는 감소한다. 실험에서는 SLIC 방법에 의한 결과보다 적은 수의 슈퍼픽셀이 생성되도록 설정하였고, 그럼에도 불구하고 영상의 경계부분을 정확하게 분할하는 것을 확인할 수 있었다.

본 논문에서는 SLIC 알고리즘에서 영상의 특성을 고려하지 않는 단점을 보완하여 슈퍼픽셀을 생성하는 방법을 제안하였다. 제안하는 방법에서는 영상의 복잡도를 계산하기 위한 추가적인 방법을 사용하지 않고 SLIC 알고리즘의 특성을 이용하기 때문에 많은 계산량의 증가 없이도 영상의 복잡도를 슈퍼픽셀 생성에 반영할 수 있다. 또한 병합되는 슈퍼픽셀의 크기를 제어할 수 있기 때문에 원하는 형태의 슈퍼픽셀 영상을 얻을 수 있다.

본 연구에서는 슈퍼픽셀의 크기를 조절하기 위하여 두 개의 파라미터를 제시하였다. 하지만 두 개의 파라미터 값을 설정하는 방법에 대해서는 제시하지 않았다. 응용에 따라서는 병합을 위한 임계값과 슈퍼픽셀의 최대 크기 값을 자동으로 결정하는 방법이 필요하다. 추후 연구를 통해 두 파라미터에 따른 특성을 분석하여 자동으로 파라미터를 설정하는 방법을 제시하고자 한다.