비균질적인 환경에서 특징정보 기반의 표적 탐지추적기법 연구

Ⅰ. 서 론

적지종심작전 및 후방침투 대테러 대응작전 등 현대전장이 급속도로 고도화됨에 따라 임무장비를 비롯한 개인병사의 지능화에 관련된 연구가 진행되고 있다. 병사지능화에는 치명성, 기동성, 생존성 향상 등 다양한 분야의 기술이 요구되고 있는데, 본 연구는 이러한 연구의 일환으로 미래병사의 치명성을 증대시키기 위한 개인화기의 표적획득과 정밀조준에 관련된 표적 탐지추적 알고리즘을 다룬다. 본 연구의 필요성은 사거리 증대와 정밀타격 기술이 개인화기에 응용되면서 사수가 표적을 눈으로 확인하고 사격하던 직사화기 형태의 재래식화기에서 한 단계 발전하여 표적정보를 이용하기 때문이다. 또한 정확도가 사표와 탄도에도 크게 의존하므로 정밀한 조준은 정확도 향상의 기초라 할 수 있다. 알고리즘은 개인병사의 휴대용 장비에 탑재되고 실시간으로 동작하여야 하므로 복잡도와 연산량을 고려하여야 한다.

탐지추적에 관련된 주된 연구동향은 클러터로부터 표적을 식별하는 것이다. 클러터는 신호의 잡음, 반사 그리고 주변에 존재하는 장애물 등 여러 가지 요인에 의해 발생되며 발생되는 클러터는 유입요인에 따라 크게 다음과 같이 생각할 수 있다.

⦁ 잡음 클러터
⦁ 신호세기가 강한 클러터
⦁ 표적특징과 비슷한 클러터

다양한 환경과 응용분야에 따라 지배적인 요인이 달라지며 그에 따른 접근방식을 요구한다. 기본적으로는 어떠한 환경에서도 클러터가 적게 생성되는 것이 유리하며 이러한 이유로 배경으로부터 표적신호를 분리하기 위한 여러 가지 방식들이 이용된다. 입력영상신호를 F(x), 표적신호를 S(x), 배경신호를 B(x), 잡음신호를 N(x)라 하면 F(x)는 식 (1)로 표현할 수 있다.

$$ \widehat{F}\left(x\right)$$은 입력영상을 필터링하는 것으로 비교적 구현이 간단하여 가장 많이 사용되며, 대표적인 필터로는 메디안(Median), 가우시안(Gaussian), 라플라시안(Laplacian), 모폴로지(Morphology)[1] 등이 있다. $$ F\left(x\right)-\widehat{B}\left(x\right)$$은 입력영상에서 추정되는 배경신호를 빼는 방식으로 2D-MSF(Mean Subtraction Filter), 2D-GSF(Gaussian Subtraction Filter)[2] 등이 있으며, 가장 복잡하고 많은 연산을 필요로 하는 $$ \widehat{F}\left(x\right)-\widehat{B}\left(x\right)$$은 A-TDLF(Approximate 2D Laplacian Filter)[3]가 대표적이다. 이러한 필터들은 동일 시간 즉, 한 프레임 내에서 독립적으로 수행되기 때문에 공간영역의 정보를 활용한 예이고 따라서 공간필터라고 불린다. 최근 시간영역에서 다수의 프레임 간 데이터 연관을 통해 탐지추적을 수행하는 연구가 진행되었다[4]-[6]. 그러나 이러한 연구의 공통점은 표적의 동적특성을 이용한 것으로 고정된 배경에서 일정하게 클러터가 존재하는 경우와 표적의 움직임이 일관적이지 않거나 뚜렷하지 않을 때는 제한이 된다. 사수가 지상 환경에서 표적을 조준하고 있는 상황에서는 배경에 포함된 클러터가 일정하게 추출되거나 표적의 움직임이 거의 없는 경우가 다수 발생하게 되므로 다른 접근이 필요하다.

본 논문에서는 Yang[7]이 제안한 탐지추적 알고리즘의 구조를 따른다. 우선 입력영상을 필터링하여 신호를 보정한다. 그리고 문턱치화(Thresholding)와 클러스터링(Clustering) 과정을 통해 유효한 측정치들을 구성한다. 마지막으로 표적 특징값을 추정하고 자료결합 기법을 이용해 최종 표적을 판단한다. 문턱치를 결정하는 데는 ostu[8]의 방식이 대표적이다. 그러나 이 방식은 많은 연산량을 필요로 하는 발견적(Heuristic)이며 두 개의 클래스 간의 히스토그램 분포가 분명한 영상에서 의미가 있다. 대안으로 적응적 문턱치[9]의 개념이 제안되었으며 이를 기반으로 일정한 오경보율을 지니도록 국부적 적응 문턱치를 적용한 CFAR기반의 알고리즘이 제안되었다. 그러나 CFAR 알고리즘은 해상지역과 같이 비교적 균질한 패턴의 클러터가 분포하는 환경에서는 효율적이나 비균질적 요소가 많은 지상 환경에서는 그 성능이 떨어지는 것으로 알려져 있다[10]. 본 연구에서는 사수가 최초에 표적을 초기화하므로 대체로 문턱치에 민감하지 않으며 영역확장(Region Growing) 알고리즘을 이용한 클러스터링 기법을 이용하므로 사전에 표적에 대한 특성분석을 통해 문턱치를 결정하였다. 마지막 단계에서는 생성된 측정치들로부터 새로운 특징값(Feature)을 제안하여 자료결합 기법을 이용하여 측정치들로부터 표적을 판별한다. 표적 특징값의 추정과정에서는 공간영역과 시간영역에서의 특징정보를 고려한 관측치의 확률모델을 만들고 최대우도추정(Maximum Likelihood Estimation)을 이용한다. 자료결합 기법으로는 Nearest Neighbor[11]을 사용하였다. 이 방법은 적은 계산과 고성능으로 실시간 추적 시스템에 많이 사용되고 있다.

본 논문은 다음과 같이 구성되어 있다. 2장에서 표적 탐지추적 알고리즘의 구조와 측정치의 생성방법 및 특징값에 기반한 측정치의 선택에 대하여 기술하였고, 3장에서는 제안한 탐지추적 알고리즘을 바탕으로 수행한 실험 및 분석 결과를 제시하였다. 끝으로 4장에서 결론 및 향후 과제에 대하여 기술하였다.

Ⅱ. 표적 탐지추적 알고리즘

탐지추적 알고리즘의 개략적인 구조는 그림 1과 같다. 이는 배경으로부터 측정치(Measurement)의 신호를 강화하기 위한 $$ \widehat{F}\left(x\right)$$방식의 가우시안 필터링과 영역 확장 기법을 이용한 측정치의 구성을 포함하는 측정치 생성 단계, 그리고 여러 개의 측정치로부터 특징값을 기반으로 측정치를 선택하고 표적의 특징값을 추정하는 특징값 기반 측정치 선택 및 갱신의 두 단계로 크게 구분할 수 있다.

Fig. 1.

Schematic structure of detection and tracking algorithm

이때, 클러스터링 단계와 측정치 선택과정에서는 추적창을 생성하여 추적창 영역 안에서 동작하도록 하였다. 추적창은 연산량을 줄임과 동시에 클러터 생성영역을 제한해주기 때문에 표적 탐지율을 높이는데 도움이 된다. 추적창을 생성하는 방법에 대해서도 많은 연구가 진행되고 있지만 본 논문에서는 최초에 사수가 개입하여 표적영역을 인지하고 초기화 시키므로 영역제한의 관점에서 식 (2)와 같이 사용하였다.

k는 k번째 프레임을 의미하고 X_size, Y_size는 추적창의 크기를, X_target, Y_target는 표적의 크기를 나타내며 η는 조정 인자로 표적의 이동 등을 고려하여 사수와의 기하거리에 따라 산출되는 값을, u는 불확실 인자로 환경에 의존하여 미리 정해둔 상수값을 사용한다. 모든 단위는 픽셀로 정의된다. 그림 2에서 비균질적인 환경에서 추적창을 사용할 경우 표적의 신호가 뚜렷해지며 복잡도가 낮아짐을 확인할 수 있다.

Fig. 2.

Results of 3D intensity graph with tracking window

2.1 측정치의 생성

본 논문에서는 배경으로부터 측정치를 구성하기 위하여 전처리 과정으로 가우시안 필터를 이용하였다. 가우시안 필터링은 가우시안 분포를 갖는 커널을 사용하는 영상처리 기법으로 잡음을 제거하는데 효과적이며 영상 스무딩(Smoothing)과정으로 분류된다. 이와 대조되는 방식으로는 대표적으로 라플라시안 필터가 있는데 라플라시안 필터의 경우 미분연산을 사용하므로 영상의 경계선(Edge)을 강화하는 데 효과적이다. 영역확장 기법을 이용하여 측정치를 생성하는 본 연구에서는 하나의 측정치를 구성하는 데이터들이 균질하게 분포할 때 정확도가 높아지므로 가우시안 필터가 더 효과적이다. 적용은 식 (3)과 같이 입력영상과 커널 간 콘볼루션 연산을 수행하였다. f는 입력영상, w는 커널, g는 출력영상을 의미하고 각 인덱스는 픽셀의 좌표를, a와 b는 커널의 크기를 나타낸다.

$\[ g\left(x,y\right)=\sum _{t=-a}^{t=a}\sum _{s=-b}^{s=b}w\left(s,t\right)f\left(x+s,y+t\right) \]$

(3)

그림 3은 입력영상에 가우시안 필터를 적용한 결과이다. 뚜렷한 가시화를 위해 표적 신호 대비 일정 경계값 이내의 픽셀을 선별하여 바이너리 이미지로 변환하였다. 결과에서 보듯이 붉은 원으로 표시된 표적영역의 신호가 훨씬 뚜렷하게 구분되는 것을 확인 할 수 있다.

Fig. 3.

Results of Gaussian filtering

다음으로 유효한 측정치를 구성하기 위하여 영역 확장 기법을 사용하였다. 영역확장의 기본 개념은 인접한 픽셀들을 연결하여 하나의 측정치로 구성하는 것으로 응용에 따라 구현방식이 다양하다.

본 논문에서 사용한 구현방식을 pseudo code로 그림 4에 나타내었다. 우선 추적창 내에서 line by line으로 그룹 식별자가 부여되지 않은 픽셀을 찾는다. 그룹 식별자가 부여되지 않은 픽셀을 찾았을 경우 큐의 헤드에 픽셀좌표를 초기화 한 뒤 인접한 4개의 픽셀 값을 검색하여 그룹 식별자가 없고, 문턱치 값 안에 포함되는 경우 해당 그룹 식별자를 부여하고 큐의 테일에 좌표 값을 할당한다. 이때, 픽셀 값이 초기화된 표적정보 대비 의미 없는 값으로 판단될 경우 미리 정의한 미사용 그룹으로 분류하여 측청치가 과대분할(Over-segmentation)되는 것을 방지한다. 인접한 4개의 픽셀에 대해 검색을 마친 픽셀의 좌표값은 큐의 헤드에서 제거해 준다. 이 과정은 추적창 내에서 그룹 식별자가 부여되지 않은 픽셀이 존재하지 않을 때까지 반복된다. 여기서 부여된 그룹 식별자가 최종 표적을 식별할 때 하나의 측정치를 구성하는 기준이 된다.

Fig. 4.

Region growing algorithm pseudo code

2.2 특징값 기반 측정치 선택 및 갱신

생성된 측정치들로부터 표적을 구분하기 위해서는 특징값을 이용한다. 특징값은 측정치로부터 계산되는 값이다. Li[11]는 예측된 표적과 측정치들 사이의 벡터 거리 제곱을 벡터 거리의 공분산으로 나눈 NDS(Normalized Distance Squared)을 이용하였다. 그러나 NDS을 특징값으로 사용할 경우 범용성이 떨어지고 오경보율(False Alarm rate)이 높다는 단점이 있다. Yang[7]은 표적 신호 세기에 면적-비율 가중치와 예측되는 표적영역에 대한 가중치를 조합한 형태의 특징값을 제안하였는데, 이는 소형표적을 검출하는 데 의미가 있으며 비교적 배경이 균질한 환경에서 10픽셀 이하로 검출되는 표적을 다룬다.

본 논문에서는 표적의 특징값을 예측하는 과정에서 최대우도추정방법을 이용해 공간영역에서 관측된 정보가 시간영역에서 누적될수록 갱신되면서 표적의 특징값을 예측할 수 있도록 하였다. 관측모델은 가우스 확률을 기반으로 신호의 세기, 면적, 면적의 가로-세로 비율을 이용하였고 예측과정에서 데이터의 신뢰도를 반영하는 가중치를 사용하여 다음과 같이 구성하였다. 총 N - 1번의 관측이 수행된 시점에서 새로운 N번째 관측에 대하여 추정하고자 하는 표적의 특징값을 Ψ_N 이라 하면, N개의 관측 데이터에서 k번째 관측에 대한 표적의 확률밀도함수는 식 (4)와 같다.

$\[ f_X\left({\Psi }_k|{\overline{\Psi }}_N,{\overline{\sigma }}_N\right)=\frac{1}{{\mathrm{\lambda }}_k\sqrt{2\pi {\overline{\sigma }}_N^2}}{e}^{-\frac{{\left({\Psi }_k-{\overline{\Psi }}_N\right)}^2}{2{\overline{\sigma }}_N^2}} \]$

(4)

여기서 Ψ는 각각의 측정치들이 갖는 특징값을 의미하며 Ψ_k = S_k · r_k · I_k이고 S_k, r_k, I_k는 각각 측정치의 면적, 가로-세로 비율, 신호의 세기를 의미한다.반영된 가중치는 λ_k = α ·|Ψ_k - Ψ_{N - 1}|로 N - 1번의 관측시점까지 예측된 표적 특징값과의 유사성을 기반으로 하며 α에 따라 새로운 관측에 대한 갱신세기를 조절할 수 있다. 이때 새로운 N번째 관측에 대한 가중치 λ_N은 표적이 앞선 클러스터링 과정에서 올바른 측정치로 형성되지 않았을 경우 통상적인 범위를 벗어나게 되는데, 이를 배제함으로써 유효측정치가 존재하는 것으로 오 분류되는 것을 방지 할 수 있게 한다.

가우스 확률밀도함수의 평균 Ψ_N과 분산 σ_N 두 모수에 관하여 동시에 우도를 최대화하기 위한 식 (4)의 대수우도함수는 식 (5)와 같다.

$\[ L\left({\Psi }_N|{\overline{\Psi }}_{N,}{\overline{\sigma }}_N\right)=-\frac{N}{2}\ln 2\pi {\overline{\sigma }}_N^2-\sum _{k=1}^N\frac{{\left({\Psi }_k-{\overline{\Psi }}_N\right)}^2}{2{\lambda }_k{\overline{\sigma }}_N^2} \]$

(5)

Ψ_N와 σ_N에 대하여 각각 편미분 후 0으로 놓은 방정식을 풀면 최종 해 Ψ_N는 식 (6)으로 구해진다.

$\[ {\overline{\Psi }}_N={\eta }_N\cdot \sum _{k=1}^N\frac{S_k{r}_k}{{\lambda }_k}\cdot I_k \]$

(6)

여기서 η_N는 정규화 인자(Normalizing factor)이다. 식 (6)에서 산출된 표적 특징값의 추정치는 새로운 관측에서 생성된 측정치들이 갖는 특징값 들로부터 Nearest Neighbor 자료결합 방법에 의해 표적을 선별하는 기준이 되고, 선택된 측정치는 다시 표적으로 분류되어 매 프레임에서 표적의 특징값을 업데이트 하는데 사용된다.

그림 5는 알고리즘의 출력을 나타낸다. 가장 큰 박스는 추적창이며 추적창 영역 내의 작은 박스들은 생성된 측정치와 선택된 측정치로 각각 클러터와 표적을 의미한다.

Fig. 5.

Algorithm outputs : tracking window, generated measurements(clutter), selected measurement(target)

Ⅲ. 실험결과 및 분석

실험은 정확한 비교, 분석을 위하여 사전에 녹화된 열영상을 시스템에 장입하여 재생하는 방식으로 알고리즘의 실시간 동작을 확인하였다.

정보처리장치의 성능은 쿼드 코어 2.6GHz 및 8G램이며 실험에 사용한 테스트 영상은 숲, 도로, 움직이는 자동차 등 표적 신호와 비슷한 세기를 갖는 클러터들이 존재하는 비균질적인 지상환경 배경에서 움직이는 하나의 표적에 대해 근거리, 원거리에서 취득된 영상으로 특성은 표 1과 같다.

Table 1.

Characteristics of the test image

그림 6은 각각의 테스트 영상에 제안한 방법을 적용한 실험결과이다. 성능분석을 위해 사용한 지표는 DR(Detection Rate)과 FAR(False Alarm Rate)로 DR은 탐지율을 의미하며 본 논문에서는 전체 프레임 대비 올바른 표적이 탐지추적 된 프레임의 비율로 정확도(Precision)를 나타내는 지표이고, FAR은 측정치가 생성된 프레임 대비 생성된 측정치에서 표적이 아닌 측정치를 선택한 프레임의 비율로 오검출율을 의미한다.

Fig. 6.

Experimental results of detection and tracking algorithm using test image

기존의 방법으로 Li[11]가 제안한 NDS을 특징값으로 구현하여 본 논문에서 제안한 특징값을 적용한 실험결과와 비교하였다. 각각에 대한 성능지표는 표 2와 같다. 동일한 측정치에 대하여 제안한 특징값이 NDS보다 더 나은 탐지율과 오검출 성능을 보인다. 이는 측정치에 대한 동일한 검출능력 하에서도 제안한 특징값이 표적을 더 강인하게 표현할 수 있음을 의미한다.

Table 2.

Comparison of performance indices

제안한 방법을 이용한 실험결과에서는 두 영상 모두에서 98%이상의 탐지율을 보였다.

표적을 탐지하지 못한 요인은 크게 두 가지 경우로 나타났는데, 첫 번째 요인은 클러스터링 과정에서 표적영역이 배경으로부터 과대분할 또는 과소분할(Under-segmentation)되어 유효한 측정치로 생성되지 못한 경우이고, 두 번째 요인은 생성된 측정치에서 표적 정보와 매우 유사한 특징값을 갖는 측정치가 표적으로 잘못 선택된 경우이다. 후자의 경우 오검출을 의미한다.

원거리 영상에서만 오검출이 발생한 원인을 분석하기 위해서 그림 7에 각 영상의 모든 프레임에서 생성된 유효 측정치의 개수를 비교하여 나타내었다. 동일 표적이지만 원거리 영상의 경우 상대적으로 소형 표적이 되므로 추적창의 크기가 조절되었음에도 불구하고 평균적으로 더 많은 측정치가 생성되는 것을 확인할 수 있다.

Fig. 7.

Number of generated measurements

더 많이 생성된 측정치가 단순히 FAR의 증가를 의미하지는 않는다. 측정치가 생성되는 양은 배경과 표적정보에 종속적이기 때문이다. 원거리 영상에서 오검출이 발생하게 된 주된 원인은 그림 8과 같이 표적정보의 특징값과 유사한 측정치가 생성되었기 때문인데, 표적이 작게 보이는 상황에서는 표적의 형태요소를 고려한 특징값의 표현력이 약화되기 떄문이다. 그럼에도 불구하고 시간영역에서 누적된 관측 데이터들을 기반으로 예측한 특징값은 표적정보와 유사한 측정치의 특징값에 큰 가중치를 부여하기 때문에 표적이 나타내는 특징값을 잃지 않는다.

Fig. 8.

Example of a false alarm

원거리의 소형표적에 대해서는 제안한 특징값이 표적에 대한 표현력이 약화되는 경향을 보이는데, Kim[6]의 접근방식과 같이 미세 잡음을 제거하여 영상 확대 시 영상의 화질을 개선시키는 등의 연구가 활용 될 수 있을 것으로 판단된다.

Ⅳ. 결론 및 향후 과제

표적정보와 비슷한 클러터가 다수 존재하는 비균질적인 환경에서 표적의 특징정보를 고려한 표적탐지추적 알고리즘을 제안하였다. 제안한 특징값은 공간영역에서 측정치의 신호 세기와 면적 정보 그리고 면적의 가로-세로 비율을 기초로 하여 시간영역에서 누적된 관측데이터를 기반으로 예측된 표적에 대한 특징값과의 유사도 가중치가 반영된 확률모델을 이용하여 최대우도추정방법으로 유도되었다. 표적 특징값의 추정치는 새로운 관측에서 생성되는 측정치들로부터 표적을 선별하는 기준이 되며 실험을 통해 제안한 기법이 숲, 도로, 움직이는 자동차 등이 존재하는 비균질적인 환경에서 클러터들로부터 표적을 올바르게 선별하고, 기존 방법 대비 높은 탐지율과 오검출 성능을 보임을 확인하였다. 향후 체계 적용을 위하여 다양한 전장상황에 대한 분석을 통해 표적 가림 현상 등에 대한 예외 처리와 환경의존적인 설계변수에 대한 데이터베이스를 구축할 예정이다.

References

• S. Pierre, "Morphological Image Analysis:Principles and Applications", Springer, p15-48, Jan), (2003.
• Rafael C Gonzalez, Richard E Woods, and Steven L Eddins, "Digital Image Processing using MAT LAB", Prentice Hall, (2004).
• Peksinski, J, and Mikolajczak, G, "Differential approximation of the 2-D Laplace operator for edge detection in digital images", Lecture Notes in Computer Science, Springer, 6423, p194-199, Nov), (2010.
• T. W. Bae, "Small target detection using 3-dimensional bilateral filter", Journal of Korea Multimedia Society, 16(6), p746-755, Jun), (2013. [https://doi.org/10.9717/kmms.2013.16.6.746]
• Y. Kim, and T. L. Song, "A study for improvement of target detection and tracking performance by using kinematic information in a cluttered environment", Journal of Engineering & Technology, 19, p53-64, Jun), (2009.
• Y. Kim, P. H. Yoo, and D. S. Kim, "A study on enhancement of heterogeneous noisy image quality for the performance improvement of target detection and tracking", Journal of Korea Multimedia Society, 17(8), p923-936, Aug), (2014. [https://doi.org/10.9717/kmms.2014.17.8.923]
• Y. K. Yang, and S. H. Kim, "Reliable measurement selection for the small target detection and tracking in the IR scanning images", Journal of the Korea Institute of Military Science and Technology, 11(1), p75-84, Feb), (2008.
• N. Otsu, "A Threshold Selection Method from Gray-Level Histograms", IEEE Transaction on Systems, Man, and Cybernetics, 9(1), p62-66, Jan), (1979. [https://doi.org/10.1109/tsmc.1979.4310076]
• D. Bradley, and G. Roth, "Adaptive thresholding using the integral Image", Journal of Graphics Tools, 12(2), p13-21, Jan), (2011. [https://doi.org/10.1080/2151237x.2007.10129236]
• P. P. Gandhi, and S. Kassam, "Analysis of CFAR processors in nonhomogeneous background", IEEE Transaction on Aerospace and Electronic System, 24(4), p427-445, Aug), (1988. [https://doi.org/10.1109/7.7185]
• X. R. Li, and Y. Bar-Shalom, "Tracking in clutter with nearest neighbor filters : anlaysis and performance", IEEE Transaction on Aerospace and Electronic System, 32(3), p995-1010, Aug), (1996.