ISAR 이미지 중첩을 통한 표적 윤곽선 추출 방안 연구

2.1 다수 ISAR 이미지 분석

다수 ISAR 이미지를 이용한 ISAR 분석은 주로 국외에서 수행되었다. Atsuto Maki[4] 등은 연속적인 프레임에 대한 다수의 ISAR 이미지에 CMSM(Constrained Mutual Subspace Method) 기법을 적용하여 형상 이미지의 부분 분석 방법을 통한 선박의 자동 식별 시스템을 제안한다. 이 연구는 ISAR 이미지의 거리 프로파일 분석을 바탕으로 수행되었으며, 트레이닝 이미지 세트와 테스트 이미지 세트 간 ISAR 거리 프로파일 비교를 통해 자동 식별효과를 증명한다. D. Pastina[5] 등은 연속 ISAR 이미지들의 특징들과 해당 표적에 기반한 모델링 결과와 비교하는 2단계 다중 특징 기반 기법을 통한 ISAR 표적 형상의 자동 식별 방법을 제시한다. ISAR 이미지의 표적 형상과 표적의 Aspect별 크기에 대한 비교분석을 추가로 병행함으로써 식별 효과의 향상뿐만 아니라 분석에 사용된 연속 ISAR 이미지의 수와 분석 정확도가 정비례함을 증명한다. Csaba Benedek[6]은 연속 ISAR 이미지 프레임의 표적 형태 간 기하학적 상호 작용과 표적 이미지 골격 분석에 중점을 둔 이동 표적의 식별 방법을 제시한다. 이미지 분석을 위해 연속된 ISAR 이미지들의 클러터 처리와 형상 이미지의 특징점 추출을 위한 반복적인 최적화 프로세스를 통해 영상 내 클러터 개선 효과를 증명한다.

선행연구들에서는 모델링을 통해 생성한 ISAR 이미지를 바탕으로 연구가 진행되었으며, 표적 형상의 일부 특징(거리 프로파일, 골격, 길이 등)에 기반한 분석을 수행하였다. 본 연구에서는 실제 수집된 ISAR 영상을 활용하였으며, 중첩 ISAR 이미지에서 추출한 윤곽선에 기반한 분석을 수행하였다.

2.2 프레임별 이미지 중첩

프레임별 이미지 중첩 방법은 박운기 등[7]의 시간영역의 잡음 제거를 위한 IIR 필터를 참고하였다. 동영상에서 같은 위치의 화소값이 시간적으로 미세하게 변하는 경우, 인간의 눈이 느끼는 주관적인 화질이 떨어진다. 이를 보완하기 위해 식 (1)과 같이 이전 영상과 현재 영상의 화소값에 대해 가중치를 부여하여 변화를 감소시키는 방법을 제시한다[8].

여기서 a는 가중치를 의미하며, P_in(t)는 현재 프레임의 해당 위치 화소값이고, P_out(t)는 필터 처리 후의 화소값이며, P_out(t-1)은 이전 프레임의 필터 처리 후 화소값이다. 식 (1)을 통해 현재와 이전 영상의 화소값을 이용하여 새로운 화소값 P_out(t)를 만들어낸다. 가중치 a는 해당 영상 영역의 성질에 따라 표 1과 같이 적응적으로 적용되며, 가중치를 적용하는 기준인 변화폭 P_difference는 식 (2)와 같다.

Table 1.

LUT for temporal IIR filter

식 (2)를 이용하여 구해진 P_difference가 10 이하인 경우, P_in(t)과 P_out(t-1)의 평균값이 P_out(t)이 된다. P_difference가 25보다 큰 경우에는 시간 영역의 클러터라기보다는 원(原) 영상 자체 내의 변화일 가능성이 크기 때문에 필터 처리가 적용되지 않는다.

해당 연구는 일정한 상관관계가 있는 전후 프레임의 픽셀 변화에 초점을 맞췄다. 본 연구에서 다루는 ISAR 영상도 표적 형상에 근거하여 프레임별 일정 수준의 픽셀 변화가 발생한다는 측면에서 유사한 부분이 있다. 가중치와 관련하여, 표적의 형상정보를 바탕으로 이와 유사한 프레임의 ISAR 이미지에 높은 가중치를 부여하여 합성하는 것이 바람직하다. 하지만, 실제 작전환경에서는 광학장비로 식별이 어려운 표적에 ISAR가 적용되며, 대부분 실제 표적의 정확한 형상정보가 없는 상태에서 ISAR 영상 분석이 수행된다. 본 연구에서는 정확한 표적 형상정보가 없는 환경을 바탕으로 ISAR 영상 프레임간 우열을 가릴 수 없는 분석환경을 가정하였기 때문에, 가중치를 배제하고 연속 ISAR 이미지를 중첩하였다.

3.1 ISAR 이미지 중첩 방법

동영상 포맷의 ISAR 데이터를 이미지 중첩작업을 위해 프레임별로 캡처하는 작업을 수행한다. 캡처 시 조리개 시간(Aperture Time)을 고려하여 이미지가 중복으로 저장되지 않도록 유의해야 하며 캡처된 이미지들을 회색조로 변환시킨다.

ISAR 표적 형상은 지정된 조리개 시간마다 표적 움직임에 따른 전자파의 도플러 신호 변화에 의해 지속해서 화면에 전시된다. 정확한 영상 합성을 위해 프레임별 ISAR 이미지들은 표적 형상의 중심점이 특정 위치에 고정된 상태에서 일정 벡터로 정렬되어 있어야 한다.

그림 2는 7번 표적 영상에 대해 이러한 과정을 설명한 것이다. ISAR 형상의 중심점을 구하기 위해 형상의 가장 좌측 픽셀 P_L(x_L, y_L)과 가장 우측 픽셀 P_R(x_R, y_R)을 선정한 뒤 가상 수평선에 대한 회전각(θ)을 산출하여 ISAR 형상이 가상 수평선에 평행하도록 정렬한다. 이후 P_L과 P_R을 바탕으로 중심점인 P_C를 구한 뒤, P_C를 기준으로 x, y축 방향으로 일정 구간 내의 이미지 영역만 취함으로써 프레임별 ISAR 이미지를 정렬시켰다.

Fig. 2.

Image pre-processing sequence

앞의 과정들을 거쳐 정렬된 이미지들은 중첩 과정을 통해 하나의 이미지로 통합된다. 식 (3)과 같이 앞서 전처리된 이미지들의 동일 픽셀 위치의 값들을 모두 합산한 평균을 이미지로 재구성함으로써 중첩된 ISAR 이미지를 획득하였다. 여기서 I(x_n, y_m)은 중첩된 이미지의 n행, m열의 픽셀값이며, k는 중첩에 사용된 이미지 개수, I_k(x_n, y_m)은 전처리된 이미지들의 n행, m열의 픽셀값이다.

3.2 중첩결과 분석

ISAR 영상은 표적의 도플러 변화에 기인하여 생성되기 때문에, 표적 형상과는 무관한 클러터 픽셀이 상시 존재한다. 이러한 클러터 픽셀들로 인해 ISAR 영상은 일반적인 광학 영상과 비교하여 표적과 배경의 분리가 난해하다. 일반적인 선박 이미지를 살펴보면, 그림 3과 같이 이미지의 열 축을 기준으로 배경 픽셀값이 낮게 유지되다가 표적 영역으로 진입하면서 픽셀값이 상승한 뒤 다시 배경영역으로 진입하면서 픽셀값이 다시 낮게 유지됨을 확인할 수 있다.

Fig. 3.

Example of pixel value change in target and background area

열별 행 픽셀값이 일정하게 증감하지 않는 경우, 열별 표적 형태를 구성하는 행의 범위를 추정하기 어려워진다. 이미지의 열별 행 성분의 픽셀값 증감이 빈번하고 급격할수록 표적 형태 파악이 어려울 뿐만 아니라 표적 형태와 관계없는 클러터 픽셀의 발생 가능성 또한 높아질 것이다.

그림 4는 1번 표적의 중첩 ISAR 이미지와 일반 ISAR 이미지들의 310번째 열의 픽셀값 히스토그램이다. (b), (c), (d)가 (a)보다 픽셀값 증감 추이가 일정하지 않음을 확인할 수 있다.

Fig. 4.

Histogram of pixel values in 300th column between overlaid/normal ISAR images of target 1

표적 형상 파악을 위한 문턱(Threshold) 픽셀값을 적용하였을 때, (a)의 경우 문턱 픽셀값이 변화하더라도 문턱 픽셀값을 상회하는 행 구간이 비교적 연속적이다. 하지만 (b), (c), (d)의 경우 단절되는 행 구간이 (a)에 비해 상대적으로 다수 발생하며, 비연속적인 성향을 보인다. 이러한 비연속적 성향은 이미지 내 클러터 발생 확률을 높일 뿐만 아니라 정밀한 표적 형상 분석을 방해하여 표적 형상 인식에 불리하게 작용한다. 결과적으로 각 열의 행 픽셀값 증감 추이가 일정할수록 영상 분석에 유리하다고 할 수 있다.

중첩 이미지와 일반 이미지 간 각 열의 행 픽셀값 증감 추이 비교를 위해 열별 행 구간에서 음의 기울기를 가지는 구간 개수와 기울기 크기를 산출하고 비교하였다. 그림 5는 음의 기울기를 산출하는 예로서, 그림 4에서 (d)의 1~10행까지 행별 픽셀값이며, 음의 기울기를 가진 구간 개수는 총 3구간임을 확인할 수 있다. 음의 기울기 크기는 이 3구간의 음의 기울기 값의 평균을 의미하며, 그림 5의 예시에서 음의 기울기 값은 –2이다.

Fig. 5.

Example of calculating negative slope-related values

음의 기울기 구간 개수 및 크기 산출 시 2가지 사항이 고려되었다. 먼저, 해상표적 분석은 주로 표적의 상부 형상을 바탕으로 수행하기 때문에 이미지 최상부에서 표적 중심부까지의 행으로 범위를 한정하여 값을 구하였다. 표적 중심부 행의 기준은 열별 최대 픽셀값을 가지는 행(C_max)을 표적의 중심으로 가정하고 1행부터 C_max까지의 음의 기울기 구간 개수 및 기울기 크기를 구하였다. 그림 3의 (a)를 예로 들면, 158번째 행이 최대 픽셀값인 214를 가진 C_max이기 때문에 310열에서 음의 기울기 구간 개수와 크기를 구하는 구간은 1행부터 158행까지라고 할 수 있다.

두 번째로, 이미지의 행 크기 비율을 적용하여 음의 기울기 개수 및 크기를 구하였다. 행 크기 비율을 적용한 이유는 ISAR 이미지의 크기가 표적별로 상이하기 때문에 보편적인 결과를 도출하기 위함이다. 이미지의 행 크기 비율을 적용하여 1행을 기준으로 음의 기울기 관련 값을 산출하는 경우, 계산에 누락되는 행이 발생한다. 모든 행의 픽셀값을 분석하기 위해 그림 6과 같이 그룹별로 구분하여 음의 기울기 관련 값을 모두 산출하였으며, 분석이 시작되는 픽셀 위치는 1, 2행으로 총 2개의 그룹이 존재함을 확인할 수 있다.

Fig. 6.

Example of applying row size ratio

그림 7과 같이, 행 비율에 대한 그룹별 중첩 ISAR 이미지와 중첩에 사용된 모든 일반 ISAR 이미지들의 음의 기울기 구간 개수 및 크기를 구한 뒤 각 값의 차이에 대한 평균을 구한다. 이를 다른 모든 그룹에 적용한 뒤 그룹별로 산출된 음의 기울기 관련 차이 값들을 최종 평균함으로써 이미지 행 비율별 음의 기울기 관련 값을 산출하였다. 이미지 행 비율별 중첩-일반 ISAR 영상 간 음의 기울기 관련 값의 차이는 표 3과 같다.

Fig. 7.

Process for calculating the negative slope related values by group

Table 3.

Overlaid by image row ratio-number of negative slope intervals and difference in average size between generic ISAR images

기울기 구간 개수 항목의 결괏값이 음수인 경우 중첩 ISAR 영상 구간의 음의 기울기 개수가 일반 ISAR 영상보다 적음을 의미한다. 기울기 크기 항목은 중첩-일반 ISAR 이미지 모두 음수 값을 가지기 때문에 결괏값이 양수인 경우, 중첩 ISAR 영상의 음의 기울기 크기가 일반 ISAR 영상보다 적다는 것을 의미한다.

산출 결과, 표 3과 같이 6번 표적을 제외하고 중첩 이미지가 일반 이미지보다 음의 기울기 구간의 개수 및 기울기의 크기도 작음을 확인하였다. 따라서 중첩 이미지가 일반 이미지보다 상대적으로 안정적이며, 영상 분석에 유리함을 확인할 수 있었다.

4.1 광학 영상 표적 윤곽선 추출

중첩 ISAR 영상에서 추출한 윤곽선 분석을 위해서는 ISAR로 촬영된 표적에 대한 광학 영상이 필요하며, 표적에 대한 ISAR 촬영 플랫폼의 Grazing angle과 상대 방위도 유사해야 한다. 연구에 사용된 ISAR 및 광학 영상은 단일 플랫폼에서 동시 촬영 및 녹화되었으며 분석의 용이성을 위해 측면에서 촬영된 광학 표적 영상이 존재하는 표적들의 중첩 ISAR 영상에 대해서만 분석을 수행하였다. 표적 측면의 광학 영상에서 윤곽선을 추출한 뒤, 상부의 윤곽선 픽셀 정보를 산출했다. 상부의 윤곽선 정보만 산출한 이유는 선체 하부의 대부분이 수면 아래 상시 잠겨있는 선박의 특성상 상부 형상이 선종을 판단하는 핵심 기준이기 때문이다.

4.2 중첩 ISAR 영상에서 상부 윤곽점 산출

중첩 ISAR 이미지에서 윤곽점 산출 시에는 식 (4)와 같이 양의 기울기 평균값을 활용하였다.

여기서 P_ave^ʹ는 양의 기울기 평균값을 의미하며, Sect_i는 양의 기울기 구간에 대한 기울기 크기를, k는 양의 기울기를 가지는 구간 개수이다. 양의 기울기 평균값은 중첩 이미지 모든 열에 대한 상부에서 하부방향으로의 픽셀값에서 양의 기울기를 가지는 구간들만 취한 뒤 기울기 크기의 총합을 양의 기울기 구간의 총 개수로 나눈 값으로 정의하였다.

윤곽점은 양의 기울기 평균 크기를 상회하는 행 구간들 중 최상부의 구간을 선정한 뒤, 구간 내 픽셀 중 최하부 픽셀을 윤곽점으로 지정하였다. 중첩 ISAR 영상의 경우 행 크기의 1~4%를 기준으로 윤곽점을 산출하였는데, 5%부터는 다수 열에서 양의 기울기 평균치를 충족하는 윤곽점이 산출되지 않아 이미지 단절이 심화했기 때문이다.

그림 8에서 (a)는 중첩 ISAR 영상이다. 해당 영상의 전체 열에 대한 8n - 7행(이미지 행 크기는 400픽셀로, 2%의 행 크기 비율이 적용된 1번 그룹)별 픽셀값의 양의 기울기 구간 평균 크기는 0.8171이다.

Fig. 8.

Contour point extraction example for 300th column of target 7 overlaid ISAR image

(b)에서 81~89, 105~113, 137~145행 구간이 300번째 열에서 평균 기울기를 상회하는 구간임을 확인할 수 있으며, 이후 (c)와 같이, 유효 구간 중 최상부 구간인 81~89행 구간의 최하부 픽셀인 89행을 윤곽점 픽셀로 지정한다. 이 과정을 전체 열에 적용하여 열별 윤곽점을 추출함으로써 중첩 ISAR 영상에 대한 표적 윤곽선을 구성할 수 있다.

4.3 그룹별 중첩 ISAR 영상 윤곽선 추출

4.2의 방법을 사용하면 행 비율별 그룹 수 만큼의 윤곽선 결과가 산출되는데 이 결과들을 평균, 최대, 최소 윤곽선으로 구분하여 그림 9와 같이 최종 재구성했다. 평균 윤곽선은 산출된 행 비율별 윤곽선 픽셀들의 위치에 대한 평균을, 최대 윤곽선은 가장 높은 위치의 픽셀들을, 최소 윤곽선은 가장 낮은 위치의 픽셀들로 구성된다.

Fig. 9.

Example of configuring the mean/maximum/minimum contour

4.4 ISAR-광학 영상간 윤곽선 비교 분석

분석을 위해 행 비율별, 윤곽선 그룹별로 추출된 중첩 ISAR 영상 윤곽선을 동일표적의 광학 영상에서 추출한 윤곽선의 길이(x축)와 높이(y축)에 맞춰 크기를 재조정한다. 그림 10은 7번 표적의 중첩 ISAR 영상에서 추출한 평균/최소/최대 윤곽선을 광학 영상 윤곽선의 길이, 높이 축에 맞춰 재조정한 결과다.

Fig. 10.

Result of re-adjusting the ISAR image contour to the length and height axis of the optical image contour(Target 7, 1% row ratio application)

이를 통해 ISAR-광학 윤곽선 간 수치적인 비교가 가능하다. 광학 영상 윤곽선과 ISAR 영상 윤곽선 간 길이 축에 대한 높이 값의 차이를 적분한 수치를 산출한 뒤, 표 4와 같이 표적별 최소 적분 차이 값을 가진 항목을 1로 기준으로 하여 모든 항목의 값들을 상대적 비율로 변환하였다.

Table 4.

Conversion of relative proportions for difference between ISAR and optical contour

표 4에 대한 열 비율, 윤곽선 그룹에 대한 전체 평균을 표 5와 같이 산출하였다.

Table 5.

Total mean value by contour and row size ratio

15개 표적 전체가 아닌 일부 표적에 대해서만 결과를 산출한 이유는 4.1에서 언급한 바와 같이 분석의 용이성을 위해 측면에서 촬영된 광학 표적 영상이 존재하는 표적들의 중첩 ISAR 영상에 대해서만 분석을 수행하였기 때문이다.

행 비율 분야에서는 3%가, 윤곽선 분야에서는 평균 윤곽선이 광학 영상에서 추출된 표적 윤곽선과의 유사성이 상대적으로 높음을 확인할 수 있었다. 최종 종합 결과, 3%의 행 비율을 적용하여 평균 윤곽선을 추출한 결과가 가장 우수하였다.