Current Issue

레이더 신호처럼 복소수로 표현 가능한 다양한 데이터가 존재하지만, 기존의 딥러닝 기반 알고리즘들은 오직 크기 정보만을 이용하여 네트워크를 학습하였다. 이러한 문제점을 해결하기 위해 C. Trabelsi 등의 연구[11]에서는 복소수 연산이 가능한 네트워크를 제안하였다.

생성기(Generator)와 분류기(Discriminator) 간의 적대적 학습을 통해 이미지 생성모델을 학습하는 적대적 생성 네트워크(GAN, Generative Adversarial Network)[12]의 등장 이후, GAN 기반의 생성모델들이 뛰어난 성능을 보여왔다. 초창기 GAN이 노이즈 입력으로부터 이미지를 생성해냈던 것에서 발전하여, 이미지를 입력으로 받아 다른 형태의 새로운 이미지를 생성하는 Pix2Pix[13]의 등장으로 다양한 GAN 기반의 이미지 변환 알고리즘들이 등장하였다.

이 중 CycleGAN은 두 개의 GAN을 동시에 학습하면서 순환 일관성 손실함수(Cycle consistency loss function)를 통해 입력 영상과 변환된 영상 간의 일관성이 보장되도록 학습하여 이미지 변환 성능을 개선하였다. 이때 사용된 두 GAN의 손실함수는 식 (5), (6)과 같이 표현된다.

여기서 G는 도메인 X의 영상을 도메인 Y의 영상과 유사하게 변환하는 생성기이며, F는 반대로 변환하는 생성기이다. D_X와 D_Y는 각 도메인의 영상이 실제 영상인지 생성된 영상인지 판단하는 분류기이다. CycleGAN에서는 위의 두 손실함수와 함께 식 (7)의 순환 일관성 손실함수를 사용한다.

이때 ∥ㆍ∥₁는 L1-norm을 의미한다. 위의 식 (5), (6), (7)을 결합한 CycleGAN의 최종 손실함수는 식 (8)로 표현된다.

그림 1은 복소수 CycleGAN의 개념도이다. 실측 SAR 영상(도메인 X)은 생성기 G를 통과하여 시뮬레이션 SAR 영상(도메인 Y)과 유사하게 변환된다. 이렇게 변환된 시뮬레이션 SAR 영상은 다시 생성기 F를 통과하여 원래의 실측 SAR 영상과 유사하게 복원된다. 순환 일관성 손실함수(L_cyc)를 통해 두 영상 간의 차이가 작아지도록 학습을 수행한다. 이때 변환된 시뮬레이션 SAR 영상과 실제 시뮬레이션 SAR 영상을 구분하는 분류기 D_Y를 함께 학습함으로써, 생성기 G가 실제 시뮬레이션 SAR 영상을 최대한 유사하게 생성하도록 학습한다. 생성기 F의 학습 또한 분류기 D_X를 사용하여 같은 과정을 통해 진행된다.

Fig. 1. 
Framework of complex-valued CycleGAN

복소수 CycleGAN에 사용된 생성기와 분류기의 네트워크 구조는 그림 2와 같이 구성되어 있다. 생성기는 64×64×2 크기의 복소수 SAR 영상을 입력받아, 4개의 복소수 컨볼루션 모듈을 거쳐 4×4×256 크기의 특징맵으로 인코딩(Encoding)한다. 인코딩된 특징맵은 다시 업샘플링(Upsampling)과 복소수 컨볼루션 모듈을 이용한 디코딩(Decoding) 과정을 거쳐 입력과 같은 차원인 64×64×2 크기의 복소수 SAR 영상으로 변환된다. 이때 인코딩 과정에서 나온 특징맵을 ‘skip connection’으로 연결하는 U-Net[14]의 구조를 차용하여 정보 손실을 최소화한다. 분류기 또한 마찬가지로 64×64×2 크기의 복소수 SAR 영상을 입력으로 받는다. 이후 4개의 복소수 컨볼루션 모듈을 거쳐 8×8×2 크기의 특징맵을 얻게 되는데, 이렇게 얻어진 특징맵의 모든 요소값을 평균하여 1에 가까울수록 real, 0에 가까울수록 fake로 판별하도록 학습된다. 이러한 방법은 PatchGAN[13] 구조로, 영상의 고주파 성분에 집중하여 더 선명한 영상을 얻을 수 있다.

Fig. 2. 
Structures of generator(up), discriminator(down) of complex-valued CycleGAN

SAMPLE 데이터셋은 10개의 클래스에 대한 실측 SAR 영상과 시뮬레이션 SAR 영상 쌍으로 구성되어 있다. 이 중 실측 SAR 영상은 미 공군 연구소(AFRL, Air Force Research Laboratory)에서 공개한 MSTAR 데이터셋[15]을 그대로 사용하며, 시뮬레이션 SAR 영상의 경우에는 MSTAR 영상과 같은 조건(고각 14°~17°, 방위각 10°~80°, 0.3m 해상도)으로 생성되어 쌍으로 존재한다. 그림 4에서는 클래스별 영상 쌍의 모습을 볼 수 있다. 학습/테스트 셋은 MSTAR와 같은 방법으로 구성되어, 고각 14°~16° 영상은 학습, 고각 17° 영상은 테스트에 사용된다.

Fig. 4. 
SAR image pairs of SAMPLE dataset

표 1에는 클래스별 학습과 테스트에 쓰인 영상의 개수가 나타나 있는데, 해당 개수는 실측 SAR 영상의 개수를 의미하며, 시뮬레이션 SAR 영상은 쌍으로 같은 수만큼 존재한다.

시뮬레이션 SAR 영상 생성 기술의 발전으로 실측 SAR 영상과의 차이가 크게 줄었지만, 두 데이터 사이의 간극은 여전히 존재한다. 실제로 그림 4의 시뮬레이션 SAR 영상에서는 실측 SAR 영상에는 없는 그림자 잔상(화살표)이 존재하는 것을 볼 수 있다.

또한, 그림 5에서는 지나치게 밝은 산란점으로인해 부엽(sidelobe)이 크게 발생하거나, 표적의 전체적인 구조가 극명하게 다른 예시를 확인할 수 있다. 이러한 두 영상 간의 차이를 그림 6에서도 나타내고 있다. 왼쪽은 SAMPLE 데이터셋의 모든 영상을 평균하여 분포시킨 히스토그램이며, 오른쪽은 분산을 분포시킨 결과이다. 평균의 경우에는 전체적으로 시뮬레이션 SAR 영상이 실측 SAR 영상과 비교해 값이 작은 것을 볼 수 있는데, 이는 시뮬레이션 SAR 영상의 배경 클러터가 상대적으로 더 어두워서 나타나는 현상이다[16]. 분산의 경우에도 두 영상 간의 차이가 존재하는 것을 볼 수 있다. 이러한 분포 차이로 인해 성공적인 시뮬레이션 SAR 표적 식별을 위해서는 클래스별 표적의 특성을 학습함과 동시에, 두 데이터 간의 차이를 효과적으로 줄이는 과정이 필수적이다.

Fig. 5. 
Examples of difference between measured and simulated SAR images

Fig. 6. 
Histograms of SAMPLE dataset means and variances

시뮬레이션 SAR 표적 식별에 위상 정보의 유무가 미치는 영향을 확인하기 위해 실수 CNN과 복소수 CNN의 실험결과를 비교하였다. 정확한 비교를 위해 실수 CNN은 [10]에서 사용한 모델을 그대로 사용하였으며, 복소수 CNN은 같은 크기의 모델로 구현하여 사용하였다. 개발환경은 TensorFlow 기반의 Keras이며, 배치(Batch)의 크기는 16으로 설정하였다. 학습률(Learning rate)은 0.001로 고정하였고, 총 에폭(Epoch)은 60이다. 네트워크 학습에는 고각 14°~16°의 시뮬레이션 SAR 영상만을 사용하였으며, 고각 17°의 실측 SAR 영상으로 테스트하였다. 이때 학습 영상의 15%는 검증(Validation)용 영상으로 사용되었다.

그림 7에서는 실수 CNN과 복소수 CNN을 사용했을 때의 시뮬레이션 SAR 표적 식별 결과를 확인할 수 있다. 실수 CNN은 37.11%의 식별 성능을 보였으며, 복소수 CNN은 그보다 높은 43.41%의 식별 성능을 보였다.

Fig. 7. 
Simulated SAR target recognition results of real and complex-valued CNN

복소수 CNN을 통해 시뮬레이션 SAR 표적 식별 성능을 개선하였지만, 시뮬레이션 SAR 영상과 실측 SAR 영상 사이의 근본적인 차이를 줄이지는 못하였다. 이러한 문제는 CycleGAN을 이용한 이미지 변환을 통해 해결하였다. 이때 CycleGAN의 학습 데이터와 테스트 데이터를 분리하기 위해 5개 클래스(M35, M548, M60, T72, ZSU23)는 CycleGAN을 학습하는 데 사용하였으며, 나머지 5개 클래스(2S1, BMP2, BTR70, M1, M2)는 테스트에 사용하였다.

즉, CycleGAN은 5개 클래스(M35, M548, M60, T72, ZSU23)의 실측/시뮬레이션 SAR 영상 쌍을 이용하여 학습하였고, CNN은 나머지 5개 클래스(2S1, BMP2, BTR70, M1, M2)의 시뮬레이션 SAR 영상을 이용하여 학습하였다. 이후 5개 클래스(2S1, BMP2, BTR70, M1, M2)의 실측 SAR 영상을 CycleGAN에 입력하여 시뮬레이션 SAR 영상과 유사하게 변환하고, 변환된 영상을 CNN에 입력하여 식별 성능을 얻는다. CycleGAN 역시 TensorFlow 기반의 Keras 환경에서 개발되었으며, Keras에서 제공하는 기본 CycleGAN 프레임워크를 기반으로 구현되었다. 총 에폭은 200이며, 배치의 크기는 1로 설정하였고, 학습률은 100에폭 동안은 0.0002를 유지하고 이후 100에폭 동안은 0으로 감소하도록 설정하였다. 또한 식 (8)의 λ는 10으로 설정하였다.

표 2는 다양한 방법에 대한 시뮬레이션 SAR 표적 식별 결과이다. 실수 CNN만을 사용하였을 때는 31.18%의 정확도를 보였으며, 복소수 CNN만을 사용하였을 때는 36.12%의 정확도를 보였는데, 이러한 결과는 4.2절에서 10개 표적에 대해 실험한 결과와 비교해 상대적으로 낮은 성능이다.

이는 그림 7에서 확인할 수 있듯이, 4.3절의 테스트에 사용된 앞선 5개 클래스(2S1, BMP2, BTR70, M1, M2)가 나머지 클래스보다 상대적으로 낮은 성능을 보이기 때문에 나타난 결과이다. 반면에 실수 CycleGAN으로 변환된 SAR 영상을 실수 CNN으로 식별하였을 때는 성능이 36.50%로 증가하였다. 또한 복소수 CycleGAN과 복소수 CNN의 조합을 사용하였을 때는 가장 높은 42.59%의 식별 성능을 보였다. 결과적으로 복소수 네트워크를 통해 SAR 영상의 크기 정보와 위상 정보를 함께 활용하고, CycleGAN을 통해 실측 SAR 영상과 시뮬레이션 SAR 영상 간의 차이를 줄임으로써 높은 식별 성능을 얻을 수 있었다.

그림 8에서는 복소수 CycleGAN을 통해 변환된 시뮬레이션 SAR 영상의 결과를 비교하여 보여준다. 첫 번째 행은 실측 SAR 영상이며, 두 번째 행은 같은 조건으로 생성된 시뮬레이션 SAR 영상이다. 마지막 행은 복소수 CycleGAN을 통해 변환된 시뮬레이션 SAR 영상이다. 전체적으로 변환된 시뮬레이션SAR 영상이 실측 SAR 영상과 비교해 배경 클러터가 어두운 것을 확인할 수 있다. 이는 실제로 시뮬레이션 SAR 영상의 배경 클러터가 실측 SAR 영상에 비해 어두운 것을 학습하여 나온 결과로 볼 수 있다. 하지만 표적의 구조적인 차이는 큰 변화가 없고, 산란점의 위치만 조금씩 바뀌거나 뭉개지는 결과가 나타났다. 이는 표적의 클래스, 고각, 방위각 등이 변함에 따라 생성기가 변환해야 하는 표적 영역이 달라지기 때문에, 모든 경우에 알맞은 SAR 영상으로 변환하기보다는 평균에 가까운 변환을 보여주므로 나타나는 현상으로 보인다.

Fig. 8. 
Results of translated SAR images

그림 9는 서로 다른 세 종류의 영상들이 2차원 공간상에서 어떻게 분포하는지 t-SNE[17]를 이용해 보여주고 있다. t-SNE는 원본 데이터를 가장 잘 표현할 수 있도록 데이터의 차원을 줄이는 방법으로, 높은 차원의 복잡한 데이터를 2차원으로 축소해 시각화할 수 있다.

Fig. 9. 
t-SNE distribution of SAR images

즉, 그림 9의 x, y축은 세 종류의 영상들을 가장 잘 구분 지어 표현할 수 있는 두 벡터이다. 결과에서 볼 수 있듯이 기존의 실측 SAR 영상과 시뮬레이션 SAR 영상 간에는 상당한 차이가 존재하였다. 그에 비해 복소수 CycleGAN을 통해 변환된 시뮬레이션 SAR 영상(실측 SAR 영상을 시뮬레이션 SAR 영상과 유사하게 변환)은 실측 SAR 영상보다 실제 시뮬레이션 SAR 영상과 가깝게 분포하는 것을 볼 수 있다. 결과적으로 복소수 Cycle GAN이 실측 SAR 영상과 시뮬레이션 SAR 영상 사이에 존재하는 분포 차이를 효과적으로 줄였음을 확인할 수 있다.

앞선 그림 8, 9의 결과에서는 SAR 영상들의 크기 정보를 비교하여 보여주었다. 그러나 본 논문에서 제안하는 복소수 CycleGAN은 크기 정보와 함께 위상 정보도 활용하기 때문에 위상 정보의 변화를 확인할 수 있다. 표 3은 테스트에 사용된 5개 클래스 영상에 대한 위상 정보의 유클리드 거리(Euclidean distance) 변화를 나타내고 있다. 두 번째 열은 실측 SAR 영상과 시뮬레이션 SAR 영상 간의 위상 정보 차이를 거리로 표현한 것이며, 세 번째 열은 변환된 시뮬레이션 SAR 영상과 실제 시뮬레이션 SAR 영상 간의 위상 정보 차이를 나타낸다. 결과에서 볼 수 있듯이 위상 정보에서도 변환된 시뮬레이션 SAR 영상이 실제 시뮬레이션 SAR 영상과 더 가까워졌음을 확인하였다.