에지 성분 분석을 통한 정사 위성 영상을 가진 구조물 특징 영역의 정합 성능 추정

Ⅰ. 서 론

위성 영상 기술의 발달로 서로 다른 센서 영상을 정합하는 것은 활발히 연구되어온 주제 중 하나이다. Lee와 Choi[1]는 SIFT(Scale Invariant Feature Transform)[2] 알고리즘을 수정하여 적외선과 광학 위성 영상 간의 정합 문제를 다루었다. Han과 Choi[3]는 SURF(Speeded Up Robust Features) 방법[4]과 위상상관도[5]를 이용하여 적외선과 광학 영상 간의 정합 문제를 다루었다. 다양한 이종 센서 정합 기법에 대해서는 Kim[6]의 연구를 참고할 수 있다.

본 논문에서는 위성 영상으로부터 사전 추출된 2차원 또는 3차원 구조물(예를 들어 삼각형 메쉬)로부터 이종 센서 영상을 정합하는 방법을 가정한다. 본 논문에서는 대표적인 센서 영상의 하나인 적외선 영상으로 연구 범위를 제한한다. 잘 알려진 SIFT나 SURF기법은 LoG(Laplacian of Gaussian) 필터를 근사하여 경계나 코너가 뚜렷한 점을 기반으로 정합을 수행한다. 구조물을 이용한 정합에서는, 구조물을 구성하는 삼각형 메쉬로부터 바이너리 에지 영상을 이용할 수 있어, 이 방식 역시 궁극적으로 영상의 경계 성분을 이용한 방법이며, 예를 들어 일반화된 허프 변환 정합(Generalized Hough Transform, GHT)[7]이 이를 위해 사용될 수 있다.

실시간 시스템에서는 영상 전체를 정합하기에 처리시간이 부족하다. 또한 영상 내 구조물의 개수가 많지 않은 경우 잘못된 정합점 개수가 올바른 정합점 개수와 같거나 그보다 많을 수 있다. 따라서 본 논문이 가정하는 정합 방법을 위해서는 구조물을 가진 특징 영역들 중에서 비교적 정합 성능이 높은 것들을 선별해야 한다. 여기서 특징 영역이란, 국소 위성 영상 패치에 대응하여 투영된 3차원 또는 2차원 구조물의 국소 영역을 의미한다. (그림 1 참조) 이종 센서 영상 정합이 아닌 영상 추적 응용에서는 이전 프레임들의 정합 결과를 토대로 특징점의 선별을 수행하는 연구가 있었다[8][9].

Fig. 1.

The problem to be addressed in the structure based registration: evaluation of a feature area

본 논문에서는 개별 특징 영역의 정합 성능 추정 방법을 다루고자 한다. 본 논문에서는 추정된 정합 성능을 품질이라고 부르겠다. 구조물을 가진 특징 영역의 정합 성능을 예측하는 개별 특징의 품질 측정 연구는 저자가 아는 한 존재하지 않는다. Gauglitz 등[10]은 특징점 추출 연산자를 평가할 때, 특징점 추출의 재현성(Recall), 전체 정합점 개수 대비 정합이 성공한 정합점 개수 비율로 평가하였으나 개별 특징점의 정합 성능 평가에 초점을 맞추지는 않았다. Bu 등[11]은 SAR(Synthetic Aperture Radar) 영상 정합에 적합한 특징 평가 함수를 유전 알고리즘[12]으로 찾는 연구를 수행하였으나, 구조물을 가진 특징 영역을 다루지는 않았다.

본 논문에서는 정사 위성 영상 및 구조물 국소영역으로 구성된 특징 영역을 이용해, 주어진 특징 영역의 정합 성능을 추정하고자 한다. 본 논문이 다루는 문제를 그림 1에 표현하였다. 뒤에서 다루겠지만, 이에 대한 직관적인 방법은 특징 영역의 구조물 에지를 GHT를 이용해 특징 영역에 대응하는 정사 영상 에지에 정합하여 그 결과 특징 영역 중심점의 누적 값을 해당 특징영역의 품질 값으로 이용하는 것이다. 이 방식은 바이너리 에지의 방향 값에 오차가 생길 경우 정합 성능 추정이 잘못될 수 있는 단점이 있다.

본 논문에서는 에지 방향의 유사도 측정 방법과 이에 대한 가중치를 주어 품질 값이 정합 성능을 잘 반영할 수 있는 품질 측정 방법을 제안한다. 다음 2장에서는 본 논문에서 가정하는 구조물 기반 특징 영역 정합 기법을 소개하고, 특징 영역의 품질 측정 방법을 어떤 측면에서 평가할 지 기술한다. 3장에서는 기본적인 특징 영역 품질 측정 방법을 다루고, 이들의 한계점을 기술한다. 4장은 제안하는 특징 영역 품질 측정 방법을 다룬다. 5장은 실험 결과를 종합하여 제시하며, 6장에서 결론을 맺는다.

Ⅱ. 논문에서 가정하는 구조물 기반 정합 방법과 특징 영역 품질 측정 방법의 평가

Ⅲ. 기본적인 특징 영역 품질 측정 방법

3장에서는 본 논문이 제안하는 특징 영역 품질 측정 방법을 제시하기 전에 기본적으로 제안할 수 있는 특징 영역 품질 측정 방법을 비교의 목적으로 다룬다. 우선 구조물 없이 정사 위성 영상만으로 특징을 추출하는데 Harris Corner Detector[17]의 Corner Response R 값을 사용해볼 수 있다. 이 경우 R 값은 특징 영역 내 x 및 y축 그래디언트 강도를 기반하여 계산되며, R값이 클수록 해당 특징영역이 x 및 y방향 모두에 대해 밝기 변화가 큼을 나타낸다. 이 방법은 구조물 정보를 사용하지 않기 때문에, 특징 영역 내 구조물이 차지하는 비중이 매우 낮더라도 해당 영상 영역에 높은 대조비를 가진 영역이 존재할 경우 높은 R값을 산출하게 된다.

2.1절에서 언급한 방법에서 정합할 입력 영상 대신 정사 위성 영상을 GHT로 정합하고 그 누적 결과 값을 품질로 제시할 수 있다. 본 논문에서는 이 방식을 'GHT_ACC'로 표기하겠다. GHT_ACC 방식은 정합 성능을 어느 정도 반영할 수 있지만 위성 영상의 바이너리 에지 추출 결과에 오차가 있는 경우 취약점이 생긴다. 정사 위성 영상은 신호 감쇄나 회로 잡음으로 에지 추출 결과가 이상적인 직선 형태가 아닌 조금 구부러진 곡선 형태로 나올 수 있다. 그림 2는 이러한 문제를 시각적으로 표현하였다. 그림 2에서 굵은 점선 표시 윈도우 내에서 중심 픽셀의 에지 방향각을 추정하는 경우, 구조물의 바이너리 에지 영상에서는 90°(수평면을 0°로 가정) 방향이지만, 정사 위성 영상에서는 에지 방향각이 90°가 아닐 수 있다. 방향각이 정확히 일치하지 않으면 GHT 방법에서 R-table 조회가 되지 않아 올바른 누적이 되지 않으므로 품질 측정에 오차가 발생할 수 있다.

Fig. 2.

An example of a possible error in the estimation of orientation angles based on binary edges

한편 또 다른 GHT 기반 품질 측정 방법으로 식 (1)의 ATCR값을 사용할 수 있다. 그러나 ATCR이 1보다 큰 값인 경우 더 이상 ATCR값 자체로 특징 영역들의 정합 성능을 변별하기 어려웠다. 본 논문에서는 이 방식을 'GHT_ATCR'로 표기한다.

Ⅳ. 제안하는 품질 측정 방법

4.3 구조물의 내부 영역이 잡음 에지에 가리는 비율을 이용한 가중치 부여

4.2절까지는 픽셀 단위 유사도 값을 합산하는 방식이다. 더 나아가 이 값에 각 구조물 별로 가중치를 곱할 수 있다. 예를 들어 특정 건물의 지붕이 흙으로 덮여 있거나 수풀에 가리는 경우 구조물의 내부 영역 픽셀에 에지가 추출될 수 있는데, 이 에지는 구조물 에지가 아니므로 정합 오차에 나쁜 영향을 미칠 수 있다. 따라서 특징 영역 내 각 구조물 k가 잡음 에지에 가리지 않는 비율 AW_k를 곱하는 방법 'M4(Method 4)'를 제안한다. 본 논문에서는 다음 식과 같이 계산한다.

$\[ M{4}_{\left(x,y\right)}=\sum _{k\in N}^{}{AW}_k\left\{\sum _{\left(i,j\right)\in P_k}^{}{G}_N\left(i,j\right)d({\theta }_p\left(i,j\right),\left(i,j\right))\right\} \]$

(6)

여기서 N은 특징 영역 안에서 보이는 구조물들의 집합, P_k는 특징 영역 내 구조물 k의 에지 픽셀 좌표 집합이다. AW_k는 다음 식과 같이 계산한다.

$\[ {AW}_k=\sum _{\left(i,j\right)\in A_k}^{}\left(1-\frac{G_N\left(i,j\right)}{\left|A_k\right|}\right) \]$

(7)

여기서 A_k는 구조물 k의 내부 영역 픽셀 좌표 집합이다. 그림 3은 본 논문이 제안하는 M4 방법의 개념을 보여준다.

Fig. 3.

Concept of the proposed method to measure a feature area

Ⅴ. 실험 결과

실험에는 헬기 탑재 적외선 센서로 획득한 적외선 영상을 이용하였으며, 이에 대응하는 8개의 정사위성 영상에서 구조물 위주로 특징 영역을 추출하되 서로 분산된 위치에서 10개씩 추출하여 평가하였다. 같은 특징 영역에 대해서는 최대 6가지 다른 시간대의 적외선 영상으로 정합 성능을 계산하였다. 상관 계수 계산에는 총 350개의 품질-정합 성능 쌍이 사용되었다.

특징 영역의 계산에는 Intel(R) Core(TM) i7-4800MQ CPU @ 2.70 GHz 2.70GHz 프로세서가 사용되었다. 정사 위성 영상 크기는 1001×1001에서 1003×1003 픽셀 크기이며, 특징 영역의 크기는 80×80 픽셀 크기로 설정하였다. 표 1은 품질 측정 시간, 품질 값과 정합 성공률 및 정합 오차의 표준편차 간의 상관성을 나타낸다.

M1, M2, M3, M4 방식은 Harris Corner, GHT_ACC 방식보다 강한 상관성과 높은 정합 성공률 평균을 보여준다. M4 방식은 상위 3개 정합성공률 평균이 가장 높지는 않지만, 실험한 다른 방법들 중 가장 강한 상관성을 보여주었다.

그림 4는 3가지 방법에 대한 실험 결과 산점도이다. GHT_ACC의 산점도를 볼 때, 급격하게 정합 성능이 증가하는 구간이 있다. 표 1에서 GHT_ACC 방법이 상위 3개 정합 성공률 평균이 논문에서 제안하는 방법들에 비해 낮다는 점을 고려할 때, 이 구간에서 특징 영역의 변별력이 부족하다고 지적할 수 있다. 참고로, 어떤 지역에서는 품질 값의 분포가 다른 지역에 비해 대체로 낮게 분포할 수 있으므로 품질 값 전 구간에서 상관성이 요구된다. Harris Corner Response R값은 구조물 정보를 사용하지 않기 때문에 상위 품질 값을 가진 특징 영역의 정합 성능이 낮게 나올 수 있었다.

Fig. 4.

Comparison of quality measuring methods: scatter plots of the qualities and the registration performances

Table 1.

Comparison of quality measuring methods: the process time, the correlation coefficient and the average registration rate of the top 3 feature areas

M4 방식에서 일부 높은 품질을 가진 특징 영역이 낮은 정합 성공률을 보였다. 이는 정합 시 사용한 적외선 영상에서 날씨 영향으로 해당 구조물 특징 영역의 신호 값이 낮았기 때문으로 분석되었다.

Ⅵ. 결론 및 향후 과제

구조물을 가진 특징 영역을 선별하기 위해 개별 특징 영역의 정합 성능(또는 품질)을 추정하는 방법으로서, 본 논문에서는 래스터화 단계에서 구조물 에지 픽셀의 방향각을 설정하고 정사 위성 영상의 에지 픽셀의 방향각과의 유사도를 합산하는 방법을 제안하였다. 이에 더하여 그래디언트 강도와 구조물 내부 영역 내 클러터 에지에 가리지 않는 비율로 가중치를 주는 방법을 제안하였다. 품질 측정 방법의 유효성은 품질값과 정합 성공률 및 정합 오차의 표준편차 간 상관계수 값과, 상위 3개 정합 성공률 평균으로 확인하였다. 향후 과제로서 구조물 특징 영역들의 품질 기반 선별 방법과, 다수 정사 위성 영상을 이용한 특징 영역 품질 평가 방법, 그리고 구조물 기반 특징 영역을 이용한 개선된 정합 알고리즘 연구를 제안한다.

References

• K. H. Lee, and T. S. Choi, "Automatic Registration Method for EO/IR Satellite Image Using Modified SIFT and Block-Processing", Journal of Korea Institute of Information, Electronics, and Communication Technology, 4(3), p174-181, Sep), (2011.
• D. G. Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision, 60(2), p91-110, Jan), (2004. [https://doi.org/10.1023/b:visi.0000029664.99615.94]
• Y. K. Han, and J. W. Choi, "Matching Points Extraction Between Optical and TIR Images by Using SURF and Local Phase Correlation", , Journal of Korean Society for Geospatial Information System, 23(1), p81-88, Mar), (2015. [https://doi.org/10.7319/kogsis.2015.23.1.081]
• H. Bay, T. Tuytelaars, and L. Van Gool, "Surf: Speeded up robust features", In European conference on computer vision, p404-417, May), (2006. [https://doi.org/10.1007/11744023_32]
• C. D. Kuglin, and D. C. Hines, "The phase correlation image alignment method", In Proc. Int. Conference Cybernetics Society, p163-165, Sep), (1975.
• K. Kim, "Survey on Registration Techniques of Visible and Infrared Images", IT CoNvergence PRActice (INPRA), 3(2), p25-35, Jun), (2015.
• D. H. Ballard, "Generalizing the Hough transform to detect arbitrary shapes", Pattern recognition, 13(2), p111-122, Jan), (1981. [https://doi.org/10.1016/0031-3203(81)90009-1]
• H. H. Jeon, J. H. Kim, and Y. H. Ko, "RAFSet (Robust Aged Feature Set)-Based Monocular Visual Odometry", Journal of Institute of Control, Robotics and Systems, 23(12), p1063-1069, Dec), (2017. [https://doi.org/10.5302/j.icros.2017.17.0160]
• G. Zhang, and P. A. Vela, "Good features to track for visual slam", In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, p1373-1382, Jun), (2015. [https://doi.org/10.1109/cvpr.2015.7298743]
• S. Gauglitz, T. Hollerer, and M. Turk, "Evaluation of interest point detectors and feature descriptors for visual tracking", International Journal of Computer Vision, 94(3), p335-360, Mar), (2011. [https://doi.org/10.1007/s11263-011-0431-5]
• Y. Bu, G. Tang, H. Liu, and L. Pan, "Matching suitable feature construction for SAR images based on evolutionary synthesis strategy", Chinese Journal of Aeronautics, 26(6), p1488-1497, Aug), (2013. [https://doi.org/10.1016/j.cja.2013.07.030]
• D. Goldberg, "Genetic algorithms in Search, optimization, and Machine Learning", Addison-Wesley, p1-412, Jan), (1989.
• A. Edward, and D. Shreiner, "Interactive Computer Graphics: A Top-Down Approach Using OpenGL", Addison-Wesley, p1-719, Jan), (2003.
• J. Canny, "A Computational Approach to Edge Detection", in IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-8(6), p679-698, Nov), (1986.
• P. Perona, and J. Malik, "Scale-space and edge detection using anisotropic diffusion", IEEE Transactions on Pattern Analysis and Machine Intelligence, 12(7), p629-639, Jul), (1990. [https://doi.org/10.1109/34.56205]
• R. C. Gonzalez, and R. E. Woods, "Digital image processing", Addison-Wesley, p1-716, Jun), (1992.
• C. Harris, and M. Stephens, "A combined corner and edge detector", In Alvey vision conference, 15(50), p147-151, Aug), (1988. [https://doi.org/10.5244/c.2.23]