Current Issue

두 영상 간의 변환을 추정하는 문제는 컴퓨터 비전 분야에서 오랫동안 다루어진 문제 중 하나이다. 변환에는 유사 변환 또는 호모그래피[1] 등이 사용될 수 있는데, 영상 내에서 관심 물체의 크기가 작은 경우에는 병진 이동(Translation), 회전(Rotation), 비례(Scaling) 변환으로 이루어진 유사 변환(Similarity transform)으로 근사하는 경우도 있다. 그 이유는 지나치게 일반적인 변환을 가정할 경우 변환을 추정하는데 과적합(Overfitting)이 발생할 수 있기 때문이다. 유사 변환을 이용하는 분야에는 이미지 스티칭[2], 얼굴영상의 3차원 자세 복원[3], 위성 영상 정합[4] 등이 있다.

영상 간 변환을 추정하는데 널리 활용되는 접근법은 다수의 국소 특징점을 정합해보고, 그 결과들을 가지고 RANSAC(RANdom SAample Consensus)[5]의 프레임워크를 따라 아웃라이어(Outlier)를 배제하고 가장 적합하다고 판단되는 정합 쌍 집합을 선택하는 것이다. 그러나 영상 내에서 특징점의 개수가 적은 경우(예컨대, 물체의 크기가 작은 경우) 정합 쌍들의 과반수가 정합에 실패할 확률이 높고, 두 영상의 모달리티가 다르거나(예를 들어 가시광 영상과 적외선 영상), 유사성이 떨어지는 경우(주간 영상과 야간 영상)에도 특징점 정합에 실패할 확률이 높다.

특징점들 대다수가 정합에 실패하는 경우에는 아웃라이어를 배제하는 것이 중요하다. 그 이유는 2차원 변환 추정에서는 약간의 추가적인 정합 오차만으로도 완전히 다른 2차원 변환을 추정하는 결과를 얻을 수 있기 때문이다.

본 논문에서는 유사 변환 추정에 사용될 수 있는 정합 쌍 집합의 기하학적인 사전 검사 방법을 제안한다. 정합 쌍의 사전 검사 방법으로는 기본적으로 추정된 변환으로부터 측정한 정합점의 거리오차를 가지고 수행할 수 있는데, 본 논문에서는 더 빠른 방법을 제안한다. 이 방법은 변환행렬 추정이 필요하지 않아 수행 속도가 빠르며 구현이 용이하다.

본 논문의 2장에서는 본 논문에서 제안하는 사전 검사 방법이 적용될 기본적인 프레임워크인 RANSAC과 관련된 연구를 소개하고, 3장에서는 제안하는 기하학적인 사전 검사 방법을 기술한다.

그림 1은 제안하는 기하학적인 사전 검사 방법으로 확장된 RANSAC 프레임워크를 간단히 나타낸 것이다.

Fig. 1. 
Framework of RANSAC[5] extended with the proposed geometric pre-test method

4장에서는 가상 테스트셋을 이용한 실험 결과와 SENSIAC 데이터셋[6]의 일부 영상에 대한 실험결과를 제시하고 5장에서 결론을 맺는다.

RANSAC은 아웃라이어가 포함된 데이터들로부터 오차를 최소화하면서 데이터를 가장 잘 설명할 수 있는 모델을 추정하는 방법론이라고 할 수 있다. RANSAC은 모델 추정에서 아웃라이어를 제거하기 위해 모든 데이터를 살펴보는 대신, 모델 파라미터 추정에 필요한 충분히 작은 데이터셋을 반복적으로 샘플링하여 정의된 손실함수에 따라 오차를 최소화하는 샘플을 찾는다.

RANSAC을 다양한 관점에서 개선하고 응용한 방법들이 있는데, 2차원 영상 간의 변환 추정과 관련된 중요한 연구 중 하나로서 퇴화(Degenerate) 데이터 집합으로 인한 잘못된 변환 추정을 피하고 올바른 정합을 찾는 연구가 있다[7]. 퇴화 데이터 집합이란 2차원 영상 간의 변환을 유일하게 추정하기에 부족한 데이터 집합을 말한다. 데이터 수가 아무리 많아도 특정 면 위에 데이터들이 몰려있거나, 일직선상에 데이터들이 존재하는 경우 중복성이 있는 데이터가 포함되어 2차원 영상 간의 변환이 유일하게 결정되지 않을 수 있다. 이 연구에서는 초기 RANSAC 결과에서 중복성이 있는 데이터 포인트를 제거한 뒤, 기존에 분류되었던 아웃라이어를 포함시켜 비퇴화(Non-degenerate) 데이터 집합을 찾는 방법이 제안되었다.

본 논문에서는 퇴화 케이스 보다는 기하학적으로 유사도가 낮은 정합 쌍을 배제하는 데 초점을 맞추고 있으며, 퇴화 케이스를 검출하는 방법과도 결합하여 확장될 수 있다.

RANSAC의 손실함수로서 추정된 변환 하에서 측정된 정합점들의 거리 오차를 이용하는 방법(MSAC, MLESAC)들이 제안되었다[8]. MSAC은 손실함수를 각 점 거리 오차의 클리핑된 오차 함수로 정의하였으며, MLESAC는 입력데이터 중 아웃라이어의 분포는 균등분포이고 인라이어(Inlier)의 분포는 가우시안 분포라고 가정하고 두 분포가 혼합된 모델(Mixture model)을 제안하여 손실함수를 정의하였다. 본 논문에서 제안하는 기하학적 사전 검사 방법은 기하학적인 닮음을 평가하는 함수로부터 유도되기 때문에 본 논문에서는 별도의 손실함수를 사용한다는 점에서 다르다.

한편, MLESAC과 유사하게 인라이어와 아웃라이어의 분포를 다르게 가정하여, 클러스터링을 통해 아웃라이어를 배제하는 연구도 수행되었다[9]. 이 연구에서는 샘플링된 정합 쌍들로 얻은 변환행렬들의 파라미터 공간에 대해 클러스터링을 수행한다. 본 논문에서 제안하는 방법은 인라이어의 오차 분포가 가우시안이 아닌 일반적인 경우에도 적용할 수 있으며, 인라이어 수가 작아서 클러스터링이 유효하지 않는 경우에 유용하다.

RANSAC은 기본적으로 모델 파라미터값 구체화에 필요한 최소데이터만 샘플링하여 모델을 추정하지만, LO-RANSAC[10]과 같은 국소 최적화를 통해 개선하는 방법은 현재까지 찾은 최적 모델을 갱신할 때, 인라이어로 분류된 데이터 집합 안에서 재샘플링을 수행하여 더 강화된 오차 임계값 조건을 만족하는 부분집합을 찾는 방식으로 모델을 국소적으로 개선한다. 이렇게 하면, 샘플링 횟수를 줄이면서도 모델의 정확도를 향상시킬 수 있다. 본 논문에서 제안하는 방법은 사전 검사 방법을 제안하는 것이므로 이러한 국소최적화 방법들과 결합이 가능하다.

샘플링 횟수를 줄여서 처리속도를 빠르게 하기 위해서 LO-RANSAC에서는 찾은 모델이 개선될 때마다, 해당 모델과 부합하는 점들로 인라이어의 비율을 추정하여 추가 샘플링 횟수를 결정한다. Randomized RANSAC[11]은 추정한 모델과 모든 데이터를 비교하기 전에 무작위로 추출한 데이터 포인트만 검사하여 그 결과에 따라 해당 샘플을 배제한다. 본 논문에서 제안하는 방법도 모든 데이터 포인트를 사전에 검사하지 않는다는 점에서 처리속도 향상에 기여할 수 있다. 다만, 제안하는 사전 검사 방법은 아웃라이어가 많을 경우를 가정하여 사용되는 방법이기 때문에 임의의 데이터를 추가로 추출하여 검사하기보다는 샘플 집합 자체의 기하학적인 적합성을 검사하는 방식이다.

S. Choi 등은 RANSAC의 다양한 변형된 버전을 비교하는 방법에 대해 발표하였다[12]. 그들의 연구에서는 RANSAC을 변형한 다양한 방법들의 성능을 비교하기 위해 가상으로 생성된 200개 포인트를 이용하여 직선의 방정식을 추정하는 실험 및 같은 모달리티의 두 영상 간 변환 추정 실험을 수행하였다.

딥러닝 기반의 정합 연구는 의학분야에서 많이 찾아볼 수 있으며, 이러한 연구들은 Haskins 등에 의해 조사되었다[13]. 이 논문에 따르면, 초기 연구는 기존에 널리 사용되었던 영상 간 유사도 측정식과 전문가에 의해 작성된 훈련용 데이터셋을 활용하여 학습하는 방식을 제안하였고, 2017년에 이르러 사전에 학습된 특징 추출기법을 활용하는 비지도학습 방식도 제안되었다. 본 논문에서 제안하는 방법은 훈련용 데이터셋 확보가 어렵거나, 그래픽 프로세서를 활용하기 어려워 연산량에 제약이 있는 경우에 유용하다.

제안하는 방법은 기하학적인 닮음을 기반으로 사전 검사를 수행하는 방법이다. 두 도형의 기하학적인 닮음은 수학적인 관점에서 대응하는 변의 길이의 비가 같고 대응하는 각이 서로 같음을 의미한다. 그러나 닮지 않은 두 도형에 대해서 얼마나 닮았는지를 실수값으로 측정하는 것은 이와 다른 문제다. 닮음 대신에 모델과의 거리 오차를 사용하는 관점에서는 MSAC[8]과 같은 손실함수값을 이용해 임계값을 넘었는지를 검사하는 것이 일반적인 방법이지만 본 논문에서는 기하학적인 닮음 개념에 기반하여 처리속도가 더 빠른 사전 검사 방법을 제안한다. 저자가 아는 한, 유사 변환 추정을 위해 기하학적인 닮음에 기반한 사전 검사 방법을 다루는 연구는 없었다.

제안하는 방법의 수학적 정의를 위해서 먼저 다음과 같이 기호를 정의한다. 주어진 두 영상 A의 특징점 집합 {a_i}⊂R²와 영상 B의 특징점 집합 {b_i}⊂R²사이에 정합 결과 n개의 ai,bi^⊂R2×R2정합 쌍 을 얻었다고 가정하자. 여기서 a_i는 B의 특징점 bi^와 정합됨을 나타낸다. bi^는 a_i의 이상적인 정합점 b_i에 위치 오차 eiPos가 포함되어 bi^=bi+eiPos와 같은 관계가 있다고 가정한다.

제안하는 사전 검사 방법은 정합 쌍 번호 집합 K_I (K_I⊂{1,2,⋯n}, |K_I|=k)로 결정되는 정합 쌍 집합 K=aj,bj^j∈KI가 적합한 정합 쌍인지 확인하는 방법이다.

υijA를 두 점 a_i와 a_j로 이루어진 벡터 →aiaj라 하고, υijB를 두 점 bi^와 bj^로 이루어진 벡터 →bi^bj^라 하자. 또한, ∠υijA,υijB를 두 벡터 υijA와 υijB가 이루는 각을 시계반대 방향으로 측정한 값으로 정의하자. 모든 i∈K_I에 대해서 eiPos=0이면, ∠υijA,υijB와 ∠υklA,υklB는 같은 값이다. 그렇지 않다면 이 회전각의 차가 작을수록 적합한 정합으로 볼 수 있다. 이러한 논리를 적용하여 회전각 차이 기반의 정합 쌍 적합도 측정 함수 T_Ang(K)를 다음과 같이 정의할 수 있다.

여기서 AngDiffυij,υkl은 다음과 같이 정의된다.

이 식을 분석하기 위해 오차가 없다고 가정할 때의 참 회전각이 R이고 위치 오차로 인하여 발생한 ∠υijA,υijB의 각도 오차를 eijRot라고 하자 ∠υklA,υklB의 각도 오차도 유사하게 정의된다). 그러면 ∠υijA,υijB=R+eijRot, ∠υklA,υklB=R+eklRot와 같이 표현될 수 있고, 다음과 같이 상한이 성립한다.

eijRot는 υijB의 시점과 종점에서 위치 오차 eiPos와 ejPos가 eijPos를 극대화시키기 위해 반대 방향으로 발생할 때 최대가 된다. 따라서 eiPos≤EPos 이면 다음과 같은 상한이 존재한다.

비정상적인 정합 오차로 인하여 식 (4)을 위배할 확률은 한 점의 위치오차가 허용된 범위를 넘을 확률 PeiPos>EPos 보다 낮다고 판단할 수 있다. 그 이유는, 식 (4)을 위배하려면 한 점이 아닌 두 점의 위치 오차가 임의의 방향이 아닌 특정한 방향으로 발생해야 하기 때문이다. 따라서 본 논문에서는 상기 식 (4)의 우변에서 2E^Pos 대신 E^Pos을 사용하되 적용분야에 따라 조정하는 것을 제안한다.

제안하는 회전각 차이 기반 사전 검사 방법은 선택된 정합 쌍 집합 K에 대해 상기 식 (4)의 우변 보다 AngDiff(υ_ij,υ_kl)값이 더 클 경우 정합 쌍 집합 K는 아웃라이어가 포함된 정합 쌍으로 판단하는 것이다.

제안하는 기하학적인 사전 검사 방법은 유사 변환 추정에 있어 아웃라이어 개수가 절대적으로 많은 경우에 사용될 수 있으며, 이 방법은 선택한 정합결과들이 이루는 기하학적 닮음을 이용한다. 본 논문에서는 오정합 비율을 변화시켜가면서 2만 8천여개의 가상테스트 데이터셋을 생성하여 실험을 수행하였다. 그 결과, 추정한 변환으로 측정한 거리 오차를 기준으로 기각을 수행하는 방법과 비교하여 정확도와 기각 성능이 유사하였다. 대신, 제안하는 방법은 변환행렬을 추정하지 않기 때문에 처리속도가 빠르다는 강점이 있었다. 제안하는 방법은 빠른 처리속도를 요구하는 강건한 2차원 유사 변환 추정에 유용할 것으로 판단되며, 다른 RANSAC의 변형방법과 결합되어 확장될 수 있다.