이미지 특징점 탐지 및 특징량 추출 알고리즘 추천 모델 개발

Ⅰ. 서 론

컴퓨터 비전 분야에서 이미지나 영상의 희소 특징 추출의 가장 일반적인 접근 방식은 탐지 후 설명 접근 방식(The detect-then-describe approach)으로 먼저 특징점을 탐지한 후 다음에서 특징 설명자(Descriptor)를 추출하는 것을 의미한다[1]. 특징점은 Keypoint 또는 Feature point로 칭하며 영상이나 이미지 등에서 특징이나 중요한 정보를 포함하고 있는 점의 영상좌표로 (x,y)나 scale space를 포함하는 경우 (x,y,s)를 의미한다. 이 특징점 위치에서 추출한 지역적 영상이나 이미지에 대한 특징 정보는 지역 불변 특징량(Local invariant descriptor)을 의미한다. 희소 일치에서 가장 중요한 것은 강력한 특징점을 찾는 것[1]이다.

이상적인 특징점은 이미지가 회전하거나 크기나 형태가 변하거나 위치가 변하거나 노이즈가 있을 때도[1][2] 강건하게 검출되어야 한다. 또한 카메라의 조명과 시점이 달라져도 쉽게 찾아낼 수 있어야 한다. 이미지 정보에서 특징이 되는 지역적 정보를 점으로 검출하기 위하여 특징점 탐지 및 특징량 검출 알고리즘(Keypoint detection and descriptor extraction algorithm)을 사용한다.

이러한 대부분의 지역 불변 특징량 방법들은 이상적인 특징점을 뽑아 특징량을 계산하기 때문에 알고리즘들 모두 최소한의 고유의 특징점 추출 방법을 포함한다. 그러나 특징점 탐지와 특징량 검출은 명확히 구분되는 기술이므로 특징점 탐지 기법과 특징량 검출 기법은 상이하게 조합하여 활용할 수 있다.

그러나 지역 불변 특징량 방법들은 강한 외관 변화로 인해 탐지가 불안정하며[1] 특징점 탐지 및 검출의 정확도 및 수준에 있어 모든 조건이나 상황에 따라 상이하다. 따라서 사용자의 목적이나 검출하고자 하는 대상의 특징이나 성격에 따라 어떤 알고리즘을 활용하는지에 따라 탐지 및 검출 성능에 차이가 발생한다. 따라서, 모든 알고리즘이 실제 모든 상황에 충분히 강력한가에 대한 논의가 필요하다. 그러나 대부분의 알고리즘에 대한 연구는 각 알고리즘의 성능 평가 지표를 비교하여 어떤 알고리즘이 강력한지에 집중되어 왔다[3][4].

본 연구에서는 이미지 및 영상의 특징점 탐지 및 특징량 검출을 위한 주요 속성을 도출하고 detect-then-describe approach 방법을 기반으로 성능 평가 지표와 실제 특징점 매칭 알고리즘을 통해 상황에 맞는 특징점 탐지 및 특징량 검출 알고리즘을 추천하는 시스템을 설계한다. 이를 위해 이미지 데이터 세트에 다양한 변환을 적용하는 실험을 수행하며, 알고리즘 간 평가를 위하여 특징점 매칭 알고리즘을 개발하고 그 신뢰성을 검증하였다.

본 연구는 사용자가 분석하고자 하고자 하는 대상에 적합하면서도 사용자가 원하는 특징점 참지 및 특징량 추출 도구의 중요한 특성을 반영할 수 있는 보다 정교한 도구 선택의 기회를 제공 보였다.

본 논문의 구성을 다음과 같다. 2장은 관련연구로 특징점 탐지 및 특징량 추출 알고리즘에 대하여 기술하고, 알고리즘 관련 선행 연구를 살펴본다. 3장에서는 연구 절차와 연구 방법을 설명한다. 4장에서는 특징점 검출기 추천 시스템을 설계하고 설계 내용을 기반으로 샘플 데이터 이미지를 생성하고 실험한다. 마지막으로 5장에서는 결론에 대해 기술하고 본 연구의 의의와 향후 연구 방향을 제시한다.

Ⅱ. 관련 연구

Ⅲ. 연구 절차 및 방법

3.1 연구 절차

본 연구의 연구 절차는 그림 1과 같다. 먼저 사례 연구들에서 특징점 검출기가 유의미하게 사용되는 사례들을 조사하였다. SLAM과 같은 실제 환경에서 사용되는 특징점 검출기의 경우[22] ORB와 같은 고속의 성능을 보이는 특징점 검출기가 필요함을 보였다. 반대로 속도가 정확도보다 중요시되는 3D 재구성 문제의 경우에는 SIFT와 같은 높은 정확도를 특성으로 가지고 있는 특징점 검출기가 주로 사용되었다[23]. 색상은 이미지 속성을 구별하는데 매우 중요한 특징이다[24].

Fig. 1.

Research process

이들 중 색상을 포함한 해상도의 경우 속도와 정확성에 직접적 영향을 끼치므로 독립적인 속성이라고 생각하기 어렵고, 장비 의존성이 높아 본 연구 성능 지표에서는 제외하였다. 이러한 사전 연구를 반영하여 이미지 특징점 및 특징량 산출을 위한 성능 지표로 속도, 정확도를 선정하여 SIFT, SURF, AKAZE, ORB 검출기를 연구 대상으로 비교하였다.

3.2 연구 방법

본 연구의 성능 지표로 정의한 속도, 정확도 중 특히 정확도의 경우는 이미지의 변형된 형태에 따라 다르게 나타날 수 있다. 따라서 본 추천 시스템 설계 및 실험을 위해 여러 가지 변형된 이미지를 수집하기 위하여 총 9가지의 변환을 만들어 데이터 세트를 형성하였다. 데이터 세트의 정확도 비교는 이미지 매칭 알고리즘을 통하여 진행하였다.

표 1은 데이터 세트의 종류를 나타내고, 표 2는 데이터 세트의 변환 종류를 나타낸다. 표 1에 나타낸 것과 같이 총 67장의 원본이미지를 표 2에 나타난 변환 방법을 활용하여 각 원본 별로 9가지의 변형된 이미지를 9장씩 추가로 생성하여 실제 실험에는 총 670장의 이미지가 활용된다.

Table 1.

Dataset category

Table 2.

Dataset transform type

데이터 수집 후 실제 검출기 알고리즘을 수행하여 각 데이터로부터 성능을 확인한다. 그 후 확인된 성능으로부터 수준을 정하였다. 검출기 검증을 통해 도출된 수준들로부터 추천 모델을 정하였다. 그 후 완성된 추천 모델을 검증을 통해서 올바른지 확인하였다.

Ⅳ. 특징점 검출기 추천시스템 설계 및 실험

4.1 데이터 세트를 활용한 검출

4.1.1 속도

특징점을 추출하는 속도를 측정하여 픽셀사이즈로 나누어 값을 도출하였다. 표 3은 데이터 세트를 활용하여 실험한 각 검출기의 속도이다. ORB, SURF, AKAZE, SIFT 순으로 고속으로 검출되었다.

Table 3.

Feature detection time(TPP)

4.1.2 정확도

데이터 세트 총 670장에 대하여 각 특징점 검출 알고리즘을 수행하여 나온 이미지들을 대상으로 원본 이미지의 특징점과 변환 이미지의 특징점의 유사도를 비교하였다. 이를 통해 특징점이 매칭된 정도를 기반으로 정확도를 측정하였다. 총 9가지 변환 종류에서 자르기와 사이즈 변환의 경우 두 가지로 나뉘어져 있지만 하나로 표현이 가능하기 때문에 정확도 모델은 총 7가지 종류로 사용한다. 표 4는 카테고리 별 평균 일치율을 측정한 결과이다. ORB 검출기의 정확도가 전반적으로 높게 나타난 반면 SURF 검출기의 정확도가 가장 낮게 나타났다. SIFT 검출기의 경우 과일과 사람 데이터에 대해서 가장 높은 정확도를 나타났다.

Table 4.

Matching rate by category

한편, 표 5와 같이 이미지 변환 정확도를 비교하였다. 부분 추출의 경우 대부분 비슷한 결과를 나타냈고, 크기 변환의 경우 AKAZE가 가장 좋은 성능을 보였다. 왜곡과 회전의 경우 SIFT가 가장 좋은 성능을 보였고, 가우시안 흐림과 모션 흐림, 소금 후추 노이즈의 경우에는 ORB가 가장 좋은 성능을 보였다. 또한 ORB의 경우 이미지 변환별 데이터 및 이미지 카테고리별 데이터에 일정한 경향을 보이는 것으로 대부분의 상황에 대해 강건성이 뛰어남을 알 수 있다.

Table 5.

Matching rate by transformation

4.2 특징점 검출기 추천 모델 설계

특징점 검출기를 추천 모델은 크게 사용자의 요구를 입력하는 단계와 이 입력값을 활용하여 추천 모델을 계산하는 과정으로 크게 구분된다.

• ◦ Step 1: 추천 모델 사용자 요구사항 입력

사용자는 변환의 우선순위 정확도 선택 속성을 7가지 중 3가지 선택한다. 즉, 렌즈 왜곡, 가우시안 흐림, 움직임 흐림, 부분 추출, 이미지 회전, 소금 후추 노이즈, 크기 변환 중 높은 정확도를 요구하는 세 개의 항목을 선택한다.

• ◦ Step 2: 최적의 특징점 검출기 도출

사용자 입력으로부터 실험을 통해 도출된 성능값을 기반으로 점수를 계산하여 점수가 가장 높은 검출기를 추천한다. 이 때 추천을 위한 점수는 식 (1)을 통해 계산된다.

$\[ S=\frac{4a+2b+c}{3}\text{*}accuracy+\frac{\text{exp}\left(speed\right)}{\sqrt{\left(TPP\right)}} \]$

(1)

• S : 모델 측정 점수
• a : 1순위 정확도, b : 2순위 정확도, c : 3순위 정확도,
• accuracy : 사용자가 응답한 정확도의 중요도(1~5),
• TPP：검출기의 픽셀 당 연산시간(sec),
• speed : 사용자가 응답한 속도의 중요도

즉, 임의로 주요하게 생각하는 정확도를 우선순위 매개변수로 입력하고, 정확도와 속도의 중요도를 입력하여 도출된 결과와 그 결과를 기반으로 특정 이미지에 대해 실제 특징점 검출기를 통해 추천 결과와 같은지를 검증하는 실험을 반복하여 실시하였다. 그 결과 추천의 정확도가 가장 높은 식 (1) 계산식을 도출할 수 있었다. 본 알고리즘은 최적의 알고리즘에 대한 순서를 제공하는 것이 주요 목적이므로, 순위를 명확히 하기 위하여 우선 순위 가중치는 차순위 가중치에 2배의 가중치를 부여하도록 설계하였다.

4.2.1 모델의 검증

모델 검증 실험을 위하여 특징점 탐지 및 특징량 추출 알고리즘 추천 모델의 설계를 기반으로 프로토타입을 개발하였다. 모델 검증 실험을 위해 임의의 이미지를 선택하고 시제품의 추천 프로그램을 수행하였다. 입력 변수로 정확도와 속도의 중요도, 정확도는 한 단계 더 상세화하여 선호하는 우선순위 변환 기법 세 개를 순위를 입력 하도록 기능을 구현하였다. 검증 실험을 위해 정확성 중요도 가중치를 3, 속도 중요도 가중치를 2로 입력하였다. 또한 변환의 정확도에 대한 우선순위는 1순위 렌즈 왜곡, 2순위 이미지 회전, 3순위는 소금후추 노이즈를 선택하였다. 추천 수행 결과 그림 2와 같이 SIFT가 추천되었다.

Fig. 2.

Score of recommendation model

다음으로 추천 모델의 신뢰성을 검증하기 위하여, 결과값가 동일하게 SIFT가 최적의 특징점 검출기인지를 확인하기 위한 실험을 수행하였다. 이를 위해 추천 프로그램 실험과 동일한 이미지를 선택하여 추천 모델 수행 시 선택한 변환 종류와 동일하게 SIFT, SURT, AKAZE, ORB 검출기의 렌즈 왜곡, 이미지 회전, 소금 후추 노이즈를 각각 개별적으로 측정하고 검출기 별 합계값을 비교하였다. 합계 값은 검증 이미지에서 시간과 이미지 매칭율을 계산하여 산출하였으며, 그 결과 표 6과 같이 SIFT가 579.98 점수로 가장 적합도가 높게 나타났다.

Table 6.

Result of validation image

합계값은 추천 프로그램의 결과값 과는 약간의 차이가 있으나, 검출기는 정확하게 동일함을 확인할 수 있었다. 표 5에서 SURF는 전체 이미지에서 평균적으로 낮은 정확도를 가지고 있지만, 표 6에서 사용한 검증 이미지의 경우 SURF를 사용하였음에도 평균대비 높은 정확도를 보임을 알 수 있다. 이는 랜덤으로 설정되어 생성되는 데이터 세트의 부족으로 특이값에 의한 영향이라 할 수 있다.

Ⅴ. 결론 및 향후 과제

컴퓨터 비전 분야에서 최근 많이 활용되고 있는 특징점 탐지 및 특징량 추출 알고리즘 도구들은 특정 상황에 따라 속도와 정확도의 차이를 보이며 특징점 탐지와 특징량 검출은 성능을 위해 개별적으로 선택되어 질 수 있다. 이러한 점에 착안하여 본 연구에서는 분석 특성에 맞는 특징점 검출기를 추천하는 모델을 개발하였다. 또한 모델의 신뢰성을 검증하기 위하여 추천된 모델과 실제 이미지를 선택하여 실제 매칭율을 비교하여 추천값과 일치함을 보였다.

본 연구는 다수의 특징점 검출기를 대상으로 사용자가 분석하고자 하는 대상에 적합하고, 사용자가 원하는 중요도를 도구 선정의 특성에 반영할 수 있는 보다 정교한 도구 선택의 기회를 제공한다는데 그 의의가 있다.

한편, 본 모델의 정확도를 높이고 특징점 탐지 및 특징량 추출 알고리즘 별 우선순위가 아닌 적합도를 가중치 형태로도 추천하는 형태의 설계를 위해서는 더 다양한 검출기를 대상으로 하여 알고리즘 성능 속성 지표들을 추가하고, 더 많은 데이터 세트를 통한 최적화 실험이 요구된다.

References

• M. Dusmanu, I. Rocco, T. Pajdla, M. Pollefeys, J. Sivic, A. Torii, and T. Sattler, "D2-net: A trainable CNN for joint description and detection of local features", In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, pp. 8092-8101, Jun. 2019. [https://doi.org/10.1109/CVPR.2019.00828]
• A. S. Mian, M. Bennamoun, and R. Owens, "Keypoint detection and local feature matching for textured 3D face recognition", International Journal of Computer Vision, Vol. 79, No. 1, pp. 1-12, Aug. 2008. [https://doi.org/10.1007/s11263-007-0085-5]
• E. Karami, S. Prasad, and M. Shehata, "Image matching using SIFT, SURF, BRIEF and ORB: performance comparison for distorted images", arXiv preprint arXiv:1710.02726, , Oct. 2017.
• D. G. Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110, Nov. 2004. [https://doi.org/10.1023/B:VISI.0000029664.99615.94]
• H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, "Speeded-up robust features (SURF)", Computer vision and image understanding,　Vol. 110, No. 3, pp. 346-359, Jun. 2008. [https://doi.org/10.1016/j.cviu.2007.09.014]
• H. Bay, T. Tuytelaars, and L. Van Gool, "Surf: Speeded up robust features", In European conference on computer vision, Springer, Berlin, Heidelberg, pp. 404–417, May 2006. [https://doi.org/10.1007/11744023_32]
• P. F. Alcantarilla, A. Bartoli, and A. J. Davison, "KAZE features", In European Conference on Computer Vision, Springer, Berlin, Heidelberg, pp. 214-227, Oct. 2012. [https://doi.org/10.1007/978-3-642-33783-3_16]
• P. F. Alcantarilla and T. Solutions, "Fast explicit diffusion for accelerated features in nonlinear scale spaces", IEEE Trans. Patt. Anal. Mach. Intell Vol. 34, No. 7, pp. 1281-1298, Oct. 2011.
• S. K. Sharma and K. Jain, "Image Stitching using AKAZE Features", Journal of the Indian Society of Remote Sensing, Vol. 48, No. 10, pp. 1389-1401, Oct. 2020. [https://doi.org/10.1007/s12524-020-01163-y]
• D. G. Viswanathan, "Features from accelerated segment test (fast)", In Proceedings of the 10th workshop on Image Analysis for Multimedia Interactive Services, London, UK, pp. 6-8, May 2009.
• M. Calonder, V. Lepetit, C. Strecha, and P. Fua, "Brief: Binary robust independent elementary features", In European conference on computer vision, pp. 778-792, Sep. 2010. [https://doi.org/10.1007/978-3-642-15561-1_56]
• E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, "ORB: An efficient alternative to SIFT or SURF", In 2011 International conference on computer vision, IEEE, pp. 2564-2571, Nov. 2011. [https://doi.org/10.1109/ICCV.2011.6126544]
• R. Mur-Artal and Ju. D. Tardos, "Orb-slam2: An open-source slam system for monocular, stereo, and RGB-d cameras", IEEE Transactions on Robotics, Vol. 33, No. 5, pp. 1255-1262, Oct. 2017. [https://doi.org/10.1109/TRO.2017.2705103]
• N. M. Suaib, M. H. Marhaban, M. I. Saripan, and S. A. Ahmad, "Performance evaluation of feature detection and feature matching for stereo visual odometry using SIFT and SURF", In 2014 IEEE REGION 10 SYMPOSIUM, IEEE, pp. 200-203, Apr. 2014. [https://doi.org/10.1109/TENCONSpring.2014.6863025]
• S. A. K. Tareen and Z. Saleem, "A comparative analysis of sift, surf, kaze, akaze, orb, and brisk", In 2018 International conference on computing, mathematics and engineering technologies (iCoMET), IEEE, pp. 1-10, Mar. 2018. [https://doi.org/10.1109/ICOMET.2018.8346440]
• H. Y. Lim and D. S. Kang, "A Study of VSW Algorithm using Feature Points for the Accurate Tracking of Objects", The Journal of Korean Institute of Information Technology, Vol. 9, No. 1, pp. 201-206, Jan. 2011.
• H. Y. Lim and D. S. Kang, "A Study of Enhanced Moving Object Detection Method based on Speeded up Robust Feature Points", The Journal of Korean Institute of Information Technology, Vol. 10, No. 4, pp. 179-184, Apr. 2012.
• C. Park and S. Moon, "The design and implementation of Object-based bioimage matching on a Mobile Device", The Journal of Internet Computing and Services, Vol. 20, No. 6, pp. 1-10, Dec. 2019.
• S. C. Kang, I. Whoang, and K. N. Choi, "A Scheme for Matching Satellite Images Using SIFT", The Journal of Internet Computing and Services, Vol. 10, No. 4, pp. 13-23, Aug. 2009.
• S. Lee and J. Nang, "A Near-Duplicate Image Detection System for Design Contents Using SIFT", KIISE Transactions on Computing Practices Vol. 25, No. 5, pp. 257-262, May 2019. [https://doi.org/10.5626/KTCP.2019.25.5.257]
• R. Mur-Artal, J. M. M. Montiel, and J. D. Tardos, "ORB-SLAM: a versatile and accurate monocular SLAM system", IEEE transactions on robotics, Vol. 31, No. 5, pp. 1147-1163, Aug. 2015. [https://doi.org/10.1109/TRO.2015.2463671]
• K. Peng, X. Chen, D. Zhou, and Y. Liu, "3D reconstruction based on SIFT and Harris feature points", In 2009 IEEE International Conference on Robotics and Biomimetics (ROBIO), IEEE, pp. 960-964, Dec. 2009. [https://doi.org/10.1109/ROBIO.2009.5420735]
• C. Ancuti and P. Bekaert, "More effective image matching with scale invariant feature transform", In Proceedings of the 23rd Spring Conference on Computer Graphics, pp. 71-78, Apr. 2007. [https://doi.org/10.1145/2614348.2614359]
• G. WYSZECKI and W. S. Stiles, "Color Science: Concepts and Methods, Quantitative Data and Formulae, 2nd Edition", Wiley-Interscience, Aug. 2000.