객체 윤곽선 체인코드의 빈도수 정규화와 복잡도에 기반하는 영상 검색

Ⅰ. 서 론

멀티미디어 정보화 사회에서 데이터양이 증가되면서 4차 산업혁명의 요소기술인 빅데이터 이용도 활발해 지고 있다. 그러나 멀티미디어 콘텐츠의 다양성과 빅데이터의 요구로 이를 검색하고 활용하는 데는 한계가 있다. 이에 따라 현대 콘텐츠 정보화 사회에서는 택스트 기반 검색과 함께 콘텐츠 기반 영상검색(CBIR, Content Based Image Retrieval)의 병행이 필요하게 되는 것이다.

그러나 텍스트 기반 검색기법은 데이터베이스 영상을 각각의 텍스트 키워드로 정의하지만, 영상의 배경이나 객체에 따라 다양한 표현이 가능하므로 객관적인 키워드만으로 수많은 영상을 정의하는 것은 무리가 따르게 되며 개인의 주관적인 의견이 들어가기 쉽고 빠르게 제작되고 있는 영상정보에 일일이 키워드로 정의하는 작업도 어렵고 번거로운 작업이 된다. 따라서 텍스트 기반 검색방법과 함께 영상이 가지고 있는 객관적인 특징 정보를 이용하는 내용 기반 CBIR에 대한 연구가 활발히 진행되고 있다[1]-[3].

CBIR은 색상, 형태, 질감 그리고 객체 움직임에 의해서 특성이 기술되어 진다. 색상은 형태와 함께 영상에서 객체를 식별하는 중요한 특성요소 중 하나이며 영상검색에서 널리 사용되어지는 시각 특성 중의 하나이다[4]-[6].

영상검색에서 색상정보를 표현하기 위한 일반적인 기법으로는 RGB, HSV, 색상 히스토그램 등이 있다. 색상정보 표현방식은 상호 변환이 가능하며 색상 히스토그램은 3개 색상 채널의 빈도수를 나타내며 영상 내 객체의 각 구성요소보다는 영상의 빈도수를 나타내는데 더 적당하며 알고리즘이 비교적 간단하지만 영상 내 객체의 크기 변화나 회전 등에 비교적 강한 편이다. 그러나 서로 이웃에 있는 화소들 사이 간의 위치정보는 부족하기 때문에 대략적인 객체 정보만을 가지고 있는 히스토그램은 영상의 공간 정보가 상실된다는 단점이 있다. 색상 정보뿐만 아니라 질감 정보를 사용하여 검색 성능을 향상시키는 방법도 발표되고 있다[7].

질감은 인간의 시각에 있어 중요한 정보이며, 많은 실제 영상들의 내용을 표현하기 위하여 사용된다. 주로 항공이나 위성사진에 의한 지형 분석 등에 이용되고 있으며 연관된 화소들 간의 공간적인 분포에 의해서 결정된다. 하지만 일정한 규칙성을 가지는 영상만이 분석 가능하다는 단점을 가지며 영상의 크기에 따라 계산양이 많고 통계 값 알고리즘이 복잡하다는 단점을 갖는다.

형태 정보는 객체의 윤곽을 구분 짓는 특성으로 하나의 객체를 인식하기 위한 기하학적 속성을 제공한다. 이는 객체의 유한요소, 다각형 근사, 윤곽 특징 등으로 표현할 수 있으며 객체의 윤곽선은 객체의 크기나 놓여있는 위치 등에 영향을 받지 않는다는 장점을 가지고 있다. 그러나 기하학적 속성으로 윤곽정보를 이용하는 객체형태 검색의 여러 장점에도 불구하고 제기되고 있는 객체의 유사성에 대한 객관적인 형태 정의가 어렵고 형태 모양의 추출 및 모델링이 어렵다는 제한점을 갖는다.

Tsorng-Lin Chia 등은 형태 검색을 위해 체인 코드 생성의 병렬 기법을 제안하였다. 논문에서 윤곽선은 외부 및 내부 객체 윤곽선에 대한 체인 코드를 생성하기 위해 하향식 윤곽 추적 방법으로 추적할 수 있는 모서리 (또는 윤곽선 세그먼트) 세트를 이용하고 있다[8].

J. A. Park 등은 프리맨 체인 코드의 통계적 표현에 기반하여 윤곽선을 추출하고 배열 히스토그램 수를 계산 한 후 재배열 체인 코드의 평균과 분산을 계산하는 방식으로 하는 검색기법을 제안하였다[9]. 그리고 윤곽선 코너의 패치 재배열 특성을 이용하여 객체를 검색하는 기법을 발표하였다[10]. 또한 체인코드의 빈도수에 기반하여 윤곽선의 특징벡터를 추출하는 새로운 알고리즘을 제안하였다. 객체 윤곽선에서 체인코드를 구한 후, 체인코드의 최대 빈도수 순서대로 재배열하였다. 그리고 체인코드의 빈도수를 정규화 시킨 후 이를 라운드오프(Round-off) 함으로서 윤곽선의 특징벡터를 추출하는 알고리즘을 발표하였다[11].

본 연구에서도 형태검색의 제한점을 개선하기 위하여 체인코드 빈도수를 재배열하고 정규화한 특성벡터와 함께 면적 기반 복잡도를 조합하는 영상검색 기법을 제안한다. 그리고 Wang DB를 이용하여 제한된 환경 하에서 시뮬레이션 한 결과, 제안한 기법이 기존 체인코드 기법보다 검색성능이 우수함을 확인하고자 한다.

본 논문은 5장으로 구성되며, 2장에서는 체인코드를 이용한 영상검색 알고리즘에 대해서 기술한다. 3장에서는 기존의 알고리즘이 가지고 있는 문제점을 기술하고 이를 보완할 수 있는 새로운 기법을 제안한다. 4장에서는 설계 및 구현한 시스템에 대한 실험결과를 도시한다. 그리고 5장에서는 결론 및 향후 연구 방향에 대해 기술한다.

Ⅱ. 차분값 기반 정규화 체인코드

객체 윤곽선의 체인코드 빈도수 재배열을 위한 요소 기술은 다음과 같다.

영상의 전체 픽셀 값을 저장하는 방법보다 윤곽선에 존재하는 픽셀의 위치만 기록하여, 윤곽선 추적에 의하여 얻어진 윤곽선이나 또는 8 방향, 4 방향 선들로 이루어진 영상을 저장하는 방법이 효율적이다. 이보다 더 좋은 방법은 맨 처음 픽셀의 좌표만 기록하고 나머지 픽셀들의 위치는 이전 픽셀에 대해 상대적으로 표현하는 것인데, 예를 들어 이전 픽셀의 왼쪽, 오른쪽, 아래쪽, 위쪽 등으로 표현하는 것이 아니라 체인코드의 마스크 숫자로 표현하는 것이다. 이렇게 방향이 숫자로 표시된 것을 표현하는 방법을 체인코드라 한다[5].

일반적으로 좌측 상단의 픽셀을 시작점으로 하여 관심 영역이 검색 될 때까지 순차주사를 하여 윤곽선을 검출하기 위한 체인코드의 검색 시작점을 결정한다. 다음과 같은 식에 의한 트래킹으로 에지를 추적하여 체인코드를 만든다.

여기서 N_i+1은 다음 중심점의 최초 후보지를 N_i는 현재 중심점의 이동 방향을 의미하며, 5는 경계표본화를 위해 설정한 격자크기, &7은 8 방향 체인코드 방식에서 N이 가질 수 있는 범위, 즉, 0～7까지를 벗어나지 못하게 마스킹 씌운 것이다.

Ⅲ. 객체 윤곽선의 체인코드 빈도수 재배열 알고리즘 설계

영상 내에서 특징자로 활용할 수 있는 많은 속성이 객체에 부여되는데, 본 논문에서는 2D 객체 복잡도를 정의할 때, 몇 가지 원칙을 정의했다. 첫 번째로, 객체의 전체 면적 대비 빈도수로 정렬된 체인코드의 개수로 복잡도를 측정한다. 두 번째, 원은 최소의 복잡성을 가진다. 마지막으로 빈도수가 적은 체인코드의 길이는 복잡도 계산에서 제외한다.

객체의 형태 복잡도는 형태 검색에 있어서 중요한 요소이다. 그러므로 형태 검색의 성능을 개선시키기 위해 형태 복잡도를 기존 차분값 기반 정규화 체인코드 알고리즘에 조합한 새로운 형태 검색 기법을 제안하였다.

그림 1은 제안한 알고리즘을 위한 순서도이다. 제안하는 방법은 크게 5단계의 과정으로 구성된다. 우선, 첫 번째 과정은 전처리를 통해 입력 영상으로부터 윤곽선을 추출하고 윤곽선을 따라 체인코드를 추출한다.

Fig. 1.

Proposed algorithm

두 번째 과정은 체인코드를 추출하고 난 후, 표 1처럼 원 체인코드를 크기순으로 재배열한 후 빈도수로 2차 재배열을 한다.

Table 1.

Chain code rearrangement

세 번째 과정은 선형 체인코드의 상대적 비율을 최종 특성자로 활용하기 위해, 표 2처럼 빈도수로 2차 재배열된 체인코드 벡터를 앞 코드 빈도수를 뒷 코드 빈도수로 나누어서 정규화 시킨다.

Table 2.

Chain code normalization

네 번째 과정은 식 (2)을 이용하여 객체의 전체 면적을 구한 후, 식 (3)를 이용하여 형태 복잡도를 계산한다.

여기에서, A_T는 검출된 객체의 픽셀수를 계산하여 전체 면적을 나타내고, O_c는 형태 복잡도를, C_c는 체인코드 개수를 나타낸다. 같은 면적일 떄 체인코드 개수가 많으면 형태의 복잡도가 증가하는 것으로 보고, 면적대비 체인코드 길이를 복잡도를 O_c로 계산하였다.

다섯 번째 과정은 세 번째와 네 번째 과정에서 구한 재배열된 빈도수 정규화 체인코드 벡터와 형태 복잡도를 이용하여 코렐로그램으로 특징 벡터를 추출한다.

마지막 과정은 다섯 번째 과정에서 구한 특징 벡터 테이블을 이용하여 데이터베이스 내의 영상과 질의영상을 비교하고 유사도를 측정하여 유사 영상을 검색한다.

Ⅳ. 시뮬레이션

본 논문에서 제안한 알고리즘은 MATLAB 8.1 소프트웨어를 사용하여 2개의 질의영상에 대하여 기존의 차분값 기반 체인코드 검색기법과 비교하여 실험을 하였다. 실험 환경에서 질의영상과 데이터베이스를 구성하는 후보 영상들은 Wang DB 중 질의영상1(하우스)과 질의영상2(플라워)를 이용하였다. 먼저 질의영상은 모두 같도록 구성하였고 비교되는 한 영상에 20개의 유사 영상을 유사한 순서대로 검색하도록 정의해 놓았다. 데이터베이스는 서로 다른 크기의 칼라 JPEG 영상 1,000개로 구성하였다. 실험 결과 분석을 위해, 식 (4), (5)와 같이 정의되는 정확도 P(Precision)와 재현율 R(Recall)을 평가지표로 사용하였다.

• T : 데이터베이스에서 질의와 관련된 항목의 총 수
• Rr : 검색된 항목 중 질의와 관련된 항목의 수
• Tr : 검색된 항목의 총 수

시뮬레이션 결과 그림 2와 그림 3은 질의영상 하우스에 대한 기존의 차분값 기반 체인코드 기법과 본 논문에서 제안한 알고리즘을 이용한 실험 결과이다. 그림 4와 그림 5는 차분값 기반 체인코드 기법과 본 논문에서 제안한 알고리즘을 이용하여 실험한 결과이다.

Fig. 2.

Difference value based chaincode algorithm retrieval results for query image 1

Fig. 3.

Proposed algorithm retrieval results for query image 1

Fig. 4.

Difference value based chaincode algorithm retrieval results for query image 2

Fig. 5.

Proposed algorithm retrieval results for query image 2

위와 같은 실험을 통하여 기존의 차분값 기반 영상검색과 본 논문에서 제안한 영상검색 방법에 대한 정확도와 재현율에 대한 결과는 표 3, 4, 5와 같다. 회전에 강인한 특성을 가지는 재배열 빈도수 체인코드와 스케일 변화에 강인한 형태복잡도를 이용하였으므로, 배경이 복잡하거나, 객체의 형태가 복잡한 경우 객체의 검출이 잘 안되거나 형태복잡도의 계산에 오차율이 높아져서 배경이 단순한 영상이나, 복잡도가 낮은 영상에 대비 배경이 있거나 복잡도가 높은 질의 영상의 검색 효율이 좋지 않았다. 이들 결과에서 배경을 갖지 않거나 복잡도가 낮은 질의영상 검색에서 제안된 방법이 정확도와 재현율 모두 개선됨을 확인할 수 있었다.

Table 3.

Precision & recall comparison of Fig. 2, 3

Table 4.

Precision & recall comparison Fig. 4, 5

Table 5.

Precision & recall comparison

Ⅳ. 결 론

본 연구에서는 형태 기반 영상검색의 성능을 개선하기 위해 영상 객체 윤곽선의 체인코드의 빈도수를 재배열하고 정규화 하여 얻은 특성벡터와 조합하여 면적 복잡도를 기반으로 하는 형태검색 기법을 제안하였다. 제안된 기법의 영상검색 성능을 확인하기 위하여 Wang DB 영상을 이용하여 시뮬레이션을 수행한 결과 차분값 기반 체인코드 기법과 비교하여 제안된 기법의 정확도가 5%, 재현율은 6%가 향상되어 보다 우수한 검색 성능을 가진다는 것을 확인하였다. 이와 같이 본 논문에서 제안한 검색기법은 객체 윤곽선의 체인코드 빈도수 재배열과 복잡도를 기반으로 하기 때문에 간단하게 형태검색의 재현율과 정확도를 높일 수 있다. 또한 색상 기반 영상검색 대비 이치영상으로 연산수를 감소시키게 되므로 검색속도가 빠르다.

Acknowledgments

이 논문은 2017년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(NO.NRF-2017R1A6A1A03015496)

References

• M. Yasmin, S. Mohsin, and M. Sharif, "Intelligent Image Retrieval Techniques: A Survey", Journal of Applied Research and Technology, Vol. 12, No. 1, pp. 87-103, Feb. 2014. [https://doi.org/10.1016/S1665-6423(14)71609-8]
• M. K. Alsmadi, "Content-Based Image Retrieval Using Color, Shape and Texture Descriptors and Features", Arabian Journal for Science and Engineering, Vol. 45, pp. 3317-3330, Feb. 2020. [https://doi.org/10.1007/s13369-020-04384-y]
• K. Zekri, A. G. Touzi, and Z. Lachiri, "A comparative study of texture descriptor analysis for improving content based image retrieval", 2017 International Conference on Control, Automation and Diagnosis (ICCAD), Hammamet, Tunisia, pp. 19-21, Jan. 2017. [https://doi.org/10.1109/CADIAG.2017.8075665]
• R. M. Rasli, T. Z. T. Muda, Y. Yusof, and J. A. Bakar, "Comparative Analysis of Content Based Image Retrieval Techniques Using Color Histogram: A Case Study of GLCM and K-Means Clustering", Conference proceedings, 2012 Third International Conference on Intelligent Systems Modelling and Simulation, IEEE, Kota Kinabalu, Malaysia, pp. 283-286, Feb. 2012. [https://doi.org/10.1109/ISMS.2012.111]
• M. Riaz, Y. E. An, and J. A. Park, "Feature Vector Extraction System Based on Adaptive Segmentation of HSV Information Space", Computer Modelling and Simulation, UKSIM '09. 11th International Conference, Cambridge, UK, pp. 239-244, Mar. 2009. [https://doi.org/10.1109/UKSIM.2009.39]
• D. Y. Park, "Quantitative Image Analysis of Fluorescence Image Stacks: Application to Cytoskeletal Proteins Organization in Tissue Engineering Constructs", JAITC, Vol. 9, No. 1, pp. 103-113, Jul. 2019. [https://doi.org/10.14801/JAITC.2019.9.1.103]
• J. H. Park, S. Y. Park, W. H. Cho, and I. S. Oh, "Content-based Image Retrieval using the Color and Wavelet-based Texture Feature", Journal of KIISE, Vol. 30, No. 2, pp. 125-133, Feb. 2003.
• Tsorng-Lin Chia, Kuang-Bor Wang, Lay-Rong Chen, and Zen Chen, "A parallel algorithm for generating chaincode of objects in binary images", Elsevier, Information Sciences, Vol. 149, No. 4, pp. 219-234, Feb. 2003. [https://doi.org/10.1016/S0020-0255(02)00267-0]
• J. Park, K. M. M. Chisty, J. Lee, Y. An, and Y. Choi, "Image Retrieval Technique Using Rearranged Freeman Chain Code", 2011 First International Conference on Informatics and Computational Intelligence, Bandung, Indonesia, pp. 283-286, Dec. 2011. [https://doi.org/10.1109/ICI.2011.54]
• J. M. Lee, J. A. Park, and Y. E. An, "Shape Retrieval based on the Line using Corner Patch Rearrangement Feature", Proceedings of KIIT Summer Conference, pp. 49-50, Jun. 2015.
• J. A. Park and Y. E. An, "Feature vectors of normalized Chain code based on the maximum voting", Journal of KIIT, Vol. 8, No. 9, pp. 175-180, Sept. 2010.