[ Article ]

The Journal of Korean Institute of Information Technology - Vol. 16, No. 5, pp.113-118

ISSN: 1598-8619 (Print) 2093-7571 (Online)

Print publication date 31 May 2018

Received 07 Apr 2018 Revised 03 May 2018 Accepted 06 May 2018

DOI: https://doi.org/10.14801/jkiit.2018.16.5.113

HSV 색상과 에지 방향을 이용한 내용기반 영상 검색

송주환^*

*전주대학교 스마트미디어학과 교수

Content-based Image Retrieval Using HSV Color and Edge Orientation

Juwhan Song^*

Correspondence to: Juwhan Song Dept. of Smart Media, Jeonju University, 303 Cheonjam-ro, Wansan-gu, Jeonju-si, 55069, Korea, Tel.: +82-63-220-2912, Email: jwsong@jj.ac.kr

초록

본 논문에서는 HSV의 색상과 에지 방향을 이용한 내용기반 영상 검색 방법을 제안한다. 제안된 알고리즘은 RGB 색상의 영상을 HSV 색상의 영상으로 변환한 뒤 색조(Hue)와 명도(Value)를 이용하여 에지 방향을 구한다. 색조와 명도, 그리고 에지 방향을 각각 양자화 한 후 모은 값을 영상의 특징벡터로 정의한다. 각 영상의 특징벡터는 데이터베이스에 저장한 후 질의로 입력된 영상의 특징벡터와 비교하여 유사영상들을 검색한다. 사용한 영상은 Corel 1000 데이터베이스의 영상 1000개이고, 이를 사용하여 검색 성능을 분석하였다. 실험한 결과 제안된 방법을 색상 정보만을 이용한 방법과 색상 차에 대한 히스토그램을 이용한 방법, 색상에 대한 코렐로 그램을 이용한 방법과 비교하였더니 상위 20개에 대한 평균 정확률에 대한 비교 결과 제안 방법이 각각 0.06, 0.01, 0.10 더 높게 나와 더 우수함을 알 수 있었다.

Abstract

In this paper, we propose a content-based image retrieval system using hue and value of the HSV color model and edge orientation. The proposed algorithm converts an RGB color image into an HSV color image, and then finds the edge orientation using the hue and the value. The values, which are obtained by quantizing the hue, value, and edge orientation, respectively, are defined as feature vectors of the image. The feature vectors of each image are stored in the database and then compared with the feature vector of the input image. The retrieval performance was tested using 1000 images of Corel 1000 database. Experimental results show that the proposed method retrieves images more effectively than the standard color histogram method, the color difference histogram method, and the color corelogram method. The average precision for the top 20 was 0.06, 0.01, and 0.10 higher than the comparison methods.

Keywords:

CBIR, image retrieval, color histogram, edge orientation, HSV color, feature extraction

Ⅰ. 서 론

디지털 카메라와 스마트 폰 등의 멀티미디어 장비와 컴퓨터의 급격한 발전으로 멀티미디어 데이터의 양은 기하학적으로 늘었고 품질은 매우 향상되었다. 또한 인터넷의 발달로 용량이 더 커진 멀티미디어 데이터를 빠르게 배포될 수 있는 환경이 만들어졌다. 따라서 기존의 텍스트 기반 검색 방법 대신 영상을 직접 검색하는 내용기반 영상 검색 알고리즘에 대한 연구가 활발해졌다[1].

내용 기반 영상 검색에 일반적으로 사용하는 특징 정보는 색상(Color), 형태(Shape), 질감(Texture) 등이 있으며, 영상으로부터 이들 정보를 자동으로 추출하여 색인으로 사용하는 검색방법이다[2]. 색상 공간을 이용하는 검색 방법 중 1991년에 Swain과 Ballard[3]가 제안한 방법인 색상 히스토그램 방법은 계산이 간단하고 정보 표현이 단순하기 때문에 많이 사용되고 있다. 이 방법은 색상이 많고 복잡한 배경을 가진 영상에 강인하고, 영상의 크기와 회전에 대해 영향을 받질 않는다.

그러나 색상을 이용한 검색은 영상의 기하학적인 정보를 반영하지 못하고 단지 색상만을 반영하기 때문에 이를 기하학적인 정보를 반영하는 방법들이 제안되었다. 1996년에 CCV(Color Coherence Vector) 방법이 Pass와 Zahih[4]에 의해 발표되었고, 2013년에 Lab 컬러를 이용하여 색상의 차이의 히스토그램을 이용한 방법이 Liu와 Yang[5]에 의해 제안되었다. 2012년에 LTrP(Local Tetra Patterns) 방법을 Murala와 Haheshwari[6]가 제안하였다. 이는 수평과 수직 방향에 대한 1차 미분을 통하여 기울기를 구하고 그 기울기를 기반으로 부호화 하는 방법이다. 2012년에 색상에 대한 모멘트와 Gabor 특징을 활용한 영상 검색 방법을 Signh와 Hemachandran[7]가 제안하였다.

색상 정보만으로는 부족하다는 것을 알고 질감, 모양 등의 특징을 추가하여 검색 성능을 향상시키는 다양한 방법들이 제안되고 있다.

본 논문의 구성은 다음과 같다. 2장에서는 논문의 기초가 되는 HSV 색상에 대한 설명과 RGB 색상을 HSV로 변환하는 방법을 기술한다. 3장에서는 HSV 색조와 명도 그리고 에지 방향을 이용하는 영상 검색 방법을 제안한다. 그리고 4장에서는 실험 결과에 대해서 설명하고, 이에 대한 분석을 통해서 제안된 방법이 타당함을 알아본다. 마지막으로 5장에서는 결론과 향후 추가로 연구해야 할 과제를 제시한다.

Ⅱ. 관련 연구

2.1 HSV 색상

RGB 모델은 빛의 3원색에 대한 가산 혼합 원리를 응용하여 색상을 표현한다. 빛의 3원색인 빨강, 녹색, 파랑에 각 8비트씩 할당하여 색상을 총 24비트로 표현한다[8]. 이에 반하여 HSV 색상 모델은 색조(Hue), 채도(Saturation), 명도(Value)로 구성하고, 이는 인간의 시각이 색상을 지각하는 방법을 활용하여 색상 구성 요소를 구분한 것이다. HSV 모델은 색상과 명암에 대한 요소를 별도로 분리하여 사용한다. 이는 조명의 변화에 대한 영향을 줄여주는 장점이 있다[9]. H(Hue)는 인간이 시각을 구분하는 색조를, S(Saturation)는 색조에 대한 강도를, V(Value)는 빛 에너지 강도에 따라 느끼는 밝고 어둠을 나타낸다[8].

2.2 HSV 색상 변환

RGB 색상을 HSV로 변환시키는 수식은 다음과 같다.

V = m a x R, G, B

(1)

S = V - min ⁡ R, G, B i f V ≠ 0 0 o t h e r w i s e

H = 60 G - B V - min ⁡ R, G, B i f V = R 120 + 60 B - R V - min ⁡ R, G, B i f V = G 240 + 60 R - G V - min ⁡ R, G, B i f V = B

R, G, B의 각각의 값은 0과 1사이의 실수로 입력되고, 위 식을 통해 계산된 값 중 H값이 0보다 작으면 H에 360을 더하고, S와 V는 0과 1사이의 값으로 나타난다. H, S, V를 각각 1바이트로 표현하기 위하여 H는 0~360을 2로 나누어 0~179 사이의 정수로, S, V는 각각 0~1사이의 값을 255를 곱하여 0~255 사이의 정수로 표현한다.

Ⅲ. HSV 색상과 에지 방향을 이용한 영상 검색 알고리즘

인간의 시각은 색상과 에지의 방향에 매우 민감하다. 색상과 에지의 방향들 사이의 균일한 차이는 다양한 시각적 효과를 제공한다[5]. 그리고 이 차이는 영상에 대한 분석 및 이해를 하는데 중요한 역할을 한다. 그러나 우리가 아는 한, 색상과 에지의 방향의 균일한 색차를 영상의 표현과 검색에 적용하는 방법에 대한 논문은 거의 없다.

본 논문에서는 HSV 색상과 에지 방향을 이용한 내용기반 영상 검색 방법을 제안한다. 이 방법은 먼저 RGB 색상으로 구성되어 있는 영상을 HSV 색상의 영상으로 변환한 후, HSV 색상을 이용하여 에지 방향을 추출한다. 그리고 색상의 수를 줄이기 위해 양자화하고, 마지막으로 색상 차이를 구하여 이를 이 영상을 대표하는 특징 벡터로 결정한다. 이 특징벡터를 영상 검색에 사용한다. 그림 1에 전체 시스템 구성도를 나타내었다.

Fig. 1.

Flowchart of proposed system

3.1 HSV 색상에서 에지 방향 추출

에지 방향은 사람이 영상을 인식하는데 강한 영향을 미치고 물체의 경계와 무늬 정보를 나타낸다. 본 논문에서는 HSV 색상 공간에서 에지 방향 검출을 위한 효율적인 알고리즘을 채택했다. 일반적으로는 RGB 색상을 회색음영으로 변환하고 회색음영 영상을 기초하여 에지 방향을 구해왔다. 이는 영상의 색 정보가 빠져 에지 방향에 손실이 있게 된다. 본 논문에서는 RGB 색상을 HSV 색상으로 변경한 후 H와 V값을 이용하여 에지 방향을 구한다.

v, hh를 HSV 색상 공간의 V와 H 축을 따르는 단위벡터라 하면 다음 벡터를 사용한다.

μ = ∂ V ∂ x v + ∂ H ∂ x h ν = ∂ V ∂ y v + ∂ H ∂ y h

(2)

g_xx, g_yy, g_xy는 이들 벡터의 내적으로 구할 수 있다.

g x x = μ T μ = ∂ V ∂ x 2 + ∂ H ∂ x 2

(3)

g y y = ν T ν = ∂ V ∂ y 2 + ∂ H ∂ y 2

g x y = μ T ν = ∂ V ∂ x ∂ V ∂ y + ∂ H ∂ x ∂ H ∂ y

위의 벡터를 구현하는 데 필요한 부분 도함수는 소벨(Sobel) 연산을 사용하여 계산하였다. 소벨 연산은 잡음에 덜 민감하고 계산 부하가 적기 때문에 사용한다. HSV 색상 공간의 임의의 좌표 (x, y)에서의 최대 변화율의 방향은 다음 식을 이용하여 구한다[5].

φ x, y = 12 a r c t a n 2 g x y g x x - g y y

(4)

(x, y)좌표에서의 최대 변화율의 방향이 φ(x,y)이면, 이 좌표에서의 에지 방향에 대한 기울기는 다음 식을 이용하여 구한다.

G x, y = 12 g x x + g y y - g x x - g y y cos ⁡ 2 φ + 2 g x y sin ⁡ 2 φ 1 / 2

(5)

식 (4)는 90도 떨어진 직교 방향이기 때문에 φ₀과 φ₀+π/2 방향에 대해 각각의 기울기를 구하여 그 중 큰 기울기를 가지는 방향(φ₀ 또는 φ₀+π/2)을 (x, y) 좌표에서의 에지 방향으로 결정한다.

3.2 색상 양자화

본 논문에서는 RGB색상을 HSV색상으로 변환하여 사용하는데, H, S, V에 각각 180개, 256개, 256개의 값을 가지게 되어 180 × 256 × 256 = 11,796,480개의 색상 조함을 가지게 된다. 색상의 종류가 너무 많아 이를 양자화 하여 줄여서 사용한다. S는 사용하지 않고, 0~179 사이의 H를 각 20개씩 묶어서 9개의 값으로 양자화하고, 0~255 사이의 V는 16개씩 묶어서 16개의 값으로 균일하게 양자화 한다. 약 1179만 개의 값으로 표현되는 HSV의 값을 H는 9개로, V는 16개로 나타낼 수 있어 9 × 16 = 144으로 144개의 색상 조합을 얻을 수 있다.

3.3 에지방향 양자화

에지 방향의 값은 360개로 표현이 되는데, 이것도 20개씩 묶는 방법으로 양자화 하여 18개의 에지 방향으로 줄여서 사용한다.

최종적으로는 영상은 144개의 색상과 18개의 에지 방향으로 표현되고, 이를 합하여 총 162개의 값으로 양자화 된다.

3.4 특징 추출과 유사도 비교

색조 정보 H와 명도 정보 V를 사용하여 만든 색상 조합은 144개로 구성되어 있고 이 값에 에지 방향 18개의 값을 추가하여 162개의 값을 영상의 특징 벡터로 사용된다. 기존의 모든 영상에 대한 특징벡터를 추출하여 데이터베이스에 저장하여 둔다. 입력된 질의 영상에 대한 특징벡터를 데이터베이스에 저장된 영상들의 특징벡터와 비교하여 그들의 유사도를 측정하였다. 이를 위해 본 논문에서는 L1- Distance 방법을 사용한다.

D i n s t a n c e Q, I = ∑ k = 1 n f Q, k - f I, k

(6)

위 수식에서 Q는 검색하려는 질의 영상을 의미하고, I는 데이터베이스에 저장된 영상들 중 한 개를 나타낸다. f_Q는 질의 영상에 대한 특징벡터를, f_I는 데이터베이스에 저장된 영상에 대한 특징벡터를 나타낸다. n은 특징 벡터의 크기를 나타낸다.

Ⅳ. 실험 결과 및 분석

본 논문에 제안한 방법에 대한 실험은 Microsoft Windows 10 환경에서 Microsoft Visual C#.Net 2013을 이용하였다. Nuget 패키지 관리자를 통하여 다운받은 OpenCvSharp2 라이브러리를 이용하여 Visual C#.NET 언어로 프로그래밍 하였고 실험에 사용된 영상은 Corel 1000 데이터베이스를 사용하였다[10]. Corel 1000 데이터베이스는 100장씩 10개의 범주로 이루어진 1000장의 영상으로 구성되어 있다.

검색 성능을 측정 평가하기 위하여 우리는 정확률(Precision Rate)과 재현율(Recall Rate)을 사용하였다. 정확률이란 검색이 완료된 후 검색된 영상들 중 질의와 유사한 영상에 대한 비율을 의미하고, 재현율은 전체 데이터베이스의 영상에서 질의와 유사한 영상들 중 실제로 검색된 영상에 대한 비율을 의미한다. 정확률과 재현율은 다음 식을 통하여 구할 수 있다.

P r e c i s i o n = R r T r

(7)

R e c a l l = R r T

(8)

여기에서 T는 검색 대상 중에 질의 영상과 유사한 영상의 총 개수를 나타내고, T_r은 검색된 영상의 총 개수를 나타낸다. R_r은 검색된 영상 중에 질의 영상과 유사한 영상의 개수를 나타낸다.

Flowers와 Horses 범주의 영상에 대한 검색 성능을 비교한 그래프를 그림 2에 나타내었고, 검색된 상위 20개의 영상에 대한 평균 정확률을 표 1에 나타내었다. 이는 비교 대상 3가지 방법에 비해 성능이 우수함을 알 수 있다.

Fig. 2.

Average precision and recall

표 1에서 색상 정보를 이용한 방법(Color)과 Liu의 색상의 차에 대한 히스토그램(CDH)을 이용한 방법[5]과 색상에 대한 코렐로 그램을 이용한 방법(CC)[11]의 평균 정확률을 나타내었다.

Table 1.

Average precision

Color, CDH와 CC와의 정확률을 비교해보면 Indian과 Food 범주의 영상은 제안한 방법의 성능이 많이 떨어지고, Beaches, Horses, Mountains 범주의 영상은 비교 방법 보다는 성능이 좋음을 알 수 있다. 이는 색상 변화가 심한 영상인 Indian과 Food 범주의 영상에서는 색상에서는 좋은 결과를 얻을 수 있지만 에지 방향에서는 효과를 얻질 못한 것으로 판단된다. 그리고 Beaches, Horses, Mountains 범주와 같이 단조로운 색상을 가진 영상에서는 제안한 방법이 더 좋은 결과를 얻은 것으로 판단된다. 최종적으로 Color, CDH와 CC의 평균 정확률은 0.51, 0.56, 0.47의 값이 나왔고, 제안한 방법은 0.57로 가장 높게 나왔다. 제안된 방법이 평균적으로는 좋은 결과임을 보여준다.

Ⅴ. 결론 및 향후 과제

본 논문에서는 우리는 RGB 색상을 사용하는 대신에 색조, 색조의 강도, 명도를 표현하는 HSV 색상을 사용한다. HSV에서 색조를 나타내는 H와 명도 V를 사용하여 만든 색상 조합은 144개에 에지 방향 18개의 값을 추가하여 162개의 값을 영상의 특징벡터로 사용하고 이를 이용하여 검색하는 내용기반 영상 검색 방법을 제안하였다.

본 논문에서 제안한 방법과 비교 대상 방법들을 비교하였더니 색상 변화가 심한 영상에서는 색상에서 좋은 결과를 얻을 수 있지만 에지 방향에서는 효과를 얻질 못한 것으로 판단된다. 그러나 단조로운 색상을 가진 영상에서는 색상에 에지 방향이 더해져 더 좋은 결과를 얻은 것으로 판단된다.

최종적으로 검색되는 상위 20개에 대하여 평균 정확률은 비교 대상 방법들보다 각각 0.06, 0.01, 0.10이 높게 나왔다. 이는 제안한 방법의 성능이 더 우수함을 알 수 있다. 내용기반 영상 검색은 데이터베이스에 저장된 영상의 수가 많으면 많을수록 검색 시간이 많이 소요된다. 이를 해결하기 위한 연구를 수행할 계획이다.

References

Y. E. An, "Image Retrieval Using Rearranged Color Histogram", Journal of KIIT, 14(1), p85-91, Jan.), (2016. [https://doi.org/10.14801/jkiit.2016.14.1.85]
J. W. Song, "Content-based Image Retrieval using Histogram and Motif Correlogram of HSV Color Images", Journal of KIIT, 14(5), p181-186, May), (2016. [https://doi.org/10.14801/jkiit.2016.14.5.181]
M. J. Swain, and D. H. Ballard, "Color indexing", International Journal of Computer Vision, 7(1), p11-32, July), (1991.
G. Pass, and R. Zabih, "Histogram refinement for content-based image retrieval", IEEE Workshop on Applications of Computer vision, p96-102, Dec.), (1996. [https://doi.org/10.1109/acv.1996.572008]
G. H. Liu, and J. Y. Yang, "Content-based image retrieval using color difference histogram", Pattern Recognition 46, p188-198, Jan.), (2013.
S. Murala, and R. P. Maheshwari, "Local Tetra Patterns: A New Feature Descriptor for Content-Based Image Retrieval", IEEE Transactions on Image Processing, 21(5), p2874-2886, May), (2012. [https://doi.org/10.1109/tip.2012.2188809]
S. M. Singh, and K. Hemachandran, "Content-Based Image Retrieval using Color Moment and Gabor Texture Feature", International Journal of Computer Science Issues, 9(5), p299-309, Sep.), (2012.
J. W. Song, "Content-based Image Retrieval using HSV Color and Uniform Local binary Patterns", Journal of Korean Institute of Information Technology, 12(6), p169-174, June), (2014. [https://doi.org/10.14801/kiitr.2014.12.6.169]
M. S. An, S. W. Ha, and D. S. Kang, "Object Tracking Method based on Particle Filter with Color and Texture Information", Journal of Korean Institute of Information Technology, 8(11), p225-230, Nov.), (2010.
J. Li, J. Z. Wang, and G. Wiederhold, "SIMPLIcity: Semantics-sensitive Integrated Matching for Picture Libraries", IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(9), p947-963, Sep.), (2001.
A. N. Fierro-Radilla, G. Calderon-Auza, M. Nakano-Miyatake, and H. M. P?rez-Meana, "Motif Correlogram for Texture Image Retrieval", Intelligent Software Methodologies, Tools and Techniques, 532, p496-505, Sep.), (2015.

저자소개

송 주 환 (Juwhan Song)

1995년 2월 : 전주대학교 전자계산학과(이학사)

1997년 2월 : 전북대학교 전산통계학과(이학석사)

2003년 8월 : 전북대학교 전산통계학과(이학박사)

2006년 9월 ~ 현재 : 전주대학교 스마트미디어학과 교수

관심분야 : 컴퓨터그래픽스, 멀티미디어, 영상처리, 모바일 프로그래밍

Table 1.

Average precision

Category	Color	CDH	CC	Prop.
Indian	0.74	0.56	0.63	0.53
Beaches	0.25	0.46	0.22	0.53
Buildings	0.26	0.39	0.20	0.46
Buses	0.36	0.68	0.46	0.59
Dinosaurs	0.99	1.00	0.99	0.97
Elephants	0.50	0.44	0.42	0.42
Flowers	0.58	0.50	0.75	0.73
Horses	0.75	0.77	0.50	0.81
Mountains	0.17	0.40	0.15	0.43
Food	0.51	0.39	0.42	0.25
Average	0.51	0.56	0.47	0.57