IOCLBP를 이용한 영상의 색상-텍스쳐 분석 및 공간 축소

Ⅰ. 서 론

컴퓨터 비전 기술은 영상 내에 다양한 특징을 효율적으로 추출하는 데 사용되고 있으며, 영상 인식, 영상 검색 등에 적용되고 있다. 이때 사용되는 특징으로는 주로 모양, 색상 및 텍스쳐 등이 이용되고 있다[1]-[3].

LBP(Local Binary Pattern)는 텍스쳐 분석이나 인식 등 영상 내의 유용한 텍스쳐 정보를 추출하는 데 이용되고 있다[4]. 초기 LBP는 흑백 영상을 사용하여 정보를 추출하였으며, 이후 다양한 형태의 기술들이 등장하여 더 효율적인 특징을 추출할 수 있었다. 최근에는 색상과 텍스쳐를 결합한 LBP 기술에 관한 연구가 활발히 진행되고 있다[5][6]. Porebski 등[7]은 다양한 색상 공간에 LBP를 각각 적용해 색상과 텍스쳐를 분석하였다. 이 특징은 각 색상 공간에 대한 LBP 결과를 순서에 따라 단순하게 연결된 것이다. 따라서 다양한 색상 공간이 반영되기 위해서는 특징 공간도 커지는 고차원의 공간 문제가 생겨난다. Banerji 등[8]은 다양한 색상 공간에 대한 LBP 특징을 얻은 후 차원을 축소하는 방법을 이용해 고차원의 문제를 해결하였다.

IOCLBP(Improved Opponent Color LBP)[9][10]는 색상과 텍스쳐 특징이 결합한 연산자의 하나이다. 이는 서로 다른 색상 공간과의 LBP를 적용한 기술로써, 색상 공간의 수가 더욱 늘어나서 특징 공간이 커지는 문제는 여전히 존재하고 있다.

일반적으로 특징 추출 대상이 되는 영상은 인간이 인지할 수 있는 정도의 특성을 가질 때에만 인간의 판단에 의한 지도 학습 패턴으로 구성될 수 있다. 반면 어떤 영상은 색상이나 텍스쳐의 정보가 인간이 판단하기에는 너무 유사할 수가 있다. 이들은 유사한 색상-텍스쳐 특성으로 인간이 인지할 수 있는 분류 공간을 얻기가 어려울 수도 있다. 즉, 중복성이 많거나 비슷한 특성은 인식이나 군집화에는 어려움이 있을 수 있다.

사과 영상은 색상과 텍스쳐의 특성이 있으며, 각 특성이 비슷하여 인간의 인지로 지도 학습을 위한 패턴을 만들기 어렵다. 이러한 영상의 내재한 특성들을 효율적으로 이용하면서도 고유의 색상-텍스쳐 특성이 얻어지는 방안에 관한 연구가 필요하다.

본 논문에서는 IOCLBP를 이용한 색상-텍스쳐 특성 공간을 사과 영상에 적용하여 특성을 분석하고자 한다. 먼저, 영상의 색상-텍스쳐를 기반으로 IOCLBP 색상 구성 요소 쌍으로 나누고, 이들의 관계를 평가하여 특성의 축소 방안을 마련하고자 한다. 또한 주어진 영상의 중심 벡터를 이용하여 색상-텍스쳐의 내재된 특징이 반영될 방안을 제시한다. 그리고 이 중심 벡터와의 유클리드 거리를 활용하여 색상-텍스쳐 유사도를 측정하고 그 타당성을 확인한다.

Ⅱ. IOCLBP에서의 색상-텍스쳐 분석

2.1 회전 불변 LBP

전술한 바와 같이 LBP는 텍스쳐 연산자로 널리 사용되고 있다. LBP에서는 영상의 각 픽셀을 그림 1과 같이 3x3 배열의 중앙픽셀과 비교하여 큰 경우 1, 작은 경우 0을 갖도록 배치한다. 그림에서 3x3 중앙 픽셀의 값 54를 기준으로 픽셀값은 0과 1로 표현되며, 여기에 자릿수를 곱하여 최종 LBP 값은 203이 된다. 따라서 LBP는 주변의 픽셀에 대한 특징을 표현하는 데 효과적으로 사용될 수 있음을 알 수 있다. LBP에서 8개의 이웃 점을 고려할 때는 256개의 특성을, 16개의 이웃 점을 고려할 때는 65,536개의 특성을 얻을 수 있다. 하지만 특성의 수가 많을수록 계산 복잡도도 증가하고, 또 그중에는 분별력 없는 특성들도 포함되어 있을 수 있다. 따라서 이러한 내재된 특성을 이용하여 특성의 개수를 줄이는 방안이 강구되어야 한다.

Fig. 1.

LBP processing

어떤 패턴들은 좀 더 영상 내에서 자주 발견되는 반면 어떤 패턴들은 드물게 발견되기도 한다.

그림 2는 일반적인 LBP의 수행 결과를 도시한 것이다. 색상이 있는 영상은 흑백(Gray) 영상으로 변환되어야만 기본적인 LBP 특성을 얻을 수 있다. 이로 인해 LBP는 밝기 변화에 견고한 특징을 가지고 있다.

Fig. 2.

Orginal and LBP result

LBP는 0에서 255 사이의 값을 갖는데, 자주 나타나지 않아 영상 분류에서 별 의미가 없는 패턴들보다는 유용한 패턴들만 효율적으로 사용하는 것이 편리한 때도 있다. 이는 자주 나타나는 균일(Uniform) 패턴의 특성을 고려하는 방법이다. 즉, 균일 패턴은 0에서 1로의 변화 또는 1에서 0으로의 변화가 2번 이내인 패턴을 말한다. 변화가 3번 이상인 패턴은 자주 나타나는 패턴이 아니기 때문에 하나의 그룹으로 간주하여 처리한다. 이렇게 하면 패턴의 수가 58개의 균일 패턴과 그 나머지 패턴으로, 전체 59개의 패턴으로 만들 수 있다.

이와 더불어 영상은 회전에 불변한 특징을 가져야 한다. 이를 위해서는 그림 3과 같이 135의 값은 15와 같은 결과를 가지도록 하여야 한다.

Fig. 3.

Same patterns in the rotation-invariant LBP

즉, 135의 값은 회전하면 15와 같다. 또한 30, 60, 120, 240, 225 및 195도 15의 값과 같은 결과를 가진다. 이처럼 회전 불변 LBP의 경우에는 나타날 수 있는 패턴은 다시 36개로 줄어든다. 반면 균일 패턴에 회전 불변 패턴을 적용하면 단 10개로 값을 가진다.

Ⅲ. 실험 및 결과 고찰

3.1 데이터 셋

색상-텍스쳐 특징을 가지고 있는 사과 영상에 대하여 특성을 분석하였다[9]. 그림 4는 데이터 셋에 사용된 사과 영상의 일부를 보여주고 있다. 하나의 카메라를 이용하여 영상을 획득하였으며, 여러 방향에 대한 사진으로부터 부분적으로 데이터를 얻었다. 데이터 셋에는 사과 영상 354개를 이용하여 분석하였다.

Fig. 4.

Apple images for analysis

3.2 히스토그램 분석

회전 불변 LBP의 특성값은 36개의 히스토그램 특성을 가진다. 회전 불변 균일 LBP는 10개의 특성값을 가진다. 그림 5는 대표적인 사과 영상에 대한 IOCLBP 히스토그램 결과를 보여주고 있다.

Fig. 5.

Histogram of IOCLBP using, (a) 36, (b) 10 features

3.3 색상 공간 쌍 분석

먼저, 주어진 영상을 이용하여 각 색상 공간에 대한 특성을 분석하였다. 색상 구성은 R, G, B 및 흑백 영상으로 하였다. 표 1은 IOCLBP의 (u, v) 색상 공간에 대해 선택할 수 있는 공간을 모두 나타낸 것이다. g는 흑백 공간을 의미한다.

Table 1.

Various pairs of color space

하위 대각 행렬(GR, BG, BR, gR, gG, gB)은 상위 대각 행렬의 반대 경우이다. 이것이 0과 1의 반대 값을 갖기 때문에 나타나는 패턴이 반대일 뿐 같은 특성을 가진다. 따라서 4가지 색상 공간(R, G, B, g)에 대한 쌍은 m = 10을 얻을 수 있다.

먼저, 색상 공간에 대한 특성을 각각 분석하였다. 그림 6은 각 색상 공간에 대한 평균 패턴을 보여주고 있다. 그림에서 알 수 있듯이 RR, GG, BB 및 gg의 구성 요소 쌍 간에는 같은 형태로 나타난다는 것을 알 수 있다. 또한 사과 영상은 G와 B와 비교해 R이 지배하고 있는 패턴이기 때문에 RB와 RG는 거의 낮은 경우의 수로 나타나서 의미가 작음을 알 수 있다.

Fig. 6.

Average values to the color space

표 2는 IOCLBP 특성 간의 상관계수를 조사한 결과이다. RR, BB, GG 및 gg에서와 같이 자신들과의 IOCLBP는 상관계수가 1에 가까워 이들 간의 관계는 선형 특성이 있음을 나타내고 있다. 즉, 이들은 같은 특성을 가지므로 하나만 선택하여도 무관하다. 또한 BG, Bg, Gg 서로 간의 상관관계 계수도 높아서 이들 중에서도 하나만 선택하여야 한다. 그리고 RG와 Rg는 사과의 특성상 R에 지배적인 색상이라 의미가 작으며, 이들을 선택할 필요가 작다[11].

Table 2.

Corelation factors

따라서 본 논문에서는 선형 관계를 갖는 색상-텍스쳐 특성을 제외한 3개의 색상 공간 쌍을 독립적으로 사용할 수 있음을 확인할 수 있었다. 상관관계가 적다는 것은 독립적인 파라미터가 될 수 있으므로 본 논문에서는 RR, RB 및 Bg를 독립적인 파라미터로 선택하였다.

3.4 중심벡터

그림 7은 각각 RR, RB 및 Bg 공간에서의 중심 벡터의 영상을 보여주고 있다. 이것은 전체 사과 영상에 대한 평균을 가지는 벡터이다. 이 값이 영상의 색상-텍스쳐의 거리를 측정하는 기본값으로 설정하였다. 그림 8은 임의의 한 영상에 대한 RR, RB, Bg에 대한 IOCLBP 텍스쳐 결과의 예를 보여주고 있다.

Fig. 7.

Image of centric vectors in the plane of RR, RB, and Bg space respectively

Fig. 8.

IOCLBP results of RR, RB, and Bg plane to the original image(from left) respectivly

3.5 색상-텍스쳐 결과

다음에는 주어진 색상-텍스쳐 공간에 대한 유클리드 거리에 따른 유사성을 조사하였다[12]. 주어진 색상-텍스쳐 공간 쌍은 실험 결과를 기반으로 RR, RB 및 Bg로 하였다. 유클리드 거리 공간상에 표현된 각 사과 영상을 통해 거리가 가까울수록 색상-텍스쳐의 내재된 특성이 같으며, 멀어질수록 이들의 특성이 다르게 나타난다는 것을 알 수 있다.

그림 9는 맨 왼쪽 영상을 입력으로 하여 유사도가 높은 순서로 나열한 결과이다. 이때, IOCLBP 특징은 36개를 사용하였다. 그리고 그림 10은 회전 불변 균일 패턴 특성을 가지는 10개의 패턴만을 사용하여 색상-텍스쳐를 유사도에 따라 검색한 결과이다. 각 특징에 따라 조금은 차이가 있지만, 특징 개수에 무관하게 색상 텍스쳐 분류에 제안된 색상 공간의 타당성을 확인할 수 있었다. 따라서 주어진 사과 영상에 대해 RR, RB, Bg의 IOCLBP 특성만을 분석하고, 중심 벡터와 거리에 따라 색상-텍스쳐 특성을 알 수 있다.

Fig. 9.

Image retrieval results using 36 features

Fig. 10.

Image retrieval results using 10 uniform features

Ⅳ. 결 론

본 논문에서는 내재된 특성이 유사한 특성을 가지는 사과 영상에 대하여 IOCLBP 방법에 따른 색상-텍스쳐의 특성을 분석하였다. 또한 색상 공간 분석을 통해 차원을 축소시키는 방안을 마련하였다. 먼저 사과 영상에 대한 IOCLBP 색상 공간 쌍에 대한 내재된 특성을 분석한 결과, 색상-텍스쳐 공간에서 독립적으로 유용하게 사용될 수 있는 RR, RB 및 Bg의 3개의 독립적인 쌍을 찾았으며, 내재된 공통 특성의 영향을 줄이기 위해 중심 벡터를 도입하였으며, 이를 통해 색상-텍스쳐 공간 쌍에 대한 상대적 거리를 측정하였다. 따라서 주어진 사과 영상은 색상-텍스쳐 공간 쌍 RR, RB 및 Bg로 나타나는 독립적인 특성 공간에 의해 표현할 수 있었다. 따라서 제안된 방법은 사과 영상과 같이 유사한 특성을 가진 내재된 컬러-텍스쳐 특성을 가지는 경우, IOCLBP 색상 공간 분석을 통해 특징 공간을 축소할 수 있다. 또한 축소된 공간에서 중심 벡터와의 유클리드 거리를 이용하여 유사도를 측정할 수 있다. 그리고 이 유사도는 인간이 인지하기가 애매한 분류에 효과적으로 사용될 수 있음을 확인되었다.

Acknowledgments

이 논문은 2018년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(No. 2018R1D1A1B07045565)

References

• S. R. Dubey and A. S. Jalal, "Fusing color and texture cues to categorize the fruit diseases from images", International Journal of Computer Vision and Image Processing, Vol. 4, No. 2, pp 52–67, Dec. 2014. https://arxiv.org/abs/1412.7277, . [https://doi.org/10.4018/ijcvip.2014040104]
• M. Kalakech, A. Porebski, N. Vandenbroucke, and D. Hamad, "Unsupervised local binary pattern histogram selection scores for color texture classification" Journal of Imaging, Vol. 4, No. 10, Sep. 2018. [https://doi.org/10.3390/jimaging4100112]
• S. J. Kim, "Association analysis of sugar contents based on color information of apple fruit images" Journal of KIIT, Vol. 18, No. 4, pp. 41-49, Apr. 2020. [https://doi.org/10.14801/jkiit.2020.18.4.41]
• Enrique G. Ortiz, A. Wright, and M. Shah, "Face recognition in movie trailers via mean sequence sparse representation-based classification", IEEE Conferences on Computer Vision and Pattern Recognition(CVPR), Portland, OR, USA, pp. 3531-3538, Sep. 2013.
• Juwhan Song, "Content-based image retrieval using HSV color and Edge Orientatione" Journal of KIIT, Vol. 16, No. 5, pp. 113-118, May 2018. [https://doi.org/10.14801/jkiit.2018.16.5.113]
• F. Bianconi, R. B.-Cerezo, and P. Napoletano, "Improved opponent color local binary patterns: an effective local image descriptor for color texture classification", Journal of Electronic Imaging, Vol. 27, No. 1, Feb. 2018. [https://doi.org/10.1117/1.JEI.27.1.011002]
• A. Porebski, V. Hoang, T. Vandenbroucke, and N. Hamad, "Multi color space LBP based feature selection for texture classification", Journal of Electronic Imaging, Vol. 27, No. 1, pp. 1-15, Feb. 2018. [https://doi.org/10.1117/1.JEI.27.3.039801]
• S. Banerji, A. Verma, and C. Liu, "Novel color LBP descriptors for scene and image texture classification", International Conference on Image Processing, Computer Vision, and Pattern Recognition, Las Vegas, USA, pp. 537-543, Jul. 2011.
• F. Bianconi, R. B. Cerezo, P. Napoletano, and F. D. Maria, "Improved opponent colour local binary patterns for colour texture classification", Lecture Notes in Computer Science, pp. 272-281, Mar. 2017. [https://doi.org/10.1007/978-3-319-56010-6_23]
• G. Wang, Y. Liu, and C. Xiong, "An optimization clustering algorithm based on texture feature fusion for color image segmentation", Algorithms, Vol. 8, No. 2, pp. 234-247, May 2015. [https://doi.org/10.3390/a8020234]
• S. Banerji, A. Verma, and C. Liu,, "New image descriptors based on color, texture, shape, and wavelets for object and scene image classification", Neurocomputing, Vol. 117, No. 13, pp. 173-185, Oct. 2013. [https://doi.org/10.1016/j.neucom.2013.02.014]
• J. H. Lee, J. H. Park, and S. J. Kim, "A New Similarity Measurer for Color-Texture and Its Clustering for Apple", International Journal of Signal Processing Systems, Vol. 8, No. 3, pp. 59-63, Sep. 2020.