색상과 텍스처를 이용한 소고기 영상의 등급 분석

Ⅰ. 서 론

인공지능은 학습 능력에 따라 전문가 수준으로 추론할 수 있으며, 이를 기반으로 생산 비용의 절감이나 반복적인 노동에 따른 피로 문제를 해결할 수 있다. 최근 농축산물 분야에도 인공지능을 적용하기 위한 다양한 방법의 연구가 있다[1][2].

소도체의 등급 판별[3]에는 근내지방도, 고기의 색상 등 다양한 품질 평가 기준을 사용하고 있으며, 객관적인 정보 추출에 컴퓨터 비전 기술[4]이 활용될 수 있다. 등급 판정은 관리사의 숙련도와 경험에 의존하고 있으며, 조명이나 시력, 피로 등으로 일관성이 유지되기가 어려울 때도 있다. 김 등[5]은 인공지능을 이용하여 적은 수의 파라미터와 빠른 학습 시간으로 비교적 좋은 성능을 보여주었다. 또한 인공지능에 맞는 데이터셋을 재구성하고, 단계별 딥러닝을 적용하여 성능을 높인 경우도 있다[6]. 이처럼 인공지능 기반 소도체 등급 판정을 지원하는 인공지능 시스템에 관한 연구가 활발히 진행되고 있다.

이러한 연구는 신뢰성 높은 데이터로부터 시작되어야 한다. 데이터셋은 수년에 걸쳐 동일한 환경에서 수집되어야 하며 축적되어야 한다. 최근 일정한 환경에서 1080×1920 크기를 갖는 소고기 영상 데이터를 제공하고 있다[7]. 그러나 소도체 영상의 평면이나 조명 등 변수가 있으며, 판정 영역도 다양한 크기를 가진다. 인공지능을 위한 데이터셋은 해상도와 크기가 같은 데이터로 학습되어야 일관된 결과를 얻을 수 있다[6].

소고기의 등급 평가는 색상뿐만 아니라 텍스처에 대한 정보를 기준으로 하고 있다[3]. 이는 정확한 수치로 주어지는 것이 아니라 경험을 통한 주관적인 판단에 의지하고 있다. 품질 관리사는 색상과 텍스처 정보를 인공지능을 통해 실시간으로 등급 기준표와 비교 및 분석 정보를 참조할 수 있다면 보다 정확한 판정을 할 수 있다. 따라서 인공지능을 위한 학습 영상에는 색상과 텍스처의 특성이 반영되어야 한다.

LBP(Local Binary Patterns)는 텍스처 특성을 분석하는데 일반적으로 사용되는 방법이다. LBP는 흑백의 텍스처 정보를 얻는 데 사용되며, 특히, 회전 불변 균일(Uniform) 패턴은 적은 수의 특징 패턴으로 나타나 패턴 분석 등에 유용하게 사용될 수 있다[8]. IOCLBP(Improved Opponent Color LBP)[9][10]는 텍스처뿐만 아니라 색상 정보의 특징을 추출하는 데 사용되는 방법이다.

따라서 본 논문에서는 동일한 크기와 해상도를 갖는 소고기 영상의 데이터셋을 색상과 텍스처의 특성을 이용하여 분석한다. 이 때, 색상과 텍스처에 의한 등급은 선형 또는 평균으로 점수화한다. 특히, IOCLBP의 색상 공간쌍을 분석하여 등급과 관련 있는 색상 공간쌍을 추출한다. 추출된 색상 공간쌍과 점수와의 회귀분석을 통해 신뢰성 있는 데이터셋을 얻는 방안을 제시한다.

Ⅱ. 색상과 텍스처 분석

2.1 데이터셋

소고기의 품질은 전문가에 의해 1++, 1+, 1, 2, 3등급으로 각각 평가되어 진다. 공개된 데이터셋[7]에는 전문가에 의해 각 등급으로 평가된 대규모의 소고기 영상으로 구성되어 있다. 이 데이터셋은 단편적으로 촬영되어 각도나 조명 등 일관성 있는 환경에 맞는 데이터셋으로 다시 편집하거나 선택적으로 재구성 필요가 있다.

새로 구축된 데이터셋은 비슷한 각도를 갖는 평면이나 해상도로 구성된 영상으로 추출하였다. 그림 1의 경우, 전체적으로 1등급으로 판별된 소고기 영상이지만 (b)는 1+ 또는 1등급일 수 있지만, (c)는 지방이 적고 육량이 많아 2등급으로 판단될 가능성이 있다. 이처럼 하나의 소도체 영상에는 다양한 등급이 존재하고 있다.

Fig. 1.

Class 1 beef meat (a) Original, (b)(c) Extracted image

이렇게 추출된 데이터셋의 일부분은 그림 2에 도시하였다. 데이터셋은 조명이나 각도 등의 영향을 받지 않는 영상을 가려내어 같은 크기로 일정부분을 잘라서 추출하였다.

Fig. 2.

Dataset

2.2 회전 불변 균일 LBP 패턴

LBP는 텍스처 연산자로 널리 사용되고 있다. LBP에서는 영상의 각 픽셀을 그림 3과 같이 3x3 배열의 중앙픽셀과 비교하여 큰 경우 1, 작은 경우 0을 갖도록 배치한다. 그림에서 3x3 중앙픽셀의 값 87을 기준으로 픽셀값은 0과 1로 표현되며, 여기에 자릿수를 곱하여 최종 LBP 값은 48이 된다. 따라서 LBP는 주변의 픽셀에 대한 특징을 표현하는 데 효과적으로 사용될 수 있음을 알 수 있다.

Fig. 3.

LBP processing

LBP에서 8개의 이웃 점을 고려할 때는 256개의 패턴을 얻을 수 있다. 이 중에는 분별력 없는 패턴들이 포함되어 있을 수 있다. 따라서 이러한 내재된 특성을 이용하여 패턴의 개수를 줄이는 방안이 강구되어야 한다. 어떤 패턴들은 좀 더 영상 내에서 자주 발견되는 반면 어떤 패턴들은 드물게 발견되기도 한다.

LBP는 자주 나타나지 않아 영상 분류에서 별 의미가 없는 패턴들보다는 유용한 패턴들만 효율적으로 사용하는 것이 편리한 때도 있다. 이는 자주 나타나는 균일 패턴의 특성을 고려하는 방법이다. 즉, 균일 패턴은 0에서 1로의 변화 또는 1에서 0으로의 변화가 2번 이내인 패턴을 말한다. 변화가 3번 이상인 패턴은 자주 나타나는 패턴이 아니기 때문에 하나의 그룹으로 간주하여 처리한다.

이와 함께 패턴은 회전에 불변한 특징을 가져야 한다. 그림 4는 그룹별 회전에 불변한 패턴들을 모아놓은 그림이다. 예를 들어 135의 값은 15와 같은 결과를 가진다. 즉, 135의 값은 회전하면 15와 같다. 또한 30, 60, 120, 195, 225 및 240도 15의 값과 같다. 이처럼 회전 불변 균일 LBP의 경우에는 나타날 수 있는 패턴은 단 10개로 나타난다.

Fig. 4.

Uniform patterns with the rotation-invariant LBP

2.3 IOCLBP

IOCLBP는 다른 색상 영역의 픽셀값과 비교하여 색상과 텍스처 특성을 동시에 얻을 수 있다. 즉, (u, v) 색상공간에서 IOCLBP는 다음과 같이 정의된다.

$\[ f_{IOCLBP}\left(p_u\right)=\sum _{i=0}^{n-1}{2}^i\Phi \left(p_{i,u},\overline{p_v}\right) \]$

(1)

여기서, p_i는 8방향 중 i번째 픽셀을 나타내며, u, v는 색상공간을 의미한다. $$ \overline{p_v}$$는 u공간의 3x3 픽셀의 평균값을 의미한다. 즉, 색상공간 u와 v공간의 값을 비교하여 LBP의 값이 결정된다. 그리고 Φ() 함수는 크거나 작음에 따라 0 또는 1을 갖는다. n은 이웃의 개수를 의미하며 3x3인 경우에는 8이 된다.

일반적인 컬러 영상은 R, G, B로 표현된다. 본 논문에서는 흑백(Gray)을 추가하여 네 가지 색상공간에 대하여 분석한다. 4가지 색상공간 영역에 대하여 IOCLBP의 색상공간은 16개의 색상 공간쌍을 만들 수 있다. 이 중, 대칭 색상공간은 같은 결과를 가지므로 10개의 색상공간에 대해서 분석하면 된다.

그림 5는 4개의 색상공간에 대한 소고기 영상의 누적 분포를 도시한 것이다. 그림에서 보면 R 색상 누적 분포는 다른 색상 누적 분포보다 큰 값으로 존재하여 전체적으로 붉은 색상을 가진다. G와 gray 색상 히스토그램은 비슷한 형태를 가지고 있다. LBP는 크거나 작은 경우 0과 1로 표현되기 때문에 R 색상에 비해 작은 영역이 많아서 0의 이진값을 가질 가능성이 크다.

Fig. 5.

Histogram example of the beef meat image (a) Original image and (b) Histograms in R, G, B, and gray respectively

Ⅲ. 실험 및 결과 고찰

먼저, 본 논문에서 소도체 영상 등급을 선형 점수로 실험하였다.

즉, 3, 2, 1, 1+ 및 1++등급을 각각 1에서 5점의 선형인 점수로 주어진 것이다. 그림 6은 1등급과 2등급의 Bg 공간 누적 분포를 보여주고 있다. 패턴의 분포가 비슷하게 나타나지만, 낮을수록 분포가 불균형이 일어난다는 것을 알 수 있다.

Fig. 6.

Histogram of Bg space with a high and a low grade image; original image with (a) 1 grade and (b) 2 grade, (c)(d) Histogram of the Bg space, respectively

그림 7은 10개 색상 공간쌍에 대한 IOLBP의 10개 그룹의 상관계수의 절대값을 보여주고 있다. 즉, RR, RG, RB, Rg, BB는 비슷한 상관계수로 나타났다. 또한 GG, GB, Gg도 비슷한 결과 가진다. 반면 Bg와 gg가 다르게 나타나고, Bg가 모든 값에서 큰 상관계수로 나타나서 가장 관련이 있음을 알 수 있다. 색상 공간에 대한 상관계수의 절대값이 크다는 것은 주어진 점수와 관계가 높다는 의미이다. 즉 이는 색상 공간쌍의 회전 불변 균일 패턴과 등급 간의 관계가 아주 밀접하다는 것이다. 그림에서 Bg 공간쌍이 가장 효율적인 색상과 텍스처 공간임을 알 수 있다. 따라서 본 논문에서의 색상 텍스처 공간은 Bg 공간쌍을 사용한다. Bg 공간쌍을 사용할 경우, 그룹 패턴 4는 다른 그룹에 비해 낮은 상관계수를 가진다. 따라서 그룹 4를 제거하고 9개의 그룹에 대한 회귀 분석을 할 수 있다. 그러나 본 논문에서는 전체 Bg 공간쌍에 대한 회귀계수와 차이를 보이지 않아서 Bg 공간쌍 10개 그룹 패턴을 모두 사용하였다.

Fig. 7.

Correlation coefficients of the group for color space pairs

그림 8은 Bg 공간쌍에 대한 패턴별 누적 분포의 평균을 도시한 것이다. 이는 각 등급에 따른 패턴들의 평균 누적 분포를 보여주고 있다. 평균적으로 1++, 1+, 1등급은 비슷한 값을 가지지만 2와 3등급은 차이가 있음을 알 수 있다.

Fig. 8.

Average histogram for the grades

지금까지 Bg 공간쌍에 대한 패턴들이 등급과 연관이 있음을 알 수 있었다. 회귀를 통해 얻은 점수를 기반으로 딥러닝의 학습이나 평가에 사용된 오류를 일으키는 영상들을 알 수 있다. 이는 물론 데이터셋을 추출하는 과정에서 사람에 의한 오류 데이터도 같은 경우이다. 이를 사전에 제거함으로써 데이터의 신뢰성은 높아진다. 그림 9는 선형 점수에 대한 10개 그룹의 누적 분포에 대한 가중치를 도시한 것이다. 이때, 회귀계수는 0.631로 나타났다. 회귀분석을 통해 얻은 실제 점수는 사전에 주어진 선형점수와 차이가 있다.

Fig. 9.

Weights for linear scoring

다음은 선형점수에 의해 회귀된 점수와 가깝도록 실제 점수의 평균을 적용하였다. 그림 10은 등급별 선형, 평균 및 근사화된 ln 함수를 적용한 값들을 각각 도시한 것이다. 주어진 값을 점수로 하여 선형 회귀 분석을 재수행하였다. 등급별 점수표와 분석 결과는 표 1에 나타내었다.

Fig. 10.

Scoring of the linear, average, ln function, respectively

Table 1.

Grade scoring and regression coefficients

표로부터 1++ 등급은 선형일 때는 5점이지만 평균일 때는 3.962점이고, ln 함수의 경우는 4.058점이다. 각 주어진 점수를 가지고 회귀분석 결과, 회귀계수는 각각 0.704, 0.679로 나타난 선형인 경우의 결과보다 좋은 결과를 얻을 수 있었다. 평균을 이용하는 방법이 높은 회귀계수를 가져 효율적인 방법임을 알 수 있다.

그림 11은 평균을 이용하는 방법의 각 패턴 누적 분포에 대한 점수 가중치를 나타낸 것이다. 이를 이용하여 주어진 데이터셋의 실제 점수를 유추할 수 있다. 그림 12는 각 점수에 따른 구축된 데이터셋의 분포를 나타낸 것이다. 즉, 선형, 평균 및 근사화된 ln 함수 점수 방법에 따른 데이터셋 분포를 보여주고 있다. 그림으로부터 평균 방법인 경우, 선형보다 높은 상관계수를 가진다고 하지만, 많은 부분에서 점수가 중첩되어 점수와 등급 간의 오류가 많다는 것을 알 수 있다. 등급 간 중첩되거나 애매한 점수를 가지는 데이터는 학습에 오류를 가져오는 경우가 많다. 이를 위하여 중첩되지 않은 학습 데이터로 다시 구성하는 것이 유리하다.

Fig. 11.

Weights for an average scoring

Fig. 12.

Score distribution of the dataset for (a) Linear, (b) Average and (c) ln function, respectively

Ⅳ. 결 론

본 논문에서는 같은 크기의 해상도로 구성된 소고기 영상의 데이터셋을 색상과 텍스처의 특성에 의해 분석하였다. 색상과 텍스처 특성을 갖는 IOCLBP의 회전불변 균일 패턴 분석 결과, 등급과 관련된 상관계수는 Bg 공간쌍에서 가장 크게 나타났다. 그리고 Bg 공간쌍에 대한 등급별 회귀분석에는 먼저 선형 점수로 평가하였다. 또한 선형점수 회귀 결과로부터 평균과 근사 지수함수의 점수로 재평가하였다. 점수 방법에 따른 회귀계수는 각각 0.641, 0.701, 및 0.675를 얻었다. 따라서 각 소고기 품질 등급은 평균 점수로 하였을 때 가장 높았다. 따라서 제시된 방안에 따라 색상과 텍스처에 의한 예상되는 점수를 통해 데이터셋의 사전 분석이 가능하다. 이를 통해 학습에 사용되는 데이터셋을 선별하여 사람의 평가 오류를 줄일 수 있다.

Acknowledgments

이 논문은 2018년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(No. 2018R1D1A1B07045565)

References

• V. Meshram, K. Patil, V. Meshram, D. Hanchate, and S. D. Ramkteke, "Machine learning in agriculture domain: A state-of-art survey", Artificial Intelligence in the Life Sciences, Vol. 1, 2021. [https://doi.org/10.1016/j.ailsci.2021.100010]
• X. Sun, J. Young, J. H. Liu, and D. Newman, "Prediction of pork loin quality using online computer vision system and artificial intelligence model", Meat Sci., Vol. 140, pp. 72–77, Jun. 2018. [https://doi.org/10.1016/j.meatsci.2018.03.005]
• G. T. Kim, "Beef carcass rating standard supplement(Draft) development status", Korean Society for Food Science of Animal Resources, Vol. 5, No. 2, pp. 85–92, 2016.
• V. Wiley and T. Lucas, "Computer vision and image processing: A paper review", International Journal of Artificial Intelligence Research, Vol. 2, No. 1, pp. 28-36, Jun. 2018. [https://doi.org/10.29099/ijair.v2i1.42]
• Hunsoo Kim et al, "Development of a deep learning model for the quality grade assessment of livestock product: Focusing on cattle images", The Conferences of Korean Institute Of Industrial Engineers, pp. 1955-1981, Jun. 2021.
• K. N. Kim and S. J. Kim, "Grade Analysis and Two-Stage Evaluation of Beef Carcass Image Using Deep Learning", JCCT, Vol. 8, No. 3, 2022.
• AI dataset, www.aihub.or.kr, .
• J. H. Lee, J. H. Park, and S. J. Kim, "A new Similarity measurer for color-texture and its clustering for apple", International Journal of Signal Processing Systems, Vol. 8, No. 3, Sep. 2020. [https://doi.org/10.18178/ijsps.8.3.59-63]
• F. Bianconi, R. Bello-Cerezo, P. Napoletano, and F. D. Maria, "Improved Opponent Colour Local Binary Patterns for Colour Texture Classification", Lecture Notes in Computer Science, Mar. 2017. [https://doi.org/10.1007/978-3-319-56010-6_23]
• S. J. Kim, "Image analysis and dimension reduction for color-texture space using IOCLBP", Journal of Korean Institute of Information Technology, Vol. 19, No. 9, pp. 87-93, Sep. 2021. [https://doi.org/10.14801/jkiit.2021.19.9.87]