다중 조명 영상 개선 방법을 이용한 향상된 유리용기 파손 검출 시스템

Ⅰ. 서 론

유리용기가 고온에서의 안정성과 화학적 안정성 특성이 있어[1] 다양한 환경에서 사용되었고, 특히 산업현장에서 큰 영향을 끼쳤다[2]-[4]. 그러나 유리용기는 큰 충격과 응력에 취약하다는 단점이 있다. 유리용기의 파손이 일어날 시 높은 확률로 유리용기 속의 시료를 오염시킨다. 또한, 유리용기에서 누출된 시료에 의한 사고가 일어날 위험성이 커진다[5]. 지속적인 시료의 오염과 누출은 물적 피해와 인명 피해를 야기하는 원인이므로 이를 미연에 방지하여야 한다.

유리용기 파손은 크게 두 가지 종류가 있다. 그림 1의 (a)와 같이 유리용기 일부가 떨어져 나갈 정도의 파손을 파열이라고 하고, (b)와 같은 파손을 균열이라고 한다. 유리용기에 파열이 발생하면 유리용기의 파편이 산재하여, 시료가 오염되거나 외부로 누출되어 다른 사고들로 이어진다. 표면에 균열이 발생할 시 큰 파손인 파열로 이어질 가능성이 존재한다. 유리용기의 파열은 파손 부위에 따라 다르게 나타난다[6]. 그림 1의 (a)는 외부에 파열이 일어난 이미지이다. 그림 1 (c)는 내부에 파열이 일어난 이미지로, 파열부위에서 빛의 난반사가 일어난다.

Fig. 1.

Image of glass bottle defect, (a) Defect on the outside of glass bottle, (b) Crack on the inside of glass bottle, (c) Defect on the inside of glass bottle

유리용기의 파손으로 인한 피해를 방지하기 위한 다양한 파손 검출 방법이 존재한다[7]-[9]. 그 중 하나는 파손 의심 영역 면적 분석을 이용한 파손 검출 방법이다[7]. 단일 조명으로 촬영된 이미지의 각 행과 열에서 별도로 중심을 계산하고 최다 빈도인 중심을 중심점으로 설정한다. 이후 유리용기의 입구를 극 좌표계를 이용하여 직사각형 형태로 만든다. 빛에 의해 반사된 수평선을 파손이 없는 영역으로 지정하고, 수평선의 상하 위치변화가 문턱 값보다 낮을시 제거한다. 그 후, 파손 의심 영역의 크기가 문턱 값을 넘어갈 시 파손으로 검출하는 방법이다. 그러나 파손이 크게 일어나 유리용기 입구에서 난반사가 일어나지 않을시 해당 부위를 파손이 없는 부분으로 인식하는 경우가 있다. 또한, 문턱 값은 환경의 밝기 변화에 민감하여 유리용기 속 시료의 양이나 색상에 영향을 많이 받고, 오차가 커지는 한계점이 있다.

이러한 한계점을 최소화하기 위하여 본 논문에서는 다중 조명을 이용한 영상 개선 및 유리용기 입구 면적 변화 분석을 이용한 파손 검출 시스템을 제안한다. 먼저 유리용기의 노이즈를 효과적으로 제거하기 위해 조명의 높이에 따라 난반사되는 이물질의 영역과 휘도의 세기가 다른 점을 이용한다. 조명의 위치가 다른 이미지를 촬영하여 노이즈를 제거하고 비용 함수를 통한 중심점 탐색을 진행한다. 마지막으로 유리용기 입구의 두께를 측정하여 면적 변화에 따른 파열 검출과 휘도 변화에 따른 균열 검출을 진행한다. 본 시스템을 이용하여 기존의 시스템 대비 유리용기 파손의 오 검출과 미 검출을 감소시키며, 정확도를 향상 목적으로 한다.

논문의 구성은 다음과 같다. 2장은 본 논문에서 제안하는 시스템의 구성, 유리용기 내부의 이물질을 제거하는 영상 개선 알고리즘, 비용 함수를 이용하여 유리용기의 중심점을 찾는 알고리즘 그리고 유리용기의 파손을 검출하는 알고리즘을 설명한다. 3장에서는 시스템을 구현하고 실험을 통해 확인한 결과에 대해 설명한다. 4장에서는 결론으로 본 논문의 한계점에 관하여 기술한다.

Ⅱ. 유리용기 파손 검출 시스템

2.1 시스템의 구성

영상 개선을 통한 유리용기 내부의 이물질 제거를 위하여 그림 2의 (a)와 같은 시스템을 제안한다. 시스템의 모든 조명과 유리용기는 지면과 평행을 이루도록 하며, 유리용기는 캐리어에 수납하여 시스템의 중심에 배치한다.

Fig. 2.

System and capture of noise, (a) Structure of system, (b) Capture of diffuse reflection

또한, 카메라는 유리용기를 수직으로 내려다볼 수 있도록 한다. 상단 조명은 유리용기의 외곽 파손을 감별하기 위한 것으로, 카메라와 수평 되도록 위치시킨다. 하단 조명은 유리용기의 내곽 파손을 감별하며, 두 개의 층으로 유리용기의 입구와 가깝게 위치시킨다. 유리용기 내부의 이물질에 의해 난반사 하는 밝기가 조명의 높이마다 동일하지 않기에 최적의 영상 개선을 위하여 하단 조명을 여러 층으로 구성하였다.

2.2 유리용기 내부의 이미지 노이즈 제거

그림 2의 (b)는 유리용기 내부의 노이즈인 이물질에 의한 난반사가 촬영되는 과정이다. 유리용기 내부의 노이즈를 촬영한 이미지는 그림 3과 같다. 그림 3의 이미지를 비교하면 하단 조명의 높이에 따라 이물질과 조명의 각도가 달라지며 반사각 또한 달라지는 것이 보인다. 반사각의 변화에 따라 유리용기 내부노이즈와 조명 간의 거리가 달라지므로 카메라에 촬영되는 밝기 또한 달라진다.

Fig. 3.

Noise image of glass bottle, (a) Noise image using upper floor bottom light, (b) Noise image using lower floor bottom light

즉, 유리용기 내부의 노이즈는 휘도와 서로 연관성이 깊다. 노이즈의 휘도 값을 얻기 위해 ITU-R BT.601 표준에 정의된 계수를 사용하여, RGB 색 공간의 성분에 가중치를 적용한 식 (1)을 이용하여 회색조 색 공간으로 변환한다[10][11].

$\[ Y_{cbcr}\left(I\right)=\left[\begin{array}{ccc}0.256& 0.504& 0.097\\ 0.502& -0.291& 0.440\\ 0.440& -0.367& -0.071\end{array}\right]\left[\begin{array}{c}{R}_I\\ G_I\\ B_I\end{array}\right]+\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right] \]$

(1)

여기서I는 RGB 색 공간의 이미지를 나타내고, Y_cbcr(I)는 I의 YCbCr 공간의 이미지를 나타내며, R_I , G_I , B_I는 각각 I의 빨강, 초록, 파란 색 공간을 의미한다[10]. 회색조 색 공간은 값에 따라 휘도의 크기를 나타내기에, 노이즈의 정도가 심할수록 흰색으로 표시된다[11]. 그림 4의 (a)는 위층의 하단 조명을 켠 이미지 I_B1이고, (b)는 아래층 하단 조명을 켠 이미지 I_B2이며, (c)는 상단 조명을 켠 이미지 I_T로 표현한다. 식 (2)를 이용하여 하단조명을 회색조 이미지로 변환한다.

$\[ \begin{array}{c}{I}_{YB1}=Y_{cbcr}\left(I_{B1}\right)\\ I_{YB2}=Y_{cbcr}\left(I_{B2}\right)\\ I_{YT}=Y_{cbcr}\left(I_T\right)\end{array} \]$

(2)

Fig. 4.

Glass bottle mouth image, (a) Upper floor bottom light used image, (b) Lower floor bottom light used image, (c) Top light used image

여기서 I_YB1은 I_B1을 회색조 색 공간으로 변환한 이미지이고, I_YB2는 I_B2를 회색조 색 공간으로 변환한 이미지이며, I_YT는 I_T를 회색조 색 공간으로 변환한 이미지다. 앞서 변환한 회색조 이미지를 식 (3)을 이용하여 노이즈를 검출한다. 여기서 I_N은 유리용기의 노이즈가 검출된 회색조 색 공간 이미지이다.

$\[ I_N=\left|I_{YB1}-I_{YB2}\right| \]$

(3)

I_N값이 음수가 나올 수 있기에, 절댓값을 이용하여 이를 방지한다. 상단 조명 이미지 I_YT의 노이즈를 제거하기 위해 검출된 노이즈 이미지I_N를 감산하여 노이즈가 제거된 이미지I_DN를 얻는다.

$\[ I_{DN}=\left|I_{YT}-I_N\right| \]$

(4)

여기서 I_DN은 I_YT에서 I_N을 연산하여 유리용기의 노이즈가 제거된 휘도 차원의 이미지이다. 유리용기의 노이즈를 제거한 YCbCr 색 공간을 식 (1)을 사용하여 RGB 색 공간으로 역 변환한다. 그 결과로 그림 5의 (a)의 유리용기 이미지에서 (b)와 같이 유리용기의 노이즈를 제거한다. 앞서 설명한 노이즈 제거 방법의 과정은 그림 6의 순서대로 표현하였다.

Fig. 5.

Glass bottle image enhancement, (a) Original glass bottle mouth image, (b) Image enhanced glass bottle mouth image

Fig. 6.

Glass bottle noise reduction flow chart

2.3 유리용기의 중심점 탐색

유리용기의 정확한 중심점과 지름을 구해야 파손 검출을 위한 ROI(Region of Interest)를 설정하여 오 검출을 줄일 수 있다. 그림 7의 (a)와 같이 행과 열의 중심이 되는 지점을 x_c, y_c로 정한다. 그림 7 (a)에서 θ는 각도이고, r_θ(x_c, y_c)는 각도가 θ일 때 중심점에서 유리용기 경계까지의 거리를 나타낸다. x_c, y_c는 정확도가 낮은 중심점이기에 비용 값을 이용하여 중심점을 찾는다. 식 (5)의 비용함수를 이용하여 비용 값을 구한다[12].

$\[ \mathrm{C}\mathrm{o}\mathrm{s}\mathrm{t}\left(x,y\right)=\left|\sum _{\theta =0}^{359}{r}_{\theta }\left(x,y\right)-r_{mean}\left(x,y\right)\right| \]$

(5)

Fig. 7.

Parameter for glass bottle mouth center detection, (a) Degree and radius from center, (b) Comparison of position of cost values

여기서 r_mean은 모든 각도에서 구한 r_θ의 평균값이고 $$ r_{mean}\left(x,y\right)=\frac{1}{360}\sum _{\theta =0}^{359}{r}_{\theta }\left(x,y\right)$$로 계산된다. Cost(x, y)은 한 점의 비용 값으로 오차의 정도를 나타낸다. Cost값이 작을수록 완벽한 원에 가까우므로 중심점의 정확도는 높아진다. 그림 7의 (b)와 같이 중심점과 네 방향의 위치에 대한 비용 값을 계산한다. 다섯 지점 중 최솟값을 가지는 지점을 중심점으로 변경한다. C₁의 비용 값이 최솟값일 시, 탐색거리를 절반으로 줄여 중심점을 탐색한다. 그림 8을 참고하여 중심점 탐색을 반복한다. $$ \left\{{\widehat{x}}_c,{\widehat{y}}_c\right\}$$는 추정된 중심점을 의미하며, d는 네 방향으로 탐색하는 거리, t_c는 탐색 반복 횟수를 의미한다. C₁에서 C₅는 모두 해당 지점에 대한 비용 값을 의미한다. 이를 이용하여 중심점과 파손 검출 ROI를 구한다.

Fig. 8.

Glass bottle mouth center detection flow chart

2.4 유리용기의 파손검출

유리용기의 파열 검출을 위하여 유리용기 입구를 그림 9와 같은 직사각형 형태로 매핑을 진행한다. 유리용기 파열의 검출을 위해 회색조 이미지를 흑백 이미지로 변환한다[13]. 이미지의 이진화를 위한 문턱 값은 Otsu 알고리즘을 사용하였으며[14], 식 (6)를 참조하여 이진화를 진행하였다.

(6)

Fig. 9.

Mapped image of glass bottle mouth

여기서 T는 이진화의 기준인 문턱 값이고, f(x, y)는 유리용기 입구의 회색조 이미지이며, g(x, y)는 이진화를 끝낸 흑백 이미지이다.

유리용기의 입구를 내부와 외부로 나누어 검출을 진행하며, 그림 10과 같이 입구의 면적 변화를 측정한다. 그림 10의 (b)에 빨간색으로 표시한 영역은 유리용기의 파열이다. 유리용기 입구의 면적 변화가 일정 문턱 값을 초과할 시 파열로 검출한다. 유리용기의 용도에 따라 파손 허용치가 다르며, 이에 따라 문턱 값을 설정한다. 작은 유리파편이 시료 가공에 큰 오염을 유발할 경우 문턱 값을 낮추고, 유리파편이 시료 가공에 큰 영향을 미치지 않으면 문턱 값을 높게 설정한다. 실제 환경에서 파손검출을 수행하고 문턱 값을 재조정한다.

Fig. 10.

Thickness change of glass bottle mouth, (a) Thickness change of inside of glass bottle mouth, (b) Thickness change of outside of glass bottle mouth

유리용기에 균열이 일어난 영역은 정상인 영역보다 빛의 난반사가 많이 일어나기에 휘도 공간에서의 검출을 진행한다. 유리용기 내벽을 식 (1)을 이용하여, 휘도 공간으로 변환 후 그림 11의 (a)와 같은 이미지를 얻어낸다. 해당 이미지의 파란색으로 표시한 영역은 균열을 표시한 것이며, 휘도 변화가 문턱 값을 초과 시, 그림 11의 (b)와 같이 균열로 검출한다. 유리용기의 재질에 따라 균열의 난반사가 다르게 일어나기에, 이를 고려하여 문턱 값을 설정한다.

Fig. 11.

Crack detection of inner wall of glass bottle, (a) Crack of inner wall of glass bottle, (b) Crack detection result of inner wall of glass bottle

Ⅲ. 실험 환경 및 실험 결과

본 논문에서 검사에 사용되는 유리용기는 평균적으로 46.5 mm의 반지름을 가지며, 입구의 두께는 3.5 mm이다. 일반 유리용기보다 입구가 넓기에 시료와 내벽에 묻은 이물질에 의해 빛의 난반사가 발생한다[6]. 시스템은 그림 12와 같이 구현하였고, 그림 12의 (a)는 외부에 존재하는 빛을 차단하는 암실이며, (b)는 실제로 시스템을 설계한 모습으로 그림 2의 (a)를 바탕으로 설계하였다. 카메라는 IMPERX사의 CLB-B2520C를 사용하였으며, 상세스펙은 표 1에 기재하였다. 카메라 렌즈는 Arducam사의 C1508ZMD4를 사용하였으며, 상세스펙은 표 2에 기재하였다. 광원의 상세스펙은 표 3에 기재하였다.

Fig. 12.

Implementation of the system

Table 1.

Camera parameter table

Table 2.

Camera lens parameter table

Table 3.

Light sources parameter table

유리용기의 파손 검출 결과의 비교는 그림 13을 통해 확인한다. 빨간색으로 표시한 영역은 파열이며, 파란색으로 표시한 영역은 균열이다.

Fig. 13.

Comparison of glass bottle defect detection results, (a) Glass bottle mouth image, (b) Result of defect and crack detection using analysis of bottle mouth region modification detect algorithm, (c) Result of defect detection using proposal method, (d) Result of crack detection using proposal method

그림 13의 (a)는 유리용기 입구의 이미지로 2개의 파열과 1개의 균열을 가지고 있다. 그림 13의 (b)는 파손 의심 영역 면적 분석 알고리즘을 이용하여 얻은 파손 검출의 이미지로 작은 파열을 검출하지 못했으며, 균열 검출에서 오 검출하였다. 그림 13의 (c)는 제안방법을 이용하여 얻은 파열 검출로 모든 파열을 제대로 검출하였다. 그림 13의 (d)는 제안방법을 이용하여 얻은 균열 검출로 모든 균열을 제대로 검출하였다. 본 논문에서 제안하는 시스템의 효과를 정량적으로 확인하기 위하여 식 (7)을 이용하였다[15].

식 (7)에서 C_ref는 실제 파손이고, C_D는 알고리즘을 통해 판별한 파손이다. RMSE는 실제 파손과 검출 파손의 차이를 정량적 평가한 것으로 오류를 비교하기 위해 사용한다. 파손 의심 영역 면적 분석 방법과 제안 방법을 이용하여 RMSE값을 얻었으며, 유리용기 4개의 RMSE 평균값을 표 4에 기재하였다.

Table 4.

Comparison of error analysis using RMSE

파손 의심 영역 면적 분석 방법을 이용하여 얻은 평균 RMSE값은 2.50인 반면, 제안 방법을 이용하여 얻은 평균 RMSE값은 1.22로 작은 값을 가진다. 파손 의심 영역 면적 분석 방법을 사용 하였을 때 평균 오류가, 제안 방법을 이용하였을 때의 평균 오류보다 두 배가량 크다. 또한, 점근표기법으로 비교하였을 때, 제안방법은 N²의 시간 복잡도를 가지고 기존 방법은 logN의 시간 복잡도를 가진다. RMSE값과 시간 복잡도를 비교하였을 때, 본 논문에서 제안하는 방법은 기존 방법보다 시간이 오래 걸리나 유리용기 파손 검출 시 오류가 적으며, 더 높은 정확도를 가진다. 하단 조명을 사용한 본 논문의 시스템은 유리용기 내벽의 이물질을 효과적으로 제거함으로써 이미지 개선에 기여하였다. 이러한 접근 방식은 유리용기 파손 검출의 정확도를 높이는 데 중요한 역할을 하였고, 이로 인한 검출 오류를 크게 줄이는 데 도움이 되었다.

Ⅳ. 결론 및 향후 과제

유리용기는 충격에 취약하다는 단점이 있으며, 충격에 의한 파손 발생 시 사고로 이어질 위험성이 존재한다. 파손에는 파열과 균열 두 종류로 구분되며, 이를 탐지하는 다양한 파손 검출 방법들이 존재한다. 기존의 파손 검출 방법들이 가지는 한계점을 최소화하기 위하여, 다중 조명을 이용한 영상 개선 및 유리용기 파손 검출 시스템을 제안하였다.

유리용기의 노이즈를 영상 처리를 이용하여 제거하기 위해 시스템의 하단 조명을 여러 층으로 구성하여, 유리용기의 노이즈를 휘도 색 공간에서 제거하였다. 비용함수를 이용한 여러 점에서의 오차를 비교하여, 유리용기의 중심점과 ROI를 얻었다. 유리용기 입구의 두께 변화를 측정하여 파열을 검출하고 휘도 차원에서 균열을 검출하였다.

파손 의심 영역의 면적 분석 방법과 제안방법을 이용하여 파손 검출의 정확도를 비교하였다. 정량적 평가를 이용한 오류 비교를 위하여 RMSE를 사용하였다. 파손 의심 영역 면적 분석 방법을 이용한 검출 결과의 평균 RMSE값은 2.5이며, 본 논문에서 제안하는 방법의 평균 RMSE값은 1.22이다. RMSE의 값이 클수록 오류의 정도가 크며, 작을수록 오류의 정도가 작다. 그 결과 다른 방법에 비해 제안 방법의 정확도가 높다는 것을 확인하였다.

본 논문의 시스템 한계점으로, 유리용기의 입구면적에 따른 파손 검출 시간의 지연이 일어난다. 또한, 유리용기 속 시료의 양 변화가 크게 일어나거나, 유리용기 내벽의 이물질이 균열을 덮을 시 정확도에 영향을 미친다. 이러한 변화를 일으키는 문제에 관하여 추가적인 연구 및 보완의 필요성이 존재한다.

References

• G. R. Kumar, P. Dudeja, and M. A. Singh, "Food Safety in the 21st Century: Public Health Perspective", Food Safety Issues Related to Street Vendors, Vol. 125, pp. 395-402, 2017.
• M. Bengisu, "Engineering Ceramics", Berlin: Springer, Vol. 620, pp. 360, Jun. 2013. [https://doi.org/10.1007/978-3-662-04350-9]
• C. H. Hahner and I. C. Gardner, "Research and Development in Applied Optics and Optical Glass at the National Bureau of Standards: A Review and Bibliography", National Institute of Standards and Technology, Gaithersburg, pp. 13, Jul. 1949. [https://doi.org/10.6028/NBS.MP.194]
• K. Ward-Harvey, "Fundamental Building Materials Fourth Edition", Universal-Publishers, pp. 83-90, 2009.
• J. W. Senders and N. P. Moray, "Human Error: Cause, Prediction, and Reduction", CRC Press, Jul. 1991.
• C. A. Poynton, "A Technical Introduction to Digital Video", John Wiley & Sons, pp. 175, Feb. 1996.
• H.-M.. Ma, G.-D. Su, J.-Y. Wang, and Z. Ni, "A glass bottle defect detection system without touching", Proc. International Conference on Machine Learning and Cybernetics, Beijing, China, Vol. 2, pp. 628-631, Nov. 2002. [https://doi.org/10.1109/ICMLC.2002.1174411]
• I. Kåsa, "A circle fitting procedure and its error analysis", IEEE Transactions on Instrumentation and Measurement, Vol. IM-25, No. 1, pp. 8-14, Mar. 1976. [https://doi.org/10.1109/TIM.1976.6312298]
• X. Zhou, Y. Wang, C. Xiao, Q. Zhu, X. Lu, H. Zhang, J. Ge, and H. Zhao, "Automated Visual Inspection of Glass Bottle Bottom With Saliency Detection and Template Matching", IEEE Transactions on Instrumentation and Measurement, Vol. 68, No. 11, pp. 4253-4267, Nov. 2019. [https://doi.org/10.1109/TIM.2018.2886977]
• C. G. Rafel, E. W. Richard, and L. E. Steven, "Digital Image Processing Using MATLAB(2nd Edition, Paperback)", McGraw-Hill, pp. 282-283, Jan. 2011.
• B. T. Series, "Parameter values for ultra-high definition television systems for production and international programme exchange", ITU-T, Bt. 2020, pp. 1-7, Jun. 2012.
• D. S. K. Karunasingha, "Root mean square error or mean absolute error? Use their ratio as well", Information Sciences, Vol. 585, pp. 609–629, Mar. 2022. [https://doi.org/10.1016/j.ins.2021.11.036]
• C. G. Rafel and E. W. Richard, "Digital Image Processing Third Edition International Edition", Pearson, pp. 126-129, Jul. 2007.
• N. Otsu, "A threshold Selection Method from Gray-Level Histograms", IEEE Transactions on Systems, Man, and Cybernetics, Vol. 9, No. 1, pp. 62-66, Jan. 1979. [https://doi.org/10.1109/TSMC.1979.4310076]
• T. O. Hodson, "Root-mean-square error (RMSE) or mean absolute error (MAE): When to use them or not", Geoscientific Model Development, Vol. 15, No. 14, pp. 5481-5487, Jul. 2022. [https://doi.org/10.5194/gmd-15-5481-2022]