다중 색 분할 알고리즘과 퍼지추론 기반의 하네스 결함검사시스템 구현

Ⅰ. 서 론

전자제품이 다양화, 고도화 되면서 정밀한 산업 부품의 품질 검사를 위하여 비전시스템과 머신러닝 모델을 이용하거나 대상객체의 인식방향성 개선에 대한 연구 및 형상 모멘트 특징을 이용한 비전 검사 시스템등이 제안되고 있다[1][2]. 특히, 전원공급 등을 위한 복잡한 배선구조를 효율적으로 처리할 수 있는 제품생산 기술이 요구되고 있어 부품 간의 신호전달 방법과 용도에 맞게 커넥터와 배선을 모듈화한 하네스의 활용이 증가하고 있다[3].

하네스는 제품의 용도와 기능에 따라 연결 및 결합 구조가 다르고 그 종류가 매우 다양하여 생산 및 품질검사 과정을 육안 검사나 지그를 사용한 수작업 형태로 진행되고 있다. 또한, 여러 색의 배선과 커넥터로 제작되었기 때문에 각 배선의 색과 연결 상태 그리고 특징점을 정확하게 구분할 수 있는 기술이 요구되며 부품검사에서 컬러 매핑색 및 색분할 기술은 비전 시스템의 인식율 결정하는 중요한 기술이다[4][5]. 하네스의 자동화 검사를 위하여 [6]은 다양한 색상을 구별할 수 있는 와이어링 하네스의 자동검사 방법을 제안 하였고 [7]에서는 인식방향성과 위치에 독립적인 대상품 검사 시스템을 제안하였다.

또한 부품 형태의 다양성과 제조 환경의 유연성을 확보하고 제시된 규격의 적합성 등을 자동화 하기 위해서는 퍼지추론 등을 이용한 합리적 의사결정 시스템 설계가 필요하다. 특히 지식의 표현, 이용 및 획득의 문제는 전문가 시스템에서 각각 퍼지 집합, 퍼지논리 및 퍼지추론으로 모델링하여 문제를 해결 할 수 있다. [8]은 날씨, 온도 및 습도 조건을 고려한 미세먼지를 예측기를 설계하였고, [9]는 보행자간 상호 작용을 분석하기 위한 이동행태 모형을 개발하였으며, [10]은 신체의 정면과 측면 특징점을 이용하여 피측정자의 올바른 자세유지를 위한 테라퓨틱스 시스템을 설계하였고 [11]에서는 배전반의 절연상태를 종합적으로 판단하는 전기설비 안전진단장치를 개발하였다.

본 연구에서는 지식획득을 위한 퍼지 추론 시스템을 설계하여 하네스 자동검사 시스템을 구현하였다. 전처리 과정에서 하네스 인식영역을 추출한 후 이미지 회전 및 진행 방향을 정규화 하였다. 퍼지 추론을 위하여 하네스의 색상별 특징 파라미터를 추출한 후, 퍼지화 데이터 및 퍼지 멤버십 함수를 생성하였다.

제안한 알고리즘의 성능평가는 PC 환경에서 Visual C++과 Open CV를 이용하여 알고리즘을 구현하였으며 현장 실증실험을 통해 제안한 방법의 신뢰도를 평가하였다.

Ⅱ. 제안한 알고리즘

본 연구에서 13핀의 커넥터와 12개의 색상의 배선으로 제작된 하네스를 이용하여 결함검사 시스템의 데이터로 사용하였다. 제안한 시스템의 핵심 개발 요구사항은 커넥터 핀별 배선 색상의 동일성과 터미널 단자의 정상 삽입상태를 검사하는 것이다.

그림 1 및 표 1은 각각 본 연구에서 사용한 하네스 영상과 케이블 색상의 기준 파라미터를 나타낸 것이다.

Fig. 1.

Harness image

Table 1.

Reference parameter for cable color

2.1 전처리

전처리 과정에서 프레임 당 1280⨉1024 픽셀 크기의 24비트 컬러영상을 사용하였으며, 그림 2와 같이 제안하는 비전 인식 알고리즘을 이용하여 콘베이어로 이동하는 하네스를 자동검지 및 결함검사를 수행한다.

Fig. 2.

Algorithm block diagram

전처리 단계에서는 하네스 인식 처리 시간을 최소화할 수 있도록 실시간 이동물체 검지 및 비전 인식 유효 영역을 검출하고, 케이블이 수평 방향으로 정렬될 수 있도록 이미지 회전 과정을 수행하였다. 실시간 이동 물체 식별 과정에서, 콘베이어로 이동하는 하네스 영상을 취득한 후, 다음 단계로 화소값 블록 편차 기법을 이용하여 이동물체의 유효 프레임을 검지하고 인식 알고리즘을 수행하게 된다.

식 (1)은 M×N 화소로 구성된 블록의 화소값 블록 편차를 수식으로 나타낸 것이다. 여기서 X, Y는 전체 프레임 영상을 M×N 개의 화소로구성한 블록 좌표를 나타낸 것이고, Bsum [X, Y]와 Bsum [X, Y-1]는 X, Y블록 또는 인접한 블록의 화소값(P(x, y)) 합을 나타낸 것이다.

$\[ \left|Bref\left[X,Y\right]\right|=Bsum\left[X,Y\right]-Bsum\left[X,Y-1\right] \]$

(1)

$\[ Bsum\left[X,Y\right]=\sum _{x=0}^M\sum _{y=0}^{N}P\left(x,y\right) \]$

(1-1)

$\[ Bsum\left[X,Y-1\right]=\sum _{x=0}^M\sum _{y=0}^{N}P\left(x,y-1\right) \]$

(1-2)

그림 3은 블록편차를 이용하여 이동물체의 유효 프레임을 검지한 영상을 보여준다. 또한 작업 현장에서 실시간 처리가 중요한 요소인 바, 커넥터를 기준으로 인식에 필요한 유효영역을 검출하여 수 있도록 설계하였다. 즉, 그림 4는 비전 인식 유효영역 검출 단계를 나타낸 것으로 영상 이진화, 커넥터 영역검색 및 비전 인식 유효영역검출(300×300)과 중심좌표를 계산한다.

Fig. 3.

Detection image of moving object

Fig. 4.

Image of effective area detection by step

또한, 영상 취득 단계에서 케이블의 핀 번호와 색상 매칭을 효율적으로 수행하기 위해서는 불규칙적으로 입력된 하네스 영상을 케이블이 수평 방향으로 위치하도록 정규화할 필요가 있다. 따라서 비전 인식 유효 영역검출 단계에서 추출된 영상을 케이블이 수평 방향으로 정렬되도록 회전각을 계산하여 영상을 정규화하였다.

2.2 퍼지 추론을 이용한 다중 색 분할 처리

퍼지 집합의 개념은 각 대상이 어떤 모임에 『소속된다, 되지 않는다』라는 이원론적인 논리를 확장하여 그 모임에 소속되는 정도로 해석하여 일반화한 개념이다. 퍼지 집합 A는 실수 전체의 집합 X에 대하여 소속함수(Membership function) μ_A에 의해 특징지어진 순서쌍의 집합으로 식 (2)와 같이 정의된다[12][13].

$\[ A=\left\{\left({\mu }_A\left(x\right),x\right): x\in X\right\}\text{ or }A={\int }_X{\mu }_A\left(x\right)/x \]$

(2)

여기서 μ_A (x)는 멤버십 함수 또는 소속 정도이며 불확실성의 등급을 의미한다. 즉 μ_A : X→[0, 1] 또는 μ_A ∈ [0, 1]으로 X의 각 요소 μ_A는 0에서 1사이의 실수값이다.

대부분의 비전 시스템기반 영상 검지기들은 규칙기반 알고리즘을 적용하는 바, 이는 균일한 조명, 피사체의 정위치 및 주변 객체에 의해 독립적인 환경 내에서 치수측정, 조립유무, 이물질 검출 등의 작업은 우수한 성능을 보인다. 하네스의 위치 및 방향에 기인하는 인식율 저하, 조명 조건 등과 같은 공간의 물리적 환경요인, 보행자 및 장애물과의 상호 요인에 따른 하네스 케이블의 색상변화가 인식율 저하의 중요한 요인이다.

퍼지 추론을 이용한 다중 색 분할 알고리즘을 구현하기 위해서는 먼저 퍼지 추론을 위한 퍼지화 데이터를 생성해야 한다. 본 연구에서는 표 1에서 정의한 케이블 색상의 기준값을 퍼지 멤버십 함수 생성을 위한 특징 파라미터로 사용하였고, 하네스의 각 케이블에 대한 RGB 파라미터를 기준으로 식 (3)과 같이 각 성분에 대한 퍼지화 데이터를 생성하였다.

$\[ \begin{array}{c}FD\left(ci,fv\right)\hfill \\ =d\left(ci\right)-\left(\left(5-fv\right)\times \alpha \right), 0\le fv\le 10\hfill \end{array} \]$

(3)

여기서 FD(ci, fv)는 퍼지화 데이터, ci는 기준 파라미터의 RGB 색상표이고, fv 및 d(ci)는 각각퍼지값과 하네스의 각 케이블에 대한 RGB 색상 파라미터값을 나타낸 것이다. 그리고 α는 각 구간별 퍼지화 데이터를 생성하기 위한 비례상수 값으로 삼각형형(Triangular shape) 소속함수와 지지집합(Support set)을 매핑하는 과정을 최적화 하기 위한 비례상수 값이다[14][15].

퍼지 추론을 이용하여 각각의 특징 파라미터를 기준으로 입력 이미지의 색상 영역을 분할 하기 위해서는 먼저 특징 파라미터에 대한 멤버십 함수 μ(ci)를 결정한다. 그리고 이 멤버십 함수를 기준으로 제안한 퍼지 생성 규칙에 따라 새로 입력된 이미지의 퍼지화 데이터 및 멤버십 함수 μ_I (ci)를 생성한 후, 두 멤버십 함수의 유사도를 계산하여 색상 영역을 분할하게 된다. 표 2 및 그림 5는 각각 케이블 핀 번호에 대한 색상코드가 갖는 지지집합과 퍼지값의 소속함수 관계를 매핑한 것이다.

Table 2.

Feature parameters of Harness cable

Fig. 5.

Fuzzy membership function μ(ci)

본 연구에서 제안한 하네스 케이블의 색상 영역 분할을 위한 멤버십 함수의 생성 규칙은 다음과 같다.

Rule 1. 기준 파라미터의 각 퍼지화 데이터 FD(ci, fv)와 입력 이미지의 색상 파라미터 d_I(ci)의 차가 최소인 값 min (ci)을 구한다.

Rule 2. d_I(ci)에서 FD(ci, fv)와 최소값 min (ci)의 차를 계산한 후, 절대값을 취하여 β = (0.2/α)를 곱한다.

$\[ k\left(ci,fv\right)=\left|\left.d_I\left(ci\right)\text{-}FD\left(ci,fv\right)\text{-min}\left(ci\right)\right)\right|\times \beta ` \]$

Rule 3. 상수 1에서 k(ci,fv)를 차이 값을 입력 이미지의 멤버십 함수 μ_I(ci)로 결정한다.

$\[ {\mu }_I\left(ci,fv\right)=1-k\left(ci,fv\right),0\le fv\le 10 \]$

Rule 4. μ(ci)에서 가장 높은 멤버십 값 μ(ci,5) = 1과 이에 대응하는 μ_I(ci)의 멤버값 μ_I(ci,5)를 더한 후 색상의 유사도를 계산한다.

식 (4)는 하네스 케이블의 특징 파라미터 색상과 입력 이미지의 케이블 색상에 대한 퍼지 멤버십 함수의 유사도(SF, Similar Factor) 계산 식을 나타낸 것이다.

$\[ SF=\sum _{c=0}^2\left(\left(\mu \left(c,5\right)+{\mu }_I\left(c,5\right)\right)/2\right) \]$

(4)

또한 입력 파라미터에 대한 퍼지관계 방정식은 Max-Min 또는 Max-Product 같은 퍼지관계 합성으로 표현할 수 있고 소속함수로 표현되는 퍼지량을정확하고 크리스프한 값으로 전환하기 위해서는 식 (5)로 정의되는 비퍼지화(Defuzzfication) 과정을 수행행하는데 제안한 방법에서는 소속값들의 최대값의 평균치를 이용하는 최대평균법(Mean of maximum method)을 사용하였다.

$\[ \begin{array}{c}\stackrel{-}{y}= Defuzzifier\left[{\mu }_Y\left(y\right)\right]\hfill \\ \stackrel{-}{y}=\sum _{i=1}^n\frac{{\stackrel{-}{y}}_i}{n}\hfill \\ {\mu }_Y\left({\stackrel{-}{y}}_i\right)=\begin{array}{c}\underset{y\in Y}{\mathit{MAX}}\left[{\mu }_Y\left(y\right)\right]\hfill \end{array}\hfill \end{array} \]$

(5)

Ⅲ. 모의실험

제안한 방법의 실효성을 검증하기 위하여 현장 실증 실험을 하였는 바, 하네스 제품 공정 라인에서 하네스 종류별 100개를 사용하였고 총 1200회의 실험을 수행하였다. 표 3은 각각 하네스 3번 케이블의 특징 파라미터에 대한 퍼지화 데이터와 외부 환경에 기인하여 변화된 케이블의 색상에 대한 입력 이미지의 멤버십 값이고, 그림 6은 특징 파라미터 BGR의 유사도 혹은 확신도(Certainty factor)를 계산한 결과이다. 결과적으로, 표 3의 샘플에 대한 유사도는 B = 0.9,G = 0.9, R = 0.8로 본 샘플에 대하여 최대평균법을 적용한 멤버십 함수의 유사도 함수의 합은 2.6을 보였다.

Table 3.

Fuzzified data and membership value(α = 10)

Fig. 6.

Fuzzy membership function(BGR)

실증실험을 통해 구축한 비전 인식 시스템의 다양한 환경 상황을 고려하여 SF_th = 2.4 이상일 경우, 두 색상 파라미터는 동일한 색상으로 분류되었고, 2.4 미만일 경우에는 두 색상이 상이한 것으로 분류하여 다중 색 분할 과정을 수행하였다.

그림 7은 실험결과 영상이며 (a)는 인식영역으로 검지된 영상이며, (b)는 수평방향으로 정규화된 회전영상이다. 또한 (c)는 설계한 추론시스템을 사용하여 색 분할이 완성된 영상이다.

Fig. 7.

Experimental result images

그림 8은 사용된 실험영상 각 핀에 대한 평균 유사도 값을 나타낸 것인 바, 실험 결과 총 1,200회의 케이블 별 평균 유사도 값이 계산되었으며, 실험 결과는 알고리즘 처리에 반영된 유사도 값의 평균을 가지고 평가하였다.

Fig. 8.

Changes in mean similarity values

케이블 한 개를 인식하는 시간은 케이블당 평균 0.2초 (200 msec/cable) 소요 되었는 바, 작업 현장에서 작업자가 수공으로 케이블을 커넥터에 삽입하여 콘베이어에 올려놓는 시간과 콘베이어 이동속도 20 cm/sec 를 고려하면 충분한 실시간처리가 가능 하였다.

실험 결과 유사도 값이 임계값(SF_th) 이상인 경우는 총 1,200회 중에서 1,186회로 98.8%가 색 분할에 성공하였으며, 유사도 값이 임계값(SF_th) 보다 미만인 경우는 총 14회로 1.2%가 색 분할에 실패한 것으로 평가되었다. 색 분할에 실패한 주요 원인을 분석해 본 결과, 그림 9와 같이 케이블들이 서로 겹쳐서 비전 시스템에 입력 되었을 경우이다.

Fig. 9.

Misrecognized experimental result images

Ⅳ. 결 론

본 연구에서는 다중 색분할 알고리즘과 퍼지추론기반의 하네스 결함검사 시스템을 구현하였다. 일반적으로 하네스는 규격화된 대량생산품과 규격화가 불가한 특정 제품군으로 분류된다. 제안한 방법은 규격화가 어려운 특정 제품군의 물리적 환경요인, 주변 상호요인 독립적인 인식율 개선에 중점을 두었는 바, 전처리 과정에서 하네스 인식영역을 추출한 후, 이미지 회전을 통해 배선 방향을 정규화하였다. 하네스 케이블의 인식과정에서 색상별 특징 파라미터를 추출한 후, 퍼지추론의 입력을 위한 퍼지화 데이터 및 퍼지 멤버십 함수를 생성하고 결함 검사를 위한 배선 색상 영역을 분할 하였다.

제안한 방법의 성능평가를 위하여 사용한 S/W는 Visual Studio 2019를 사용하였고, 설계된 퍼지 추론 시스템이 주변 환경 변수에 합리적으로 적응되도록 현장 실증 실험을 수행하였다. 하네스 생산 현장생산 현장에서 하네스 100개를 선별하여 결함 검사를 위한 일련의 반복 실험을 수행하였다.

실험 결과 유사도 값이 임계값(SF_th) 이상인 경우는 총 1,186회로 98.8%가 색 분할에 성공하였는 바, 제안한 알고리즘의 우수함을 입증하였다. 그리고 색 분할에 실패한 1.2%의 경우에도 하네스 케이블을 정렬하여 다시 실험한 결과 100% 색 분할 성공률을 보였다.

Acknowledgments

이 논문은 2021년도 목원대학교 연구년 지원에 의하여 연구되었음

References

• S.-C. Han, "Development of Vision Inspection System for Defects of Industrial Wire Harness", Vol. 11, No. 4, pp. 189-194, Nov. 2008.
• Y. Park and D. Jung, "Development of Vision System for Quality of Automotive parts and Comparison of Machine Learning Model", JCCT, Vol. 8, No. 1, pp. 409-415, Jan. 2022. [https://doi.org/10.17703/JCCT.2022.8.1.409]
• J.-D. Ahn, "Implementation of Visual Inspection System for Classifying Inferiority of Vehicle Engine Harness", JKIIT, Vol. 12, No. 6, pp. 69-75, Jun. 2014. [https://doi.org/10.14801/kiitr.2014.12.6.69]
• N. H. Cho, et al, "Implementation of Automatic Harness Inspection System", Conference on DCS, ISSN 2636-0403, pp. 473-475, Jun. 2022.
• Z. H. Al-Tair, R. W. Rahmat, and P. S. Sulaiman, "Skin Segmentation Using YUV and RGB Color Spaces", JIPS, Vol. 10, No. 2, pp. 283-299, Jun. 2014. [https://doi.org/10.3745/JIPS.02.0002]
• W. Lee and K Cao, "Application of Machine Vision to Inspect a Wiring Harness", Int. conference on ICPS, Taipei, Taiwan, pp. 6-9, May 2019. [https://doi.org/10.1109/ICPHYS.2019.8780292]
• S.-B. Hong, S.-W. Hong, and K.-H. Lee, "Recognition Direction Improvement of Target Object for Machine Vision based Automatic Inspection", JKIICE, Vol. 23, No. 11, pp. 1384-1390, Nov. 2019. [https://doi.org/10.6109/jkiice.2019.23.11.1384]
• Y.-S. Hong, "Fine Particulate Judgment based on Fuzzy Inference System", JIIBC, Vol. 20, No. 5, pp. 127-133, Oct. 2020. [https://doi.org/10.7236/JIIBC.2020.20.5.127]
• M.-J. Han, et al., "Modeling Pedestrain Movement Behavior Using Social Force Model and Fuzzy Inference", JKST, Vol. 40, No. 2, Apr. 2022. [https://doi.org/10.7470/jkst.2022.40.2.218]
• J.-H. Lee, B.-S. Park, and C. Hyun, "Implementation of Fuzzy Inference based on Digital Therapeutic System for Simutaneous Diagnopsis of Frontal and Lateral Posteu", JKIIS, Vol. 32, No. 2, pp. 172-178, Apr. 2022. [https://doi.org/10.5391/JKIIS.2022.32.2.172]
• C.-H. Woo, "Development of Electric Facility Diagnostic Controller Using Fuzzy Inference System", The Transactions of the KIEE, Vol. 70, No. 4, pp. 194-200, Dec. 2021. [https://doi.org/10.5370/KIEEP.2021.70.4.194]
• T.-Y. Lin, C.-J. Liau, and J. Kacprzyk, "Granular, Fuzzy, and Soft Computing", Springer, pp. 83-92, Aug. 2023. [https://doi.org/10.1007/978-1-0716-2628-3]
• N.-H. Cho, M.-K. Lee, and Y.-H. Kim, "Fingerprint Recognition Algorithm Using Gray level Co-Occurrence Matrix", JKIIT, Vol. 12, No. 10, pp. 35-42, Oct. 2014. [https://doi.org/10.14801/kitr.2014.12.10.35]
• M. Saeed, M. R. Ahmad, and A. U. Rahman, "Refined Pythagorean Fuzzy Sets: Properties, Set_Theoretic Operations and Axiomatic Results", Journal of Computational and Cognitive Engineering, Vol. 2, No. 1, pp. 10-16, Jan. 2023. [https://doi.org/10.47852/bonviewJCCE2023512225]
• M. Knaiber and L. Alawieh, "Bayesian Inference using an Adaptive neuro-fuzzy Inference System", Fuzzy sets and systems, Eleesevier, pp. 43-66, Jul. 2022. [https://doi.org/10.1016/j.fss.2022.07.001]