RANSAC 방법을 이용한 패널 합착 영상의 갭 측정 검사 방법

Ⅰ. 서 론

현재의 산업 현장은 생산 라인의 자동화에 영상 보정 시스템이 많이 활용되어진다. 또한 다양한 분야에 영상 처리를 이용한 검사 시스템이 활용되어지고 있다. 이러한 영상 처리에서 영상 잡음으로부터 얻어진 데이터를 정리하기 위하여 RANSAC 알고리즘은 널리 사용되어진다[1][2]. 복잡한 모델의 경우 RANSAC과 더불어 여러 모델을 사용하는 것이 효과적이라는 연구 결과가 있다[3].

최근에는 다중 영상 스티칭 기법에서 적절한 대응점을 추출하기 위하여 RANSAC 방법을 사용하거나 태양 전지 라이브러리의 속성에 대한 데이터 집합에 RANSAC 파생 모델이 활용되어지는 등의 응용 범위가 넓어지고 있다[4][5].

마찬가지로 영상 처리에 에지 검출이 많이 활용되어지고 다양한 분야에 적용되어진다. RGB-D 영상에 랜덤 포레스트를 적용한 에지 검출 방법이나 잡음 모델을 통해 반대 검증 방법을 사용한 선형 세그먼트 검출기에 대한 연구가 진행되었다[6][7]. 또한 의료 영상에서 종양 검출을 위하여 퍼지를 접목한 에지 검출 방법이나 TFT-LCD 패턴의 임계 치수(CD) 측정을 위하여 표면함수를 사용한 모델링을 통한 에지 검출 알고리즘 등의 연구가 지속적으로 이루어지고 있다[8][9].

본 논문에서는 패널 합착 설비에서 합착 후, 합착부의 패널 에지와 백라이트 모듈의 내측 에지 사이의 갭(Gap)을 측정하기 위하여 영상에 나타나는 잡음에서 나타나는 아웃라이어(Outlier)들을 배제하여 에지를 측정함으로써 에지 간의 갭을 안정적으로 측정하는 방법을 제안하였다. 합착부의 에지는 다양한 영상 잡음이 나타남으로 에지 검출에 RANSAC 방법에 마할라노비스 거리(Mahalanobis' distance)에 사용하는 표준편차를 적용함으로 아웃라이어를 고려한 최적화를 통해 에지 직선을 추정함으로 보다 안정적으로 갭을 측정하였다. 2장에서는 RANSAC 방법을 통한 에지 선 측정에 대해 서술하고, 3장에서는 제안된 갭 측정 알고리즘에 대하여 기술하였다. 4장에서는 실제 생산 설비의 합착부를 촬영한 영상에 적용하여 측정함으로써 일반적인 RANSAC 방법과 비교하여 제안된 알고리즘의 성능을 평가하였다. 이어서 5장에서는 제안된 알고리즘의 대한 평가와 이에 대한 결론을 내렸다.

Ⅱ. RANSAC 에지 선 검출 방법

에지 검출은 미분을 이용하는 방법이나 커널을 이용한 방법 등이 있으며 여기서는 Otsu 방법을 통해 얻은 문턱치를 이용하여 이진화하고 이진 영상에 대한 미분을 이용하여 에지를 검출한다. 검출된 에지는 조명 조건, 표면 상태 등으로 인하여 아웃라이어가 포함된다. 아웃라이어가 포함된 데이터에서 아웃라이어들을 배제하기 위한 추정 방법으로 많이 사용되는 RANSAC 방법을 그림 1에 나타내었다.

Fig. 1.

Algorithm of edge line detection

우선 에지 검출은 2개의 클래스의 경우, 클래스 내 분산을 최소화하기 위해 클래스 간 분산을 최대화하는 문턱치를 찾는 방법인 Otsu 방법을 사용하여 이진화한다. 그리고 Otsu 방법에서 클래스 간 분산은 식 (1)과 같다.

여기서 w₀(t)와 w₁(t)는 두 클래스의 확률값이고 μ₀(t)와 μ₁(t)는 두 클래스의 평균값이다. t는 두 클래스를 나누는 밝기 레벨을 의미한다.

에지 데이터를 얻기 위하여 이진 영상의 값 변화를 스캔하여 에지 데이터를 검출하고, 검출된 데이터로부터 에지 선을 추정하기 위하여 RANSAC 방법을 사용하였다. RANSAC 방법은 에지 데이터로부터 랜덤하게 샘플링한 샘플 데이터로부터 선 추정을 수행하고, 그 다음 추정된 에지 선을 기준으로 측정 에러 값들을 계산한다. 이러한 계산된 에러로부터 특정 기준 값 이하의 에러를 가진 인라이어데이터의 수를 얻고, 최적 인라이어 데이터 수와 비교를 통하여 최적 에지 선을 추정하는 방법이다. 그리고 이 과정을 N번 반복함으로써 최적의 에지 선을 검출하는 방법이다.

N번 반복하여 랜덤 샘플링을 통해 최적화하는 경우 아웃라이어가 포함되지 않은 랜덤 샘플 데이터를 얻을 확률은 다음과 같다.

여기서 q는 랜덤 선택한 데이터가 아웃라이어인 경우의 확률이고 S는 랜덤 샘플링될 데이터 수이다.

Ⅲ. 제안된 갭 측정 알고리즘

본 논문에서 제안하는 갭 검사 알고리즘은 그림 2에서 나타낸 패널의 에지와 백라이트 모듈의 합착부의 에지와의 거리를 측정하는 방법으로 합착부를 촬영한 영상에 존재하는 다양한 잡음에 대응하기 위한 RANSAC 방법에 마할라노비스 거리에 사용되는 표준편차를 이용하여 최적화된 에지 선 검출을 수행하는 방법이다. 얼마나 많이 표준편차로부터 떨어져있는지를 측정하는 마할라노비스 거리 D는 식 (3)으로 표현된다.

Fig. 2.

Proposed algorithm

여기서 x는 데이터를 나타내고 m은 데이터의 평균값이다. C는 공분산 행렬을 의미한다.

제안된 알고리즘에서 마할라노비스 거리의 개념을 이용함으로 추정된 에지 선의 최적화 정도를 평가하기 위하여 인라이어의 수에 비례하는 정도와 에러가 가지는 표준 편차에 반비례하는 정도를 함께 적용하였다.

우선 제안된 알고리즘은 패널 에지 검출과 BLU 에지 검출을 위하여 이진화를 위한 문턱치를 구해야 한다. 각 문턱치는 BLU 모듈의 종류에 따라 히스토그램이 다르다. 따라서 모듈에 따라 각각 얻을 수 있는 방법으로 밝기 값 범위를 이용하여 Otsu 방법을 사용한다. 백색 모듈에 대한 문턱치와 흑색 모듈에 대한 문턱치를 구하기 위하여 여러 범위 구간을 적용하여 4개의 문턱치를 구하였고 이를 식 (4)에 나타내었다.

여기서 Otsu(a, b)함수는 밝기 값 a와 b의 범위 구간에 대해 적용하는 Otsu 방법을 의미한다.

제안된 알고리즘에서 이진화를 위하여 백색 BLU 모듈은 패널 에지에 th_w, BLU 에지에 th_b를 사용하였다. 그리고 흑색 BLU 모듈의 패널 에지에 th_p를 사용하였고 BLU 에지에 th_bb를 적용하였다. 그리고 이러한 문턱치를 백색 BLU 모듈 및 흑색 BLU 모듈에서 나타나는 히스토그램을 그림 3에 나타내었다.

Fig. 3.

Histogram and the threshold

이어서 Otsu 방법으로 얻은 문턱치를 사용하여 합착부 영상을 이진화하고, 패널 에지 검출은 패널 영역에서 BLU 모듈 방향으로 이진 영상의 값 변화를 비교하면서 스캔하여 첫 변화 지점을 패널 에지로 검출하고, BLU 모듈의 에지 검출은 BLU 모듈 영역에서 패널 영역으로 값 변화를 비교하며 진행하여 처음 변화하는 지점을 BLU 모듈의 에지로 검출하게 된다.

그리고 검출된 에지 데이터는 그림 2에 나타낸 RANSAC 방법을 따라 랜덤하게 샘플을 취하고 Line-fitting을 수행하여 추정된 에지 선에 대한 에지 데이터의 에러와 표준 편차를 구하였다. 구해진 표준편차를 적용하여 인라이어와 아웃라이어를 분리하고 인라이어의 수를 결정하였다.

그리고 최적의 에지 선을 결정하기 위하여 인라이어 데이터 수를 표준 편차로 나눈 값을 사용하여 비교하였고, 이 과정을 여러번 반복하여 수행한 후 최적의 에지 선을 선택하였다. 제안된 RANSAC 방법에 의해 얻는 패널의 에지 선과 백라이트 모듈의 에지 선 간의 갭 거리(Gap distance)는 다음과 같다.

여기서 K는 갭 측정을 위한 영상 영역의 폭을 의미한다. E_panel은 RANSAC 알고리즘으로 추정된 패널 에지 선의 위치 값을 나타내고 E_BLU는 추정된 BLU 에지 선의 위치 값을 나타낸다. 이를 통해 갭 거리가 설정된 범위에 있는지를 검사하는 갭 검사를 수행하게 된다.

제안된 알고리즘의 처리 과정을 그림 4에 나타내었다. 그림 4(a)는 패널 에지 검출을 위한 문턱치를 이용하여 이진화하여 검출한 에지를 나타내었고 그림 4(b)는 BLU 에지 검출을 위한 문턱치를 이용하여 이진화하고 검출한 에지를 나타내었다. 마지막으로 그림 4(c)는 제안된 RANSAC 알고리즘을 통해 얻어진 각각의 에지 선을 나타내었다.

Fig. 4.

Process of the proposed algorithm

Ⅳ. 실험 및 고찰

제안된 갭 검사 알고리즘의 성능을 평가하기 위하여 실제 설비에서 획득한 영상에 대하여 반복적으로 갭을 측정하여 성능을 평가하였다. 설비의 영상은 5M 해상도 카메라로 획득하였으며 FOV는 8.4mm×7.0mm다. 성능 평가를 위하여 일반적인 RANSAC 방법을 적용한 결과와 제안된 알고리즘의 결과를 비교하였다. RANSAC 방법을 적용하기 위하여 샘플 수는 10개, 반복 횟수 N은 100회, 인라이어로 평가하기 위한 문턱치는 에지 데이터의 표준편차로 설정하여 실험을 수행하였다.

그림 5는 갭을 검사하기 위하여 영역을 설정하는 경우 나타날 수 있는 다양한 잡음을 가진 샘플 영상을 나타내었다. 상단의 1~3 영상은 백라이트 모듈이 백색이며, 하단의 4~5 영상은 백라이트 모듈이 흑색이다. 그리고 검출된 에지를 그림 6에 나타내었다. 패널 측에서 검출된 에지와 백라이트 모듈 측에서 검출된 에지들을 같이 나타내었다.

Fig. 5.

Sample images

Fig. 6.

Detected edges

그림 6을 살펴보면 BLU 백색 모듈은 BLU 모듈 에지가 선명하게 검출되나 BLU 흑색 모듈은 BLU 모듈 측 에지에 잡음이 많이 나타났다. 그리고 BLU 백색 모듈의 영상에서 패널 측 잡음의 형태를 볼 수 있다. 샘플 영상 1은 패널의 경계의 단차로 인하여 2개의 에지가 나타난 것이고 샘플 영상 2, 3은 패널 모서리에 발생한 오염으로 인한 잡음을 포함하고 있다.

RANSAC 방법과 제안된 알고리즘에 의해 얻어진 갭 거리 측정값과 표준 편차를 표 1에 나타내었다. 표준 편차를 살펴보면 제안된 알고리즘에서 보다 안정적인 검출 값을 나타내고 있음을 확인하였다.

Table 1.

Gap distance and standard deviation

샘플 영상 3, 4에서 RANSAC 방법과 제안된 방법에서 비슷한 측정 정도를 가지나 샘플 영상 1, 2, 5, 6에서는 RANSAC 방법에 비해 제안된 방법이 보다 잡음에 대해 강인한 것을 확인할 수 있었다. 제안된 방법의 표준편차에 대하여 3 시그마를 적용하여 실제 치수로 측정 정도를 나타내면 백색 BLU 모듈에서는 ±4.43μm, ±8.62μm, ±16.51μm로 나타났으며, 흑색 BLU 모듈에서는 ±2.4μm, ±0.14μm, ±2.46μm로 나타났다.

Ⅴ. 결 론

본 논문은 패널 합착 후에 합착 상태를 검사하기 위한 패널과 백라이트 모듈의 에지 사이의 갭을 측정 검사하는 방법을 제안하였다. 제안된 알고리즘을 실제 설비 영상을 통해 실험하였고, 이에 대해 RANSAC 방법과 비교를 통해 제안된 알고리즘의 성능을 평가하였다. 실제 나타나는 여러 가지 잡음에 대한 측정 정도가 안정적인 성능을 나타내었다. 특히, 샘플 영상 6의 심한 잡음에 대해 RANSAC 방법에서 3 시그마 측정 정도가 ±79.06μm로 나타나는 것에 비하여 제안된 알고리즘에서는 ±2.46μm으로 나타났으며 잡음에 대해 강인한 성능을 나타내었다.

Acknowledgments

이 연구는 금오공과대학교 학술연구비로 지원되었음(과제번호: 2019104105).

References

• M. A. Fischler and R. C. Bolles, "Random sample consensus: A paradigm for cartography", Communications of the ACM, Vol. 24, No. 6, pp. 381-395, Jun. 1981. [https://doi.org/10.1145/358669.358692]
• K. G. Derpanis, "Overview of the RANSAC Algorithm", Image Rochester, N.Y., Vol. 4, No. 1, pp. 2-3, May 2010.
• P. Strandmark and I. Y. H. Gu, "Joint Random Sample Consensus and Multiple Motion Models for Robust Video Tracking", Scandinavian Conference on Image Analysis, Lecture Notes in Computer Science, Vol. 5575, pp. 450-459, Jul. 2009. [https://doi.org/10.1007/978-3-642-02230-2_46]
• S. H. Lee, D. H. Lee, and J. H. Choi, "Multiple Images Stitching Using Homography Similarity", Journal of KIIT, Vol. 13, No. 6, pp. 129-138, Jun. 2015. [https://doi.org/10.14801/jkiit.2015.13.6.129]
• O. Kaspi, A. Yosipof, and H. Senderowitz, "RANdom SAmple Consensus (RANSAC) algorithm for material-informatics: application to photovoltaic solar cells", Journal of Cheminformatics, Vol. 9, No. 1, pp. 1-15, Jun. 2017. [https://doi.org/10.1186/s13321-017-0224-0]
• H. Zhang, Z. Wen, Y. Liu, and G. Xu, "Edge Detection from RGB-D Image Based on Structured Forests", Journal of Sensors, Hindawi Publishing Corporation, Vol. 2016, Article No. 5328130, pp. 1-10, Jun. 2016. [https://doi.org/10.1155/2016/5328130]
• R. G. von Gioi, J. Jakubowicz, J. M. Morel, and G. Randall, "LSD: a Line Segment Detector", Image Processing On Line, Vol. 2, pp. 35-55, Mar. 2012. [https://doi.org/10.5201/ipol.2012.gjmr-lsd]
• I. Laurence Aroquiaraj and K. Thangavel, "Mammogram Edge Detection Using Hybrid Soft Computing Methods", arXiv:1307.4516, , 2013.
• S. W. Lee, S. Y. Lee, and H. J. Pahk, "Precise Edge Detection Method Using Sigmoid Function in Blurry and Noisy Image for TFT-LCD 2D Critical Dimension Measurement", Current Optics and Photonics, Vol. 2, No. 1, pp. 69-78, Feb. 2018.