잡음이 심한 패널 모듈 영상에서의 에지 선 검출 방법

Ⅰ. 서 론

최근 다양한 분야에 영상처리 시스템을 사용하여 생산 설비나 검사 설비에 적용하여 자동화 시스템을 구성하고 있다. 영상처리를 위하여 적절한 조명을 사용하여 비전을 구성하는 경우, 패턴 매칭 및 에지 검출 방법이 주로 활용되어진다.

이런 다양한 분야에 적용되는 에지 검출에 대하여 많은 연구가 이루어지고 있다. 영상처리에 사용되는 에지 검출을 위한 다양한 접근 방법에 대해 분류하고 검토하는 연구가 진행되었고, 칼라 에지 검출을 위하여 벡터 값 기술을 이용한 검출 방법 또는 랜덤 포레스트(Random forest)를 RGB-D 영상에 적용한 에지 검출 방법들도 연구되어졌다[1]-[3].

최근에는 영상에서 부분 영역 효과를 이용한 획득 모델과 에지 정보를 함께 활용하여 에지를 검출하는 방법이나 DAST(Discrete Anamorphic Stretch Transform)의 위상 특성을 적용하여 영상의 에지 강도를 식별하는 방식으로 에지를 검출하는 방법들이 제시되었고, 또한 잡음 모델을 정의하여 이에 속하지 않는지 확인하는 반대 검증 방법을 사용한 선형 세그먼트 검출기에 대한 연구가 진행되었다[4]-[6]. 그리고 실제 데이터에 아웃라이어들이 많이 존재하는 경우, 이에 대해 가장 적합한 모델 매개 변수를 추정하는 RANSAC(RANdom SAmple Consensus) 방법이 있으며, 이를 활용하는 연구도 활발하게 이루어졌다[7]-[10].

본 논문에서는 설비에 적용되는 조명 기구 구성에 따라 형상 잡음을 동반한 영상을 취득하게 됨으로 인한 잡음의 영향을 최소화하기 위하여 RANSAC 알고리즘을 적용한 후, 사용자 설정에 의한 아웃라이어(Outlier)들을 제거하고 남은 인라이어(Inlier) 세트에 라인피팅(Line-fitting)을 적용하여 직선을 구하는 에지 선 검출 방법에 대한 연구가 이루어졌다. 그리고 이의 성능을 확인하기 위하여 실제 설비의 제품 영상으로부터 취득한 잡음 영상으로부터 에지 검출을 수행하고, 제안된 알고리즘을 적용하여 에지 선 검출 정도를 평가하였다.

2장에서는 일반적인 문턱치를 이용한 에지 검출에 대해 서술하였고 3장에서는 아웃라이어를 고려한 에지 선 검출 알고리즘에 대해 기술하였다. 이어서 4장에서는 설비로부터 획득한 영상에 제안된 알고리즘을 적용하여 실제 나타나는 성능을 확인하였다. 마지막으로 5장에서는 수행된 실험에 대한 성능 평가를 통하여 제안된 알고리즘에 대한 결론을 맺었다.

Ⅱ. 문턱치를 이용한 에지 검출

일반적으로 영상처리에서 에지 검출을 위해 1차 미분을 이용한 검출 방법 또는 2차 미분을 이용한 검출 방법이나 로버츠(Roberts), 소벨(Sobel) 및 프리윗(Prewitt) 마스크 등의 커널을 이용한 컨볼루션 연산을 수행하는 방법들이 많이 사용되고 있다.

본 연구에서는 실제 현장 설비에 많이 사용되는 문턱치를 설정하여 검출하는 방법으로 문턱치 이상으로 상승하는 상승 에지 혹은 하강하는 하강 에지를 검출하는 방법을 이용하였다. 그림 1은 실제 제품의 측면 에지에 대한 영상 화소 값의 변화와 문턱치를 사용하여 상승 에지를 검출하는 부분을 나타낸 것이다.

Fig. 1.

Edge detection using threshold value

그림 1에 나타낸 에지의 상태에 따른 밝기 값의 변화를 살펴보면 A는 정상적인 상태에서 밝기 변화를 나타내었고, B는 패턴에 의한 반사로 인하여 상당한 밝기 값을 가지는 것을 알 수 있다. 그리고 C는 오염에 의하여 밝기 값이 상당히 감소하는 것을 보인다. 그러므로 사용자에 의한 문턱치를 설정하여 경계를 검출하는 방법에 의해 검출되는 에지가 보다 유리하며, 실제 현장에서 광범위하게 사용되어지고 있다.

Ⅲ. 제안된 에지 선 검출 방법

본 논문에서 제안된 에지 선 검출 방법은 실제 현장에서 발생되는 다양한 제품의 에지 상태에 따라 발생하는 에러들을 고려하여 에지 선을 검출하는 방법이며 에지 선 검출을 위해 우선 검출 영역, 검출 방향 및 에지 극성(상승 또는 하강 에지)의 설정이 요구된다.

그리고 선 검출을 위하여 입력 데이터에서 아웃라이어에 대처하기 위하여 일반적인 매개변수 추정 방식으로 최소 개수의 데이터를 사용하여 모델 매개 변수의 최적 값을 얻는 리샘플링 기술인 RANSAC 알고리즘을 적용하였고, 이 알고리즘을 그림 2에 나타내었다. 이 때 RANSAC 알고리즘으로 얻은 인라이어에 대해 라인피팅을 하는 경우, 잡음 발생에 따른 오차 발생이 심하여 인라이어에 대한 라인피팅을 배제한 RANSAC 알고리즘을 적용하였다.

Fig. 2.

RANSAC algorithm

그림 2에 나타낸 RANSAC 알고리즘은 랜덤 샘플링하기 위한 샘플링 수, 반복 횟수, 인라이어 평가를 위한 문턱치 및 에러 범위 내에 들어가는 데이터 수를 입력으로 하여 반복하여 최적의 인라이어를 가지는 모델 매개 변수를 얻는 과정을 수행하는 것이다.

RANSAC 알고리즘을 통해 최적화하는 경우 아웃라이어를 배제한 랜덤 샘플 데이터를 얻을 확률은 다음과 같다.

여기서 q는 랜덤 선택한 데이터가 인라이어 데이터가 될 확률이고 S는 랜덤 샘플링될 데이터 수이다. 그리고 N은 반복 횟수를 나타낸다.

RANSAC 알고리즘이 적용된 제안된 에지 선 검출 알고리즘의 흐름도를 그림 3에 나타내었다. 제안된 방법은 설정된 영역에 대하여 검출 방향, 극성 및 문턱치를 설정하였고 이에 의한 에지 검출과 검출된 에지에 대한 RANSAC 방법을 적용하여 라인피팅하고, 최적화된 선 검출을 1차적으로 수행하고 부가적으로 적정 수준의 에러를 가진 아웃라이어 데이터를 배제한 후, 다시 라인피팅을 통하여 최종적으로 에지 선 검출을 수행하는 것이다.

Fig. 3.

Flow diagram of edge line detection

RANSAC 방법에 의한 최적화된 선 검출을 수행하는 과정을 살펴보면 전체 에지 데이터로부터 랜덤하게 샘플링한 일부의 에지 데이터에 대하여 라인피팅을 수행한다.

Ⅳ. 실험 및 고찰

본 연구에서 제안된 알고리즘은 실제 사용하는 패널에 적용하여 에지 선을 검출하였다. 성능 평가를 위하여 RANSAC 방법만을 사용하는 경우와 아웃라이어 데이터를 배제하는 방법을 함께 수행하였다. 실험을 수행하기 위하여 카메라는 5메가픽셀 해상도의 카메라를 사용하였으며, FOV는 30mm×22.5mm로 하여 패널 영상을 획득하였고 획득한 영상의 패널 모서리 부분을 그림 4에 나타내었다.

Fig. 4.

ROI of panel image

또한 패널에 적용한 검출 영역 및 검출 영역의 영상을 확대하여 에지 상태를 함께 나타내었다. 수평선 영역에 대해서는 y축 증가 방향으로 상승 에지를 검출하고 수직선 검출 영역에서는 x축 증가 방향으로 상승 에지를 검출하도록 설정하였다. 그리고 인라이어를 평가하기 위한 문턱치로 표준편차를 적용하였고 반복횟수는 100회로 설정하였다.

우선 RANSAC 알고리즘에서 얻은 인라이어들에 대해 라인피팅하는 경우, 잡음에 대한 영향을 확인하기 위하여 에지 검출에 적용하는 문턱치에 따른 교차점 검출 성능을 표 1에 나타내었다.

Table 1.

RANSAC result depends on threshold

RANSAC 알고리즘을 통해 얻은 인라이어 세트에 대해 라인피팅을 하였다. 다양한 에지 검출 문턱치 값에 따른 측정을 10회 반복하여 교차점의 위치에 대한 표준 편차를 구하였다. 에지 검출 문턱치에 따라 발생하는 에지 잡음에 따라 검출 정도 변화를 확인하였다.

문턱치에 따른 표준편차를 살펴보면 에지 검출 문턱치 35에서 x축 0.53픽셀, y축 0.72픽셀로 가장 좋은 검출 결과를 나타내었다. 그러나 에지 검출 문턱치 45에서 검출 결과는 x축 0.72픽셀로 높았지만 y축 3.71픽셀 상당히 낮게 나타났다.

제안된 알고리즘의 에지 검출을 위한 문턱치는 적절한 범위의 임의 값으로 수평 영역에 밝기 값 43을 수직 영역에 밝기 값 37을 설정하였다. 성능 평가를 위하여 수평 및 수직 에지 선을 검출하고 에지 선의 교차점을 구하였고, 10회 반복 측정하여 에지 교차점의 표준 편차를 이용하여 안정적인 검출 성능을 측정하였다.

그림 5는 RANSAC 방법과 제안된 방법으로 검출된 에지 데이터와 검출된 수직 및 수평 에지 선의 교차점을 나타낸 것이다. 전체 에지 데이터에 대해 20% 정도의 아웃라이어들을 배제하였고 이를 그림 5(b)에서 분리하여 나타내었다.

Fig. 5.

Results of edge line detection

검출된 수직 및 수평 에지 선들 간의 교차점 좌표들을 표 2에 나타내었다. 검출 성능은 10회 검출한 에지 선과 에지 선의 교차점이 가지는 표준 편차를 통하여 확인하였다.

Table 2.

Cross points of horz. line and vert. line

RANSAC 알고리즘의 경우, 표준편차가 x축 ±1.5픽셀, y축 ±1.69픽셀로 나타났으며 제안된 방법에서는 x축 ±1.35픽셀, y축 ±0.94픽셀이다. 측정된 표준편차에 대해 3 시그마를 적용해 검출 정도를 실제 치수로 표시하면 RANSAC 알고리즘의 경우, ±0.052mm, y축 ±0.057mm이다. 제안된 방법의 경우, x축 ±1.35픽셀, y축 ±0.94픽셀이며 이는 x축 0±.047mm, y축 ±0.032mm이다.

RANSAC 알고리즘에 비하여 제안된 알고리즘에서 아웃라이어를 고려한 에지 선 검출이 보다 강인한 것으로 나타났다.

Ⅴ. 결 론

본 논문은 실제 산업 현장에서 기구적 구조에 따라 영상에 나타나는 경계가 불명확한 잡음 특성을 가지는 디스플레이 패널 모듈에 대해 모서리 검출에 사용되는 측면 에지에 대한 선 측정 알고리즘을 제안한 것이다. 제안된 방법은 RANSAC 방법에 아웃라이어를 배제함으로써 에지 선 검출 성능을 향상시키는 방법을 제안한 것이다. 실험을 통해 RANSAC 방법만 사용하는 경우, 교차점의 검출 정도는 x=±0.052mm, y=±0.057mm로 나타났고, 제안된 방법은 x=±0.047mm, y=±0.032mm로 보다 강인한 성능을 나타내었다. 제안된 에지 선 검출 방법은 검출 에지 데이터에 나타나는 잡음이 많이 나타나는 경우 아웃라이어를 배제함으로 RANSAC 방법을 보완하여 검출 성능이 강인해짐을 확인할 수 있었다.

Acknowledgments

이 연구는 금오공과대학교 학술연구비로 지원되었음(과제번호: 2018-104-074).

References

• R. Maini and H. Aggarwal, "Study and Comparison of Various Image Edge Detection Techniques", International Journal of Image Processing, Vol. 3, No. 1, pp. 1-12, Feb. 2009.
• A. Koschan and M. Abidi, "Detection and classification of edges in color images", IEEE Signal Processing Magazine, Vol. 22, No. 1, pp. 64-73, Feb. 2005. [https://doi.org/10.1109/MSP.2005.1407716]
• H. Zhang, Z. Wen, Y. Liu, and G. Xu, "Edge Detection from RGB-D Image Based on Structured Forests", Journal of Sensors, Hindawi Publishing Corporation, Vol. 2016, Article No. 5328130, pp. 1-10, Jun. 2016. [https://doi.org/10.1155/2016/5328130]
• A. Trujillo-Pino, K. Krissian, M. Aleman-Flores, and D. Santana-Cedres, "Accurate subpixel edge location based on partial area effect", Image and Vision Computing, Vol. 31, No. 1, pp. 72-90, Jan. 2013. [https://doi.org/10.1016/j.imavis.2012.10.005]
• M. H. Asghari and B. Jalali, "Edge detection in digital images using dispersive phase stretch transform", International Journal of Biomedical Imaging, Vol. 2015, pp. 1-6, Jan. 2015. [https://doi.org/10.1155/2015/687819]
• R. G. von Gioi, J. Jakubowicz, J. M. Morel, and G. Randall, "LSD: a Line Segment Detector", Image Processing On Line, Vol. 2, pp. 35-55, Mar. 2012. [https://doi.org/10.5201/ipol.2012.gjmr-lsd]
• M. A. Fischler and R. C. Bolles, "Random sample consensus: A paradigm for cartography", Communications of the ACM, Vol. 24, No. 6, pp. 381-395, Jun. 1981. [https://doi.org/10.1145/358669.358692]
• K. G. Derpanis, "Overview of the RANSAC Algorithm", Image Rochester, N.Y., Vol. 4, No. 1, pp. 2-3, May 2010.
• B. J. Bae and J. S. Park, "Outlier Removal in Feature Point Matching Using Residual Magnitude", Journal of KIIT, Vol. 11, No. 8, pp. 239-250, Nov. 2015.
• F. Zhou, Y. Cui, Y. Wang, L. Liu, and H. Gau, "Accurate and robust estimation of camera parameters using RANSAC", Optics and Laser in Engineering, Vol. 51, No. 3, pp. 197-212, Mar. 2013. [https://doi.org/10.1016/j.optlaseng.2012.10.012]