Current Issue

최근 코로나로 인해 화상회의나 강의와 같은 비대면 시스템이 활성화되면서 디스플레이가 탑재된 각종 IT 기기들의 활용성이 더 높아지고 있으며 화상회의와 강의뿐만 아니라 각종 소비활동에서도 언텍트가 일상화되었다[1]. 또한 최근에는 스마트 이러닝과 같은 다양한 원격 교육시스템이 제안되고 있다[2]. 이러한 언텍트 환경에서 필수적으로 사용되는 IT기기들은 대부분 사용자에게 시각적으로 데이터를 전달하는 디스플레이를 탑재하고 있다.

현재 디스플레이 생산과정에서는 다양한 공정들을 통해 디스플레이의 생산성을 높이고 있다. 그 중에서도 결함을 빠르게 검출하고 이를 보상하는 작업은 필수적으로 포함되는 공정이다. 디스플레이 생산에서 발생하는 결함은 Mura라고 불리며 발생 원인으로는 작업 과정에서 실수나 부적합한 환경으로 인해 발생한다. 이러한 Mura의 발생은 디스플레이의 생산율을 낮추는 요인 중에 하나이며 대부분의 공정에서 이를 해결하기 위해 몇몇의 검출방법 및 보상방법이 수행되고 있다. 대표적으로 사용되는 검출기법으로는 AOI 검출 기법이 있으며 육안으로 검출을 수행하기도 한다[3].

AOI 검출 기법은 레이저 등과 같은 광학장치에서 출력되는 빛을 필름에 투과하여 발생하는 빛의 양을 이미지 카메라를 통해 Mura를 검출하는 방법이다. 육안검출 기법은 작업자가 직접 눈으로 관찰하여 검출하는 방법이다. 현재에는 AOI 검출기법과 머신러닝을 결합하여 결함을 검출하는 기술들도 개발되고 있으며, 가버웨이플릿 변환, Polynomial models 기법을 통한 Mura 검출 기법들도 제안되었다[4]-[6].

하지만 아직 머신러닝을 결합하여 Mura를 검출하는 방법은 생산 공정에서 보편화되어있지 않으며 대부분 AOI 검출이나 육안 검출을 사용하고 있다. 이러한 검출 방법은 문제점이 있는데 먼저 육안 검출 방법은 작업자의 주관적인 판단으로 인해 검출결과가 달라질 수 있고 작업자의 눈에 상당한 피로를 줄 수 있다. AOI 검출은 사전에 Mura의 패턴을 입력하고 동작하기 때문에 새로운 패턴의 Mura가 발생하게 된다면 Mura가 없는 양품으로 인식하는 문제가 발생한다. 따라서 본 논문에서는 이러한 AOI, 육안 검출에서 발생하는 문제점을 해결하기 위해 머신러닝을 이용하여 Mura를 검출하는 시스템을 구현하였다.

Mura 검출에 사용될 데이터들은 실제 공정에서 패널 이미지를 수집하여 가공한다. 수집된 데이터는 CNN의 학습데이터로 사용되기 때문에 가공과정에서 일정한 규격의 이미지 데이터를 추출해야한다. 이를 위해서 본 논문에서는 이미지 카메라와 아날로그 및 디지털 비디오 스트림에서 개별 디지털 스틸 프레임을 캡쳐하는 Frame grabber를 사용하였다.

그림 1의 카메라 렌즈는 6 inch의 모듈 대응을 위해서 약 1.5M까지 Workding Distance가 필요하기 때문에 이에 적합한 OVM0504MN 모델[7]을 사용하였다. 그림 2의 카메라는 RMV-29 CL 모델[8]이며 해당 모델은 최대 QHD+(1440×2880)까지 보상이 가능하다. 또한, 디지털 변환을 위해서는 1:2의 픽셀 캡쳐가 요구되며 (1440×2)×(2880×2)의 CCD 카메라 해상도가 필요하다. 따라서 최종적으로 29M 카메라를 선정하였다.

Fig. 1. 
OVM0504MN camera lens

Fig. 2. 
RMV-29 CL 29M camera

그림 3은 개별 디지털 스틸 프레임을 추출하기 위해 사용한 Solios eV-CL Frame grabber 모델[9]이며 전송속도를 고려하여 PCle 타입을 사용하였다.

Fig. 3. 
PCle type frame grabber

3장에서 생성한 패널 이미지를 검증하기 위해 CNN 모델을 활용하여 학습 후 Mura 검출을 수행하였다. CNN의 입력데이터로는 3장에서 생성한 720×1920 사이즈의 패널 이미지를 480×480로 resize하고 0과 1사이의 값으로 정규화하였다.

초기 모델 학습에는 총 350개의 패널 이미지 데이터가 사용되었으며 Mura가 포함된 패널 이미지 175개, 정상적인 패널 이미지 175개를 사용하여 학습을 진행하였다. 모든 패널 이미지 데이터는 Mura가 포함된 패널 이미지와 정상적인 패널 이미지가 육안으로 구별되지 않는 데이터를 사용하였다.

그림 9는 Mura 검출을 위해 구성한 CNN 모델의 구조이다. 구성한 모델은 크게 2개의 Convolutional layer와 Pooling layer, 1개의 Flatten layer와 2개의 Fully connected layer로 구성되어 있다. 또한, 각 Layer들 사이에는 Dropout을 적용하여 과적합을 방지하였다. Convolutional layer는 입력된 패널 이미지 데이터들의 특징을 추출하며, 추출된 정보들은 Maxpooling을 통해 특징 표본을 추출한다. 이 과정이 끝나면 데이터를 펼치는 Fatten layer를 거쳐 최종적으로 Fully connected layer를 통해 결과를 출력한다. 사용된 활성함수는 딥러닝에서 많이 사용되고 있는 ReLU이며, Optimazer로는 Adam을 사용하였다. 마지막 Output layer는 앞선 노드의 모든 결과를 받아 Softmax를 통해 분류를 수행한다.

Fig. 9. 
Constructed CNN model

그림 10은 시뮬레이션 결과를 표현한 히트맵이다. 학습 후 테스트에서는 Mura가 포함된 패널 이미지 25개, 정상적인 패널 이미지 25개로 총 50개의 데이터를 사용하였다. 결과를 보면 모든 데이터를 정확하게 분류한 것을 확인할 수 있다.

Fig. 10. 
Hitmap of simulation result

[3]에서는 패널 이미지를 받아 5개의 Convolutional layer와 2개의 Fully connected layer를 이용하여 학습을 수행하였다. 이때 테스트 수행 결과로 96%의 정확도를 얻을 수 있었다. 하지만 본 논문에서는 오히려 Convolutional layer를 줄였으며 데이터를 펴는 Flatten layer를 추가하고 Dropout를 적절히 활용한 결과 50개의 테스트 데이터를 모두 정확하게 분류하여 100% 정확도를 얻을 수 있었다.

머신러닝 기술이 발전함에 따라 생산 공정, 서비스업, 차량 등 모든 분야에서 예외 없이 머신러닝 기술이 사용되고 있다. 본 논문에서는 현재 각광받고 있는 딥러닝 기술 CNN을 이용하여 생산 공정에서 디스플레이 패널의 결함을 검출하는 시스템을 구현하였다. 이미지 수집을 위해 29M 카메라와 OVM0504MN 모델, PCle 타입 Frame grabber를 사용하고 수집한 데이터들을 총 5단계의 전처리 과정을 통해 가공하여 규격화된 데이터들을 생성하였다. 전처리 과정은 카메라 장비를 통해 수집한 데이터들을 BMP 파일로 변환하고 Otsu 이진화 알고리즘을 통해 노이즈를 제거하였다. 이후 패널 이미지의 코너를 영역별로 검출하고 IPT을 적용하여 3차원 위치 및 회전을 제거하였다. 이렇게 생성된 이미지 데이터들은 CNN 모델의 입력으로 사용되어 학습하였다. 그 결과, [3]보다 향상된 정확도를 얻을 수 있었다. 하지만 생산 공정을 통해 대량으로 데이터를 수집해야하는 패널 데이터 특성상 현재 논문에서 수집한 데이터보다 더 많은 양의 데이터를 활용해 시뮬레이션을 수행하는 것이 필요하다. 또한, AOI 기법에서 주로 수행하는 Mura 패턴 분석 및 보상과 같은 시스템 구현을 위해서는 충분한 양의 데이터 수집과 세부적인 모델 개선이 필요할 것으로 예상된다.