Home

손현철 연구팀은 태양광 패널의 자동 불량 분류를 위한 네트워크를 제안하였다[3]. 잔차 블록을 포함한 제안 네트워크를 이용해 분류를 진행하였지만, 학습 데이터의 부족으로 분류 정확도가 매우 낮았다. 하지만 열화상 영상을 이용한 방법이라는 점은 본 논문과의 공통점이 있다. 추가 데이터 수집을 진행한 후 CNN 모델을 기반으로 정상과 7개의 불량 패턴으로 분류하는 예비 연구가 진행되었다[4]. 제안하는 모델은 채널의 깊이가 다른 2개의 Stage에서 잔차 블록을 반복하는 구조를 이용해 분류하였다.

최경훈 연구팀은 태양전지의 파손을 검출하기 위해 사전 훈련된 모델을 이용한 방법을 보였다[5]. 파손된 영역을 가까이에서 촬영한 영상을 기반으로 진행하였으며 데이터 증강을 이용해 높은 검출 성능을 보였다. 조선근 연구팀은 태양광 모듈의 EL 영상을 이용해 실시간으로 결함을 검출 할 수 있는 방법을 제안하였다[6].

이 연구는 객체 검출 모델인 YOLO 알고리즘을 적용하여 결함된 영역을 높은 정확도로 검출하였다. B. Su 연구팀은 결함을 추출하기 위해 이미지 샘플에서 패치를 사용한 유사성 분석 및 클러스터링을 사용한 CPICS-LBP를 제안하였다[7]. 이 연구는 고전적인 기계학습 기법을 사용한 점이 본 논문에서 제안하는 방법과 큰 차이가 있다. 동일 연구팀에서 진행한 연구에서는 배경 노이즈를 억제하고 결함의 특징을 동시에 강조 가능한 CAN을 사용하였다[8]. 그리고 R-CNN을 네트워크에 포함하여 정교한 위치 탐지를 가능한 딥러닝 기반의 연구를 보였다. A. Bartler 연구팀은 왜곡 보정, 분할 및 관점 보정을 위한 데이터 전처리와 심층 CNN을 기반으로 태양전지 EL 영상의 결함을 자동으로 탐지하는 방법을 제안하였다[9]. 또한, 오버 샘플링과 데이터 증강을 진행한 학습 방법이 이전 연구들보다 더 좋은 방법임을 증명하였다. M. Mayr 연구팀은 태양전지의 EL 영상에 대하여 균열 영역을 분할할 수 있는 약한 지도학습 방법을 제안하고 수정된 ResNet-50 사용 및 Lp 정규화를 적용하여 불량을 감지하는 방법을 제안하였다[10]. H. Chen 연구팀은 다중 스펙트럼 심층 CNN을 기반으로 시각적인 결함 감지가 가능한 방법을 제안하였다[11]. 모델의 깊이와 커널의 크기에 대한 실험을 통해 최적의 모델을 설계하고 K-Fold 교차 검증을 이용해 높은 결함 인식 정확도를 보였다. M. Akram 연구팀은 태양전지의 EL 영상에서 결함을 인식하기 위하여 Light CNN을 사용한 접근 방식을 제안하였다[12]. 이 방법은 계산 시간 방면에서 크게 향상되었으며 데이터 부족 및 과적합 현상을 해결하기 위하여 데이터 증강을 사용하여 높은 성능을 보였다.

이상 감지 방법은 크게 지도 학습, 비지도 학습 방법으로 나눌 수 있다. 지도 학습의 경우 이상 영상에 대한 라벨링이 추가적으로 필요하다. 따라서 정답이 존재하기 때문에 이론상 정확한 감지가 가능할 것으로 생각된다. 하지만 비정상 데이터는 정상 데이터에 비하여 데이터 편향이 크게 발생하고 패턴이 다양하여 쉽게 학습이 불가능하다. 따라서 이상 감지의 경우 비지도 학습 방법이 크게 주목을 받고 있다. 비지도 학습은 데이터들의 패턴에 집중하여 학습하는 방법이다. 대부분의 기존 연구들에서는 정상 데이터들에 대해 학습을 진행하여 재구성 데이터를 생성하고 이상 데이터를 입력으로 하였을 때 본래의 영상과 차이가 큰 점을 이용한다. 이러한 방식은 AutoEncoder 모델을 시작으로 발전하였으며 U-Net[13], GAN[14] 등에 기반한 재구성 오류로 탐지하는 연구가 진행되고 있다. 이상 감지는 실생활에서도 유용하게 사용될 수 있다. 예를 들어 사고나 고장을 감지하거나[15]-[17], 넘어짐을 검출하는 연구[18][19]도 이상 감지 영역에 포함된다.

AnoGAN[20]는 비지도 학습 방식으로 GAN[14]과의 결합을 통한 방법을 제안한다. OCT 영상에 대하여 정상 데이터만을 입력하여 분포를 학습하고 이상 점수를 산출하여 비교 및 분류한다. 이를 확장한 f-AnoGAN[21]은 새로운 데이터에 대한 빠른 매핑 기술을 보이며 GAN에 Encoder를 추가적으로 도입하여 향상된 성능을 보인다. 이 모델이 생성한 데이터는 전문가 또한 구별할 수 없는 것으로 나타나 생성 성능이 매우 높음을 보였다. GANomaly[22]은 X-ray 영상을 기반으로 하며 정상 데이터 만을 학습에 사용한다. 생성 및 잠재 공간을 학습하는 과정을 동시에 진행하는 방법이며 이상 점수를 잠재 벡터의 차이로 계산하는 방법을 제안하였다. 이를 확장한 Skip-GANomaly[23]은 U-Net[13] 기반의 네트워크 구조를 이용한 적대적 훈련 학습 방식을 사용하며 Discriminator의 특징 맵에 대한 손실 함수를 추가한 것이 특징이다. ADGAN[24]은 U-Net[13]의 구조를 수정하고 정상 샘플의 다중 스케일 특징을 추출하여, 세밀한 재구성 이미지를 생성하는 방법을 제안하였다. 정규 분포를 학습하기 위해 적대적 훈련 학습 방식과 결합하고 비정상 영상을 처리할 때 재구성 오류를 크게 발생시키도록 하였다.

먼저, 학습 모델은 기존 U-Net을 수정하는 방식을 택하며 제안하는 네트워크 모델은 그림 1과 같다. 입력과 출력의 크기가 같을 수 있도록 모델을 변형하고 모든 컨볼루션 층의 활성화 함수는 ReLU로 구성한다. 그리고 모든 Maxpooling과 Upsamping 층에는 Dropout 층을 추가하고, 유지 비율을 낮게 설정하여 과적합을 방지할 수 있도록 한다. 네트워크 전체의 깊이는 총 5층이며 각 층의 깊이는 32-64-128-256-512이다.

Fig. 1. 
Proposed network model

3.1에서 언급한 제안하는 네트워크를 정상 열화상 영상으로만 학습을 진행하면 모델의 출력은 입력 영상과 매우 가까운 영상을 생성한다. 따라서 정상 영상이 아닌 불량 영상을 학습된 네트워크의 입력으로 한다면 모델의 출력은 입력과는 다른 결과를 보이게 된다. 따라서 입력 영상과 출력 영상의 차이, 즉 재구성 오류를 이용해 불량을 판단할 수 있다. 하지만 태양전지의 경우 불량인 영역이 큰 경우도 있지만, 미세한 영역이 불량이라도 해당 모듈은 불량이라 판단해야 한다. 불량인 영역이 크다면 재구성 오류만으로 감지하기 쉽지만 작은 경우에는 판단하기 쉽지 않다. 이렇게 영역이 작은 경우의 감지 방법은 패치를 이용한 방법이 있다. 하지만 패치를 이용한 판단을 진행한다면 미세한 영역에만 집중되며 큰 영역의 불량이 패치에 의해 나누어지기 때문에 정확도가 낮다. 이에 대한 실험은 4절에서 언급한다. 따라서 본 논문에서는 태양전지의 불량 판단이라는 목적에서 큰 영역 뿐 아니라 미세한 영역까지 검출이 가능하도록 하는 차 영상 정렬 기법에 대해 제안한다.

차 영상 정렬 기법은 복원 영상 R(x)와 실제 영상 x의 차 영상을 구하여 차이가 큰 N개의 값만을 사용해 이상 점수를 계산하는 방법이다. 그림 2는 패치를 사용한 검출 결과(a)와 본 논문에서 제안하는 차 영상 정렬 기법을 사용한 검출 결과(b)를 도식화하여 나타낸 것이다. 빨간 선은 패치를 나눈 선, 흰색 영역은 차 영상에서 나타난 이상 영역 그리고 노란 영역은 판단하는 불량 영역을 나타낸다. 그림 2(a)는 큰 불량 영역이 패치에 의해 나누어진 모습을 볼 수 있으나 그림 2(b)는 값이 큰 순으로 내림차순 정렬을 하여 그림 2(a)보다 영역에 포함되는 불량 부분이 많음을 알 수 있다. 따라서 차 영상 정렬 기법은 불량 영역의 크기와 상관없이 검출할 수 있으며 패치를 사용한 결과보다 검출 성능이 높다고 할 수 있다.

Fig. 2. 
Example of detection using patch and sorting of difference image

불량을 판단하기 위해 차 영상 정렬 기법으로 산출된 값을 이용해 점수를 계산한다. 원본 영상 x와 복원 영상 R(x)에 대한 차 영상의 절댓값을 구한 후 내림차순으로 정렬한다. 값이 큰 N개의 평균을 해당 영상의 값으로 s를 계산한다(식 (1)). 그리고 전체 실험 영상에 대하여 [0, 1]의 정규화한 score를 최종 점수로 계산한다(식 (2)).

차 영상은 원본과 복원 영상의 차이를 나타낸 영상이다. 따라서 픽셀의 값이 0에 가까울수록 정상이라 판단할 수 있으며 1에 가까울수록 불량이라 판단할 수 있다. 가장 적합한 임계값(T)을 구하기 위해 여러 임계값 후보들 중 ROC Curve의 특징에 따라 TPR과 FPR의 차이가 가장 큰 지점을 최적 임계값(T)으로 지정하고 불량을 판단하도록 한다.

본 실험에서는 Ubuntu 18.04 LTS의 운영체제의 환경에서 진행되었다. 딥러닝 네트워크 학습에는 Tensorflow 2.6을 사용했으며 RTX 3090의 GPU 환경에서 학습을 진행하였다. 모델 학습에는 Adam Optimizer를 사용하고 초기 Learning Rate는 1e-4로 지정하였다. 학습 간에 원본 영상에 대한 결과를 원본 영상으로 지정하여 재구성 영상을 생성하도록 하였다. 그리고 손실 함수는 Mean Absolute Error를 사용하였다. 학습 Epoch는 50,000, BatchSize는 16으로 설정하고 약 14시간의 학습 시간이 소요되었다. 학습 모델의 최종 Loss는 0.0056으로 나타났다.

학습 및 실험에 사용한 데이터는 열화상 태양전지 영상을 기반으로 한다. 대부분의 열화상 태양전지 영상은 스트링 혹은 어레이 형식이므로 정제가 필요하다. 수작업으로 모듈 단위로 자른 후, Perspective Transform을 통해 (128, 128, 3)의 정제된 컬러 영상으로 변환하여 구축한다. 학습에는 252장의 정상 태양전지 열화상 영상만 사용되며 데이터 증강을 이용한다. 데이터 증강에는 좌우 대칭, 상하 대칭, 축소, 확대 및 Shearing Transformation을 이용한다. 실험에는 정상 영상 280장, 불량 영상 289장을 사용하여 평가한다.

차 영상 정렬 기법에서 N을 달리한 실험, 패치를 사용해 판단한 실험, 차 영상 생성 간에 채널 변환 방법에 대한 실험으로 진행한다.

표 1은 N에 따른 정확도 비교에 대한 실험이다. 평가는 영상임을 가정하여 모두 제곱수로 진행하였으며 10²으로 설정하였을 때 가장 높은 성능을 보인다. 10²을 기준으로 차이가 큰 N으로 실험하였을 때 정확도는 감소함을 보인다. N을 128²으로 설정한 것은 영상 전체에 대한 비교를 한 결과이다.

표 2는 작은 영역에 대한 이상 감지에 주로 사용되는 패치를 이용한 실험 결과를 나타낸다. Patch에 나타난 수는 모두 제곱수이며 나누어진 패치의 개수를 나타낸다. 패치의 개수가 1이라는 것은 패치를 나누지 않고 실험한 것으로 표 3에서 N이 128²인 결과와 동일하다.

실험 결과로 패치의 개수는 4²개일 때 3.4%의 성능 향상을 보인다. 하지만 태양전지의 열화상 데이터라는 특성에 따라 패치 방법은 높은 성능을 내지 못함을 알 수 있다.

표 3은 본 논문에서 가장 큰 역할을 하는 차 영상 생성에 관한 실험 결과이다. 최댓값으로 처리하는 것과는 성능 차이가 없었으며 RGB 각 성분에 대한 차 영상의 결과는 G 채널이 높은 성능을 보였다. 그리고 차 영상을 컬러 영상으로 생성하는 것보다 평균값으로 처리하는 것이 4.7%의 성능 향상을 보였다. 본 논문에서는 차 영상을 R, G, B 각 성분의 평균값으로 처리하여 성능 향상을 보인다.

본 논문에서 실험에 사용한 569장의 데이터에 대한 성능 평가를 진행한다. 차 영상 정렬 기법에서의 N은 100으로 설정한다. 그림 3은 3절에서 언급한 점수 산정 방식에 따라 각각의 데이터들의 점수 분포를 나타낸 것이다. 파란색은 정상, 주황색은 불량을 나타내며 가로축은 점수, 세로축은 데이터의 개수를 나타낸다. 데이터들의 점수는 상대적으로 정상은 좌측, 불량은 우측에 분포하며 전체적으로 좌측으로 치우친 결과를 보인다.

Fig. 3. 
Score distribution

이는 하나의 불량 영상이 다른 영상에 비해 점수 차이가 크게 나타나기 때문에 발생한 결과이다. 정상 영상의 평균 점수는 0.2250, 불량 영상의 평균 점수는 0.4736로 나타난다. 실험에 의해 계산된 TPR과 FPR의 차이가 가장 큰 임계값 T는 0.3385이다.

본 논문에서 제안하는 방법은 혼동 행렬(표 4)과 이를 이용한 방법들 및 AUC(표 5)를 이용해 성능 평가를 진행한다. 표 4에서 Positive는 불량을 뜻한다. 올바르게 판단한 결과는 TP(244)와 TN(253)에 나타나며 전체 정확도는 87.3%으로 나타난다. 본 논문에서 제안한 차 영상 정렬 기법을 사용한 최고 성능은 전체를 비교한 결과보다 13.8%의 향상된 성능을 보인다.

본 논문에서 제안하는 방법의 결과는 그림 3과 같다. 1~3열과 4~6열은 각각 태양전지에 대한 정상 및 불량의 결과이다.

각 열은 입력, 출력 그리고 차 영상에 대한 결과를 나타낸다. 입력 영상이 정상인 경우에는 출력 영상은 입력과 매우 근사한 결과가 나타난다. 따라서 차 영상에는 대부분 검정색에 가까운 결과를 보인다. 하지만 불량인 영상이 입력인 경우에는 출력 영상은 정상에 가깝도록 생성한 결과를 보인다. 그렇기 때문에 차 영상은 흰색에 가까운 영역이 많이 분포하고 있다. 마지막 행과 같이 특정 부분만 불량인 영상에 대해서도 차 영상에서 쉽게 불량 영역이 보인다. 입력과 출력 영상의 색상 차이가 있음에도 불구하고 차 영상에서 보이지 않음을 발견할 수 있다. 이는 차 영상을 RGB의 평균을 이용해 계산되었기 때문이다. 하나의 성분만 달라도 인간의 시각에서는 다르게 느끼게 되는데 차 영상에서 값의 차이가 작아서 시각적으로 나타나지 않는 것이지 실제 값에는 차이가 있다. 차 영상에 표시된 부분은 RGB 각각의 성분에서 모두 차이가 있음을 말한다.

Fig. 4. 
Result images(Input, output, difference image)