Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 21, No. 5, pp.11-19
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 May 2023
Received 22 Mar 2023 Revised 05 Apr 2023 Accepted 08 Apr 2023
DOI: https://doi.org/10.14801/jkiit.2023.21.5.11

태양전지 열화상 영상의 불량 검출을 위한 재구성 방식의 차 영상 정렬 기법

시종욱* ; 김성영**
*금오공과대학교 컴퓨터·AI융합공학과 박사과정
**금오공과대학교 컴퓨터공학과 교수(교신저자)
Difference Image Alignment Technique of Reconstruction Method for Detecting Defects in Thermal Image of Solar Cells
Jongwook Si* ; Sungyoung Kim**

Correspondence to: Sungyoung Kim Dept. of Computer Engineering, Kumoh National Institute of Technology, 61 Daehak-ro(yangho-dong), Gumi, Gyeongbuk, [39177] Korea Tel.: +82-54-478-7530, Email: sykim@kumoh.ac.kr

초록

태양전지는 광전 효과에 의한 기전력에 의해 전기가 생산되기 때문에 불량이 발생한 경우 영향을 미칠 수 있다. 그런데 태양전지의 불량에 대한 패턴은 다양하며 이러한 패턴들에 대한 데이터 수집은 쉽지 않다. 따라서 본 논문에서는 정상 데이터만을 이용해 모델을 학습하고 비정상 데이터를 포함하여 실험을 진행한다. 그리고 데이터는 열화상 영상이기 때문에 불량한 태양전지는 온도가 다르게 표현되는 특징을 이용한다. 또한, 태양전지의 불량 판단을 위해 본 논문에서는 재구성 방식의 차 영상 정렬 기법을 도입하여 높은 성능을 보인다. 실험 결과로 적절한 픽셀의 개수를 탐색하여 성능을 평가한 결과, 태양열 열화상 영상에 대하여 패치 방식보다 차 영상 정렬 기법이 더 높은 성능을 보임을 증명한다.

Abstract

Solar cells produce electricity through the photoelectric effect of mechanical energy, which can be affected by defects. However, patterns of defects in solar cells are diverse, and collecting data on these patterns is challenging. Therefore, this paper proposes a method of training a model using only normal data and conducting experiments with abnormal data. Additionally, the thermal images of the solar cells are used to identify defects based on the feature that defective solar cells are represented by different temperatures. To accurately identify defective solar cells, this paper introduces a differential alignment technique based on a reconstruction method, which exhibits high performance. Evaluation of the performance by exploring the appropriate number of pixels shows that the differential alignment technique is more effective than the patch method for thermal images of solar cells, proving its effectiveness for defect detection in solar cells.

Keywords:

solar cell, photovoltaics, difference image, anomaly detection, defect detection, thermal image

Ⅰ. 서 론

태양광 발전은 태양열 발전과는 다르게, 태양 에너지를 빛 에너지로 변환하는 방식이다. 이러한 시스템은 신재생 에너지로 주목받고 있으며 연료가 필요 없고 나쁜 공해를 만들지 않는 등의 많은 이점을 지니고 있다. 태양광 발전 시스템에서 전류를 생성하는 소자는 태양전지이다. 이 소자는 pn 반도체로 구성되며 태양광이 조사되면 전자-양공의 쌍이 생성된다. 그리고 전자와 양공이 n층과 p층으로 이동하여 전류가 흘러 광전 효과가 발생하게 된다. 이때 발생하는 기전력에 의해 전기를 생산할 수 있다. 이러한 태양전지는 단단한 재료와 구조로 만들어지며 필요한 단위 용량에 따라 태양전지 모듈, 어레이 등으로 상품화된다. 그리고 재료에 따라 화합물 반도체, 비정질 실리콘 및 결정질 실리콘 등으로 분류된다[1].

태양전지의 기본 단위 소자는 셀이다. 셀을 전지판으로 여러 개로 가공한 것을 모듈이라 한다. 실제로 설치되는 구조물은 스트링 혹은 어레이로 구성하여 설치된다. 스트링은 모듈을 요구 전압에 알맞게 직렬로 연결하여 구성한 것이며 어레이는 스트링을 병렬로 연결한 구조이다[2].

태양광 발전에 대하여 태양전지에 불량이 발생하게 된다면 발전량에 치명적인 손실이 일어날 수 있다. 태양전지의 불량은 크게 부식 현상 및 연결 부위의 문제로 나뉜다. 불량한 태양전지는 균열이 생기거나 탄 자국, 스네일 스케일 현상 등의 다양한 유형으로 발생한다. 이러한 불량은 열화상 카메라로로 촬영 시 불량 셀의 색상이 크게 다르게 나타나는 특징이 있다. 태양광 시스템 내의 불량을 자동으로 감지하여 빠른 교체를 해야 할 필요성이 존재하기 때문에 관련 연구가 진행 중에 있다[3]-[12].

불량 검출은 딥러닝 분야에서 이상 감지에 포함된다. 이상 감지는 크게 두 가지로 분류할 수 있다. 해당 데이터가 정상인지 비정상인지 분류하는 방법과 이상이 있는 위치를 찾는 방법이다. 이러한 이상 감지를 딥러닝에 적용할 때 가장 큰 문제점은 이상이 있는 패턴에 대한 데이터가 부족하다는 것이다. 정상인 데이터가 비정상인 데이터에 비해 매우 많다. 그리고 비정상인 데이터가 충분하다 하더라도 비정상인 패턴은 매우 다양하므로 적용하기 쉽지 않은 현실적인 문제에 부딪히게 된다.

본 논문에서는 딥러닝을 기반으로 불량한 태양전지를 검출하는 방법을 보인다. 태양전지의 열화상 영상을 이용하며 재구성 방식의 네트워크를 사용한다. 정상적인 태양전지의 열화상 영상만을 이용해 학습을 진행하며 입력과 출력이 동일하게 나타나도록 한다. 이는 불량한 태양전지의 열화상 영상을 입력으로 하였을 때 차이나는 영상이 생성된다고 가정한다. 그리고 불량한 영역과 크기가 다양하므로 탐지가 쉽지 않다. 따라서 본 논문에서는 태양전지 열화상 영상에 대하여 재구성 방식의 모델에 기반한 차 영상 정렬 기법을 제안한다.

2장에서는 태양광 불량 검출과 이상 감지에 대한 관련 연구를 소개하고, 3장에서는 제안하는 방법에 대한 설명을 진행한다. 4장에서는 패치 방식과 비교하는 등의 다양한 실험을 진행하고 5장에서는 결론과 향후 과제에 대한 언급으로 마무리한다.


Ⅱ. 관련 연구

2.1 태양광 불량 검출

손현철 연구팀은 태양광 패널의 자동 불량 분류를 위한 네트워크를 제안하였다[3]. 잔차 블록을 포함한 제안 네트워크를 이용해 분류를 진행하였지만, 학습 데이터의 부족으로 분류 정확도가 매우 낮았다. 하지만 열화상 영상을 이용한 방법이라는 점은 본 논문과의 공통점이 있다. 추가 데이터 수집을 진행한 후 CNN 모델을 기반으로 정상과 7개의 불량 패턴으로 분류하는 예비 연구가 진행되었다[4]. 제안하는 모델은 채널의 깊이가 다른 2개의 Stage에서 잔차 블록을 반복하는 구조를 이용해 분류하였다.

최경훈 연구팀은 태양전지의 파손을 검출하기 위해 사전 훈련된 모델을 이용한 방법을 보였다[5]. 파손된 영역을 가까이에서 촬영한 영상을 기반으로 진행하였으며 데이터 증강을 이용해 높은 검출 성능을 보였다. 조선근 연구팀은 태양광 모듈의 EL 영상을 이용해 실시간으로 결함을 검출 할 수 있는 방법을 제안하였다[6].

이 연구는 객체 검출 모델인 YOLO 알고리즘을 적용하여 결함된 영역을 높은 정확도로 검출하였다. B. Su 연구팀은 결함을 추출하기 위해 이미지 샘플에서 패치를 사용한 유사성 분석 및 클러스터링을 사용한 CPICS-LBP를 제안하였다[7]. 이 연구는 고전적인 기계학습 기법을 사용한 점이 본 논문에서 제안하는 방법과 큰 차이가 있다. 동일 연구팀에서 진행한 연구에서는 배경 노이즈를 억제하고 결함의 특징을 동시에 강조 가능한 CAN을 사용하였다[8]. 그리고 R-CNN을 네트워크에 포함하여 정교한 위치 탐지를 가능한 딥러닝 기반의 연구를 보였다. A. Bartler 연구팀은 왜곡 보정, 분할 및 관점 보정을 위한 데이터 전처리와 심층 CNN을 기반으로 태양전지 EL 영상의 결함을 자동으로 탐지하는 방법을 제안하였다[9]. 또한, 오버 샘플링과 데이터 증강을 진행한 학습 방법이 이전 연구들보다 더 좋은 방법임을 증명하였다. M. Mayr 연구팀은 태양전지의 EL 영상에 대하여 균열 영역을 분할할 수 있는 약한 지도학습 방법을 제안하고 수정된 ResNet-50 사용 및 Lp 정규화를 적용하여 불량을 감지하는 방법을 제안하였다[10]. H. Chen 연구팀은 다중 스펙트럼 심층 CNN을 기반으로 시각적인 결함 감지가 가능한 방법을 제안하였다[11]. 모델의 깊이와 커널의 크기에 대한 실험을 통해 최적의 모델을 설계하고 K-Fold 교차 검증을 이용해 높은 결함 인식 정확도를 보였다. M. Akram 연구팀은 태양전지의 EL 영상에서 결함을 인식하기 위하여 Light CNN을 사용한 접근 방식을 제안하였다[12]. 이 방법은 계산 시간 방면에서 크게 향상되었으며 데이터 부족 및 과적합 현상을 해결하기 위하여 데이터 증강을 사용하여 높은 성능을 보였다.

2.2 이상 감지

이상 감지 방법은 크게 지도 학습, 비지도 학습 방법으로 나눌 수 있다. 지도 학습의 경우 이상 영상에 대한 라벨링이 추가적으로 필요하다. 따라서 정답이 존재하기 때문에 이론상 정확한 감지가 가능할 것으로 생각된다. 하지만 비정상 데이터는 정상 데이터에 비하여 데이터 편향이 크게 발생하고 패턴이 다양하여 쉽게 학습이 불가능하다. 따라서 이상 감지의 경우 비지도 학습 방법이 크게 주목을 받고 있다. 비지도 학습은 데이터들의 패턴에 집중하여 학습하는 방법이다. 대부분의 기존 연구들에서는 정상 데이터들에 대해 학습을 진행하여 재구성 데이터를 생성하고 이상 데이터를 입력으로 하였을 때 본래의 영상과 차이가 큰 점을 이용한다. 이러한 방식은 AutoEncoder 모델을 시작으로 발전하였으며 U-Net[13], GAN[14] 등에 기반한 재구성 오류로 탐지하는 연구가 진행되고 있다. 이상 감지는 실생활에서도 유용하게 사용될 수 있다. 예를 들어 사고나 고장을 감지하거나[15]-[17], 넘어짐을 검출하는 연구[18][19]도 이상 감지 영역에 포함된다.

AnoGAN[20]는 비지도 학습 방식으로 GAN[14]과의 결합을 통한 방법을 제안한다. OCT 영상에 대하여 정상 데이터만을 입력하여 분포를 학습하고 이상 점수를 산출하여 비교 및 분류한다. 이를 확장한 f-AnoGAN[21]은 새로운 데이터에 대한 빠른 매핑 기술을 보이며 GAN에 Encoder를 추가적으로 도입하여 향상된 성능을 보인다. 이 모델이 생성한 데이터는 전문가 또한 구별할 수 없는 것으로 나타나 생성 성능이 매우 높음을 보였다. GANomaly[22]은 X-ray 영상을 기반으로 하며 정상 데이터 만을 학습에 사용한다. 생성 및 잠재 공간을 학습하는 과정을 동시에 진행하는 방법이며 이상 점수를 잠재 벡터의 차이로 계산하는 방법을 제안하였다. 이를 확장한 Skip-GANomaly[23]은 U-Net[13] 기반의 네트워크 구조를 이용한 적대적 훈련 학습 방식을 사용하며 Discriminator의 특징 맵에 대한 손실 함수를 추가한 것이 특징이다. ADGAN[24]은 U-Net[13]의 구조를 수정하고 정상 샘플의 다중 스케일 특징을 추출하여, 세밀한 재구성 이미지를 생성하는 방법을 제안하였다. 정규 분포를 학습하기 위해 적대적 훈련 학습 방식과 결합하고 비정상 영상을 처리할 때 재구성 오류를 크게 발생시키도록 하였다.


Ⅲ. 태양전지의 불량 판단

열화상 카메라로 촬영한 태양전지 영상에 대하여 불량을 판단할 수 있는 방법을 제안한다. 정상 태양전지 열화상 데이터로만 모델을 학습 후 실험에서는 정상과 불량 영상을 모두 사용한다.

차 영상 정렬 기법과 재구성 오류를 기반으로 점수를 계산하여 임계값을 기준으로 판정한다.

3.1 네트워크 모델 구성

먼저, 학습 모델은 기존 U-Net을 수정하는 방식을 택하며 제안하는 네트워크 모델은 그림 1과 같다. 입력과 출력의 크기가 같을 수 있도록 모델을 변형하고 모든 컨볼루션 층의 활성화 함수는 ReLU로 구성한다. 그리고 모든 Maxpooling과 Upsamping 층에는 Dropout 층을 추가하고, 유지 비율을 낮게 설정하여 과적합을 방지할 수 있도록 한다. 네트워크 전체의 깊이는 총 5층이며 각 층의 깊이는 32-64-128-256-512이다.

Fig. 1.

Proposed network model

3.2 차 영상 정렬 기법

3.1에서 언급한 제안하는 네트워크를 정상 열화상 영상으로만 학습을 진행하면 모델의 출력은 입력 영상과 매우 가까운 영상을 생성한다. 따라서 정상 영상이 아닌 불량 영상을 학습된 네트워크의 입력으로 한다면 모델의 출력은 입력과는 다른 결과를 보이게 된다. 따라서 입력 영상과 출력 영상의 차이, 즉 재구성 오류를 이용해 불량을 판단할 수 있다. 하지만 태양전지의 경우 불량인 영역이 큰 경우도 있지만, 미세한 영역이 불량이라도 해당 모듈은 불량이라 판단해야 한다. 불량인 영역이 크다면 재구성 오류만으로 감지하기 쉽지만 작은 경우에는 판단하기 쉽지 않다. 이렇게 영역이 작은 경우의 감지 방법은 패치를 이용한 방법이 있다. 하지만 패치를 이용한 판단을 진행한다면 미세한 영역에만 집중되며 큰 영역의 불량이 패치에 의해 나누어지기 때문에 정확도가 낮다. 이에 대한 실험은 4절에서 언급한다. 따라서 본 논문에서는 태양전지의 불량 판단이라는 목적에서 큰 영역 뿐 아니라 미세한 영역까지 검출이 가능하도록 하는 차 영상 정렬 기법에 대해 제안한다.

차 영상 정렬 기법은 복원 영상 R(x)와 실제 영상 x의 차 영상을 구하여 차이가 큰 N개의 값만을 사용해 이상 점수를 계산하는 방법이다. 그림 2는 패치를 사용한 검출 결과(a)와 본 논문에서 제안하는 차 영상 정렬 기법을 사용한 검출 결과(b)를 도식화하여 나타낸 것이다. 빨간 선은 패치를 나눈 선, 흰색 영역은 차 영상에서 나타난 이상 영역 그리고 노란 영역은 판단하는 불량 영역을 나타낸다. 그림 2(a)는 큰 불량 영역이 패치에 의해 나누어진 모습을 볼 수 있으나 그림 2(b)는 값이 큰 순으로 내림차순 정렬을 하여 그림 2(a)보다 영역에 포함되는 불량 부분이 많음을 알 수 있다. 따라서 차 영상 정렬 기법은 불량 영역의 크기와 상관없이 검출할 수 있으며 패치를 사용한 결과보다 검출 성능이 높다고 할 수 있다.

Fig. 2.

Example of detection using patch and sorting of difference image

3.3 점수 계산

불량을 판단하기 위해 차 영상 정렬 기법으로 산출된 값을 이용해 점수를 계산한다. 원본 영상 x와 복원 영상 R(x)에 대한 차 영상의 절댓값을 구한 후 내림차순으로 정렬한다. 값이 큰 N개의 평균을 해당 영상의 값으로 s를 계산한다(식 (1)). 그리고 전체 실험 영상에 대하여 [0, 1]의 정규화한 score를 최종 점수로 계산한다(식 (2)).

s=1Ni=0N-1sort x-Rxi(1) 
score =s-minsmaxs-mins(2) 

차 영상은 원본과 복원 영상의 차이를 나타낸 영상이다. 따라서 픽셀의 값이 0에 가까울수록 정상이라 판단할 수 있으며 1에 가까울수록 불량이라 판단할 수 있다. 가장 적합한 임계값(T)을 구하기 위해 여러 임계값 후보들 중 ROC Curve의 특징에 따라 TPR과 FPR의 차이가 가장 큰 지점을 최적 임계값(T)으로 지정하고 불량을 판단하도록 한다.


Ⅳ. 실험 및 결과

4.1 실험 환경 및 학습

본 실험에서는 Ubuntu 18.04 LTS의 운영체제의 환경에서 진행되었다. 딥러닝 네트워크 학습에는 Tensorflow 2.6을 사용했으며 RTX 3090의 GPU 환경에서 학습을 진행하였다. 모델 학습에는 Adam Optimizer를 사용하고 초기 Learning Rate는 1e-4로 지정하였다. 학습 간에 원본 영상에 대한 결과를 원본 영상으로 지정하여 재구성 영상을 생성하도록 하였다. 그리고 손실 함수는 Mean Absolute Error를 사용하였다. 학습 Epoch는 50,000, BatchSize는 16으로 설정하고 약 14시간의 학습 시간이 소요되었다. 학습 모델의 최종 Loss는 0.0056으로 나타났다.

4.2 데이터 세트

학습 및 실험에 사용한 데이터는 열화상 태양전지 영상을 기반으로 한다. 대부분의 열화상 태양전지 영상은 스트링 혹은 어레이 형식이므로 정제가 필요하다. 수작업으로 모듈 단위로 자른 후, Perspective Transform을 통해 (128, 128, 3)의 정제된 컬러 영상으로 변환하여 구축한다. 학습에는 252장의 정상 태양전지 열화상 영상만 사용되며 데이터 증강을 이용한다. 데이터 증강에는 좌우 대칭, 상하 대칭, 축소, 확대 및 Shearing Transformation을 이용한다. 실험에는 정상 영상 280장, 불량 영상 289장을 사용하여 평가한다.

4.3 실험

차 영상 정렬 기법에서 N을 달리한 실험, 패치를 사용해 판단한 실험, 차 영상 생성 간에 채널 변환 방법에 대한 실험으로 진행한다.

표 1N에 따른 정확도 비교에 대한 실험이다. 평가는 영상임을 가정하여 모두 제곱수로 진행하였으며 102으로 설정하였을 때 가장 높은 성능을 보인다. 102을 기준으로 차이가 큰 N으로 실험하였을 때 정확도는 감소함을 보인다. N을 1282으로 설정한 것은 영상 전체에 대한 비교를 한 결과이다.

Accuracy comparison according to N

표 2는 작은 영역에 대한 이상 감지에 주로 사용되는 패치를 이용한 실험 결과를 나타낸다. Patch에 나타난 수는 모두 제곱수이며 나누어진 패치의 개수를 나타낸다. 패치의 개수가 1이라는 것은 패치를 나누지 않고 실험한 것으로 표 3에서 N이 1282인 결과와 동일하다.

Accuracy comparison by the number of patches

Comparison according to a channel conversion method about difference image generation

실험 결과로 패치의 개수는 42개일 때 3.4%의 성능 향상을 보인다. 하지만 태양전지의 열화상 데이터라는 특성에 따라 패치 방법은 높은 성능을 내지 못함을 알 수 있다.

표 3은 본 논문에서 가장 큰 역할을 하는 차 영상 생성에 관한 실험 결과이다. 최댓값으로 처리하는 것과는 성능 차이가 없었으며 RGB 각 성분에 대한 차 영상의 결과는 G 채널이 높은 성능을 보였다. 그리고 차 영상을 컬러 영상으로 생성하는 것보다 평균값으로 처리하는 것이 4.7%의 성능 향상을 보였다. 본 논문에서는 차 영상을 R, G, B 각 성분의 평균값으로 처리하여 성능 향상을 보인다.

4.4 성능 평가

본 논문에서 실험에 사용한 569장의 데이터에 대한 성능 평가를 진행한다. 차 영상 정렬 기법에서의 N은 100으로 설정한다. 그림 3은 3절에서 언급한 점수 산정 방식에 따라 각각의 데이터들의 점수 분포를 나타낸 것이다. 파란색은 정상, 주황색은 불량을 나타내며 가로축은 점수, 세로축은 데이터의 개수를 나타낸다. 데이터들의 점수는 상대적으로 정상은 좌측, 불량은 우측에 분포하며 전체적으로 좌측으로 치우친 결과를 보인다.

Fig. 3.

Score distribution

이는 하나의 불량 영상이 다른 영상에 비해 점수 차이가 크게 나타나기 때문에 발생한 결과이다. 정상 영상의 평균 점수는 0.2250, 불량 영상의 평균 점수는 0.4736로 나타난다. 실험에 의해 계산된 TPR과 FPR의 차이가 가장 큰 임계값 T는 0.3385이다.

본 논문에서 제안하는 방법은 혼동 행렬(표 4)과 이를 이용한 방법들 및 AUC(표 5)를 이용해 성능 평가를 진행한다. 표 4에서 Positive는 불량을 뜻한다. 올바르게 판단한 결과는 TP(244)와 TN(253)에 나타나며 전체 정확도는 87.3%으로 나타난다. 본 논문에서 제안한 차 영상 정렬 기법을 사용한 최고 성능은 전체를 비교한 결과보다 13.8%의 향상된 성능을 보인다.

Confusion matrix of proposed method

Evaluation of proposed method

4.5 결과 분석

본 논문에서 제안하는 방법의 결과는 그림 3과 같다. 1~3열과 4~6열은 각각 태양전지에 대한 정상 및 불량의 결과이다.

각 열은 입력, 출력 그리고 차 영상에 대한 결과를 나타낸다. 입력 영상이 정상인 경우에는 출력 영상은 입력과 매우 근사한 결과가 나타난다. 따라서 차 영상에는 대부분 검정색에 가까운 결과를 보인다. 하지만 불량인 영상이 입력인 경우에는 출력 영상은 정상에 가깝도록 생성한 결과를 보인다. 그렇기 때문에 차 영상은 흰색에 가까운 영역이 많이 분포하고 있다. 마지막 행과 같이 특정 부분만 불량인 영상에 대해서도 차 영상에서 쉽게 불량 영역이 보인다. 입력과 출력 영상의 색상 차이가 있음에도 불구하고 차 영상에서 보이지 않음을 발견할 수 있다. 이는 차 영상을 RGB의 평균을 이용해 계산되었기 때문이다. 하나의 성분만 달라도 인간의 시각에서는 다르게 느끼게 되는데 차 영상에서 값의 차이가 작아서 시각적으로 나타나지 않는 것이지 실제 값에는 차이가 있다. 차 영상에 표시된 부분은 RGB 각각의 성분에서 모두 차이가 있음을 말한다.

Fig. 4.

Result images(Input, output, difference image)


Ⅴ. 결론 및 향후 과제

본 논문에서는 열화상 카메라로 촬영한 태양전지의 영상을 이용해 딥러닝 네트워크를 기반으로 불량 판단하는 방법을 제안하였다. 제안하는 차 영상 정렬 기법은 전체 혹은 패치를 사용하여 판단했을 때 보다 높은 성능을 보였다.

하지만, 불량한 영역이 매우 작거나 복원에 대한 오류가 있을 경우 잘못 판단하는 경우가 존재한다. 이러한 문제점을 해결하고 성능을 높이기 위하여 다양한 기술들을 융합하는 방식으로 재구성 방식에 기반한 연구가 진행될 예정이다.

Acknowledgments

이 연구는 금오공과대학교 대학 연구과제비로 지원되었음(2022년∼2023년)

References

  • Green Energy Institute, http://www.gei.re.kr/bbs/board.php?bo_table=bbs4_01&wr_id=2, [accessed: Feb. 28, 2023]
  • Energy Management Magazine, http://www.energycenter.co.kr/news/articleView.html?idxno=597, [accessed: Feb. 28, 2023]
  • H. Son and S. Kim, "Development of Automatic Classification of Defects in Solar Panels", Proc. of KIIT Conference, Jeju, Korea, pp. 118-119, Nov. 2021.
  • J. Si and S. Kim, "Multi-Classification of Solar Cell Infrared Images based on CNN Model", Proc. of KMMS Conference, pp. 142-143, May 2022.
  • K. H. Choi and J. E. Ha, "Defect Detection of Solar Panel using CNN", Journal of Institute of Control, Robotics and System, Vol. 26, No. 12, pp. 1093-1098, Dec. 2020. [https://doi.org/10.5302/J.ICROS.2020.20.0090]
  • S. K. Jo, I. D. Park, J. J. Jang, and W. Oh, "A Study on the Detection of Defects in Solar Cells and Modules in EL Images based on Artificial Intelligence", Journal Of the Korean Solar Energy Society, Vol. 41, No. 6, pp. 51-57, Dec. 2021. [https://doi.org/10.7836/kses.2021.41.6.051]
  • B. Su, H. Chen, Y. Zhu, W. Liu, and K. Liu, "Classification of Manufacturing Defects in Multicrystalline Solar Cells with Novel Feature Descriptor", Journal Of IEEE Transactions on Instrumentation and Measurement, Vol. 68, No. 12, pp. 4675-4688, Dec. 2019. [https://doi.org/10.1109/TIM.2019.2900961]
  • B. Su, H. Chen, P. Chen, G. Bian, K. Liu, and W. Liu, "Deep Learning-based Solar-Cell Manufacturing Defect Detection with Complementary Attention Network", Journal Of IEEE Transactions on Industrial Informatics, Vol. 17, No. 6, pp. 4084-4095, Jun. 2021. [https://doi.org/10.1109/TII.2020.3008021]
  • A. Bartler, L. Mauch, B. Yang, M. Reuter, and L. Stoicescu, "Automated Detection of Solar Cell Defects with Deep Learning", Proc. Of IEEE European Signal Processing Conference, Rome, Italy, pp. 2035-2039, Sep. 2018. [https://doi.org/10.23919/EUSIPCO.2018.8553025]
  • M. Mayr, M. Hoffmann, A. Maier, and V. C. lein, "Weakly Supervised Segmentation of Cracks on Solar Cells using Normalized Lp Norm", Proc. Of IEEE International Conference on Image Processing, Taipei, Taiwan, pp. 1885-1889, Sep. 2019. [https://doi.org/10.1109/ICIP.2019.8803116]
  • H. Chen, Y. Pang, Q. Hu, and K. Liu, "Solar Cell Surface Defect Inspection based on Multispectral Convolutional Neural Network", Journal Of Intelligent Manufacturing, pp. 453-468, Dec. 2018. [https://doi.org/10.1007/s10845-018-1458-z]
  • M. Akram, G. Li, Y. Jin, X. Chen, C. Zhu, X. Zhao, A. Khaliq, M. Faheem, and A. Ahmad, "CNN based Automatic Detection of Photovoltaic Cell Defects in Electroluminescence Images", Journal Of Energy, Vol. 189, Dec. 2019. [https://doi.org/10.1016/j.energy.2019.116319]
  • O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation", Proc. Of International Conference on Medical image computing and computer-assisted intervention, Vol. 9351, pp. 234-241, Nov. 2015. [https://doi.org/10.1007/978-3-319-24574-4_28]
  • I. Goodfellow, J. P. Abadie, M. Mirza, B. Xu, D. W. Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative Adversarial Networks", Communications of the ACM, Vol. 63, No. 11, pp. 139-144, Nov. 2020. [https://doi.org/10.1145/3422622]
  • D. Kim, H. Son, J. Si, and S. Kim, "Traffic Accident Detection Based on Ego Motion and Object Tracking", Journal Of Advanced Information Technology and Convergence, Vol. 10, No. 1, pp. 15-23, Jul. 2020. [https://doi.org/10.14801/JAITC.2020.10.1.15]
  • J. Si and S. Kim, "Traffic Accident Detection in First-Person Videos based on Depth and Background Motion Estimation", Journal Of Korean Institute of information Technology, Vol 19, No. 3, pp. 25-34, Mar. 2021. [https://doi.org/10.14801/jkiit.2021.19.3.25]
  • J. Yang, Y. Lee, and I. Koo, "Timely Sensor Fault Detection Scheme based on Deep Learning", Journal of The Institute of Internet, Broadcasting and Communication, Vol. 20, No. 1, pp. 163-169, Feb. 2020. [https://doi.org/10.7236/JIIBC.2020.20.1.163]
  • M. Yu, L. Gong, and S. Kollias, "Computer Vision based Fall Detection by a Convolutional Neural Network", Proc. Of ACM International Conference on Multimodal Interaction, pp. 416-420, Nov. 2017. [https://doi.org/10.1145/3136755.3136802]
  • J. Si, H. Son, D. Kim, M. Kim, J. Jeong, G. Kim, Y. Kim, and S. Kim, "Fall Detection using Skeletal Coordinate Vector and LSTM Model", Journal Of Korean Institute of Information Technology, Vol. 18, No. 12, pp. 19-29, Dec. 2020. [https://doi.org/10.14801/jkiit.2020.18.12.19]
  • T. Schlegl, P. Seeböck, S. Waldstein, U. Erfurth, and G. Langs, "Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery", Proc. Of International conference on information processing in medical imaging. Vol. 10265, pp. 146-157, Mar. 2017. [https://doi.org/10.1007/978-3-319-59050-9_12]
  • T. Schlegl, P. Seeböck, S. Waldstein, G. Langs, and U. Erfurth, "f-AnoGAN: Fast Unsupervised Anomaly Detection with Generative Adversarial Networks", Journal Of Medical image analysis, Vol. 54, pp. 30-44, Jan. 2019. [https://doi.org/10.1016/j.media.2019.01.010]
  • S. Akcay, A. Abarghouei, and T. P. Breckon, "GANomaly Semi-supervised Anomaly Detection via Adversarial Training", Proc. Of Asian Conference on Computer Vision, Vol. 11363, pp. 622-637, May 2018. [https://doi.org/10.1007/978-3-030-20893-6_39]
  • S. Akçay, A. barghouei, and T. P. Breckon, "Skip-GANomaly: Skip Connected and Adversarially Trained Encoder-Decoder Anomaly Detection", Proc. Of IEEE International Joint Conference on Neural Networks, Vol. 54, pp. 1-8, Jul. 2019. [https://doi.org/10.1109/IJCNN.2019.8851808]
  • H. Cheng, H. Liu, F. Gao, and Z. Chen, "ADGAN: A Scalable GAN-based Architecture for Image Anomaly Detection" Proc. Of IEEE Information Technology, Networking, Electronic and Automation Control Conference, Chongqing, China, Vol. 1, pp. 987-993, Jun. 2020. [https://doi.org/10.1109/ITNEC48623.2020.9085163]
저자소개
시 종 욱 (Jongwook SI)

2020년 8월 : 금오공과대학교 컴퓨터공학과(공학사)

2022년 2월 : 금오공과대학교 컴퓨터공학과(공학석사)

2022년 3월 ~ 현재 : 금오공과대학교 컴퓨터·AI융합 공학과 대학원 박사과정

관심분야 : 이미지 생성, 영상분석, 인공지능, 이상감지

김 성 영 (Sungyoung Kim)

1994년 2월 : 부산대학교 컴퓨터공학과(공학사)

1996년 2월 : 부산대학교 컴퓨터공학과(공학석사)

2003년 8월 : 부산대학교 컴퓨터공학과(공학박사)

2004년 ~ 현재 : 금오공과대학교 컴퓨터공학과 교수

관심분야 : 영상처리, 컴퓨터비전, 기계학습, 딥러닝

Fig. 1.

Fig. 1.
Proposed network model

Fig. 2.

Fig. 2.
Example of detection using patch and sorting of difference image

Fig. 3.

Fig. 3.
Score distribution

Fig. 4.

Fig. 4.
Result images(Input, output, difference image)

Table 1.

Accuracy comparison according to N

N 22 42 82 102
Acc. 0.833 0.847 0.866 0.873
N 162 322 642 1282
Acc. 0.859 0.830 0.782 0.735

Table 2.

Accuracy comparison by the number of patches

Patch 1 22 32 42 52
Acc 0.735 0.738 0.749 0.769 0.759

Table 3.

Comparison according to a channel conversion method about difference image generation

R G B Max Avg Color
Acc. 0.692 0.859 0.658 0.826 0.873 0.826

Table 4.

Confusion matrix of proposed method

Predicted class
Positive Negative
Actual class Positive 244 45
Negative 27 253

Table 5.

Evaluation of proposed method

Precision Recall F1 Score Accuracy AUC
Normal 0.849 0.904 0.875 0.873 0.874
Defect 0.900 0.844 0.871