ConvLSTM2D 기법을 이용한 부분방전 유형 자동분류 성능개선

2.1 3차원 부분방전 학습데이터

기존의 부분방전의 유형을 자동으로 분류한 딥러닝 기법중의 하나인 Conv2D기법의 단점인 분류의 정확도를 향상하기 위하여 본 논문에서는 부분방전 신호의 시간적인 변화 특성을 반영하는 모델을 제시하고자 한다. 부분방전 신호의 위상, 진폭 그리고 시간데이터는 3차원으로 볼 수 있다[6][7].

본 논문에서 제안하는 3차원 데이터는 그림 1과 같은 구조의 전처리 기법을 이용하여 생성할 수 있다. 그림 1에서 3차원 데이터 생성을 위한 전처리 알고리즘은 일정한 시간 전처리 과정을 통해야 한다. 전처리 과정은 이전 데이터와 현재 데이터를 비교하여 값이 있으면 현재 값을 사용하고 값이 없고 이전 값이 있으면 그 값을 유지한다. 즉, 이전 값과 비교하여 현재 위치의 값이 크면 그 값을 변경하고 그렇지 않으면 그 값을 유지하도록 하여 2차원 이미지(2D image) 데이터를 만들고 이렇게 만든 이미지에 일정한 시간 동안 n개의 입력 패턴을 만들어 3차원 이미지를 생성하도록 한 것이다.

Fig. 1.

Preprocessing algorithm for 3D image generation

부분방전의 유형을 분류하는 학습모델을 설계하는데 있어서 코로나 방전과 보이드 방전은 2차원 이미지로 매핑된 파형을 살펴보면 형상이 유사하여 분류의 어려움이 있다. 하지만 부분방전의 형상이 시간에 따라 약간씩 차이가 있기 때문에 앞에서 설명한 2차원 평면 데이터의 이미지에 시간에 대한 정보를 적용하면 보이드와 코로나 방전의 형상이 차별화가 가능해진다.

그림 2는 코로나 방전 데이터에 일정 시간을 누적하여 적용한 3차원 이미지 데이터의 형태로 만든 데이터이다. 코로나 방전의 발생 위치는 내부의 도체 및 외부 함체에 돌기가 발생하거나 또는 파티클(Particle)이 도체 및 외부 함체에 부착 시 발생되는 부분방전 현상이다. 기체나 액체의 절연물 내부에 뾰족하게 전극부가 생성 또는 존재할 때 이 부분에 전압이 상승하면서 전극의 앞쪽 끝 부분에 심하게 전계가 집중되는 현상으로 방전이 발생한다. 코로나 방전은 발생 특성상 위상에 의한 영역으로 표시되므로 90도와 270도에서 많이 분포되는 것을 3차원 이미지 데이터로 보면 명확히 알 수 있다.

Fig. 2.

3D Corona discharge image data

그림 3은 전처리 과정을 거친 보이드 방전 데이터에 시간을 적용한 3차원 이미지 데이터이다. 보이드 방전은 절연체 내부에 아주 작은 공극이 발생하면서 나타나는 부분방전 현상을 말한다. 보이드 방전의 특성상 1사분면과 3사분면에 많이 분포된다. 배전반에서 나타나는 노이즈는 전체적으로 전압레벨이 높은 특징이 있으며 특정 부위를 벗어난 여러 위치와 위상에서 발생하는 경향을 보인다. 2차원 데이터의 경우는 방전의 유형을 구분하기 어려울 만큼 산발적으로 분포되어 있다.

Fig. 3.

3D Void discharge image data

3차원 이미지 데이터로 보면 방전의 형태를 구분할 수 있을 정도로 명확하게 알 수 있다.

2.2 ConvLSTM2D 기법을 이용한 부분방전 유형 예측 모델

ConvLSTM2D 예측 모델에 적용하고자 하는 부분방전 데이터의 구조는 위상, 파워, 시간에 대한 3차원 구조를 가지고 있다[8].

ConvLSTM 함수의 셀 입력은 시간에 따른 데이터의 집합으로 이루어지며 3차원 텐서(Tensor)의 모양을 갖는다. 부분방전의 전처리 과정을 거친 입력에 대한 데이터의 형태는 4차원의 데이터 구조 (시간, 위상, 출력 및 컬러)를 가진다. 3차원 텐서는 예측 모델의 측정 값의 구성이 4차원 데이터의 구조이므로 데이터가 스칼라인 0차원 텐서나 배열 형태의 1차원텐서 또는 행렬 형태의 2차원 텐서로는 해결되지 않는 구조이므로 n차원이 가능한 3차원 텐서를 사용한다[9].

ConvLSTM2D 알고리즘은 LSTM의 내부 오퍼레이션 자체에 컨벌루션을 넣어 학습을 하는 알고리즘이다. 그림 4는 ConvLSTM2D을 이용한 학습 알고리즘을 보여주고 있다.

Fig. 4.

ConvLSTM2D-based learning model structure

본 논문에서 제안하는 ConvLSTM2D의 구조는 4개의 LSTM Cell로 구성되어 있다. 각각의 Cell은 ConvLSTM2D, Normalization 및 MaxPooling3D의 구조이다. Normalization은 학습의 효율을 높이기 위하여 사용하였으며 활성화 함수의 활성화 값이나 출력 값을 정규 분포로 만드는 작업을 한다. 즉, 인공 신경망의 각 레이어에서 데이터의 분포를 정규화하는 작업으로 일종의 노이즈를 추가하는 방법이다. 이렇게 각 레이어의 배치마다 정규화를 해주면 전체 데이터에 대한 평균 분산과 값이 달라질 수 있는 것을 방지해 준다[10].

정규화 과정을 통하여 과적합의 문제를 해결하고학습 속도 개선이 가능하며 가중치의 초기 값에 대한 의존성이 적게 되므로 ConvLSTM2D 처리 후에 Batch Normalization을 처리를 해준다[11].

MaxPooling3D는 선행 레이어에서 출력된 Feature Map의 모든 데이터가 필요한 것이 아니기 때문에 그 중에서 필요한 특성을 추출하기 위하여 사용한 알고리즘이다. ConvLSTM2D를 이용하여 Matrix 연산으로 얻은 값을 기준으로 MaxPooling은 Matrix 연산을 사용하지 않고 각 Pixel에서 최대 값을 추출하여 사용한다[12].

LSTM셀의 출력은 Return 시퀀스 속성에 따라 구분되며 설정값을 True로 하면 출력은 시간 경과에 따른 시퀀스를 가진다.즉, 각 입력에 대해 하나의 출력을 가진다. 이 경우 출력의 모양은 3D 텐서이다. Return 시퀀스가 False인 경우로 설정되면 출력은 시퀀스의 마지막 값, 즉 2D 텐서의 형태를 가진다. 또한 이미지의 특징을 추출하는 LSTM셀 부분과 이미지를 분류하는 계층 사이에 플래튼(Flatten) 계층이 위치하며 4차원 데이터를 1차원으로 평탄화를 해준다.

그림 5는 부분방전 유형 분류를 위한 알고리즘으로 ConvSTLM2D 알고리즘에 대한 학습 알고리즘을 보여주고 있다. 제안된 예측 시스템에 대해 2차원 이미지를 시간에 대한 함수를 적용하여 학습을 진행하였다.

Fig. 5.

Prediction system using ConvLSTM2D algorithm

제안된 학습 모델은 ConvLSTM2D 알고리즘과 Fully Connected Layer로 구성하였다. ConvLSTM2D 계층은 2차원 자료를 다루고 있으며 특징 추출(Feature Extraction)을 위한 알고리즘이며, “Flatten()” 레이어는 2차원 데이터를 1차원으로 변환하여 주는 역할을 한다. 출력 계층을 구성하는 “Dense()” 레이어들은 분류를 위한 분류기(Classifier)로 “Activation”이 ReLu 함수와 분류에 유리한 Softmax 함수를 사용하여 구성되어 있다.

3.1 실험시스템의 구성

본 논문에서 제안한 학습 모델에 대한 실험을 위한 예측시스템의 구성을 보면 그림 6과 같다. 제안한 부분방전의 유형을 자동으로 분류하기 위한 예측 시스템의 구성은 부분방전 데이터에 대한 패턴을 생성하여 주는 모의셀 부분과 이를 스캔하여 수집하는 기능을 갖는 UHF센서 부분, UHF센서에서 들어온 신호를 처리하여 ADC를 거쳐 이더넷 통신 방식으로 예측 시스템에 전송한다. 예측 시스템은 수신된 데이터를 전처리 과정을 통하여 이미지 데이터의 형태로 만들어 학습 모델에 넣으면 학습 모델은 현재 입력된 데이터를 분석하여 패턴에 대한 예측을 하고 결과를 출력한다.

Fig. 6.

Prediction system for type classification of partial charge

학습 모델 설계를 위한 데이터 셋은 코로나, 보이드, 노이즈의 3개의 라벨을 가지도록 정의하였다. 학습 모델을 설계하기 위한 각각의 데이터 셋의 크기는 Conv2D 알고리즘의 경우는 코로나 방전, 보이드 방전 각각 5,000개의 데이터를 이용하여 학습을 진행하였다.

각각의 데이터 셋은 훈련 데이터와 검증 데이터로 구분하여 데이터를 생성하고 설계된 모델에 대한 검증을 하였다. ConvLSTM2D의 경우 코로나 방전 데이터 160개와 보이드 방전 데이터 104개를 각각 80개씩 랜덤하게 선택하여 학습 데이터를 만들고 나머지 데이터를 테스트 데이터로 만들어 학습을 진행하였다.

3.2 예측 모델의 성능 실험

본 논문에서의 예측 시스템은 4개의 ConvLSTM2D 셀 레이어를 구성하였으며 각각의 LSTM 셀 레이어에 Normalization과 Maxpooling3D를 통해 Convolution 레이어와 Activation을 거쳐 나온 출력인 Activation Output Map에 대한 기술로 해당 Reception Field에 가장 큰 값을 골라 적용하는 알고리즘이다.

또한 Pooling을 사용하는 이유는 앞 레이어에서 출력된 Feature Map의 모든 데이터가 필요한 것이 아니므로 그 중에서 필요한 특성을 추출하기 위하여 사용한 알고리즘이다.

그림 7은 ConvLSTM2D 알고리즘을 이용한 예측 모델에 대한 학습 결과를 보여주고 있다. 신경망 학습을 위하여 2가지 유형의 데이터 셋으로 구분된다. 훈련 데이터는 매개변수 학습에 사용되고 검증 데이터는 하이퍼 파라미터의 성능 평가에 사용된다.

Fig. 7.

Learning result using ConvLSTM2D prediction model

검증 데이터는 훈련 데이터 셋에 80%를 검증 데이터 셋으로 사용하였다. 설계된 예측 모델을 학습시키기 위하여 사용되는 학습 모델 함수는 “fit()”를 사용하였다. 여기서는 2개의 데이터를 미니배치로 추출하여 30회 학습하는 것으로 설정하여 학습을 진행하였다. 가장 성능이 좋은 학습결과를 학습모델로 저장하도록 프로그램 되어있으며 학습결과 loss는 0.1828, accuracy는 0.9750, val_loss는 0.8190, val_accuracy는 0.8558의 특성을 가진다.

표 1은 Conv2D 알고리즘을 이용한 부분방전의 예측 결과를 보여주고 있다. 표 1에서 대부분의 경우 부분방전 유형에 대해 정확하게 예측을 하는 것을 알 수 있으며 그레이스케일 이미지의 경우가 2차원 이미지 보다 높은 예측값을 보여준다는 것을 알 수 있다.

Table 1.

Prediction result of partial discharge type using Conv2D algorithm

그러나 Case 3, 4, 7의 경우에서 2차원 이미지의 경우 부분방전 유형을 코로나와 보이드로 동시에 인식하는 예측 값이 나타났다. 그레이스케일 이미지의 경우에도 실험 4의 경우에서 2차원 이미지에서 유형이 동시에 나오는 데이터에서 부분방전 유형을 인식하지 못하는 오류가 나타났다.

한편, 본 논문에서 제안된 3차원 데이터를 이용하는 ConvLSTM2D 알고리즘을 적용하여 실험을 수행하였다. 그림 8은 위상좌표에 따라 파워 값을 표시한 2차원 이미지 데이터에 일정 시간을 누적한 3차원 이미지 데이터를 앞에서 제안한 ConvLSTM2D 알고리즘을 적용한 학습 모델의 결과를 보여주고 있다.

Fig. 8.

ConvLSTM2D model prediction result of corona discharge

그림 8의 (a)는 실험 시스템에서 코로나 방전을 발생시켜 시스템에서 입력되는 원시 데이터를 위상에 따른 파워값을 60 Cycle 동안 3차원 이미지 데이터로 표현한 것이며 (b)는 학습 모델에 적용하기 위해 전처리 과정을 통하여 일정한 시간동안 (a)의 데이터를 합치고 이렇게 합쳐진 데이터를 일정한 Cycle 동안 10개의 데이터를 만들어 학습 모델에 적용한 이미지를 보여주고 있다. 시스템에서 수신되어 전처리 과정을 거쳐 만들어진 그림 8의 (b)는 데이터를 본 논문에서 제안한 ConvLSTM2D 모델에 적용한 결과 유형을 코로나로 정확하게 예측하였으며 예측값은 0.890114의 값을 갖는다. 실험에 사용된 부분방전 입력데이터는 Conv2D 알고리즘에서 오류를 발생한 실험데이터와 동일한 데이터를 사용하고 부분방전 실험데이터를 일정한 시간간격으로 3차원 이미지화하여 유형 예측 실험을 진행하였다.

표 2는 ConvLSTM2D 알고리즘을 이용한 부분방전의 예측 모델에 대한 실험결과를 보여 주고 있다. ConvLSTM2D 알고리즘을 사용한 예측값은 Conv2D 알고리즘 보다는 떨어지는 결과도 있지만 부분방전의 유형을 구분하는 결과는 우수하게 나타나는 것을 볼 수 있다.

Table 2.

Partial discharge type prediction results using ConvLSTM2D algorithm