Home

총 D개의 변수를 갖는 시계열 데이터 X=xt→t=1L가 있다고 하자. 이 때, t시점의 데이터를 나타내는 xt→=xt1,xt2,⋯,xtD이고, xti는 t시점에서 i번째 변수의 값을 의미한다. 시계열 데이터를 예측하는 문제는 시계열 X가 주어졌을 때, 미래 T시점까지의 시계열 값인 X^=xt→t=L+1T를 예측하는 문제이다. 이 때, T>1이면 시계열 데이터의 다단계 에측(Multi-step forecasting)이라 한다. 이를 수행하는 방법으로는 반복적 다단계 예측(IMS, Iterative Multi-Step) 방식과 직접적 다단계 예측(DMS, Direct Multi-Step) 방식이 있다[9]. IMS는 매번 T=1인 예측을 여러 번 반복하여 수행하는 방식이고, DMS는 T>1인 예측을 한 번에 수행하는 방식이다. IMS는 자기 회귀 모형과 유사한 특성이 있는데, 이는 예측 오류가 누적되어 장기간을 예측할 때, 오차가 매우 커질 수 있다는 단점이 존재한다는 것이다.

시계열의 다단계 예측에서 T가 충분히 커질 경우, 이를 시계열의 장기간 예측(LTSF, Long-time Time Series Forecasting)이라고 한다. 딥러닝을 활용하여 DMS방식의 LTSF를 수행했던 연구는 주로 순환신경망(RNN, Recurrent Neural Network) 기반의 방법이나[10] 시퀀스-투-시퀀스(Sequence-to-sequence) 기반의 방법을 많이 활용하였다[11]. 그러나, 기울기 소실(Vanishing gradient), 어려운 병렬 연산 등 RNN 학습과 관련한 여러 가지 어려움이 존재한다[12][13]. 최근에는 컴퓨터 비전, 자연어 처리 등 다양한 분야에서 좋은 성능을 보여주는 transformer를 활용한 연구들이 이루어지고 있다[14]-[20].

transformer는 encoder와 decoder로 이루어진 모델로, 각각은 고유한 모듈이 여러 개 반복되어 구성되어 있다[14]. Encoder의 모듈은 multi-head self attention, position-wise feed forward network로 구성되어 있고, decoder의 모듈은 masked multi-head self-attention, encoder 결과 vector와의 multi-head cross-attention module, position-wise feed forward network로 구성되어 있다. 기존 sequence-to-sequence 모델도 encoder, decoder로 구성되었으나, 입력 데이터의 순서 정보를 보존하기 위해서 RNN계열의 모델을 활용하였다. 그러나, transformer는 position encoding 기법을 활용하여 순서 정보를 보존한다. 그림 1은 transformer의 구조를 나타낸다.

Fig. 1. 
Model structure of transformer (From [13])

초기에 transformer는 자연어 처리 분야에서 주로 사용되었지만, 최근에는 computer vision[14], 시계열 데이터 처리[16]-[20] 등 다양한 분야에서 활용되고 있다. 그 중, 시계열 데이터의 LTSF를 transformer로 수행하기 위해서는 O(n²)에 해당하는 계산 복잡도와 추론 시간이 오래 걸린다는 점, 시계열 데이터의 비정상성에 따른 성능의 한계 등 여러 가지 문제가 있는데, 이를 해결하기 위해 다양한 연구들이 수행되었다[15]-[19].

시계열 데이터를 예측하는 모델을 학습하거나 평가할 때 주로 사용하는 손실함수는 평균제곱오차(MSE, Mean Squared Error)나 평균절대오차(MAE, Mean Absolute Error)이다.

이러한 손실 함수는 정상성(Stationary) 특성을 갖는 데이터 혹은 비정상성 특성이 있더라도 급격하게 값이 변화하지 않는 시계열 데이터에는 적합할 수 있다. 그러나, 순간적으로 값이 큰 폭으로 변화하는 데이터에는 적합한 손실함수가 아니다.

그림 2는 순간적으로 값이 크게 변동하는 시계열 데이터와, 이에 대한 세 가지 모델의 예측값을 나타낸 그림이다.

Fig. 2. 
Prediction of rapidly changing time series data (upper): Shape of data is not predicted correctly, (middle): Correct amount of change, incorrect change point, (lower): Correct change point, incorrect amount of change (From [21])

각 그림에서 MSE값은 동일하지만, 예측값은 상당히 다른 것을 볼 수 있다. 아래 2개의 그림은 급격한 값의 변화가 생긴 시점 혹은 변화 후 값을 제대로 예측하지 못했으나, 급격한 값의 변화가 발생한다는 것은 예측하였다. 그러나 가장 위의 그림과 같은 결과는 급격한 값의 변화가 발생한다는 것도 제대로 예측하지 못하였다.

값이 급격하게 변화하는 데이터에서 MSE를 손실함수로 RNN 등의 모델을 학습한 뒤, LTSF를 수행하면 가장 위의 결과와 같이 값의 변화를 제대로 예측하지 못하는 결과를 얻게 된다. 이러한 문제점을 해결하기 위해 Guen and Thome[20]은 시계열 예측 결과의 모양(Shape)과 시간 지연(Temporal) 관련 손실함수를 정의하였는데 이를 DILATE (Distortion Loss including shApe and TimE) 손실함수라고 한다. 이 손실함수는 예측 결과의 모양과 지연 관련 손실함수를 각각 정의하고, 이를 각각 가중치 α, (1-α)를 적용하여 가중합하는 방식으로 산출한다.

이를 활용하여 값의 급격한 변화가 존재하는 데이터에 적용하였을 때, 실제값과 더 유사한 형태의 예측을 하는 것을 확인하였다.

과거와 달리 최근에는 순간적인 전력 품질의 변동에도 민감한 전자기기들의 사용이 증가하였다. 이러한 현상은 기기의 상태에 영향을 미쳐서 문제를 일으키게 된다[22]. 이를 방지하기 위해 전력 품질의 비정상 상태를 탐지하는 연구들이 수행되었다. W. Gu, et al.은 과거 전력 품질 지수들의 시계열 데이터에서 왜도(Skewness), 첨도(Kurtosis) 등의 통계치를 산출하고 이를 활용하여 전력 품질의 이상 탐지를 수행하였다[23]. O. Zyabkina, et al.은 전력 품질의 이상치는 품질 지수의 시계열 데이터에서 중장기적 변화인 추세(Trend)와 계절성(Seasonality)보다 단기적 변화에 더 관련이 있을 것이라고 가정하여 이를 탐지하는 연구를 수행하였다[24].

Fig. 3. 
Proposed method for predictive detection of abnormal condition of power quality factors with LTSF

위의 방법들은 시계열 데이터에서 통계적 방법론을 활용하여 이상치를 탐지하는 방법이었다. 최근에는 기계학습 및 딥러닝 방법론을 활용하여 이상치를 탐지하려는 연구도 수행되고 있다. S. H. Ko and C. S. Hong에서는 LSTM 기반의 Variational Autoencoder (LSTM-VAE) 모델을 활용하여 전력 품질을 나타내는 원시데이터에서 이상 상태를 탐지하는 방법론을 제안하였다[25]. M. G. Kim, et al.은 5가지의 머신러닝 모델을 활용하여 생산라인의 고장을 모니터링하는 애플리케이션을 개발하였다[6].

그러나 지금까지 언급한 연구들은 과거 혹은 현재까지의 데이터를 활용하여 현재 전력 품질에서 비정상적인 상황 발생 여부를 탐지할 수 있다. 그러나, 이를 전력 품질의 미래 상태를 예측하여 이를 사전에 예방할 수 없다는 한계가 존재한다.

Ⅲ장에서 제안한 방법을 검증하기 위해 본 연구에서 사용한 데이터는 AI-Hub에서 제공하는 “전력 설비 에너지 패턴 및 고장 분석 센서” 데이터 내의 설비 건강 상태 데이터이다[26].

Fig. 4. 
Example of experimental data sets

이 데이터에서는 전력 설비에 공급되는 전력 품질 관련 계측값을 1분 단위로 평균값을 산출하여 제공한다. 측정하는 값으로는 3상 교류의 전압, 전류, 전력, 역률, 고조파 등이 있다. 그리고, 이들의 평균값을 계산한 값도 함께 제공한다. 특정 시점에서 설비의 SOH는 사용하는 전력 품질에 따라 크게 정상, 주의, 경고의 3가지 상태로 관리된다. 그리고, 사용하는 전력 품질 지수에 따라 다른 기준으로 관리된다. 본 실험에서는 전압 고조파 지수를 기준으로 SOH를 관리한다고 가정한다. AI-Hub에서 제공한 관리 매뉴얼에 따르면, 전압 고조파 값이 3% 이하는 ‘정상’, 3~5%는 ‘주의’, 5% 이상은 ‘비정상’으로 분류된다. 그러나, ‘경고’ 상태 데이터가 부족하고 문제를 단순하게 만들기 위하여 ‘주의’와 ‘비정상’를 합하여 ‘비정상’으로 변환하여, 레이블이 2개인 이분류 문제로 변환하였다.

여러 설비 중 2개 설비를 대표로 선정하여 실험을 진행하였다. 이 데이터의 통계량은 표 1과 같다. 또한, 그림 2는 Machine 2의 전압고조파 값을 나타낸 그림이다. 실험에 사용할 데이터는 ‘정상’ 상태가 ‘비정상’ 상태보다 많은 불균형 데이터이며, 설비가 가동과 정지 상태를 반복하며 값이 급격하게 변하는 특성이 있음을 알 수 있다.

먼저 전체 시계열 데이터를 6:2:2의 비율로 학습(Train), 검증(Validation), 시험(Test) 데이터로 분리한다. 그리고, 학습 데이터의 통계치를 기반으로 학습, 검증, 시험 데이터를 정규화한다. 이제 학습, 검증, 시험 데이터에서 길이 (L+T)의 데이터 구간들을 생성한다. 각 데이터 구간의 초기 L개 시점에 해당하는 데이터를 활용하여, 뒤의 T개 시점에 해당하는 데이터를 예측하는 모델을 학습한다. 이 실험에서는 L=120, T=30으로 설정하였으며, 예측 모델로는 transformer의 변형 모델인 Crossformer[16], FEDformer[17], Informer[15], Non-stationary transformer[18], Pyraformer[19]를 활용하였다. 또한, 손실함수로 MSE와 DILATE[20]를 사용하였을 때의 결과를 확인하였다. DILATE 손실함수에서 필요한 가중치 α는 0.3으로 설정하였다. 모델에 사용할 나머지 하이퍼파라미터는 검증 데이터에서 손실함수 값이 최소가 되는 조건을 선택하였으며, 총 5번 반복 실험하여 실험 결과를 도출하였다.

일반적으로 시계열 데이터의 예측 모델을 평가할 때에는 MSE, MAE등의 평가지표를 활용하여 예측의 정확도를 측정한다. 그러나, 본 연구의 목표는 미래 일정 시간 구간에 품질 관련 인자가 spec line을 벗어나는 순간이 존재하는지 예측하는 것으로, 기존의 평가지표를 그대로 사용하는 것은 적합하지 않다.

그 대신, 겹치지 않는 시간 구간에서 실제 전력 품질 문제 발생 여부와 모델의 예측 결과 간의 정확도(Accuracy)와 F1-score로 평가한다.

위 과정을 더 자세히 수식으로 설명하면 다음과 같다. 시험 데이터에는 총 T_tst개의 시점이 존재한다고 하자. Ⅲ장에서 서술했던 바와 같이, 이전 L개 시점의 값을 활용하여 이후 T개 시점의 값을 예측하는 모델이 학습된다. 이런 시간 구간이 총 T_tst-L개 생성된다. (t+1,t+T) 시간 영역에서 이상 상황이 실제로 발생한 결과를 y_t, 모델이 이상 상황 발생 여부를 예측한 결과를 y^t라고 할 때, 총 (T_tst-L)개의 yt,y^t쌍이 생성되는데, 이를 중복 구간이 없는(Non-overlapping) T개의 집합으로 나눈다.

각 집합에서 정확도와 F1-score로 평가한 T개 결과의 평균값을 산출하여 평가한다.

그림 5는 동일한 모델을 사용했을 때, 사용한 손실함수의 종류에 따른 예측 결과를 나타낸 것이다. MSE 손실함수를 기준으로 학습한 모델은 LTSF 결과가 거의 일정하게 나오는 것을 볼 수 있다. 그러나, DILATE 손실함수를 기준으로 학습한 모델은 상대적으로 값의 변동을 잘 예측하는 것을 볼 수 있다.

Fig. 5. 
Example of LTSF result (upper): Model with DILATE loss function, (lower): Model with MSE loss function

표 2는 LTSF 결과를 활용하여 설비의 비정상 상태를 탐지한 결과를 나타낸다. 모델의 종류에 무관하게 F1-score가 거의 0에 가까운 결과가 나타난 것을 알 수 있다.

이는 MSE 손실함수를 활용하여 학습한 LTSF 모델은 5.1 절에서 살펴본 바와 같이 거의 일정한 수준의 값을 예측하기 때문이다. 또한, DILATE 손실함수를 사용하여 학습한 각 모델을 비교하였을 때 Pyraformer가 가장 좋은 성능을 나타내는 것을 알 수 있다.

2.2절에서 언급했던 바와 같이 DILATE 손실함수는 예측 결과의 모양과 지연 관련한 손실함수를 별도로 정의하고 이를 가중합하는 방식으로 계산한다. 이 절에서는 이 가중치 α값에 따른 비정상 상태 탐지 결과의 변화를 기술한다. 그림 6은 두 개의 데이터에 대해서 모델별로 α값에 따라 비정상 상태 탐지를 수행한 F1-score 결과의 변화를 나타낸 그림이다. 모델에 따라서 결과가 크게 변동이 있는 경우도 존재하지만, 대체로 α의 값에 따라 값의 큰 변동은 없다. 이는 α값이 크면 데이터의 급격한 변동을 잘 예측하는 것에 더 많은 가중치를 두기 때문에 설비의 비정상 상태 탐지 성능이 향상되지만, 급격한 변동이 발생한다고 예측하는 시점이 실제 시점보다 지연되기 때문에 탐지 성능이 하락하는 효과로 상쇄되는 것으로 보인다.

Fig. 6. 
Change of abnormal state detection result with respect to α(α=0.1, 0.3, 0.5, 0.7, 0.9)

위 가정을 검증하기 위하여 α=0.5, α=0.9일 때, 예측 시간 범위를 다르게 하면서 비정상 상태 탐지 결과를 확인하였고, 그 결과를 그림 7에 표기하였다. α가 크면 극단적인 변화를 잘 예측하기 때문에 탐지 결과가 더 좋아야 하지만, 단기 예측에서는 α가 작을 때 오히려 탐지 결과가 더 좋을 것을 알 수 있다. 이는 극단적인 변화 예측 결과가 설정한 시간 범위를 넘어서 예측되기 때문에 비정상 상태를 잘 탐지하지 못함을 알 수 있다. 또한, 예측하는 기간이 길어지면서, α=0.9일 때가 성능이 더 좋아지는 것을 볼 수 있다. 이러한 실험 결과로부터 α값이 크면 극단적인 값을 잘 예측하지만 예측하는 시점이 늦어지기 때문에 탐지 성능이 떨어질 위험성이 있으므로, 예측하려는 시간 구간에 따라 α값을 잘 설정해야 한다는 것을 알 수 있다.

Fig. 7. 
Relationship between the prediction range and the hyper-parameter α