Stacked Bidirectional과 Stacked Unidirectional LSTM을 활용한 주별 전력부하예측

2.1 국내 및 국외 선행연구

Kim[1]등은 하절기 평일의 전력수요 예측을 위해 인공신경망 모형을 활용하였다. 해당 연구에서 구축한 신경망은 입력층과 출력층 사이에 은닉층이 존재하는 MLP 모형이다. 은닉층은 1개로 구성하였으며 입력변수로는 하루의 전력수요가 가지는 주기성을 반영하고자 시간 인덱스를 추가하였으며 2일 전과 3일 전 전력시차항 그리고 기온변수를 함께 반영하였다. 다만 기상요인으로 기온만 반영되었다는 점과 다양한 날짜요인이 반영되지 않은 점은 해당 연구의 한계로 보인다.

Nam[2]등은 빅데이터를 활용하여 하절기 평일의 시간대별 전력수요를 예측하였다. 예측방법론으로는 MLP를 활용하였다. MLP 모형은 사용한 활성화함수(ELU 또는 ReLU)에 따라서 두 가지 모형으로 구분하였다. MLP 모형의 입력변수로는 전력시차항 이외에도 기온, 습도, 일사량, 일조량 등 다양한 기상요인을 반영하였으며 월, 일, 요일, 시간 등의 날짜요인을 더미변수 형태로 반영하여 전력부하에 영향을 미칠 수 있는 다양한 요인을 반영하였다. 특징적인 부분은 교통량 데이터도 활용했다는 점이다.

Muzaffar[3]등은 단기 전력부하 예측을 위해 LSTM을 활용하였다. 특히 LSTM 모형의 예측력을 검증하기 위해서 시계열 모형인 ARMA, ARIMA, SARIMA 모형과 예측력을 비교하였다. 예측기간은 향후 1일과 2일 그리고 7일과 30일로 총 4가지의 예측기간으로 구분하였다. 그 결과, 단기인 1일과 2일에는 LSTM 모형이 시계열 모형들에 비해서 예측력이 매우 우수한 것으로 나타났다. 다만, 7일과 30일에서는 시계열 모형들의 예측력이 LSTM에 비해서 예측성과가 뛰어난 것으로 나타났다.

Abbasimehr[4]등은 가구회사의 수요 데이터를 예측하기 위해서 LSTM을 활용하였다. 특히 단층이 아닌 다층구조를 사용하여 Stacked LSTM을 구축하였다. 구축된 Stacked LSTM을 다른 신경망 및 머신러닝 기법인 ANN과 SVM 등과 비교하였으며 전통적인 시계열 기법인 ARIMA와 ETS 모형과도 예측력을 비교하였다. 그 결과 SVM과 ANN보다 Stacked LSTM의 예측력이 더 뛰어난 것으로 나타났다. 또한 ARIMA 및 ETS와의 예측력을 비교한 결과도 Stacked LSTM이 더 좋은 예측성과를 나타냈다. 특히 주목할 부분은 SVM과 ANN도 전통적인 시계열 모형보다 좋은 예측력을 보여주어 전반적으로 인공지능을 활용한 방법이 실제 시계열 데이터의 패턴을 포착하는데 우수한 능력을 보여주는 것으로 나타났다.

Choi[5]등은 LSTM을 ResNet과 결합하여 STLF(Short Term Load Forecasting)에 활용하였다. 해당 결합모형은 ResNet의 산출값을 LSTM의 입력값으로 사용하는 모형이다. 예측 결과 해당 연구에서 제시한 ResNet/LSTM 결합 모형이 단일 모형인 MLP, ResNet 그리고 LSTM 보다 예측력이 높은 것으로 나타났다.

Atef[6]등은 전력부하예측을 위해 단방향(Unidirectional) Stacked LSTM과 양방향(Bidirectioanl) Stacked LSTM을 구축하여 예측력을 비교하였다. 먼저 단방향 단층 LSTM과 단방향 Stacked LSTM의 예측력을 비교한 결과 은닉층이 2개인 단방향 Stacked LSTM이 예측력이 가장 좋은 것으로 나타났다. 반면 양방향 단층 LSTM과 양방향 Stacked LSTM의 예측력을 비교한 결과 은닉층이 1개인 양방향 단층 LSTM의 예측력이 우수한 것으로 나타났다. 이를 바탕으로 최종모형을 단방향 Stacked LSTM과 양방향 단층 LSTM으로 각각 확정하였다. 최종모형들을 SVR 모형과 예측력을 비교한 결과, 양방향 단층 LSTM이 가장 우수했으며 그 다음으로 단방향 Stacked LSTM과 SVR 순으로 나타났다.

Kim[7]등은 단기 전력수요 예측을 위해서 LSTM 모형을 구축하였으며 입출력 값에 기존의 실수값이나 정규화된 값이 아닌 자연어 처리에서 많이 사용되는 원-핫 인코딩 기법을 활용하였다. LSTM 모형의 예측력 비교를 위하여 DNN 모형을 함께 구축하였는데 그 결과 원-핫 인코딩 기법을 적용한 LSTM모형이 기존의 LSTM 모형과 DNN 모형보다 더 좋은 예측력을 보여주었다.

Joo[8]등은 양방향 LSTM과 단방향 LSTM 모형을 구축하여 주가를 예측하는데 활용하였다. 그 결과 양방향 LSTM이 단방향 LSTM보다 더 예측성과가 좋은 것으로 나타났다.

Jo[9]등은 전력수요 예측을 위해 LSTM 모형을 활용하였다. 특히 해당 연구에서는 Attention Mechanism이라는 방법을 활용하여 출력값에 영향을 미치는 입력값의 열의 위치에 집중하여 학습할 수 있도록 하는 방법으로 실제로 예측결과에 영향을 미치는 소수의 입력값을 집중적으로 학습하도록 하였다. 그 결과, 기존의 LSTM 모형과 시계열 모형인 ARIMA에 비해서 MA(Modified Attention)-LSTM 모형이 더 뛰어난 예측성능을 보여주는 것으로 나타났다.

Cui[10]등은 교통량 데이터를 예측하기 위해서 단방향 심층 LSTM과 양방향 심층 LSTM을 구축하였다. 그 결과, 양방향 심층 LSTM 모형이 더 우수한 예측력을 보여주었다.

Poudel[11]등은 신경망 모형을 활용하여 태양광 발전 출력을 예측하였다. 이를 위해 MNN(Multilayer Neural Network)과 LSTM 모형을 활용하였다. 예측결과 MSE 측면에서 LSTM이 MNN 모형보다 예측력이 뛰어난 것으로 나타났으며 LSTM이 태양광 발전 출력 데이터의 갑작스러운 변동에 MNN에 비해서 덜 민감한 것으로 나타났다.

2.2 본 연구의 차별점

국내외 선행연구와 본 연구의 주요한 차별점은 다음과 같다. 먼저 현재 국내 연구 중에서 LSTM 모형을 활용하여 전력부하를 예측한 연구들 중 전력부하에 미치는 요인들을 다양하게 반영한 연구는 없다. 본 연구에서는 기상요인으로 기온, 습도, 일사량, 일조량, 강수량, 풍속 등을 반영하였다. 특히 기온의 경우 기온시차항과 기온제곱항을 추가하였다. 이는 기상요인 중 기온이 전력부하에 미치는 효과가 가장 큰 것으로 알려져 있기 때문이다.

또한 날짜요인으로는 월, 일, 요일, 시간에 대한 정보를 반영하고자 더미변수 형태로 반영하였고 전력시차항(3일전, 7일전)도 입력값으로 사용하였다.

LSTM 모형 측면에서는 단방향 LSTM과 양방향 LSTM으로 구분하여 전력부하를 예측했다는 점에서 그 의미가 클 것으로 기대한다.

단방향 LSTM과 달리 양방향 LSTM은 순방향과 역방향으로 각각 학습이 진행된 후 합쳐지는 만큼 기존의 단방향 LSTM에 비해서 예측력을 개선시킬 수 있는 방법으로 기대된다. 뿐만 아니라 LSTM을 단층과 Stacked로 구분하였다는 점도 본 연구의 큰 의의라고 할 수 있다. 이처럼 본 연구는 다양한 LSTM모형을 구축하여 전력부하 예측에 대한 활용가능성을 검토하는 실용적인 연구이다.

또한 본 연구에서 구축한 LSTM 모형의 예측력을 검증하고자 MLP 모형과의 예측력 비교도 함께 실시한만큼 다양한 신경망 모형을 활용하여 주별 전력부하를 예측할 수 있다는 가능성을 제시하는 연구가 될 것으로 기대한다.

3.1 데이터셋

표 1은 본 연구에서 활용한 데이터셋이다. 전력 및 기상 데이터는 한국전력거래소(KPX)에서 제공받은 데이터를 활용하였으며 날짜요인과 관련된 데이터는 본 연구자가 직접 구축하였다. 데이터의 기간은 2000년에서 2019년으로 총 20년치의 데이터를 구축하였으며 데이터의 빈도는 모두 시간대별 자료이다.

Table 1.

Dataset

3.2 분석 방법론

LSTM은 RNN이 가지고 있던 장기의존성 문제(Long-term dependency)를 해결하고자 나온 모형이다.

장기의존성 문제란 기존 RNN의 경우 학습 과정에서 기울기 소실 문제(Vanishing gradient problem)가 발생하며 아주 오래된 정보의 기억은 잃어버리게 되는 현상을 말한다. 즉 장기의존성 문제로 인해서 과거의 중요한 정보가 사라질 수 있기 때문에 해당 정보가 전력부하 예측에 반드시 필요한 정보였다면 예측력을 떨어트리는 요인으로 작용할 가능성이 높다.

이러한 RNN의 단점을 보완하여 LSTM은 직전 정보 뿐만 아니라 오래된 과거 데이터까지 고려하여 미래를 예측한다는 점에서 장기 시계열을 분석함에 있어서 큰 장점을 가진다. 따라서 최근 전력부하를 예측하는 연구에서도 MLP 모형과 함께 가장 많이 활용되고 있다.

또한 LSTM의 메모리 셀에는 RNN에는 존재하지 않는 3개의 gate(forget gate, input gate, output gate)가 존재한다. 이 3개의 gate가 장기정보에 대해서 특정 정보는 잊어버리고 몇 가지의 정보는 추가하도록 조정하는 역할을 하여서 학습과정에서 기울기 소실 문제로 인해 장기의존성 문제가 발생하는 것을 방지한다. LSTM의 구조는 그림 1 및 아래 식 (1) ~ 식 (6)과 같다.

Fig. 1.

Structure of LSTM

여기서 f_t= forget gate, W_f= 가중치, h_t-1=이전 단기 정보, x_t=현재 정보, b_f=편향, σ=시그모이드이다.

여기서 i_t= input gate, $$ {\tilde{C}}_t$$=업데이트할 정보 후보군, W_i,W_c= 가중치, h_t-1=이전 단기 정보, x_t=현재 정보, b_i,b_c=편향, σ=시그모이드, tanh=하이퍼볼릭탄젠트이다.

여기서 C_t= 업데이트 된 장기정보, f_t= forget gate, C_t-1=이전 장기 정보, i_t=input gate, $$ {\tilde{C}}_t$$ = 업데이트할 정보 후보군이다.

여기서 o_t= output gate, σ=시그모이드, W_o= 가중치, h_t-1=이전 단기정보, x_t=현재 정보, b₀=편향이다.

여기서 h_t=현재 단기 정보, o_t= output gate, C_t=업데이트 된 장기정보, tanh=하이퍼볼릭탄젠트이다.

또한 LSTM 모형은 다양하게 구분될 수 있다. 특히 본 연구에서는 단방향 LSTM과 양방향 LSTM 모형으로 구분하여 구축한다. 그림 2에서 볼 수 있는 것처럼 일반적으로 순방향만 있는 경우를 단방향이라고 한다. 순방향이란 sequential data에서 처음에서 끝으로 가면서 학습을 하는 일반적인 학습방법을 의미한다. 반면 역방향이란 끝에서 처음으로 학습을 하는 것을 의미한다. 따라서 순방향과 역방향으로 각각 학습을 한 후 합쳐진 모형을 양방향 LSTM이라고 부른다.

Fig. 2.

Structure of forward and backward

LSTM 모형의 예측력을 평가하기 위해 벤치마크 용으로 활용되는 것은 MLP 모형이다. 가장 기본적인 MLP모형의 구조는 그림 3과 같다.

Fig. 3.

Structure of MLP model

MLP 모형은 입력층(Input layer)과 출력층(Output layer) 사이에 은닉층(Hidden layer)이 존재하는 신경망 모형으로서 은닉층의 개수가 2개 이상인 경우 DNN(Deep Neural Network)이라고 한다. MLP 모형의 경우 일반적으로 예측과 분류 문제를 해결하는 연구에서 광범위하게 활용되고 있다.

4.1 예측모형 구축 및 예측력 평가방법

LSTM은 단층인지 심층인지 또는 단방향인지 양방향인지에 따라서 구분하여 모형을 구축하였다. 따라서 총 4가지의 모형을 구축하였으며 각 모형의 주요 특징은 표 2와 같다.

Table 2.

Characteristic of LSTM model

MLP 모형은 LSTM 모형들의 예측력을 비교하기 위한 벤치마크 모형으로 활용하였다. MLP 모형의 주요 특징은 표 3과 같다.

Table 3.

Characteristic of MLP model

본 연구에서 구축한 모형들의 예측력을 서로 비교하고 평가하기 위해서는 객관적인 예측력 평가방법을 정해야 한다. 이를 위해서 MAPE(평균절대백분위오차)를 사용하였다. MAPE는 다음과 같다.

여기서 $$ E_t^A$$= 실제치, $$ E_t^f$$= 예측치이다.

4.2 표본외 예측기간 및 예측결과

표본외 예측기간은 2018년과 2019년의 하절기와 동절기를 선정하였다. 즉 2018년 1월과 8월 그리고 2019년 1월과 8월에 대해서 각각 주별로 예측을 실시하였다. 이는 주별 전력부하 예측에 있어서 하절기와 동절기의 예측력이 특히 중요한 만큼 본 연구에서 구축한 모형들의 예측력 평가 및 실제 향후 전력부하 예측에 활용될 가능성이 있는지를 검토하기 위함이다.

특히 대부분의 최대전력부하가 동절기와 하절기에 집중되고 8월과 1월에 최대전력부하가 발생하는 경우가 많기 때문에 본 연구에서 구축한 LSTM 모형이 실제 주별예측에 활용될 수 있는지를 검토하고자 해당 기간을 예측기간으로 설정하였다. 학습기간은 예측기간 전 3년으로 하였으며 입력값은 모형마다 모두 동일하게 적용하였다. 전력시차항으로는 3일전과 7일전 전력부하를 사용하였다.

기상요인으로는 기온, 기온시차항, 기온제곱항, 습도, 일사량, 일조량, 풍속, 강수량이 반영되었으며 날짜요인으로는 월, 일, 요일, 시간 더미가 반영되었다. 여기서 기상요인들은 모두 8대 도시의 인구가중치가 적용된 전국기상변수를 활용하였다. 기온시차항의 경우 1시간 전 시차항을 사용하였고 기온제곱항의 경우 전력과 기온 간의 비선형성을 반영하고자 전국기온의 quadratic(squared) term 형태로 구축하였다. 월, 일, 요일, 시간의 더미변수의 경우 해당 월, 일, 요일, 시간에 속한 경우 1을 입력하고 아닌 경우 0을 입력하는 형태의 더미변수로 구축하였다. 이외에 추세를 반영하기 위해서 연도더미도 추가하였다.

데이터 전처리를 위해서 scaler는 MinMax 방식을 사용하였다. 최적화기법으로는 Adam optimizer를 사용하였으며 학습률은 0.001을 적용하였다. 학습횟수의 경우 과대적합을 피하기 위해서 학습 조기종료(Early stopping)를 적용하여 training이 시작된 이후 MAPE의 개선이 없는 경우가 나타나면 학습을 중단하도록 설정하였다. 즉, MAPE 값이 이전 epoch에 비해서 높게 나오는 경우가 발생하면 중단하도록 설정하였다.

표본외 예측결과는 표 4와 표 5에 나타나 있는데 먼저 2018년에 대한 예측결과인 표 4를 살펴보면 2018년 1월과 8월의 주별예측에서 가장 좋은 예측성과를 나타낸 것은 ST-BLSTM인 것으로 나타났다. 평균적으로 MAPE 값이 3.80%인 것으로 나타나 가장 낮은 오차율을 보여주었다. 다만 주별로 세부적으로 살펴보면 가장 낮은 MAPE를 기록한 모형들이 상이하게 나타났지만 평균적인 수준을 볼 때 양방향 Stacked LSTM인 ST-BLSTM이 가장 뛰어난 결과를 보여주었다. 이는 2019년 결과인 표 5에서도 마찬가지로 나타났다.

Table 4.

Result of out of sample forecast(2018, MAPE)

Table 5.

Result of out of sample forecast(2019, MAPE)

그림 4 ~ 그림 5는 각각 2018년 1월과 2018년 8월의 주차들 중 가장 낮은 MAPE를 기록한 모형의 예측치 및 실제치의 패턴이다. 마찬가지로 그림 6 ~ 그림 7은 각각 2019년 1월과 2019년 8월의 주차들 중 가장 낮은 MAPE를 기록한 모형의 예측치 및 실제치 패턴을 나타내고 있다.

Fig. 4.

Hourly load patterns of predictive value and actual value. (18Y, MLP) (solid line = actual value, dashed line = predictive value)

Fig. 5.

Hourly load patterns of predictive value and actual value. (18Y, ST-ULSTM) (solid line = actual value, dashed line = predictive value)

Fig. 6.

Hourly load patterns of predictive value and actual value. (19Y, ST-ULSTM) (solid line = actual value, dashed line = predictive value)

Fig. 7.

Hourly load patterns of predictive value and actual value. (19Y, MLP) (solid line = actual value, dashed line = predictive value)