오토인코더 기반 플랜트 배관계 누출 탐지 연구

Ⅰ. 서 론

플랜트 및 발전소 설비들의 운영 기간 증가에 따라 고온 및 고압, 화학 물질 등의 노출로 인한 배관의 부식이 심각해지고 있다[1]. 이는 배관의 노후화로 이어지며, 배관의 부식은 배관의 강도를 약화시키고 파손의 위험을 증가시키기에 유해 물질 누출로 이어질 수 있어 이에 대한 해결책이 요구되고 있다. 유해 물질의 누출은 환경오염, 생태계 악영향, 질병 발생 등의 사회적 문제를 초래하며, 누출 사고 처리 비용 및 손해 배상 등 경제적 문제 또한 수반된다. 따라서 배관의 노후화 문제를 해결하기 위한 대책 마련이 필요하며, 누출 위험을 초기에 예측하고 해결할 수 있는 상시 모니터링 시스템 개발이 필요하다.

과거에는 음향 혹은 진동 센서 등을 이용하여 수집된 데이터를 시간, 주파수, 시간-주파수의 세 가지 영역에 다양한 신호처리 기법들을 적용하여 배관의 누출을 탐지하는 방법들을 활용하였다[2]. 하지만 플랜트에서 발생되는 여러 잡음이나 소음 등으로 인하여 기존의 신호처리 기법들을 통해 미세 누출 발생 여부를 판별하는 데는 어려움이 있다. 또한 기존의 방법은 원격 상시 감지가 불가능하여, 누출을 조기에 감지하는 데 한계가 있다[3].

현재 딥러닝 기반의 인공지능 기술이 크게 발전함에 따라 다양한 산업 분야에서 경쟁력 향상 및 생산 효율성 증대를 위하여 인공지능 기술을 도입하고 있다. 최근, 인공지능 기술을 이용하여 지도 학습 및 비지도 학습 기반의 미세 누출 탐지 연구가 활발히 이루어지고 있으나, 상시 모니터링을 위해서는 모니터링 관련 인프라가 구축되어 있어야 한다는 문제점이 있다. 따라서 본 논문에서는 딥러닝 기술인 비지도 학습 기반의 오토인코더 모델에 다수 개의 센서들로부터 수집된 시계열 데이터를 이용하여 상시 모니터링 시스템에 적용할 수 있는 다양한 미세 누출 탐지 방법을 제안하고자 한다.

본 논문의 구성은 다음과 같다. 2장에서는 데이터 전처리 및 학습 데이터 구성에 대해 살펴본다. 3장에서는 비지도 학습 방식 중 하나인 오토인코더 모델의 구조와 제안하고자 하는 두 가지 누출 판별 접근법에 대해 소개하며, 4장에서는 두 가지 접근법에 대한 모델별 성능을 상호 비교 및 분석하고자 한다. 마지막으로 5장에서는 본 논문에서의 결론과 향후 연구 계획에 대하여 기술한다.

Ⅱ. 데이터 전처리 및 학습 데이터 구성

본 논문에서는 배관에서 유출될 수 있는 누출을 정확하게 파악하기 위하여 4개의 마이크로폰 음향 센서로부터 시계열 데이터를 수집하였으며, 각 채널의 주파수는 100kHz로 설정하여 정상 및 누출에 대한 데이터를 각각 수집하였다. 누출 데이터는 0.5mm 누출부 직경을 가지는 여덟 군데 위치에서 측정하였으며, 이때, 신호의 조건은 누출 압력을 1~2bar로 가변하면서, 4개의 각 센서에서 500,000개의 데이터를 수집하였다.

본 연구에서는 주파수 도메인 데이터를 사용하기 위해 수집된 시계열 데이터에 고속 푸리에 변환을 적용하였다. 변환된 데이터는 계산량과 학습에 소요되는 시간을 최적화하기 위해 20,000개의 데이터 샘플을 200등분하여 해당 구간의 평균값들을 추출하여 주파수 데이터 샘플의 수를 100개로 축소하였다.

그림 1은 수집된 정상 및 누출 상태의 시계열 데이터이며, 그림 2는 각 센서별로 고속 푸리에 변환을 적용한 결과이다.

Fig. 1.

Collected time series data

Fig. 2.

Frequency conversion and data averaging sampling

본 논문에서는 최종적으로 모델 학습에 사용할 데이터를 구성하기 위하여 4개의 센서에서 수집한 데이터들을 그림 3과 같이 센서 1, 2, 3, 4 순으로 미니배치 단위로 묶어 구성하였다.

Fig. 3.

Sensor data arrangement for model training

Ⅲ. 비지도 학습 기반 누출 판별 모델

3.1 오토인코더 모델 구조

수집된 데이터는 음향 신호로, 데이터 특성상 여러 종류의 잡음이 발생할 수 있으며, 누출 상태의 데이터를 정상 상태의 데이터만큼 충분히 얻기 어렵다는 문제점이 있다. 따라서, 본 논문에서는 취득하기 쉬운 정상 상태 데이터만을 이용하여 학습할 수 있으며, 데이터의 잠재적 표현을 학습할 수 있는 오토인코더 모델을 이용하여 누출 판별 모델을 구현하고자 한다.

오토인코더 모델은 데이터의 정답에 해당하는 레이블 없이 데이터의 패턴 특징을 학습하는 비지도 학습[4] 기반의 방법 중 하나이다.

오토인코더[5]-[7]는 데이터의 특징을 압축하는 인코더[8]와 압축된 특징을 복원하는 디코더로 이루어져 있으며, 인코더와 디코더[9]의 구조는 완전 연결신경망(FCNN, Fully Connected Neural Network), 합성곱 신경망(CNN, Convolutional Neural Network)[10]-[12]과 같은 구조들을 이용할 수 있다.

일반적으로 오토인코더 모델은 구현 시 은닉층이 깊어질수록 인코더는 네트워크가 점점 좁아지도록, 디코더는 네트워크가 점점 넓어지도록 설계한다.

본 논문에서는 인코더, 디코더에 완전 연결 신경망(Fully connected), 희소 신경망(Sparse)[13][14], 심층 신경망(Deep)[15][16], 변이형(Vae)[17], 합성곱 신경망(1D CNN)[18], 깊이별 분리 합성곱 신경망(Separable 1D CNN)의 6가지 구조를 이용하여 오토인코더 기반 모델을 구현하였으며, 그림 4는 6가지 모델 중 심층 신경망 구조를 기반으로 하는 오토인코더 모델의 구조를 보여준다.

Fig. 4.

Autoencoder model based on deep neural network structure

본 연구에서는 기본적인 표현 학습이 가능한 1개의 은닉층으로 이루어진 완전 연결 신경망 구조 기반 오토인코더 모델(Fully connected Autoencoder)을 먼저 고려하였으며, 은닉층 개수에 따른 성능 비교를 위하여 은닉층의 개수를 5개로 확장한 심층 신경망 구조 기반 오토인코더 모델(Deep Autoencoder)을 구현하였다. 다음으로, 희소성 할당 여부에 따른 성능 비교를 위하여 입력 데이터에 평균 활성화 값을 기반으로 희소성 패널티를 할당하는 희소 오토인코더(Sparse Autoencoder)를 구현하였으며, 확률적 표현을 이용하여 데이터를 재구성할 수 있는 변이형 오토인코더 모델(Variational Autoencoder)을 구현하였다. 또한, 2차원 모델과 3차원 모델의 성능 비교를 위하여 합성곱 신경망 구조 기반 오토인코더 모델(1D CNN Autoencoder)을 구현하였으며, 합성곱 층의 깊이별 분리 여부에 따른 성능 비교를 위하여 깊이별 분리 합성곱 신경망 구조 기반 오토인코더 모델(Separable 1D CNN Autoencoder)을 최종적으로 구현하였다.

본 논문에서는 상기 내용의 6가지 구조 기반의 오토인코더 모델을 이용하여 누출을 판별하는 두 가지 접근법을 제안하고자 한다.

첫 번째 접근법은 임계치(Threshold)[19]를 기준으로 누출 판별을 수행하는 것이며, 두 번째 접근법은 정상 데이터로 학습된 인코더 모델에 선형 이진 분류기를 추가하여 누출 판별을 수행하고자 한다.

3.2 임계치를 이용한 오토인코더 기반 누출 판별

첫 번째 접근법은 정상 데이터만으로 학습한 오토인코더 모델을 이용하여 임계치를 기준으로 정상과 누출을 판별하도록 한다.

임계치 값은 정상 데이터의 재구성 오차의 평균과 표준편차의 합으로 정의하였으며, 해당 값은 정상 데이터가 분포할 범위를 의미한다.

정상 데이터의 재구성 오차와 임계치 값의 계산 식은 다음 식 (1), (2)와 같이 주어진다.

$\[ M=\mu \left(\left|y-\widehat{y}\right|\right) \]$

(1)

$\[ T=\mu \left(M\right)+\sigma \left(M\right) \]$

(2)

여기서, 식 (1)의 M은 정상 데이터에 대한 재구성 오차를 의미하며, 실제 데이터 y와, 오토인코더 모델을 통해 재구성된 데이터인 $$ \widehat{y}$$의 차에 절댓값을 취한 것의 평균값을 의미한다. 또한 식 (2)의 T는 임계치를 의미하며, 정상 데이터에 대한 재구성 오차인 M의 평균과 표준편차를 합한 값이다. 따라서 임계치를 이용한 오토인코더 기반 누출 판별 알고리즘은 그림 5와 같이 나타낼 수 있다.

Fig. 5.

Autoencoder-based leak detection algorithm using threshold

그림 5와 같이 임계치를 이용한 누출 판별 알고리즘은 식 (1)과 같이 계산된 정상 데이터의 재구성 오차 값인 M이 임계치 값 T보다 작으면 정상, 그렇지 않으면 누출로 판별하는 처리 구조를 가진다.

3.3 인코더-분류기 모델을 이용한 누출 판별

두 번째 접근법은 비지도 학습 방식으로 학습한 오토인코더 모델에서 인코더 모델만 추출한 후 그 위에 선형 이진 분류기를 추가하여 정상과 누출을 판별하는 것으로, 그 구조는 그림 6과 같다.

Fig. 6.

Encoder-classifier model structure

그림 6과 같이 인코더-분류기 모델은 사전에 정상 데이터로 학습된 인코더 모델에 선형 이진 분류기를 추가한 후 정상과 누출 데이터를 입력하여 모델을 재학습시키는 것으로, 선형 이진 분류기에 입력되는 정상과 누출의 레이블을 이용하여 학습을 진행하며, 이를 통해 정상 및 누출이 판별된다.

Ⅳ. 실험 결과

본 논문에서는 정상 및 누출 데이터를 각각 122,020개씩 사용하였다. 모델 학습 및 검증, 평가를 위한 시험 데이터 구성을 각각 6:2:2 비율로 분할하였으며, 이때, 분할된 데이터의 수는 훈련 데이터 73,212개, 검증 데이터 24,404개, 테스트 데이터 24,404개이다.

본 연구에서는 학습을 위한 파라미터를 두 가지 제안 모델 모두 동일하게 설정하였다. 모델 학습을 위한 파라미터 설정은 에포크 30, 배치사이즈 32로 지정하였으며, 모델 학습을 위한 옵티마이저 설정은 Adam[20]을 선택하여 학습율은 0.001로 지정하였다.

이때, 3차원 배열의 데이터를 입력으로 받는 합성곱 신경망 및 깊이별 분리 합성곱 신경망 모델의 경우, 배치사이즈를 32로 설정하였을 경우보다 128로 설정하였을 경우, 모델의 성능이 더 우수하였기 때문에 다른 모델들과 다르게 배치사이즈를 128로 설정하였다.

첫 번째 접근법인 임계치를 이용한 오토인코더 기반 누출 판별 성능의 결과는 표 1과 같다.

Table 1.

Accuracy performance of autoencoder-based leakage discrimination model using threshold and signal restoration performance for each model

상기 표 1에서의 MAE[21]는 평균 절대 오차 값으로, 이는 인코더로부터 압축된 입력 신호에 대한 복원 성능을 의미한다. 해당 값은 수치가 작을수록 신호 복원 성능이 우수한 것을 의미하며, 6가지 모델 중 완전연결 신경망 구조 기반 모델이 신호 복원 성능에서 가장 우수한 결과를 보였다. 완전 연결 신경망 구조 기반 모델은 합성곱 신경망 구조 기반 모델보다 신호 복원 성능이 더 우수한 것을 확인할 수 있었으며, 변이형 오토인코더 기반 모델은 다른 모델들과 다르게 신호 복원 성능이 현저히 낮게 측정되는 것을 확인할 수 있다.

상기 표 1을 통한 누출 판별에 대한 성능 측정 결과, 각 모델별로 계산된 임계치 값을 기준으로 누출 판별 정확도가 변이형 오토인코더 모델을 제외한 5가지 모델에서 대부분 누출 판별에서 높은 정확도 성능을 보인다. 신호 복원 성능이 가장 우수한 완전 연결 신경망 구조 기반 모델은 누출 판별 정확도에서도 가장 높은 성능을 나타내었으며, 신호 복원 성능이 다른 모델에 비해 떨어졌던 변이형 오토인코더 기반 모델은 누출 판별 정확성에서도 다른 모델들에 비해 성능이 떨어지는 것을 확인할 수 있다. 또한 합성곱 신경망 구조 기반 모델은 신호 복원 성능에서와 마찬가지로 누출 판별 정확도 성능이 완전 연결 신경망 구조 기반 모델보다 상대적으로 낮은 것을 확인할 수 있다.

다음으로 두 번째 접근법인 인코더-분류기 모델을 이용한 누출 판별 정확도 성능은 표 2과 같이 주어진다.

Table 2.

Leak discrimination accuracy of encoder-classifier model

해당 모델에 대한 실험 결과, 첫 번째 접근법과 비교하였을 경우, 완전 연결 신경망 구조 기반 및 희소 신경망 구조 기반의 두 가지 모델에 대한 누출 판별 정확도 성능이 다른 모델들에 비해 정확도가 떨어지지만, 변이형 오토인코더 기반 모델을 포함하여 전반적으로 누출 판별 성능이 향상되는 것을 확인할 수 있다.

해당 방법에서는 심층 신경망 구조 기반 오토인코더 모델의 누출 판별 성능이 가장 우수하였으며, 첫 번째 접근법과는 반대로 합성곱 신경망 구조 기반 모델의 성능이 완전 연결 신경망 구조 기반 모델보다 더 좋은 것을 확인할 수 있었다.

Ⅴ. 결론 및 향후 과제

본 논문에서는 플랜트 배관계 누출 탐지를 위하여 6가지 오토인코더 기반의 모델을 이용한 두 가지 누출 탐지 접근법을 제안하였다.

실험 결과 임계치를 기준으로 누출을 판별하는 방법은 6가지 오토인코더 기반 모델 중 완전연결신경망 구조 기반 모델이 가장 높은 성능을 보여주었다.

정상 데이터만을 입력으로 받는 비지도 학습 기반 오토인코더 모델의 신호 복원 성능과 임계치를 기반으로 누출을 판별하는 모델 모두 완전 연결 신경망 구조 기반 모델이 가장 좋은 성능을 보여주었지만, 인코더-분류기 모델을 이용한 누출 판별 모델에서는 심층 신경망 구조 기반 모델의 누출 판별 정확도가 가장 높았으며, 완전 연결 신경망 구조 기반 및 희소 신경망 구조 기반 모델을 제외한 모든 모델에서의 실험 데이터에 대한 누출 판별 성능이 첫 번째 접근법에서의 누출 판별 성능보다 전반적으로 향상되었음을 확인할 수 있었다.

수집된 데이터를 이용하여 두 가지 접근법의 모델을 학습한 결과, 실험을 위해 사용할 누출 데이터가 희소하여 정상 데이터만으로 누출을 판별하고자 할 경우, 완전 연결 신경망 구조 기반 오토인코더 모델의 성능이 가장 우수하였으며, 반대로 누출 데이터가 정상 데이터만큼 충분히 많을 경우, 심층 신경망 구조 기반 오토인코더 모델의 성능이 가장 우수한 결과를 보여주었다.

본 연구는 향후 다른 도메인의 데이터를 활용했을 때에도 본 논문의 결과와 같이 성능이 도출되는지 검증하기 위하여, 연구에서 고려한 다양한 비지도 학습 기반의 누출 판별 모델을 이용하여 다른 도메인 데이터에 대한 모델의 전이학습 연구를 진행할 예정이다.

Acknowledgments

이 논문은 2022년도 정부(과기정통부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. RS-2022-00165225)

본 논문은 2023년도 한국정보기술학회 하계종합학술대회에서 발표한 일부 내용을 확장한 연구 결과임. 또한, 이 논문은 2022년도 정부(과기정통부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. RS-2022-00165225).

References

• S. Kwon, S. Jeon, Y. Choi, J.-H. Lee, and J.-H. Bae, "Study on an Ensemble Model for Pipe Leak Detection based on Multi-mode Feature Fusion", The Journal of Korean Institute of Information Technology, Vol. 21 No. 10, pp. 21-28, Jul. 2023. [https://doi.org/10.14801/jkiit.2023.21.10.21]
• D.-B. Yoon, S.-S. Moon, and B.-S. Yang, "A Study on Acoustic Signal Processing Method for Detecting Small Leak of Piping System", Proc. of the Asia Pacific Conference of the PHM Society 2017, Jeju, Korea, pp. 612-614, Jul. 2017.
• D. Yeo, J.-H. Bae, and J. C. Lee, "Unsupervised Learning-Based Pipe Leak Detection using Deep Auto-Encoder", Journal of The Korea Society of Computer and Information, Vol. 24 No. 9, pp. 21-27, Sep. 2019. [https://doi.org/10.9708/jksci.2019.24.09.021]
• Z. Ghahramani, "Unsupervised Learning", Advanced Lectures on Machine Learning, Vol. 3176, pp. 72-112, 2003. [https://doi.org/10.1007/978-3-540-28650-9_5]
• D. Bank, N. Koenigstein, and R. Giryes, "Autoencoders", Machine Learning for Data Science Handbook, pp. 353-374, Feb. 2023. [https://doi.org/10.1007/978-3-031-24628-9_16]
• J.-E. Jeong, H.-J. Kim, and J.-H. Chun, "Automatic Augmentation Technique of an Autoencoder-based Numerical Training Data", The Journal of The Institute of Internet, Broadcasting and Communication (IIBC), Vol. 22 No. 5, pp. 75-86, Oct. 2022. [https://doi.org/10.7236/JIIBC.2022.22.5.75]
• T.-M. Seo, M.-G. Kang, and D.-J. Kang, "Anomaly Detection of Generative Adversarial Networks considering Quality and Distortion of Images", The Journal of The Institute of Internet, Broadcasting and Communication (IIBC), Vol. 20 No. 3, pp. 171-179, Jun. 2020. [https://doi.org/10.7236/JIIBC.2020.20.3.171]
• D. Cer, et al., "Universal Sentence Encoder", arXiv:1803.11175v2, , Mar. 2018. [https://doi.org/10.48550/arXiv.1803.11175]
• K. Cho, B. Merrienboer, D. Bahdanau, and Y. Bengio, "On the Properties of Neural Machine Translation: Encoder-Decoder Approaches", arXiv:1409.1259v2, , Sep. 2014. [https://doi.org/10.48550/arXiv.1409.1259]
• J. Gu, et al., "Recent advances in convolutional neural networks", Pattern Recognition, Vol. 77, pp. 354-377, May 2018. [https://doi.org/10.1016/j.patcog.2017.10.013]
• K. O'Shea and R. Nash, "An Introduction to Convolutional Neural Networks", arXiv:1511.08458v2, , Nov. 2015. [https://doi.org/10.48550/arXiv.1511.08458]
• S. Albawi, T. A. Mohammed, and S. Al-Zawi, "Understanding of a convolutional neural network", 2017 International Conference on Engineering and Technology (ICET), Antalya, Turkey, Aug. 2017. [https://doi.org/10.1109/ICEngTechnol.2017.8308186]
• A. Makhzani and B.n Frey, "K-Sparse Autoencoders", arXiv:1312.5663v2, , Dec. 2013. [https://doi.org/10.48550/arXiv.1312.5663]
• W. Sun, et al., "A sparse auto-encoder-based deep neural network approach for induction motor faults classification", Measurement, Vol. 89, pp. 171-178, Jul. 2016. [https://doi.org/10.1016/j.measurement.2016.04.007]
• S. Lange and M. Riedmiller, "Deep auto-encoder neural networks in reinforcement learning", The 2010 International Joint Conference on Neural Networks (IJCNN), Barcelona, Spain, Jul. 2010. [https://doi.org/10.1109/IJCNN.2010.5596468]
• C. Hong, J. Yu, J. Wan, D. Tao, and M. Wang, "Multimodal Deep Autoencoder for Human Pose Recovery", IEEE Transactions on Image Processing, Vol. 24, No. 12, pp. 5659-5670, Dec. 2015. [https://doi.org/10.1109/TIP.2015.2487860]
• J. An and S. Cho, "Variational Autoencoder based Anomaly Detection using Reconstruction Probability", Special lecture on IE, Vol. 2, No. 1, pp. 1-18, Dec. 2015.
• D.-H. Kang and D.-H. Kim, "1D Convolutional Autoencoder-Based PPG and GSR Signals for Real-Time Emotion Classification", IEEE Access, Vol. 10, pp. 91332-91345, Aug. 2022. [https://doi.org/10.1109/ACCESS.2022.3201342]
• J. S. Weszka and A. Rosenfeld, "Threshold Evaluation Techniques", IEEE Transactions on Systems, Man, and Cybernetics, Vol. 8, No. 8, pp. 662-629, Aug. 1978. [https://doi.org/10.1109/TSMC.1978.4310038]
• Ange Tato, and Roger Nkambou, "Improving Adam Optimizer", ICLR 2018 Workshop, Vancouver, BC, Canada, Feb. 2018.
• T. Chai and R. R. Draxler, "Root mean square error (RMSE) or mean absolute error (MAE)? – Arguments against avoiding RMSE in the literature?", Geoscientific Model Development, Vol. 7, No. 3, pp. 1247-1250, 2014. [https://doi.org/10.5194/gmd-7-1247-2014]
• P. Liu, et al., "A CNN-based transfer learning method for leakage detection of pipeline under multiple working conditions with AE signals", Process Safety and Environmental Protection, Vol. 170, pp. 1161-1172, Feb. 2023. [https://doi.org/10.1016/j.psep.2022.12.070]