시계열 데이터 이상치 탐지 모델 비교 및 디지털 트윈 활용

Ⅰ. 서 론

산업용 로봇은 생산 제조에서 정밀한 반복 작업이 필요한 공정 자동화 시스템의 핵심 장비이지만 마모(Wear), 균열 결함(Fault), 성능 저하(Degradation)로 인한 손상(Damage)이 발생한다[1]. 이러한 문제를 해결하기 위해 기존에는 예방정비에 의존하는 시스템을 운용하고 있다. 하지만 정비가 실제 결함 유무와 관계없이 일정한 주기마다 시행되므로 정상 부품의 불필요한 교체 및 정비 시간 동안의 운용 중단으로 인한 비용 손실이 발생하며 갑작스러운 시스템 고장을 예방하는 데에 한계가 있다. 최근에는 이러한 문제점들을 해결하기 위해 기계 시스템의 이상을 조기에 감지하고 고장을 예측하는 고장 및 건전성 관리 기술들이 연구되고 있다[2].

딥러닝을 활용한 이상치 검출 방법은 크게 지도 학습 기반과 비지도 학습 기반으로 구분할 수 있다. 지도 학습 기반으로 이상치 검출 알고리즘을 개발하기 위해서는 정상 데이터와 이상치 데이터가 모두 확보되어야 하며 충분한 양의 데이터가 확보되더라도 학습에 이용된 데이터 이외의 상황에서는 검출 성능을 보장하지 못한다는 한계가 있다. 이러한 한계를 극복하기 위해 학습에 사용된 데이터 이외도 성능이 보장될 수 있도록 비지도 학습 기법을 이상치 검출에 활용하는 연구가 증가하고 있다[3].

일반적으로 시계열 데이터의 특성을 반영한 이상치 탐지 모델들을 학습하고 성능을 평가하기 위해서 공개 데이터를 사용하게 된다. 대표적인 공개 데이터로는 NASA(MSL, SMAP)[4], YAHOO(A1, A2, A3, A4)[5], NAB(Art, AdEx, AWS, Traffic, Tweets)[6], UCR[7] 등이 있다. 공개 데이터를 사용하여 모델의 학습과 평가를 진행하면 각 벤치마크 상에서 좋은 성능을 보일 수 있으나 실환경에서는 성능이 일관되지 않을 수 있다.

기존 이상치 탐지 분야에서 실환경 진동 데이터를 사용한 연구[8]는 이미지와 IMU(Inertial Measurement Unit) 센서 데이터를 동시에 분석하여 이상치의 정도를 예측하였다. 비정상 IMU 샘플을 탐지하기 위하여 오토인코더 기반 이상치 탐지 시스템을 사용하였다.

이 외에도 매니퓰레이터의 고장 진단에 관한 연구[2]에서는 Seq2Seq 모델을 기반으로 한 지도 학습을 통해 전류 데이터를 각도 데이터로 변환하여 이상 정도를 통해 매니퓰레이터 고장을 예측하였다. 해당 연구에 사용된 이상치 데이터는 매니퓰레이터를 의도적으로 마모시켜 수집한 데이터로써 전류 및 각도 데이터를 추가 장비 없이 수집이 가능하다.

본 연구의 목적은 실환경에서 수집한 데이터를 사용하여 이상치 탐지 모델의 성능을 평가하고, 디지털 트윈 환경을 통해 가상 데이터의 활용 가능성을 확인하는 것이다. 이를 위해 6축 산업용 매니퓰레이터에 IMU 센서를 부착하여 가속도 데이터를 수집하였으며, 수집한 가속도 데이터를 활용하여 비지도 딥러닝 모델에 이를 적용한 후 성능 평가를 진행하였다. 기존 연구에서 제시한 산업용 매니퓰레이터 데이터 이상치 탐지 모델의 성능 비교[9]와 더불어 로봇 시뮬레이션 소프트웨어인 Isaac-Sim을 활용하여 가상 환경에 실제 6축 매니퓰레이터와 동일하게 동작하는 디지털 트윈 환경을 구축하고 가상 데이터 수집 및 실환경 데이터를 비교 분석하였다.

논문의 구성은 다음과 같다. 2장에서는 데이터 수집 환경 및 모델 구성을 설명한다. 3장에서는 이상치 탐지 모델의 추론 결과를 분석한다. 4장에서는 디지털 트윈 환경을 구축하고 이를 통한 데이터 분석 결과를 제시한다. 마지막으로 5장에서는 연구의 결론을 제시한다.

Ⅱ. 데이터 수집 환경 및 모델 구성

산업용 매니퓰레이터 데이터 수집을 위해 그림 1과 같이 총 네 개의 구역(①~④)을 순회하며 박스 pick-and-place 동작을 총 50회 구동하였다. IMU 센서는 그림 2와 같이 산업용 매니퓰레이터의 2번 축에 부착하여 가속도 데이터를 획득하였다. 데이터셋은 100ms 간격으로 샘플링된 약 10,500개의 데이터로 구성된다. 정상 데이터는 그림 3(a)와 같이 출력된다.

Fig. 1.

Data extraction environment

Fig. 2.

IMU sensor attachment location

Fig. 3.

Visualize normal and generated anomalies data

이상치 데이터의 종류는 행동 기반 분류에 따라 크게 점 이상치(Point anomalies)와 패턴 이상치(Pattern anomalies)로 구분할 수 있다[10].

따라서 선행 연구[10]의 이상치 데이터의 종류, 변수를 참고하여 실환경에서 수집한 정상 데이터를 기반으로 점 이상치, 쉐이플릿 이상치(Shapelet anomalies), 추세 이상치(Trend anomalies) 데이터를 생성하였다. 이상치 데이터는 종류에 따라 위치, 크기, 길이를 무작위로 설정하여 데이터의 다양성을 확보하였다. 그림 3(b)는 정상 데이터와 비교하여 비정상적인 개별 인스턴스를 의미하는 점 이상치를 나타내며, 그림 3(c)는 정상 패턴과 비교하여 기존 패턴이 서로 다른 시퀀스를 가지는 쉐이플릿 이상치를 나타낸다. 마지막으로, 그림 3(d)는 시계열의 추세를 크게 변경시켜 데이터 평균을 영구적으로 변경하는 하위 시퀀스를 가진 추세 이상치를 나타낸다[11]. 그림 3(b)~3(d)의 녹색 음영 부분은 생성된 이상치 데이터 부분을 나타낸다.

IMU 센서에서 측정되는 가속도 데이터를 수집하여 데이터 전처리 및 분석을 수행하였다. 이후 Long Short-Term Memory – Auto Encoder(LSTM-AE)[12], Auto-Encoder with Regression(AER)[13], Time series Anomaly Detection GAN(TadGAN)[14] 딥러닝 모델을 정상 데이터에 대해 학습시킨 후 이상치 탐지를 수행하였다.

LSTM-AE는 LSTM과 Auto Encoder(AE)의 장점을 결합한 모델이다. 시계열 데이터에 대해 LSTM 모델을 인코더 및 디코더로 활용하여 시계열 데이터를 잠재 공간 Z로 매핑한다. 잠재 공간상에 매핑된 벡터로부터 시계열 데이터를 재구축(Reconstruction)한 후 실제 데이터와의 오차를 통해 이상치 탐지를 수행한다[12].

AER은 LSTM-AE와 LSTM-DT의 장점을 결합한 모델이다. 인코더와 디코더로 구성되었으며, 디코더는 n+2차원의 벡터 레이어로 확장하여 3개 요소로 구성된 출력을 생성할 수 있다. 이후 손실 함수는 예측 부분과 재구성 부분으로 나뉘며 실제 값과 예측값의 평균 제곱 오차의 평균으로 설정하여 진행한다[13].

TadGAN은 AutoEncoder와 GAN 모델의 단점을 보완하여 설계된 시계열 데이터 이상치 탐지 알고리즘이다. AutoEncoder의 경우 비정상 데이터를 학습하거나, GAN의 경우 생성자와 판별자 간의 학습 불균형으로 발생하는 모드 붕괴(Mode collapse) 문제 등이 발생한다. 위의 문제를 해결하기 위하여 생성자와 판별자를 두 개씩 사용하여 Cycle consistency loss와 기울기 손실을 방지하는 Wasserstein loss를 활용한다[14].

Ⅲ. 이상치 탐지 모델 결과 분석

그림 4~6은 이상치의 종류에 따른 모델의 추론 결과를 시각화한 것이다. 그림에서 푸른색 그래프는 모델 평가에 사용된 데이터를 나타낸다. 녹색 음영 부분은 생성한 이상치 데이터, 즉 실제 정답(GT, Ground Truth)을 표시한다. 붉은색 음영 부분은 이상치 탐지 모델이 추론한 결과를 시각화한 것이다. 모델의 성능 평가를 위해 재현율(Recall)을 사용하였다. 재현율은 실제 이상치 중 모델이 정확히 탐지한 이상치의 비율을 의미한다. 이는 모델의 이상치 탐지 능력을 평가하는 중요한 지표이다. 표 1은 본 연구에서 사용한 모델의 학습 및 검증 실험 환경을 나타낸다.

Fig. 4.

Point anomalies AER inference results

Fig. 5.

Shapelet anomalies TadGAN inference results

Fig. 6.

Trend anomalies TadGAN inference results

Table 1.

Experimental environments

그림 4에서 점 이상치에 대해 AER 모델은 실제 이상치 범위보다 더 넓은 범위를 이상치로 탐지하였다. 이에 따라 모델의 재현율은 0.75로 나타났지만, 탐지된 이상치 중 실제 이상치에 해당하는 비율인 정밀도는 낮아지는 결과를 보였다. 그림 5에서는 쉐이플릿 이상치에 대해 TadGAN 모델의 탐지 결과를 시각화하였다. 모델이 추론한 범위 중 정상 데이터가 포함되어 재현율은 1.0, 그리고 정밀도는 0.74로 측정되었다. 그림 6에서는 추세 이상치에 대해 TadGAN 모델의 탐지 결과를 시각화하였다. 모델의 재현율은 0.64, 정밀도는 0.79로 모델이 탐지한 이상치 중 실제 이상치를 79% 탐지한 것으로 확인하였다.

그림 7은 이상치 종류별 모델 추론 결과의 재현율을 나타낸 것이다. 점 이상치에서 AER 모델의 재현율이 0.75로 LSTM-AE 및 TadGAN 모델보다 높음을 확인하였다. 쉐이플릿 이상치에서 LSTM-AE 모델과 TadGAN 모델의 재현율이 1.0으로 AER 모델보다 높음을 확인하였고, 추세 이상치에서 AER 모델과 TadGAN 모델의 재현율이 0.64로 확인하였다.

Fig. 7.

Model inference results by anomaly(recall)

즉, AER 모델은 점 이상치와 추세 이상치 탐지에 효과적이고, LSTM-AE 모델은 쉐이플릿 이상치, TadGAN 모델은 쉐이플릿 이상치, 추세 이상치 탐지에 효과적이다.

표 2는 실험한 내용과 기존의 연구[2][15]를 항목별로 비교한 결과를 나타내며 정량적인 비교를 위하여 재현율을 사용하였다. 기존 연구[2]는 매니퓰레이터 각 축의 각도와 전류 데이터를 사용하여 정상 데이터와 이상치 데이터를 수집하였다. 사용한 모델은 Seq2Seq로 지도 학습으로 진행하였다. 이후에 학습에 사용되지 않은 정상 데이터와 결함 조건을 다르게 설정한 이상치 데이터를 사용하여 평가한 결과, 재현율이 0.99로 나타났다.

Table 2.

Results of the performance comparison evaluation

기존 연구[15]는 매니퓰레이터의 각 축의 각도와 전류 데이터를 사용하였으며 정상 데이터를 수집하였다. 사용한 모델은 Sliding-Window Convolutional Variational Autoencoder(SWCVAE)로 비지도 학습으로 진행하였다. 이후에 매니퓰레이터에 수동으로 충격을 가해 수집된 데이터로 모델을 평가하여 재현율은 0.82이다.

본 논문은 매니퓰레이터에서 수집한 IMU 가속도 데이터를 학습하였고, 정상 데이터를 기반으로 점, 쉐이플릿, 추세 이상치를 생성한 후 LSTM-AE, AER, TadGAN 모델에 대해서 평가를 진행하였다. 그 중 AER 모델이 LSTM-AE, TadGAN 모델보다 평균적인 재현율이 우수했다. 또한 매니퓰레이터의 전류, 각도 데이터가 아닌 가속도 데이터를 활용하여 이상 상황 발생 시 매니퓰레이터 동작에 추가로 발생하는 진동, 충격에 대해 이상치 감지가 가능하다.

Ⅳ. 디지털 트윈 환경 구축 및 데이터 분석

본 논문에서는 그림 8과 같이 정상 데이터와 이상치 데이터 수집이 가능한 디지털 트윈 환경을 구축하고 정합성을 평가하였다. 로봇 시뮬레이터인 Isaac-Sim을 활용하여 가상 환경에 실환경 6축 매니퓰레이터와 동일하게 동작하는 디지털 트윈 환경을 구축하였다. 가상 환경의 IMU 센서를 실환경과 동일한 위치에 부착하여 가속도 데이터 수집을 가능하게 하였다.

Fig. 8.

Proposed data collection environment

실환경과 가상 환경 간의 데이터 비교 분석을 위해 데이터 샘플링 주기를 일치시켰다. IMU 센서는 데이터 출력 속도 설정이 가능한 E2BOX의 EBRCV24GV5, EBIMU24GV52 모델을 선정하고, 데이터 출력 속도를 50Hz로 설정하였다.

또한 가상 환경에서 동일한 센서 출력을 설정하기 위하여 Isaac-Sim의 physicsScene의 Property-Time Steps Per Second 값을 50으로 설정하여 1초당 업데이트 횟수를 조정하였다.

그림 9는 가상 및 실환경에서 수집한 X축 가속도 데이터를 시각화한 결과이다. 푸른색 그래프는 Isaac-Sim에서 수집한 가상 환경의 매니퓰레이터 가속도 데이터이고, 주황색 그래프는 실환경의 매니퓰레이터 가속도 데이터이다. 실환경 및 가상 환경 데이터의 정합성 평가를 위해 두 가지 통계적인 방법인 피어슨 상관관계(Pearson correlation), 스피어만 상관관계(Spearman correlation) 분석을 진행하였다.

Fig. 9.

Virtual-real environment data visualization

피어슨 상관관계는 두 데이터 간의 선형 상관관계를 측정한다. 그 결과 그림 10과 같이 0.947의 높은 상관 계수 값을 확인하였다. 이는 두 데이터셋이 매우 강한 양의 선형 관계가 있음을 나타낸다. 즉, 두 데이터는 비례하며 변화한다는 의미이다. 스피어만 상관관계는 데이터 간의 순위 상관관계를 측정한다. 그 결과 그림 11과 같이 0.914의 높은 상관 계수 값을 확인하였다. 이는 두 데이터셋이 강한 양의 순위 관계가 있음을 나타낸다. 즉, 두 데이터는 비선형 관계를 포함한 전반적인 유사성도 높다는 것을 의미한다. 피어슨 상관 계수와 스피어만 상관 계수 모두 0.9 이상의 높은 값을 나타내는 것은 실환경에서 수집된 데이터와 가상 환경에서 수집된 데이터가 직선적으로 비례하여 변하고, 비선형 특성까지 잘 모사하고 있어 가상 환경에서 수집된 데이터는 신뢰성을 가질 수 있다. 이러한 결과는 가상 환경에서 수집된 데이터가 실환경의 데이터를 잘 반영하고 있으며, 향후 디지털 트윈 환경을 활용한 이상치 데이터 생성 및 분석이 실환경에서의 이상치 탐지에 효과적으로 적용될 수 있음을 나타낸다.

Fig. 10.

Pearson correlation visualization

Fig. 11.

Spearman correlation visualization

Ⅴ. 결 론

본 논문에서는 산업용 매니퓰레이터에서 수집한 정상 데이터를 사용하여 모델을 학습시키고, 점, 쉐이플릿, 추세 이상치 데이터를 생성하여 이상치 탐지 모델들의 성능을 비교하였다. 또한 Isaac-Sim을 활용하여 구축한 디지털 트윈 환경에서 수집한 데이터와 실환경에서 수집한 데이터를 비교 분석하였다.

실험 결과 산업용 매니퓰레이터의 반복 동작에서 점 이상치와 추세 이상치의 경우 AER 모델이 높은 이상치 탐지 성능을 보였으며, 셰이플릿 이상치에서는 LSTM-AE와 TadGAN 모델이 높은 이상치 탐지 성능을 보였다. 이는 특정 모델이 공개 데이터셋에서 좋은 성능을 보이는 모델일지라도 실환경 데이터의 특성에 따라 성능이 달라질 수 있음을 나타낸다. 따라서 효과적인 이상치 탐지를 위해서는 여러 모델을 결합하거나 이상치 유형별로 최적화된 모델을 선별하여 병행 사용해야 한다.

또한 Isaac-Sim 기반 디지털 트윈 환경 구축을 통해 실환경의 데이터와 매우 유사한 가상 데이터를 생성할 수 있음을 확인하였다. 피어슨 상관관계와 스피어만 상관관계 분석 결과, 두 데이터 간의 상관 계수가 0.9 이상으로 높은 유사성을 가지는 것을 확인하였다. 이는 디지털 트윈 환경에서 생성된 데이터가 실환경의 데이터를 신뢰성 있게 반영함을 의미한다. 추가로 디지털 트윈 환경을 활용하여 감쇠(Damping) 및 강성(Stiffness) 제어, 떨림 등 다양한 이상 상황을 시뮬레이션하고, 이를 통해 안전하게 이상치 데이터를 수집할 수 있음을 나타낸다. 따라서 이러한 기법은 장비에 손상을 주지 않고도 다양한 이상 상황에 대한 데이터를 확보할 수 있는 장점이 있다. 향후 연구에서는 가상 환경에서 각 축의 파라미터 값을 다양하게 설정하고 데이터 수집 및 분석을 통하여 이상치 탐지 모델의 성능을 향상하는 연구를 수행할 계획이다.

Acknowledgments

“본 연구는 과학기술정보통신부 및 정보통신기획평가원의 지역지능화혁신인재양성 (Grand ICT연구센터) 사업의 연구결과로 수행되었음” (IITP-2024-2020-0-01791, 50%). “본 논문은 부산광역시 및 (재)부산테크노파크의 BB21plus 사업으로 지원된 연구임”(50%)

2024년도 한국정보기술학회 하계종합학술대회에서 발표한 논문 “산업용 매니퓰레이터를 사용한 시계열 기반 이상 탐지 모델 비교 분석”[9]을 확장한 것임

References

• Y. H. Lee, B. R. Kim, H. N. Roh, D. J. Kim, and K. J. Kim, "LSTM based Anomaly Detection on Robot Arm Power Transmission Part", The Institute of Electronics and Information Engineers, pp. 1347-1349, Jun. 2018.
• Y. H. Lee, K. J. Kim, S. I. Lee, and D. J. Kim, "Seq2Seq model-based Prognostics and Health Management of Robot Arm", Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol. 12, No. 3, pp. 242-250, Jun. 2019. [https://doi.org/10.17661/JKIIECT.2019.12.3.242]
• G. H. Cho, S. H. You, and C. S. Ahn, "Fault Diagnosis Algorithm for Vehicle Sensors Based on Unsupervised Learning without Requiring Fault Data Collection", Transactions of the Korean Society of Automotive Engineers, Vol. 32, No. 1, pp. 119-126, Jan. 2024. [https://doi.org/10.7467/KSAE.2024.32.1.119]
• NASA data, https://github.com/khundman/telemanom/, [accessed: Jul. 28, 2024]
• YAHOO data, https://webscope.sandbox.yahoo.com/catalog.php?datatype=s&did=70, [accessed: Jul. 28, 2024]
• NAB data, https://github.com/numenta/NAB, [accessed: Jul. 28, 2024]
• UCR data, https://www.cs.ucr.edu/~eamonn/time_series_data_2018/UCR_TimeSeriesAnomalyDatasets2021.zip, [accessed: Jul. 28, 2024]
• S. S. Chowdhury, K. M. Islam, and R. Noor, "Anomaly Detection in Unsupervised Surveillance Setting Using Ensemble of Multimodal Data with Adversarial Defense", 2020 19th IEEE International Conference on Machine Learning and Applications (ICMLA), Miami, FL, USA, pp. 191-194, Dec. 2020. [https://doi.org/10.1109/ICMLA51294.2020.00039]
• S. M. Park, C. W. Jeon, J. H. Park, and S. H. Ok, "Comparative Analysis of Time Series-based Anomaly Detection Models using Industrial Manipulators", Proceedings of KIIT Conference, Jeju, Korea, May 2024.
• K. H. Lai, D. Z, J. Xu, Y. Zhao, G. Wang, and X. Hu, "Revisiting time series outlier detection: Definitions and benchmarks", In Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1), Jul. 2021.
• K. Choi, J. Yi, C. Park, and S. Yoon, "Deep Learning for Anomaly Detection in Time-Series Data: Review, Analysis, and Guidelines", in IEEE Access, Vol. 9, pp. 120043-120065, Aug. 2021. [https://doi.org/10.1109/ACCESS.2021.3107975]
• P. Malhotra, A. Ramakrishnan, G. Anand, L. Vig, P. Agarwal, and G. Shroff, "LSTM-based encoder-decoder for multi-sensor anomaly detection", arXiv preprint arXiv:1607.00148, , Jul. 2016. [https://doi.org/10.48550/arXiv.1607.00148]
• L. Wong, D. Liu, L. Berti-Equille, S. Alnegheimish, and K. Veeramachaneni, "AER: Auto-Encoder with Regression for Time Series Anomaly Detection", 2022 IEEE International Conference on Big Data (Big Data), Osaka, Japan, pp. 1152-1161, Dec. 2022. [https://doi.org/10.1109/BigData55660.2022.10020857]
• A. Geiger, D. Liu, S. Alnegheimish, A. Cuesta-Infante, and K. Veeramachaneni, "TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks", 2020 IEEE International Conference on Big Data (Big Data), Atlanta, GA, USA, pp. 33-43, Dec. 2020. [https://doi.org/10.1109/BigData50022.2020.9378139]
• T. Chen, X. Liu, B. Xia, W. Wang, and Y. Lai, "Unsupervised Anomaly Detection of Industrial Robots Using Sliding-Window Convolutional Variational Autoencoder", in IEEE Access, Vol. 8, pp. 47072-47081, Mar. 2020. [https://doi.org/10.1109/ACCESS.2020.2977892]