Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 22, No. 11, pp.79-88
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 30 Nov 2024
Received 28 Oct 2024 Revised 14 Nov 2024 Accepted 17 Nov 2024
DOI: https://doi.org/10.14801/jkiit.2024.22.11.79

적응형 하이브리드 딥러닝 모델 기반 협동 로봇의 고장 검출

최승환*
*한국생산기술연구원 연구원
Fault Detection in Collaborative Robots based on Adaptive Hybrid Deep Learning Model
Seung-Hwan Choi*

Correspondence to: Seung-Hwan Choi Advanced Mobility System Group, Daegyeong Technology Application Division, Korea Institute of Industrial Technology, 320 Techno sunhwan-ro, Yuga-eup, Dalseong-gun, Daegu 42994 Republic of Korea Tel.: +82-53-580-0168, Email: csw1496@kitech.re.kr

초록

본 논문에서는 협동 로봇에 적용되는 구동 모듈의 진동 데이터를 활용하여 고장을 조기에 검출할 수 있는 적응형 하이브리드 딥러닝 모델을 제안한다. 기존의 분류 모델은 정상과 고장 데이터를 명확히 분류하기 위해 충분한 데이터를 필요로 하지만, 실제 산업 현장에서는 다양한 고장 유형과 제한된 고장 데이터로 인해 효과적인 고장 검출이 어렵다. 이를 해결하기 위해 반지도학습 기반의 하이브리드 딥러닝 모델을 적용하여 고장 직전의 이상을 효과적으로 탐지하는 방법을 연구하였다. 제안된 모델은 시간 경과와 이상치 연속성에 따른 가중치를 적용하였으며, 각 모델의 성능은 이상 점수를 통해 평가하였다. 실험을 통해 LSTM-VAE 모델이 고장 직전의 이상치를 우수하게 탐지하며, 효과적으로 고장을 검출하였음을 확인하였다.

Abstract

This paper proposes an adaptive hybrid deep learning model for the early detection of faults in the driving modules of collaborative robots using vibration data. Traditional classification models require sufficient data to clearly distinguish between normal and faulty states. However, effective fault detection is challenging in real industrial environments due to the diversity of fault types and limited fault data. To address this issue, a semi-supervised hybrid deep learning model was applied to effectively detect anomalies just before a fault occurs. The proposed model incorporates weights based on time progression and anomaly continuity, with performance evaluated through an anomaly score. Experimental results confirmed that the LSTM-VAE model successfully detects anomalies just prior to fault occurrence, achieving effective fault detection.

Keywords:

collaborative robot, fault detection, adaptive hybrid deep learning, anomaly score

Ⅰ. 서 론

최근 제조업은 스마트 팩토리로의 전환이 가속화되고 있다. 이러한 변화는 다양한 자동화 시스템과 첨단 기술의 도입을 통해 생산성 및 효율성을 획기적으로 향상시키고 있다. 특히 협동 로봇은 제조 공정에서 핵심적인 역할을 수행하며, 단순한 반복 작업부터 고도의 정밀성이 요구되는 작업에 이르기까지 인간의 노동력을 대체하고 있다. 이러한 로봇 시스템은 지정된 작업에 따라 이동하고, 정밀한 조립 작업을 수행하며, 24시간 내내 일정한 품질과 속도를 유지할 수 있는 이점을 제공한다. 이로 인해 다양한 산업 분야에서 로봇 시스템의 도입은 필수 요소로 자리 잡고 있으며, 경쟁력 확보를 위한 중요한 수단이 되고 있다[1][2].

그러나 산업용 로봇의 이러한 장점에도 불구하고, 그 기계적 특성과 한계로 인해 고장이나 오작동이 발생할 경우 제조 현장에서는 큰 리스크가 발생할 수 있다. 로봇의 갑작스러운 고장은 생산라인의 작업을 정지시키고, 그로 인해 막대한 경제적 손실과 시간적 낭비가 발생할 수 있다. 또한, 고장으로 인한 안전사고는 작업자의 생명과 안전에 직접적인 영향을 미칠 수 있기 때문에, 로봇의 신뢰성 확보는 필수적인 요구 사항으로 떠오르고 있다[3].

협동 로봇의 고장은 주로 구동 모듈과 같은 핵심 부품에서 발생하며, 구동 모듈은 감속기, 모터, 베어링, 브레이크 등으로 구성된다. 이러한 부품에 이상이 발생하면 로봇 전체 시스템의 성능 저하 또는 심각한 고장이 초래될 수 있다. 구동 모듈은 다양한 환경적 요인과 사용 조건에 따라 작동하기 때문에 단순한 정적 모니터링만으로는 이상 상태를 사전에 탐지하기 어렵다. 또한, 동일한 사양의 로봇 시스템이라도 환경적 요인과 사용 조건에 따라 데이터의 특성이 달라지고, 고장의 발생 시점과 유형이 다양하여 고장을 예측하고 검출하는 것이 더욱 복잡하다. 많은 산업현장에서는 고장 직전의 미세한 징후를 탐지하지 못하고, 고장 발생 후에야 대응하는 경우가 많아 예방적 유지보수의 중요성이 대두되고 있으며, 이를 위한 연구와 기술 개발이 활발히 진행되고 있다[4][5].

이러한 문제를 해결하기 위해 최근에는 기계 및 로봇 시스템에서 머신러닝과 인공지능(AI)을 활용한 이상 탐지 기술이 주목받고 있다. 로봇에 부착된 진동, 토크, 전류, 온도 등의 다양한 센서는 실시간으로 데이터를 수집하며, 이를 통해 기계의 이상 징후를 조기에 검출하는 기술은 로봇 시스템의 신뢰성을 크게 향상시키는 중요한 수단으로 자리 잡고 있다. 특히 진동 센서는 로봇의 미세한 변화를 탐지하는 데 유용하며, 구동 모듈의 마모나 열화와 같은 문제를 사전에 예측할 수 있는 중요한 정보를 제공하기 때문에 널리 사용되고 있다[6][7].

본 논문에서는 산업용 로봇의 핵심 부품인 구동 모듈의 내구성 시험을 통해 획득한 진동 데이터를 기반으로, 고장 유형을 명확히 알 수 없는 상황에서도 사전에 효과적으로 고장을 검출할 수 있는 방법을 제안한다. 이를 위해 하이브리드 딥러닝 모델에 가중치를 적용하여 고장을 검출하는 접근 방식을 제시하며, 고장 발생 전에 나타나는 이상 특징을 검출함으로써 예측 유지보수가 가능하도록 한다.

본 논문은 총 5개의 장으로 구성되어 있다. 2장에서는 고장 검출과 관련된 기존 연구를 살펴보고, 3장에서는 구동 모듈의 내구 시험 조건과 방법, 그리고 획득한 진동 데이터를 설명한다. 4장에서는 진동 데이터를 활용한 분류 모델과 적응형 하이브리드 딥러닝 모델을 적용한 고장 검출 실험을 통해 두 모델의 성능을 비교한다. 마지막으로 5장에서는 본 연구의 우수성을 논의하고 결론을 제시하면 논문을 마무리한다.


Ⅱ. 관련 연구

산업 현장에서는 로봇 및 기계 시스템의 고장을 검출하기 위해 주로 분류 모델 기반의 방식을 많이 사용해 왔다. 분류 모델은 레이블이 정해진 정상과 고장의 데이터를 학습하는 지도학습 기법에 속하며, 학습된 특징을 바탕으로 새로운 데이터가 정상인지 고장인지 분류할 수 있다[8].

대표적인 분류 모델로는 SVM(Support Vector Machine), RF(Random Forest), ANN(Artificial Neural Network), CNN(Convolutional Neural Network) 등이 있다.

SVM은 데이터 간의 결정 경계(Decision boundary)를 찾는 분류 모델로, 두 클래스 간 최대 마진(Margin)을 가지는 초평면(Hyperplane)을 통해 데이터를 분류한다. 선형 및 비선형 데이터 모두 처리 가능하며, 커널 트릭(Kernel trick)을 사용해 고차원 공간에서도 문제를 효과적으로 해결할 수 있다. 이미지 분류나 텍스트 분류와 같은 고차원 데이터에서 과적합에 강한 성능을 발휘한다[9]. RF는 다수의 결정 트리(Decision tree)를 결합한 앙상블 학습 모델이다. 각 트리는 독립적으로 학습하며, 여러 트리의 예측 결과를 평균화(회귀)하거나 다수결 투표(분류) 방식으로 최종 예측을 도출한다. 데이터의 무작위성(Randomness)을 활용해 성능을 개선하고 과적합을 방지하는 특징이 있으며, 고차원 데이터에서도 우수한 성능을 발휘해 금융 예측 및 의료 진단 등에 널리 사용된다[10]. ANN은 인간 뇌의 신경망을 모방한 기계 학습 모델로, 여러 뉴런이 계층적으로 연결된 구조를 통해 입력 데이터를 처리하고 가중치(Weight)와 편향(Bias)을 학습하여 출력 값을 계산한다. 복잡한 비선형 관계를 학습할 수 있는 능력이 있어 패턴 인식, 시계열 데이터 분석, 예측 모델 등에 폭넓게 사용된다[11]. CNN은 주로 이미지와 같은 공간적 데이터의 특징을 자동으로 추출하는 딥러닝 모델이다. 컨볼루션 층(Convolutional layers)을 통해 이미지 패턴을 인식하며, 풀링(Pooling) 층을 통해 데이터 크기를 줄여 계산 효율성을 높인다. 이러한 특징 덕분에 CNN은 이미지 분류, 객체 탐지, 시계열 데이터 분석 등에서 뛰어난 성능을 보여준다[12].

그러나 실제 산업 현장에서는 고장 데이터가 매우 부족하고 고장의 유형도 다양하기 때문에, 분류 모델을 통한 고장 검출에는 한계가 있다. 분류 모델은 정상과 고장 데이터를 모두 포함하는 충분한 레이블이 필요하지만, 다양한 고장 유형을 모두 포괄할 수 있는 데이터를 확보하기가 쉽지 않다. 이러한 문제를 해결하기 위해 본 논문에서는 정상 데이터만을 활용할 수 있는 반지도학습(Semi-supervised learning) 방식을 도입하였다. 반지도학습은 정상 데이터로만 학습하여 정상 범위를 벗어나는 데이터를 이상으로 탐지하는 방식으로, 고장 데이터가 제한된 상황에서도 효과적으로 이상 탐지가 가능하다[13][14]. 따라서 본 연구에서는 이러한 반지도학습 기반의 딥러닝 모델을 구동 모듈의 고장 검출에 적용하였다.

일반적으로 잘 알려진 반지도학습 기반의 딥러닝 모델은 OCSVM(One-Class SVM), OCCNN(One-Class CNN), VAE(Variational Autoencoder), LSTM(Long Short-Term Memory) 등이 있다[15]. OCSVM은 정상 데이터만을 사용해 학습한 후, 비정상 데이터를 탐지하는 데 특화된 이상 검출(Anomaly detection) 모델이다. 주로 하나의 클래스(정상 데이터)만을 학습한 후, 새로운 데이터가 정상 범위를 벗어나는지 여부를 판단한다. OCSVM은 고차원 데이터에서도 효과적으로 작동하며, 네트워크 침입 탐지, 제조업의 결함 검출 등 다양한 분야에서 사용된다[16]. OCCNN은 CNN 구조를 기반으로 한 모델로, 공간적 데이터에서 이상 데이터를 탐지하는 데 매우 효과적이다. CNN의 강력한 특징 추출 기능으로 이미지 데이터나 시계열 데이터와 같은 복잡한 패턴을 가진 데이터에서 뛰어난 성능을 보인다. 이를 통해 산업용 시스템, 의료 영상 분석 등에서 이상을 조기에 검출할 수 있다[17]. VAE는 잠재 공간(Latent space)을 학습하여 데이터를 재구성하는 생성 모델로, 반지도학습 기반 이상 검출에서 널리 활용된다. 정상 데이터를 학습한 후, 비정상 데이터를 재구성할 때 발생하는 재구성 오류를 통해 이상을 탐지한다. VAE는 비정형 데이터 및 고차원 데이터에서 효과적으로 작동하며, 이미지 복원, 신호 분석 등 다양한 분야에서 사용된다[18]. LSTM은 시계열 데이터에 특화된 딥러닝 모델로, 순환 신경망(RNN)의 일종이다. LSTM은 데이터의 장기 의존성(Long-term dependency)을 학습할 수 있어, 과거 데이터가 중요한 시계열 데이터에서 이상 탐지에 효과적이다. LSTM은 시계열 데이터 예측, 산업 장비 모니터링, 의료 데이터 분석 등에서 광범위하게 사용된다[19].

따라서 본 논문에서는 구동 모듈의 진동 데이터를 활용하여 지도학습 기반의 분류 모델과 반지도학습 기반의 딥러닝 모델을 적용한 고장 검출 실험을 수행하고, 각 모델의 성능을 비교하였다.


Ⅲ. 구동 모듈의 내구성 시험 조건 및 방법

본 논문에서는 구동 모듈의 내구성 시험 환경을 그림 1과 같이 구축하여 데이터를 획득하였다. 시험에 사용된 구동 모듈은 협동 로봇에 적용되는 상용 제품인 KaiserDrive 사의 KAH-25E L5BE (rated power 500 W, maximum average torque 133 Nm, rated speed 16.2 RPM) 모델, 진동센서는 PCB 사의 356A17 (3-axis accelerometer, sensi-tivity 500 mV/g, measurement range ±98 m/s² pk, frequency range 0.4–4000 Hz) 모델을 사용하였다.

Fig. 1.

Environment for durability test of driving modules

구동모듈의 내구성 시험은 그림 2에 제시된 조건에 따라 수행되었다. 모듈에 115 Nm의 토크를 인가하고, 0 ~ 360도의 정/역회전을 연속적으로 반복하였다. 1 cycle의 주기는 20초이며, 가/감속 시간은 0.5초(속도 24 RPM), 등속 시간은 4.5초(속도 12 RPM), 정지 시간은 1초로 설정하였다. 그림 2의 상단 그래프는 인가된 토크(Nm), 중간 그래프는 회전 속도(RPM), 하단 그래프는 회전 위치(Deg)를 나타낸다.

Fig. 2.

Conditions for durability test of the driving module

그림 3은 내구성 시험을 통해 획득한 진동 데이터를 보여준다. 동일한 조건에서 3개의 구동 모듈을 시험한 결과, 모듈 1은 882 cycle(147시간), 모듈 2는 3,606 cycle(601시간), 모듈 3은 1,305 cycle(217.5시간) 동안 동작한 후 고장이 발생하였다.

Fig. 3.

Vibration data obtained from durability tests (Left: Raw vibration signal, Right: RMS of vibration signal)

내구성 시험에서는 데이터를 1kHz 샘플링 주기로 10분마다 20초씩 수집하였다. 또한, 데이터의 안정성을 고려하여 정회전 등속 구간의 데이터만 사용하였으며, 10분 주기의 데이터를 1 cycle로 정의하고 고장 검출 성능 실험에 적용하였다.


Ⅲ. 구동 모듈의 고장 검출 실험 및 결과

3.1 분류 모델 기반 고장 검출

본 논문에서는 분류 모델을 사용한 고장 검출을 위해, 전체 데이터 중 초기 100 cycle을 정상 데이터로, 고장 직전 100 cycle을 고장 데이터로 활용하였다.

본 논문에서는 고장 검출을 위해 SVM, Random Forest, ANN, 1D-CNN 모델을 적용하였다.

표 1은 각 모듈의 자기 데이터를 분류 모델로 학습하고 검증한 후, 테스트한 결과를 보여준다. 그림 3의 진동 신호의 RMS 값에서 확인할 수 있듯이, 모듈 3은 정상 데이터와 고장 데이터 간의 차이가 명확하여 모든 모델에서 100%의 정확도와 1의 F1-score를 기록하였다. 모듈 2의 경우, 1D-CNN, SVM, Random Forest, ANN 순으로 성능이 우수했으며, 특히 1D-CNN은 93%의 정확도를 나타냈다. 반면, 모듈 1은 그림 3에서 확인할 수 있듯이 정상 데이터와 고장 데이터의 차이가 크지 않아, 모든 모델에서 전반적으로 낮은 성능을 보였다.

Performance comparison of classification models after self-training

그러나 표 1의 실험은 각 모듈이 자기 데이터를 학습하고 테스트 데이터로 분류한 성능 결과이다. 실제 산업 현장에서는 고장 검출 모델이 학습한 모듈의 데이터가 아닌, 작동 중인 다른 모듈의 데이터에 적용하여 고장을 검출해야 하므로, 매우 높은 분류 성능이 요구된다.

표 2는 3개의 모듈 중 2개의 모듈을 학습하고, 나머지 1개의 모듈을 테스트로 사용하여 얻은 분류 성능의 결과를 보여준다. 모듈 1과 2를 학습하고 모듈 3의 데이터를 테스트로 사용했을 때, 비교적 높은 분류 성능을 보였다. 그러나 모듈 1과 3을 학습하고 모듈 2를 테스트로 사용했을 때는 성능이 다소 저하되었다. 특히, 모듈 2와 3을 학습하고 모듈 1을 테스트로 사용했을 때는 모든 모델에서 성능이 매우 낮게 나타났다. 이러한 결과는 앞서 언급한 바와 같이, 모듈 3의 정상과 고장 데이터가 명확한 차이를 보이는 반면, 모듈 1의 경우 정상과 고장 데이터 간의 차이가 뚜렷하지 않아 특징을 추출하기 어려웠던 것으로 판단된다.

Performance comparison of classification models with different training and test modules

분류 모델의 성능 결과에서 알 수 있듯이, 실제 산업 현장에서는 고장 데이터의 유형과 특징이 다양하고, 고장 데이터의 양도 충분하지 않아 분류 모델만으로는 고장을 효과적으로 검출하기 어렵다. 따라서 분류 모델이 아닌 다른 방식의 고장 검출 기술이 필요하다.

3.2 적응형 하이브리드 딥러닝 기반 고장 검출

분류 모델을 이용한 고장 검출은 정상과 고장 데이터의 특성이 명확하고, 데이터가 충분히 많은 경우에 효과적이다. 그러나 실제 산업 환경에서는 다양한 고장 유형과 충분한 데이터를 확보하기 어렵기 때문에, 분류 모델의 적용에는 한계가 있다. 이에 본 논문에서는 반지도학습 기반의 하이브리드 딥러닝 모델을 활용한 고장 검출 방법을 제안한다.

본 논문에서는 대표적인 반지도학습 기반의 딥러닝 모델인 OCSVM, OCCNN, VAE, LSTM을 이용하여 이상 검출 성능을 비교하였다. 이를 위해 3개의 모듈 중 2개 모듈의 진동 데이터를 각 모델에 학습시키고, 나머지 1개 모듈의 데이터를 테스트용으로 사용하였다. 또한, 모든 모델은 학습 시 초기 100 cycle의 데이터만을 사용하였으며, 테스트는 전체 데이터에 적용하였다.

그림 4는 각 딥러닝 모델의 이상 검출 성능을 시각화한 결과이다. 각 모델은 진동 신호를 기반으로 이상치(Anomalies)를 탐지하였으며, 빨간 점으로 표시된 부분이 모델이 검출한 이상치를 나타낸다.

Fig. 4.

Comparison of anomaly detection performance of deep learning models based on semi-supervised learning

OCSVM 모델은 모듈 1에서 중반부와 후반부에 일부 이상치를 검출했으나, 모듈 2에서는 후반부에 일부 이상치를 탐지했을 뿐, 튀는 값이나 고장 직전의 이상치는 검출하지 못했다. 반면, 모듈 3에서는 후반부와 고장 직전의 이상치를 잘 검출하였다. OCCNN 모델은 모듈 1에서 중반부에 일부 이상치를 검출했지만, 고장 직전의 이상치는 검출하지 못했다. 반면, 모듈 2와 모듈 3에서는 후반부와 고장 직전의 이상치를 잘 검출했다. VAE와 LSTM 모델은 거의 유사한 검출 성능을 나타냈다. 모듈 1에서는 중반부에서 높은 진동 값을 이상치로 검출했으나, 고장 직전의 데이터는 탐지하지 못했다. 그러나 모듈 2와 모듈 3에서는 후반부와 고장 직전의 이상치를 잘 탐지하였다.

본 논문은 모든 모듈에서 고장 직전의 이상치를 효과적으로 탐지하는 것을 목표로 하며, 이를 위해 하이브리드 딥러닝 모델을 적용하였다. 하이브리드 딥러닝 모델은 두 가지 이상의 딥러닝 기법을 결합하여 각각의 장점을 극대화하고 단일 모델의 한계를 보완함으로써 성능을 향상시키는 방식이다.

본 연구에서는 하이브리드 딥러닝인 CNN-LSTM, VAE-GAN, LSTM-VAE 모델을 적용하여 성능을 비교하였다. CNN-LSTM 모델은 CNN의 강력한 특징 추출 능력과 LSTM의 시계열 데이터 처리 능력을 결합한 모델이다. CNN은 시계열 진동 데이터를 입력받아 공간적 특징을 추출하고, LSTM은 이 추출된 특징을 기반으로 시간적 의존성을 학습하여 고장 직전의 패턴을 효과적으로 분석할 수 있다[20]. VAE-GAN 모델은 VAE의 생성 능력과 GAN의 판별 능력을 결합한 모델로, VAE가 데이터를 생성하고 GAN의 판별기가 그 데이터를 평가하는 방식이다. 이 모델은 특히 데이터의 재구성 오류와 GAN 판별기의 로스를 결합하여 고장 직전의 미세한 이상 신호를 정밀하게 포착할 수 있다[21]. LSTM-VAE 모델은 시계열 데이터를 학습한 후, 잠재 공간을 기반으로 데이터를 재구성하고, 재구성 오류를 통해 이상을 탐지하는 방식이다. 이 모델은 시계열 데이터의 특징을 압축하고 복원하는 과정을 통해 고장 직전의 이상 신호를 효과적으로 탐지할 수 있다[22].

본 논문에서는 시계열 진동 데이터를 이용하여 고장 직전의 이상을 효과적으로 검출하기 위해, 시간이 경과에 따른 가중치와 이상치 연속성에 따른 가중치를 적용하였다. 시간 경과 가중치 wtime(t)의 수식은 식 (1)과 같다.

wtimet=explogαNt(1) 

여기서, wtime(t)은 t번째 데이터의 주기에 대한 가중치고, α는 시간 가중치 증가율, N은 현재까지의 데이터의 주기, t는 해당 주기의 번호이다.

식 (2)는 이상치 연속성의 가중치 wcont(i)에 대한 수식이다.

wcont t=1if t=1wcont t-1βif t-tprev  win size (2) 

여기서, wcont(i)는 주기 t에서의 이상치 연속성 가중치, wcont(i - 1)은 이전 주기에 대한 가중치, β는 연속 가중치 증가율, tprev은 이전에 검출된 이상치의 주기, wid size는 연속성을 확인하기 위한 주기의 크기이다.

시간 경과와 이상치 연속성에 대한 가중치를 결합한 최종 가중치 w(t)는 식 (3)과 같다.

wt=wtime twcont t(3) 

하이브리드 딥러닝 모델들의 검출 성능을 비교하기 위해 가중치가 적용된 재구성 오류를 기반으로 이상 점수(Anomaly score)를 계산하였다. 가중치가 적용된 재구성오류 eweight(t)는 식 (4)와 같다.

eweightt=etwt(4) 

여기서, eweight(t)는 t번째 주기의 가중치가 적용된 재구성 오류, e(t)는 t번째 주기의 재구성 오류이다. 이를 이용하여 식 (5)의 최종 이상 점수를 계산하였다.

Anomaly Scoret=eweight tmaxeweight(5) 

그림 5는 가중치를 적용한 적응형 하이브리드 딥러닝 모델들의 고장 검출 성능을 비교한 결과를 나타낸다. CNN-LSTM 모델의 경우, 모듈 1에서는 중반부에서 다수의 이상이 탐지되었으나, 고장 직전의 이상은 탐지하지 못하였다. 모듈 2에서는 초반, 중반, 후반부에 다수의 이상치가 탐지되었으며, 특히 고장 직전에는 높은 이상 점수로 고장을 검출하였다. 모듈 3에서는 후반부와 고장 직전에 여러 차례의 높인 이상치를 탐지하여 고장을 잘 검출하는 것을 확인하였다. 반면, VAE-GAN와 LSTM-VAE 모델은 거의 유사한 검출 성능을 보였다. 두 모델 모두 모듈 1, 2, 3에서 고장 직전의 이상을 성공적으로 탐지하였으며, 이를 통해 고장을 효과적으로 검출하였음을 확인하였다.

Fig. 5.

Comparison of fault detection performance of adaptive hybrid deep learning models

표 3은 적응형 하이브리드 딥러닝 모델들의 고장 직전 cycle에서 고장 검출 성능을 이상 점수(Anomaly score) 기준으로 비교한 결과를 나타낸다. 각 모델은 고장 직전 50, 20, 10, 5 cycle에서 이상을 탐지한 성능을 보여주며, 학습 및 테스트 모듈의 조합에 따라 모델의 성능이 다르게 나타난다.

Comparison of anomaly scores in adaptive hybrid deep learning models

모듈 1의 경우, 전반적으로 이상 점수가 낮았으며, 특히 CNN-LSTM 모델에서는 이상을 거의 탐지하지 못했다. 그러나 VAE-GAN과 LSTM-VAE 모델은 cycle 수가 줄어들수록 이상 점수가 점차 높아지면서 고장을 효과적으로 검출하는 것을 확인하였다.

모듈 2에서는 세 모델이 모두 고장 직전 5 cycle에서 높은 점수로 고장을 잘 검출했으나, VAE-GAN과 LSTM-VAE 모델은 10 cycle에서 이미 0.920의 점수를 기록하며, 고장을 조기에 우수하게 검출하는 성능을 보였다.

모듈 3에서는 CNN-LSTM 모델이 그림 5에서 나타난 것처럼 후반부에서 많은 이상치를 탐지하였고, 50과 20 cycle에서 높은 점수를 기록했으나, 사이클이 줄어들수록 점수가 감소하는 경향을 보였다. 반면, VAE-GAN과 LSTM-VAE 모델은 사이클이 줄어들수록 이상 점수가 점차 높아졌으며, 특히 고장 직전 구간에서 높은 점수를 기록하며 고장을 효과적으로 검출하는 성능을 보여주었다. 그중에서도 LSTM-VAE 모델이 VAE-GAN 모델보다 더 우수한 성능을 나타낸 것을 확인하였다.


Ⅳ. 결론 및 향후 과제

본 논문에서는 협동 로봇의 구동 모듈에서 발생하는 고장을 조기에 탐지하기 위해 시계열 진동 데이터 기반의 적응형 하이브리드 딥러닝 모델을 제안하였다. 기존의 분류 모델은 정상과 고장 데이터를 명확히 분류하기 위해 충분한 데이터가 필요하지만, 실제 산업 현장에서는 고장 데이터의 다양성과 부족으로 인해 적용에 어려움이 있다. 이를 해결하기 위해 본 연구에서는 반지도학습 기반의 적응형 하이브리드 딥러닝 모델을 적용하여 고장 직전의 이상을 효과적으로 탐지하는 방안을 제시하였다.

제안된 적응형 하이브리드 딥러닝 모델은 시간 경과와 이상치 연속성에 따른 가중치를 적용함으로써 고장 발생 직전의 미세한 이상 신호를 효과적으로 탐지할 수 있도록 설계하였다. 실험 결과, LSTM-VAE 모델이 고장 직전 구간에서 우수한 이상 탐지 성능을 보였으며, 고장을 조기에 효과적으로 검출할 수 있음을 확인하였다.

향후 연구에서는 협동 로봇의 다양한 구동 조건에 따른 데이터셋을 확보하여 제안된 적응형 하이브리드 딥러닝 모델의 성능을 추가로 검증하고자 한다. 또한, 모델의 성능과 신뢰성을 더욱 향상시켜 산업 현장에서 유지보수 비용을 절감하고 안전성을 확보하는 데 기여할 계획이다.

Acknowledgments

이 연구는 2024년도 산업통상자원부 및 한국산업기술평가관리원(KEIT) 연구비 지원에 의한 연구 (‘RS-2024-00422721’)입니다. 또한, 이 연구는 한국생산기술연구원 기관주요사업 "제품 제조현장 작업파트너 로봇 기술 개발 (kitech EO-24-0007)" 의 지원으로 수행한 연구입니다

References

  • U. Othman and E. Yang, "Human–Robot Collaborations in Smart Manufacturing Environments: Review and Outlook", Sensors, Vol. 23, No. 12, pp. 5663, Jun. 2023. [https://doi.org/10.3390/s23125663]
  • M. Soori, R. Dastres, B. Arezoo, and F. K .G. Jough, "Intelligent robotic systems in Industry 4.0: A review", Journal of Advanced Manufacturing Science and Technology, Vol. 4, No. 3, pp. 2024007, Jan. 2024. [https://doi.org/10.51393/j.jamst.2024007]
  • V. Rousopoulou, T. Vafeiadis, A. Nizamis, I. Iakovidis, L. Samaras, A. Kirtsoglou, K. Georgiadis, D. Ioannidis, and D. Tzovaras, "Cognitive analytics platform with AI solutions for anomaly detection", Computers in Industry, Vol. 134, pp. 103555, Jan. 2022 [https://doi.org/10.1016/j.compind.2021.103555]
  • S. G. Graabæk, E. V. Ancker, A. R. Fugl, and A. L. Christensen, "An Experimental Comparison of Anomaly Detection Methods for Collaborative Robot Manipulators", IEEE Access, Vol. 11, pp. 65834-65848, Jun. 2023. [https://doi.org/10.1109/ACCESS.2023.3289068]
  • S. H. Choi, J. K. Park, D. An, C. H. Kim, G. Park, I. Lee, and S. Lee, "Fault Diagnosis Method for Human Coexistence Robots Based on Convolutional Neural Networks Using Time-Series Data Generation and Image Encoding", Sensors, Vol. 23, No. 24, pp. 9753, Dec. 2023. [https://doi.org/10.3390/s23249753]
  • J. Pan, L. Qu, and K. Peng, "Deep residual neural‑network‑based robot joint fault diagnosis method", Scientific Reports, Vol. 12, pp. 17158, Oct. 2022. [https://doi.org/10.1038/s41598-022-22171-7]
  • S. M. Jung and W. J. Choi, "A Study on Deep Learning-based Fault Diagnosis using Vibration Data of Wind Generato", Journal of KIIT, Vol. 20, No. 6, pp. 129-136, Jun. 2022. [https://doi.org/10.14801/jkiit.2022.20.6.129]
  • G. Li, J. Wu, C. Deng, M. Wei, and X. Xu, "Self-supervised learning for intelligent fault diagnosis of rotating machinery with limited labeled data", Vol. 191, pp. 108663, Mar. 2022. [https://doi.org/10.1016/j.apacoust.2022.108663]
  • T. Han, L. Zhang, Z. Yin, and A. C. C. Tan, "Rolling bearing fault diagnosis with combined convolutional neural networks and support vector machine", Measurement, Vol. 177, pp. 109022, Jun. 2021. [https://doi.org/10.1016/j.measurement.2021.109022]
  • H. Z. Mohammad, O. Mahmoud, and B. A. Ebrahim, "Fault diagnosis of tractor auxiliary gearbox using vibration analysis and random forest classifier", Information Processing in Agriculture, Vol. 9, No. 1, pp. 60-67, Mar. 2022. [https://doi.org/10.1016/j.inpa.2021.01.002]
  • P. Agrawal and P. Jayaswal, "Diagnosis and Classifications of Bearing Faults Using Artificial Neural Network and Support Vector Machine", Journal of The Institution of Engineers (India): Series C, Vol. 101, pp. 61-72, Feb. 2020. [https://doi.org/10.1007/s40032-019-00519-9]
  • D. Neupane, Y. Kim, J. Seok, and J. Hong, "CNN-Based Fault Detection for Smart Manufacturing", Appl. Sci., Vol. 11, No. 24, pp. 11732, Dec. 2021. [https://doi.org/10.3390/app112411732]
  • J. Cohen and J. Ni, "Semi-Supervised Learning for Anomaly Classification Using Partially Labeled Subsets", J. Manuf. Sci. Eng., Vol. 144, No. 6, pp. 061008, Jun 2022. [https://doi.org/10.1115/1.4052761]
  • Y. Gao, Y. Liu, Y. Jin, J. Chen, and H. Wu, "A Novel Semi-Supervised Learning Approach for Network Intrusion Detection on Cloud-Based Robotic System", IEEE Access, Vol. 6, pp. 50927-50938, Sep. 2018. [https://doi.org/10.1109/ACCESS.2018.2868171]
  • D. Neupane, M. R. Bouadjenek, R. Dazeley, and S. Aryal, "A Comparative Study of Semi-Supervised Anomaly Detection Methods for Machine Fault Detection", the European Conference of the PHM Society, Vol. 8 No. 1, Jun. 2024. [https://doi.org/10.36001/phme.2024.v8i1.4053]
  • C. Wang, Y. Sun, S. Lv, C. Wang, H. Liu, and B. Wang, "Intrusion Detection System Based on One-Class Support Vector Machine and Gaussian Mixture Model", Electronics, Vol. 12, No. 4, pp. 930, Feb. 2023. [https://doi.org/10.3390/electronics12040930]
  • I. T. Nicholaus, J. S. Lee, and D. K. Kang, "One-Class Convolutional Neural Networks for Water-Level Anomaly Detection", Sensors, Vol. 22, No. 22, pp. 8764, Nov. 2022. [https://doi.org/10.3390/s22228764]
  • S. Zhang, F. Ye, B. Wang, and T. G. Habetler, "Semi-Supervised Learning of Bearing Anomaly Detection via Deep Variational Autoencoders", arXiv:1912.01096v2, , Dec. 2019. [https://doi.org/10.48550/arXiv.1912.01096]
  • H. D. Nguyen, K. P. Tran, S. Thomassey, and M. Hamad, "Forecasting and Anomaly Detection approaches using LSTM and LSTM Autoencoder techniques with the applications in supply chain management", International Journal of Information Management, Vol. 57, pp. 102282, Apr. 2021. [https://doi.org/10.1016/j.ijinfomgt.2020.102282]
  • F. Zhang, Y. Zhu, C. Zhang, P. Yu, and Q. Li, "Abnormality Detection Method for Wind Turbine Bearings Based on CNN-LSTM", Energies, Vol. 16, No. 7, pp. 3291, Apr. 2023. [https://doi.org/10.3390/en16073291]
  • Z. Fan, Y. Wang, L. Meng, G. Zhang, Y. Qin, and B. Tang, "Unsupervised Anomaly Detection Method for Bearing Based on VAE-GAN and Time-Series Data Correlation Enhancement", IEEE Sensors, Vol. 23, No. 23, Dec. 2023. [https://doi.org/10.1109/JSEN.2023.3326335]
  • D. Guha, R. Chatterjee, and B. Sikdar, "Anomaly Detection Using LSTM-Based Variational Autoencoder in Unsupervised Data in Power Grid", IEEE Systems, Vol. 17, No. 3, pp. 4313-4323, Sep. 2023. [https://doi.org/10.1109/JSYST.2023.3266554]
저자소개
최 승 환 (Seung-Hwan Choi)

2012년 2월 : 동아대학교 전자공학과(공학사)

2014년 2월 : 부산대학교 로봇융합전공(공학석사)

2013년 12월 ~ 현재 : 한국생산기술연구원 연구원

관심분야 : 로봇제어 및 신호처리, 이상 검출 및 상태진단, AI 알고리즘

Fig. 1.

Fig. 1.
Environment for durability test of driving modules

Fig. 2.

Fig. 2.
Conditions for durability test of the driving module

Fig. 3.

Fig. 3.
Vibration data obtained from durability tests (Left: Raw vibration signal, Right: RMS of vibration signal)

Fig. 4.

Fig. 4.
Comparison of anomaly detection performance of deep learning models based on semi-supervised learning

Fig. 5.

Fig. 5.
Comparison of fault detection performance of adaptive hybrid deep learning models

Table 1.

Performance comparison of classification models after self-training

module Index Performance comparison of classification models
SVM RF ANN 1DCNN
1 Accuracy (%) 60.56 52.31 51.68 58.71
F1-score 0.592 0.437 0.506 0.517
2 Accuracy (%) 93.06 87.50 86.57 93.92
F1-score 0.935 0.881 0.879 0.942
3 Accuracy (%) 100 100 100 100
F1-score 1 1 1 1

Table 2.

Performance comparison of classification models with different training and test modules

Train Test Index Performance comparison of classification models
SVM RF ANN 1DCNN
1, 2 3 Accuracy (%) 89.22 96.78 82.78 83.39
F1-score 90.27 96.88 85.31 85.76
1, 3 2 Accuracy (%) 75.33 71.56 58.72 64.28
F1-score 72.42 74.09 67.54 69.25
2, 3 1 Accuracy (%) 50.22 50.28 50.89 50.28
F1-score 0.88 1.11 5.35 1.32

Table 3.

Comparison of anomaly scores in adaptive hybrid deep learning models

Train Test model Anomaly score
50 cycle 20 cycle 10 cycle 5 cycle
2, 3 1 CNN-LSTM 0.053 0 0 0
VAE-GAN 0.130 0.283 0.400 0.500
LSTM-VAE 0.114 0.257 0.400 0.514
1, 3 2 CNN-LSTM 0.164 0.305 0.570 0.920
VAE-GAN 0.286 0.525 0.920 0.920
LSTM-VAE 0.292 0.525 0.920 0.920
1, 2 3 CNN-LSTM 0.35 0.525 0.470 0.500
VAE-GAN 0.122 0.290 0.520 0.660
LSTM-VAE 0.122 0.305 0.550 0.740