AI기반 생산라인의 고장/예지보전 모니터링 애플리케이션

Ⅰ. 서 론

스마트 팩토리는 인공지능, 빅데이터 분석, 자동화, 로봇공학, 사물인터넷(Internet of things) 기술을 이용하여 생산과정을 최적화하고 효율성을 높일 수 있는 기술이다. 이러한 기술 중 인공지능을 활용한 예지보전(PdM, Predictive Maintenance) 시스템은 스마트 팩토리 분야에서 핵심 기술 중 하나이다.

예지보전은 실시간으로 공장 내 설비의 상태를 모니터링하여 이상유무를 판단하는 것을 말한다. 예지보전은 상태 기반 방법(CBM, Condition-Based Maintenance), 시간 기반 방법(TBM, Time-Based Maintenance)과 실패 기반 방법(FBM, Faliure-Based Maintenance) 총 3가지가 있으며 상태에 따른 적절한 유지보수를 수행하는 방법을 말한다[1].

국내 공장은 기존 공장설비는 오래되어 스마트시스템을 구축하기 쉽지 않다. 그러나 EOCR(Electronic Over Currency Relay) 장비를 추가하면 데이터를 손쉽게 읽어오고 처리할 수 있다. 최근 설비들은 설비내부에 데이터수집이 가능한 센서들이 내장되어 있지만, 내장되어 생산되는 설비들은 스마트 팩토리 기술에 활용하기엔 부족하다. 이 등[2]과 김 등[3]은 기존의 생산라인 Ethernet, RS-232, RS-485 통신을 이용하여 모니터링하고, 확률적 접근을 이용한 예비보전방법을 제안하였고, 한 등[4]은 AI 엣지 디바이스의 카메라를 이용하여 작업자의 움직임을 파악하여 작업능률과 안전성을 올리는 방법을 제안하였다. 류 등[5]은 공장 내 산업용 IoT설비에 WiFi를 통해 연결되어 설비의 진동상태를 실시간 모니터링 할 수 있는 방법을 제안했다.

이 등[6]은 공장 근로자들이 주도적으로 스마트 팩토리 기술을 활용할 수 있도록, 개발도구를 제안했다. 이 도구는 API 형태로 제공되며 사용자의 목적에 맞게 설계나 제작할 수 있다. 그러나 공장 내에 장비를 추가하거나 환경에 따라 최적화하는 작업이 필요하므로 비용이 증가 할 수 있다[7][8].

허 등[9]은 중소기업들의 정보 신뢰성 확보를 목표로, CNC 장비의 전력데이터를 이용하여 모니터링할 수 있는 시스템을 제안하였다.

기존의 방법들은 유선으로 통신하거나 관제시스템과 같은 환경에서 모니터링하는 것이 대부분이므로 휴대성이 떨어진다. 이러한 문제점을 해결하기 위해 모바일에서 사용이 가능한 모니터링 시스템을 개발하였다. 이 시스템을 사용하면 관리자들이 더 편하고, 많은 설비를 한눈에 모니터링하고 관리할 수 있는 시스템을 제안한다.

본 논문의 구성은 다음과 같다. 2장에서는 인공지능을 활용한 기존 방법들에 대하여 설명하고, 3장에서는 고장진단과 예지보전에 사용된 방법론과 애플리케이션 기능에 대하여 설명한다. 4장에서는 고장진단과 예지보전의 모델별 방법에 관해 이야기한다. 5장은 실험 결과를 나타내고, 6장에서는 결론 및 향후 연구에 관해 설명한다.

Ⅱ. 기존 연구

기존의 고장예측과 예지보전 기술에 관한 연구는 인공지능 이전에도 많이 진행되었으며, 센서 데이터를 이용한 확률적 접근 또는 모니터링 연구가 대부분이었다.

김 등[10]은 공장에서 사용되는 사출기에 부착된 93개의 센서를 활용하여 사출시의 센서 정보들을 EDA를 활용하여 불량률이 연관된 정보들을 찾고, SVM, KNN, Random Forest, XGBoost, LightGBM 모델들을 사용하여 불량을 예측하였다.

김 등[11]은 2축으로 구성된 Roller의 휠에서 검출되는 휠의 토크 변화량을 활용하여 휠의 상태를 정상, 체결불량, 이물질 발생으로 나눠 분석하여 휠의 상태를 예측하였다.

최 등[12]은 라즈베리파이 4B모델과 Spring Boot로 동작하는 서버를 활용하여 공장의 센서 데이터를 안드로이드 애플리케이션으로 확인할 수 있도록 가상의 AIoT 시스템을 설계하였다. 이 시스템을 이용하여 학습에 사용할 데이터를 잘 수집할 수 있고, 데이터를 활용하여 응용할 수 있다.

강 등[13]은 YCbCr, Look-Up Table과 하이브리브 미디언 필터등을 활용하여 이미지 데이터를 고속으로 처리하는 시스템을 연구하였다. 공장의 빠른 공정처리 속도에 맞춰 이미지 데이터 또한 빠르게 처리함으로써 정밀한 시스템을 구축하였다.

기존의 방법들은 데이터 수집하는 시스템을 개발하거나 모니터링 기능만 수행하는 시스템이 대부분이었다. 하지만 본 연구의 방법은 애플리케이션에서 실시간으로 모니터링과 고장 여부를 판단할 수 있을 뿐 아니라 생산라인의 어느 부분이 고장이 났는지도 확인할 수 있는 애플리케이션을 개발하였다.

Ⅲ. 실시간 예지보전 모니터링 애플리케이션

본 논문에서 개발한 실시간 예지보전 모니터링 애플리케이션의 구성도는 Data, AI-model, Server, Application 순서로 진행되며 그림 1과 같다. Data는 실험에 사용된 데이터인 전동기 데이터와 CNC 전력 데이터를 나타내고, AI-Model과 Server에서는 데이터 학습에 사용된 모델과 기능을 나타낸다. 이 기능은 3가지 나뉘며, 공장 데이터를 실시간 확인할 수 있는 실시간모니터링(Real time view), 공장 내부의 생산라인을 손쉽게 확인할 수 있는 생산라인모니터링(Factory line view)과 설비정보를 상세하게 확인할 수 있는 시설모니터링(Facility status view)으로 나뉜다.

Fig. 1.

Failure/predictive system overview

실시간 모니터링에선 공장설비들이 작동하는 값을 실시간으로 확인할 수 있고, 각 생산라인의 이슈를 확인할 수 있다. 공장라인화면에선 라인별 가동률을 한눈에 확인할 수 있다. 설비현황화면은 설비들의 구조와 위치를 상세하게 확인할 수 있다.

3.1 설비고장분류와 예지보전 모델

설비고장을 예측하기 위해 그림 2와 같이 DNN(Deep Neural Network) 모델을 이용한다. DNN은 심층신경망이라고도 불리는 인공신경망의 한 종류로 입력층(Input layer), 은닉층(Hidden layer), 출력층(Output layer)으로 이뤄진 구조이다. 입력층은 입력 데이터에 따른 가중치를 수정하는 층이다.

Fig. 2.

DNN structure

은닉층은 입력층으로부터 전달받은 가중치를 은닉층 내에 또 다른 노드로 전달하는 역할을 한다. 출력층은 최종적 결과와 계산을 수행하여 오차를 계산하고 오차를 계산하게 된다. 그 후 역전파 방법을 이용하여 가중치를 업데이트한다. 이러한 DNN은 비선형 관계가 있는 데이터에 대해 효과적으로 적용할 수 있는 모델이다. 우리는 DNN을 이용하여 정상, 베어링 결함, 회전 불균형, 축 오정렬, 느슨한 벨트로 5종류를 학습에 사용한다.

3.2 설비예지보전 예측모델

설비예지보전을 예측하기 위해 Seq2seq(Sequence-to-Sequence), LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit), Bidirectional LSTM 모델을 이용하고, 앙상블 모델 중 하나인 Adaboost를 이용한다.

Seq2seq는 시계열 데이터를 분석할 수 있는 모델로써 데이터를 입력으로 받아 회귀, 분류를 수행하는 인코더-디코더 모델이다. 이 모델은 언어번역, 챗봇(Chatbot) 등에 텍스트 모델에 많이 사용되고, 인코더와 디코더는 LSTM이나 GRU 셀을 사용한다.

그림 3은 인코더 입력 시퀀스의 크기가 100으로 설정한 예를 나타낸 것이다. 입력 데이터가 있으면 인코더에서는 의미 있는 특징을 추출하여 context vector로 보내게 되고, context vector의 저차원 공간에서 디코딩하는 방법이다.

Fig. 3.

Seq2seq structure

LSTM은 그림 4와 같이 RNN의 한 종류이다. LSTM 구조는 Forget Gate, Input Gate, Output Gate와 Cell State로 이뤄져 있다. Forget Gate에서는 어떤 데이터를 Cell State에 업데이트할지를 결정한다. Input Gate는 Forget Gate에서 결정된 데이터를 Cell State를 연결한다. Output Gate는 업데이트된 Cell State를 참고하여 데이터를 내보낸다.

Fig. 4.

LSTM structure

GRU는 그림 5와 같다. GRU는 LSTM의 경량화된 버전이다. LSTM과의 다른점은 기존의 Cell State와 이전상태 정보를 통합하여 사용하고, Forget gate의 역할이 Reset Gate와 Update Gate로 바뀐 것이다.

Fig. 5.

GRU structure

Bidirectional LSTM은 그림 6과 같으며 후방향의 연산이 추가된 모델이다. 전방향과 후방향 정보를 모두 학습하기 때문에 기존의 데이터 간의 관계를 더 잘 학습할 수 있는 장점이 있다. 그러나 이 모델은 두 가지 방향을 고려하기 때문에 연산속도가 느리다는 단점이 있다.

Fig. 6.

Bidirectional LSTM structure

3.3 AdaBoost 학습

Adaboost(Adaptive boosting)는 이전에 학습한 모델의 결과를 앙상블 하는 방법론으로 부스팅 중 하나이다. 이 방법은 약한 분류기(Weakly classifier)의 정보를 합쳐 강한 분류기(Strong classifier)로 만들어서 예측하는 과정을 말한다. 이때, 약한 분류기의 개수는 조절할 수 있고, 이 값에 따라 가중치 값도 달라지는 특징이 있다.

Fig. 7.

adaboost structure

Ⅳ. 실험 환경 및 방법

본 논문의 실험환경은 다음과 같다. 운영체제는 Linux 18.04, CPU는 Xeon Silver 4214, 메모리는 256GB, GPU는 RTX 3090 1개를 사용하였다.

실험에 사용된 모델 중 하나인 분류모델은 DNN을 사용하였고, 예지보전에 사용된 모델은 Seq2seq, GRU, LSTM, Bidirectional LSTM 모델과 앙상블을 위해 Adaboost를 사용한다.

AI-hub 전동기 이상 데이터 233만개 중, 전류 데이터 110만개를 사용하였다. 정상데이터 약55만개, 비정상 데이터 약 60만개로 구성되어 있다. 비정상 데이터는 표 1과 같이 정상(Normal), 베어링불량(Bearing-bad), 회전체불량(Rotor-unbalance), 축정렬불량(Shaft Alignment-bad), 벨트 느슨함(Loose-belt) 5종류로 구분된다. 예지보전에 사용된 데이터는 CNC 설비의 전력데이터 266만 개에서 이상치 및 결측지를 제거한 166만 개를 사용하였다.

Table 1.

AI-hub motor current data overview

모델 학습을 위한 데이터 전처리 방법은 결측치를 먼저 제거한 후에 이동평균필터(Moving average filter)와 슬라이딩윈도우(Sliding window) 방법을 사용한다. 이동평균필터는 연속된 데이터에서 인접한 n개의 윈도우 크기를 지정하여 그 크기만큼 평균을 순차적으로 구하는 방법을 말한다. 이 방법을 이용하면 급격하게 변하는 데이터의 노이즈를 제거하면 그림 8과 같다.

Fig. 8.

CNC power data (a) Graph of law data, (b) Data graphs of preprocessing data, (c) without moving average filter current data (d) with moving average filter current data

슬라이딩윈도우는 그림 9-(a)와 같이 학습과 타겟 구간을 나누기 위한 방법으로 CNC의 전력 데이터를이용한다. 전력 데이터를 첫 번째 파랑색 박스를 학습데이터로 초록색 박스를 타겟으로 나누는 작업을 수행한다. 이 과정을 반복하면 학습과 타겟으로 각각 100개씩 데이터를 나눌 수 있고, 나누어진 데이터를 순차적으로 스택 형식으로 쌓아서 사용한다.

Fig. 9.

Data preprocessing

그림 9-(b)는 스택 형식으로 만들어진 데이터를 학습데이터와 테스트 데이터로 나누는 과정을 나타낸다. 이때, 전체 데이터에서 80%는 학습에 사용하고 20%는 테스트에 사용한다. 학습을 위해 사용된 하이퍼파라미터는 64개의 은닉층을 가지고 학습률은 0.001이고, 최적화 함수(Optimizer)는 Adam을 epoch는 10회로 설정했다. 그리고 모델의 앙상블을 위해 쓰인 adaboost는 epoch 또한 10회로 설정하였고, 약한 검출기(Weakly classifier)의 개수는 5로 설정한다.

Ⅴ. 실험 결과

본 논문의 실험 결과는 다음과 같다. 앞장에서 고장진단과 예지보전에 사용되었던 모델들을 비교하였다. 먼저 표 2는 고장분류를 위한 성능지표인 혼동행렬(Confusion matrix)을 나타낸다. DNN모델의 정확도(Accuracy) 99.71%, 정밀도(Precision)은 99.71%, 재현율(Recall)은 99.71%였고, F1-Score 또한 99.71%의 결과를 보였다.

Table 2.

Result of confusion matrix in DNN

표 3은 예지보전을 위해 사용된 모델들의 결과를 나타내고, Adaboost를 적용 전과 후로 나누어 비교하고 평가지표는 R²score, MAE, MSE를 사용한다. Seq2seq모델을 단독으로 사용했을 때는 R²score값이 0.9631으로, LSTM보다는 0.0055, GRU보다는 0.0033, Bidirection LSTM보다는 0.0046정도 더 높은 값으로 나왔다. 하지만 adaboost를 앙상블한 후의 값은 기존 0.9631 값에 비해, 0.0178 낮은 결과를 보였다.

Table 3.

Comparison of model performance

LSTM모델을 단독으로 사용했을 때는 R²score값이 0.9576으로, Seq2seq보다는 0.0055, GRU보다는 0.0022, Bidirection LSTM보다는 0.0009정도 낮은 값이 나왔다. 하지만 adaboost를 앙상블한 후의 값은 기존 0.9576 값에 비해, 0.0225 낮은 0.9351의 값이 나왔다.

GRU를 단독으로 사용했을 때는 R²score값이 0.9598으로, LSTM보다는 0.0022 높았고, Seq2seq 보다는 0.0033, Bidirection LSTM보다는 0.0009 낮은 값으로 나왔다. 하지만 adaboost를 앙상블한 후의 값은 기존 0.9598 값에 비해, 0.0316 낮은 결과를 보였다.

Bidirection LSTM모델을 단독으로 사용했을 때는 R²score값이 0.9585으로, Seq2seq보다는 0.0046, GRU보다는 0.0013으로 낮았고 LSTM보다는 0.0046이 더 높았다. 하지만 adaboost를 앙상블한 후의 값은 기존 0.9585 값에 비해, 0.0381 낮은 결과를 보였다.

그림 10과 11은 CNC 전력데이터를 학습한 모델들의 결과를 Adaboost를 적용하기 전과 후로 나누어서 정성적 평가를 수행한 결과이다.

Fig. 10.

Visualization of comparison result (a) LSTM result (b) LSTM with Adatboost result (c) GRU result (d) GRU with adaboost result

그림 10-(a)는 LSTM으로 예측한 결과를 나타내고, 그림 10-(b)는 LSTM과 Adaboost를 이용하여 예측한 결과를 나타낸다. 두 결과를 비교하면 시간 쪽 200~400구간에서 LSTM만 사용하면 예측을 잘 못하던 구간을 Adaboost를 사용했을 때는 성능향상이 있는 것을 볼 수 있었다.

그림 10-(b)는 GRU으로 예측한 결과이고, 그림 10-(b)는 GRU와 Adaboost를 이용하여 예측한 결과이다. 두 결과를 비교하면 GRU가 잘 예측한 부분도 있지만, 잘못 예측하는 경우가 더 많았다.

그림 11-(a)는 Bidirection LSTM으로 예측한 결과를 나타내고, 그림 11-(a)는 Bidirection LSTM와 Adaboost를 이용하여 예측한 결과를 나타낸다. Bidirection도 기존의 LSTM과 비슷하게 잘못 예측하는 경우가 있었지만, 전체적으로 잘 예측하는 것을 볼 수 있었다.

Fig. 11.

Visualization of comparison result (a) Bidirectional LSTM result (b) Bidirectional LSTM with adaboost result (c) Seq2seq result (d) Seq2seq with adaboost result

그림 11-(b)는 Seq2seq으로 예측한 결과를 나타내고, 그림 11-(b)는 Seq2seq와 Adaboost를 이용하여 예측한 결과를 나타낸다. Seq2seq도 유사한 결과를 볼 수 있었다. Adaboost를 사용하게 되면 정량적 평가에서는 성능 하락이 있어, 정성적 평가로 확인하였다. 정성적 평가를 확인해보니 전체적인 실제값과 예측값 간의 차이가 있어 정확도가 떨어진 것으로 확인된다.

그림 12는 실제 구현된 애플리케이션의 화면을 나타낸다. 그림 12-(a)는 설비들의 데이터를 실시간으로 확인할 수 있는 실시간확인화면으로 앞서 언급한 모델의 예측 결과를 나타내고, 상황에 따른 알람을 알려주는 역할을 한다.

Fig. 12.

Moblie app overview

그림 12-(b)는 공장설비들의 상태를 라인별로 확인할 수 있는 공장라인화면으로 모델의 결과에 따른 가동률을 계산할 수 있다. 그림 12-(c)는 라인내에 존재하는 설비들을 한눈에 확인할 수 있는 설비현황 화면으로 모델의 결과로 고장이 발생하게 되면 확인할 수 있는 화면이다. 그림 12-(d)는 라인내에 존재하는 설비들의 장비상태, 현재내구성, 교체시기 등을 확인할 수 있다.

Ⅵ. 결 론

본 논문에서는 AI기반의 생산라인 모니터링 애플리케이션을 제안하였다. 고장분류와 예지보전을 위하여 AI-hub 전동기 고장 전류 데이터와 CNC설비의 전력데이터 사용하였다. 고장분류와 예지보전에 사용된 모델은 DNN 모델과 LSTM, GRU, Seq2seq, Adaboost 모델들을 사용했다.

모델별 예측결과 고장분류에서는 99%의 정확도를 보였고, 예지보전의 경우 Seq2seq의 R²score 값이 0.9631으로 가장 높았으며, LSTM보다는 0.0055, GRU보다는 0.0033, Bidirection LSTM보다는 0.0046정도 더 높은 값으로 나왔다. 그리고 각 모델별로 Adaboost를 사용하여 예측한 결과 기존의 모델보다 정량적 평가는 낮았지만, 정성적 평가에서는 좋은 성능을 보였다. 이러한 문제는 약한 분류기의 합으로 강한 분류기를 만드는 과정에서 수치적으로는 낮은 성능을 보인 것을 볼 수 있었다.

향후 연구에서는 필드 테스트를 통하여 최적화된 모델을 개발할 예정이고, 실제 필드 데이터와 서버 부하와 연산을 최적화하는 시스템을 개발하려고 한다.

Acknowledgments

본 과제(결과물)는 2021년도 교육부의 재원으로 한국연구재단의 지원을 받아 수행된 지자체-대학 협력기반 지역혁신 사업의 결과(2021RIS-003)와 과학기술정보통신부 지원을 받아 경남 SW융합클러스터2.0 특화산업 강화사업 과제로 수행한 연구 결과임

References

• S.-H. Kim, S. Lee, C. Park, and Y. Lee, "Demand Forecasting Techniques for Smart Factory", Journal of the Korean Society of Information and Communication, Jeju, Korea, pp. 442-443, Oct. 2022.
• J. Lee, S. Kim, and H. kim, "A Study on Smart Factory Construction Plan of Small and Medium-Sized Enterprises in Korea", Yonsei Business Review, Vol. 59, No. 2, pp. 101-126, Dec. 2022. [https://doi.org/10.55125/YBR.2022.12.59.2.101]
• M. K. Kim , "A study on the use of artificial intelligence by companies that introduced smart factory", Proc. of the International Conference of Manufacturing Technology Engineers(ICMTE), pp. 275-275, Dec. 2022.
• S. Han, D.-S. Lee, J.-H. Han, and H. J. Shin, "The Design of Smart Factory System using AI Edge Device", Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol. 15, No. 4, pp. 257-270, Aug. 2022. [https://doi.org/10.17661/jkiiect.2022.15.4.257]
• S. Im and S. Kim, "Implementation of smart factory predictive maintenance using AWS IoT platform", The Korea Information Science Association 2022 Korea Software Conference Paper Collection, pp. 7-9, Dec. 2022.
• J.-H. Lee, "Worker-Driven Service Development Tool for Smart Factory. Journal of the Korea Society of Computer and Information", Journal of the Korean Computer Information Society, Vol. 25, No. 7, pp. 143-150, Dec. 2020.
• J. H. Yoo, C. Y. Park, and J. K. Bae, "A Study on the Innovation Resistance and Innovation Acceptance on Smart Factory: Focused on Smelting Industry", The e-Business Studies, Vol. 23, No. 6, pp. 235-252, Apr. 2022. [https://doi.org/10.20462/tebs.2022.11.23.6.235]
• I.-S. Kim, "A Study on the Success Cases of the German Automated Smart Factories, a key research subject to the Fourth Industrial Revolution, and the Introduction of Smart Factories to Korea: Proposal of Policies and Strategies for the Construction of Smart Factories in Korea", Eurasian Studies, Vol. 17, No. 3, pp. 189-213, Jan. 2020. [https://doi.org/10.31203/aepa.2020.17.3.1791]
• D. Hu, W. Jeong, and K. Im, "The Study on CNC Facility Predictive Maintenance System Based on Manufacturing Data", The Society of Convergence Knowledge Transactions, Vol. 9, No. 4, pp. 179-187, Dec. 2021.
• M. Kim, M. Jeong, Y. Kim, K. Cho, and S. Kim, "Defect Detection of Injection Molding Machine Results for Smart Factory", KIIT Conference, Jeju, Korea, pp. 116-117. Nov. 2021.
• J. H. Kim, D. C. Kim, S. H. Je, J. S. Lee, D. H. Kim, and S. H. Ji, "A Study on the Establishment of Prediction Conservation System for Smart Factory Facilities", KIIT Conference, Jeju, Korea, pp. 703-706. Dec. 2022.
• S. Choi, J. Lee, M. Kwon, and Y. Kim, "Test-bed implementation for AIoT smart factory system research", KIIT Conference, Jeju, Korea, pp. 879-882, Dec. 2022.
• J.-S. Kang and Y.-H. Lee, "High-speed image processing system for smart factories", KIIT Conference, Cheongju, Korea, pp. 100-101. Oct. 2020.