Home

최근 4차 산업혁명이 가속함에 따라 생산 및 제조 기술과의 융합으로 스마트 공장이 밝은 전망을 보인다. 인공지능 기반의 기술들을 여러 분야에서 적용되어 새로운 혁신을 보여주고 있다[1].

철근 가공생산에서 철근 교정 작업은 품질에 영향을 미치는 중요한 항목 중 하나이다. 현재 가공 철근 교정은 절단/절곡과 같은 교정 작업이 자주 이루어지며 숙련된 작업자가 필수적이다. 교정 오류로 불량 제품이 생산되기 시작하면 장비 가동을 반드시 멈추고 올바른 철근이 생산되기 위해 교정 작업을 수행해야 한다. 그로 인해 발생하는 시간적 지연이 가공 철근 생산성 하락에 주요 요인이 된다. 또한, 사람이 직접 생산에 관여하기 때문에 안전사고의 발생 확률이 높다는 문제점을 가지고 있다. 그러므로 작업자의 숙련도 의존 없이 정확하게 판단하고 안전성을 지닌 교정 작업과 불량 제품이 나오기 전 교정에 대한 오류를 예측할 수 있는 기술이 필요하다. 하지만 국내에서는 기계를 이용한 철근 절곡/절단 자동화 설비는 하드웨어적인 기계장치 중심으로 구성되어있고, 국외에서도 설비 중심의 자동화에 중점을 두고 있다[2][3].

기존의 물체 예측 시스템은 대부분 그림 1과 같이 보행자 검출이나 자율주행 자동차에 치중되어 있으며 카메라뿐만 아니라 거리 센서나 라이다 센서 등 여러 센서를 통한 예측 기법이 많다[4][5].

Fig. 1. 
Prediction system through IoT sensor

본 논문에서는 카메라를 통해 얻어지는 영상 정보만을 딥러닝의 기술을 적용하여 개선된 물체 예측 시스템을 구현하였다. 기존의 OPPDet(Object Position Prediction Detection)은 하나의 끝점만 검출 및 추적을 통해 끝점 하나만을 예측했다[6]. 본 논문에서는 둘 이상의 끝점을 예측하기 위해 비전 카메라로부터 들어오는 철근 끝점 영상으로 기존의 OPPDet 알고리즘에 끝점에 대한 시작점을 설정하여 분리하고 끝점 각각을 예측하는 모델 NRP-Sys(Nonlinear Regression Prediction System)를 제안한다.

본 논문에서 그림 5는 제안하는 방법으로 특정 물체를 학습하여 실시간 검출하며 수집된 데이터를 기반으로 회귀 분석을 통해 미래의 위치를 예측하는 알고리즘이다. 아래는 그 과정을 설명한 것이다.

Fig. 5. 
System flowchart of NRP-Sys model

우선, 철근 끝점을 검출 및 추적하기 위해서 철근 끝점에 대한 데이터셋을 구축한다. 테스트 영상을 프레임마다 캡처를 수행하여 이미지를 추출한다. 추출된 이미지는 물체 인식을 위해 특정 클래스 정보를 지정해 줘야 한다.

본 논문에서는 철근 끝점에 대한 인식 및 검출이 필요하므로 철근 끝점 위치와 크기를 레이블링 프로그램으로 설정하고 학습을 위한 데이터셋 형태로 생성한다. 만들어진 데이터셋은 YOLO를 통해 학습하는데 사용된다.

데이터셋의 클래스는 1가지이기 때문에 YOLO의 초기 설정값 수정을 수행하고 특정 물체의 인식률을 높이려고 일부러 비슷한 이미지와 환경에 대한 정보를 사용하여 오버피팅으로 진행한다. 그리고 학습이 완료된 가중치를 YOLO v3에 적용하고 비전 카메라로부터 들어오는 철근 끝점 영상을 입력으로 사용한다. 입력 영상은 학습된 YOLO v3에 의해 바운딩 박스를 그리며 철근 끝점을 검출 및 추적하여 철근 끝점의 위치 정보를 좌표의 형태로 얻게 된다.

다음으로 철근 끝점의 중심 좌표(x, y)를 시간에 대한 식(x, t), (y, t)으로 나눈다. 철근 끝점이 두 개이기 때문에 (x1, t), (y1, t), (x2, t), (y2, t) 4개의 식을 만들 수 있다. 여기서 t는 시간 축으로 프레임의 흐름을 말하며 프레임마다 인식되는 물체에 대한 좌표를 시간 순서대로 배열을 통해 저장한다. 마지막으로, 각각의 식을 2차식 비선형 회귀 분석을 통해 예측 함수를 4개를 생성한다. 예측 함수가 만들어지면 예측을 원하는 위치의 시간 정보를 입력하여 출력으로 예측 결과를 확인할 수 있다. 여기서 사용한 비선형 회귀 함수는 꺾임의 정도가 다른 비선형 함수에 비해 적어 예측 오차에 대해 보완이 가능하므로 2차 식을 적용했다.

앞의 과정은 기존의 OPPDet와 비슷하지만 OPPDet은 하나 이상의 물체가 인식된다면 위치가 다른 두 물체에 대한 구분이 어렵다. 본 논문에서 제안하는 방법은 NRP-Sys이다. 위치 정보를 좌표의 형태로 바꾸는 두 번째, 세 번째 과정 사이에 현재 프레임의 좌표 정보와 직전 프레임의 좌표 정보를 비교한다. 그리고 근접한 정보들끼리 묶는 작업과 철근 초기 위치 구분을 위한 시작점 설정을 추가하여 인식되는 두 개의 물체 위치 정보를 나눈다. 오류를 방지하기 위해 급격한 변화를 가져오는 데이터는 불필요한 데이터로 분류하여 버림을 통해 끝점 예측에 오류를 줄였다[12].

본 논문의 실험은 철근 사출 영상을 통해 진행했다. 우선 철근 끝점에 대해 학습이 완료된 모델을 통해 철근 끝점 인식률을 확인해보았을 때 그림 6과 같이 원하는 물체와 위치 및 크기에 대한 바운딩 박스가 시각적으로 표시가 된다.

Fig. 6. 
Rebar endpoint recognition accuracy

그림 7과 같이 기존의 물체 하나만 검출 및 추적하는 경우와 같은 물체 두 개를 동시에 검출하는 경우를 비교하고 같은 물체 구분이 없을 때의 결과를 보았다. 물체의 구분이 없으면 회귀 예측 수행 시 데이터의 변화가 심해 정확한 예측이 힘들어지는 걸 알 수 있다.

Fig. 7. 
Tracking and prediction results of an object

그림 8은 물체 초기 위치 시작점 설정을 통해 그림 9와 같이 물체의 위치를 구분하고 각각 데이터를 수집 및 분류하여 회귀 예측 시 정확한 위치 예측을 얻을 수 있다.

Fig. 8. 
Object classification prediction result through initial starting point setting

Fig. 9. 
Separation of two object detection data

제안하는 방법을 통해 그림 10과 같이 이미지에서의 물체 인식 좌표값을 그대로 표시한 것으로 철근 끝점이 두 개이기 때문에 (x1, t), (y1, t), (x2, t), (y2, t) 4개의 식에 대한 그래프를 생성하여 시각화하였다. x, y는 물체의 위치이고 t는 시간축을 의미한다. 노란색의 좌표는 (x1, t), (y1, t) 파란색의 좌표는 (x2, t), (y2, t)를 그래프의 형태로 표시한 것이다. 시간에 대한 좌표 정보의 값과 예측 함수의 모양을 볼 수 있다.

Fig. 10. 
Separation of rebar endpoint tracking data and regression analysis

또한, 그림 11은 기존의 3차 회귀 함수 (a)에서 2차 회귀 함수 (b)로 변화에 따른 그래프 차이를 통해 예측 오차의 차이가 줄어드는 걸 알 수 있다.

Fig. 11. 
Difference in the prediction graph according to the change in the regression function

철근 끝점이 검출 및 추적이 되며 예측 그래프에서 얻은 정보를 통해 몇 프레임 앞의 예측 지점을 그림 12와 같이 빨간 점과 파란 점으로 시각화한 것이다. 빨간 점은 위 철근에 대한 예측 지점이고 파란 점은 아래 철근에 대한 예측 지점이다.

Fig. 12. 
Visualize grid cells through rebar endpoint tracking and prediction

표 1은 철근 끝점에 대한 실제 위치(x, y)와 예측 위치(x, y) 사이의 정확도를 나타낸 것이다. 평균 정확도가 94.51~95.53%로 상당히 높은 정확도라는 것을 알 수 있다.

예측을 통해 얻어지는 좌표를 실제 환경에 적용하기 위해서는 그리드셀과 매칭이 중요하며 예측 지점을 그리드셀 위에 표시하면 그리드셀에서 해당하는 셀 번호를 획득할 수 있다. 각 셀 번호는 표 2과 같이 교정을 위한 고유의 롤러 교정치 값이 존재하며 매칭이 된 셀 번호를 통해 사람이 수동으로 확인했을 때보다 매우 빠르게 철근 교정 기계에 정보를 전달한다. 영상이 진행함에 따라 실제 위치와 예측 위치와 아주 근접한 것을 알 수 있다. 롤러 교정값은 [‘R1’, ‘R2’, ‘R3’, ‘R4’, ‘R5’, ‘R6’, ‘R7’, ‘R8’, Out, In]의 형태로 전송한다. 그리고 실제 교정을 위해 사용하는 롤러는 R5, R6, R7, R8이며, Out은 R5, R7 / In은 R6, R8으로 조절한다.

본 논문에서는 기존의 YOLO 기반 비선형 회귀 분석 철근 끝점 예측 모델 OPPDet에 둘 이상의 물체 분리 알고리즘과 2차 식 회귀 함수 및 철근 초기 위치 시작점 설정을 추가하여 NRP-Sys을 제안하였다. 제안된 방법은 실제 위치와 예측 위치의 좌표가 아주 근접하여 평균 정확도가 94.51~95.53%로 높은 정확도를 보여준다. 그리고 YOLO 기반이라 실시간으로 분석이 가능하며 철근 위치에 대한 오류를 예측함으로써 제품의 불량률을 줄이고 생산되기 전에 교정 시간과 정확도의 개선을 이루었다.

하지만 현재 가까운 미래를 예측하는 것에 대한 정확도는 높지만 먼 미래를 예측하는 데에 있어서 정확도가 떨어지는 어려움이 있어 추가적인 연구가 필요하다.