철근 직진도 개선을 위한 실시간 철근 사출 끝점 추적 방법

Ⅰ. 서 론

현재의 산업 분야는 스마트 팩토리가 4차 산업 혁명의 기준으로 정립되고, ‘인더스트리 4.0’으로 제조업은 스마트 혁명을 진행 중이다. 그 중심에 공장 자동화가 산업 전반적으로 진행되고 있다. 특히 영상 분석 기법 및 영상 추적을 이용한 공장 자동화 부분은 해가 갈수록 비중이 증가하고 있다.

본 연구에서는 현재 건축 공사 현장에서 널리 사용하고 있는 철근 절곡 생산성 향상을 위하여 철근의 비틀림을 교정하기 위한 영상 추적 방식을 소개하고, 산업 현장에서 사용 가능한 방법에 대한 연구결과를 본 논문에 정리했다. 현재 철근의 휨(비틀림)을 개선하기 위해서는 사람의 판단에 따라 철근 끝점을 확인하고 철근 비틀림 정도에 해당하는 값을 OPC(OLE for process control)에 전달하는 방식이었다면, 본 논문에서는 영상 추적 방식을 활용하여 철근의 휨(비틀림)을 실시간 자동으로 좌표를 파악하고 전달하면 OPC는 기계적으로 보정하여 철근이 직선으로 출력이 가능하도록 하는 방식이다. 그리고 철근 끝점 영상 추적 방식은 산업 현장 특성상 주위 밝기나 날씨 및 계절에 따라 영향을 많이 받는 컬러 영상 처리 방식 대신에 Kinect 카메라를 이용한 적외선 영상과 Depth 정보를 이용했다. Depth 정보는 다양한 방식으로 영상처리가 가능해 실시간 영상추적 역시 다양한 방법으로 가능해졌다[1][2]. 그리고 불필요한 노이즈를 최소화하기 위하여 다음과 같은 알고리즘을 활용하였다. 사용한 알고리즘은 Median Filter, Binarization, Morphology, Blob으로 카메라에 인식된 Depth 영상 중에서 일정 거리(1m 이내)에 해당하는 관심 영역 부분만 식별하도록 필터 처리하는데 사용하였다[3]. 그리고 철근의 시작 point를 알기 어려워 Median flow를 이용하였다. 기존에는 다양한 방식으로 철근 끝점을 추적하였으나 철근이 나오는 속도가 빨라 실시간 추적이 어렵고, 실시간 추적이 되어도 추적률이 낮아 그 활용이 어려웠다.

Kalal은 이러한 실시간 추적 문제를 해결하기 위해, 프레임 사이의 시간적 연속성을 고려하여 추적 오류를 측정할 수 있는 FB(Forward-backward) 오류와 이를 활용한 Median flow 추적기를 제안했다[4]-[6]. Median flow 추적기에서는 FB 오류가 큰 포인트들을 이상이 있는 것으로 판단하여 제거하고, 나머지 포인트 중에서 중간값(Median)을 찾아서 객체의 움직임을 결정하는 방식이다[6].

본 논문에서는 산업 현장의 다양한 환경에서 사용이 가능하도록 적외선 Depth 정보를 사용하며, 실시간 철근 끝점 추적을 위해서는 Median flow의 알고리즘을 이용하여 철근의 움직임 방향과 위치 추적을 제안하였다. 그리고 Depth 영상에서 검출된 철근 끝점 좌표와 Median flow를 이용한 철근의 위치추적 좌표를 서로 비교하여 최종 위치 좌표를 결정하는 방법을 제안한다.

Ⅱ. 관련 이론

2.1 FB 오류

그림 1은 FB 오류 관련 그림이다. 점 ①은 좌, 우 이미지에서 모두 볼 수 있어 FB 오류가 없다고 할 수 있다. 점 ①을 앞으로 또는 뒤로 추적하면 동일한 궤도가 된다. 반면에, 점 ②는 오른쪽 영상에 표시되지 않고 추적기는 다른 지점을 가리키고 있다. 점 ②를 뒤로 추적하면 원래 위치와 다른 위치에서 점이 끝남을 알 수 있다. 불일치는 쉽게 식별 할 수 있으며 실험 섹션에서 보여 주듯이 실제 추적 오류와 높은 상관관계가 있다. 제안된 FB 오류의 주요 이점은 다양한 추적기에 적용 할 수 있고 구현하기 쉽다는 점이다.

Fig. 1.

Forward-backward error

2.2 Median flow

Median flow는 현재 영상 프레임(It)과 다음 영상 프레임(It+1)으로 구성이 되며, 두 개 이미지는 각각 경계 박스(Bt)와 바운딩 박스(Bt+1)로 구분된다. 경계 박스 내에는 점집합으로 구성된다. Bt의 점들은 Lucas-kanade 추적기에 의해 추적되며, 각 포인트는 FB 오류를 이용하여 Tracking 추적을 통해 50% 이하의 예측치는 걸러 낸다.  나머지 예측은 전체 경계 상자의 위치를 ​​추정하는 데 사용된다.  이런 추적 방식을 Median flow라고 한다[4]. Median flow는 Kalal이 제안한 방식으로 평균 밝기를 0으로 맞추고 표준 편차를 1로 맞추는 개념인 NCC(Normalized Cross Correlation)에 FB 오류를 이용하여 Tracking 추적 실패를 감지하는 방식이다.

그림 2는 Median flow 추적기 방식의 예이다.

Fig. 2.

Median flow tracker and bounding box

Ⅲ. 제안하는 추적 알고리즘

3.1 Depth 정보를 이용한 끝점 검출 알고리즘

위 관련 연구에서 제안된 영상의 Depth 정보는 철근의 끝점을 인식하는 방식으로 그림 3과 같이 철근의 최종 끝점 위치마다 고유의 좌표를 두고, 2개의 철근(Steel in, steel out)의 마지막 위치 정보를 OPC가 활용할 수 있도록 정보를 제공하는 것이다.

Fig. 3.

Reinforcement steel’s coordinates information

그림 3의 Ⓐ영역(중앙)은 철근이 정상적으로 출력이 되어 철근의 휨이 없다고 판단하며, Ⓑ영역(투명)은 2개의 철근 비틀림이 있다고 판단하여 철근의 좌표에 맞게 비틀림 조정이 자동으로 진행된다. 그리고 Ⓒ영역(외곽)은 철근의 휨이 심하여 자동 조정으로 비틀림 개선이 어려워 철근을 절단 후 재확인하거나 수동으로 Ⓑ영역까지 이동한 후 진행해야 하는 영역으로 구분된다.

본 논문에서는 철근 리드의 끝점을 알기 위해 영상을 적외선(회색조)으로 변환하고, 영상 프레임 내에 존재하는 각종 영상 노이즈를 제거하고, 철근 끝점만을 효율적으로 분류하기 위한 전처리 알고리즘 과정을 수행하였다.

사용된 전처리 알고리즘은 미디언 필터(Median filter), Binarization, Morphology, Blob으로 구성하였다. 그림 4에 전처리 알고리즘의 처리 순서에 대해 도식화하였다.

Fig. 4.

Procedure of pre-processing algorithm

먼저, Depth 영상의 회색조 색상을 흑백 영상으로 변환하기 위하여 Binarization(이진화) 알고리즘을 활용하였다. 흑백 영상으로 변환되면 이미지 크기는 작아지고, 철근의 끝부분을 흰색으로 변환하여 다른 주위 노이즈(배경)와 뚜렷하게 특징지어서 보여 줄 수 있게 하였다. 그리고 이진화 이후 비정상적 밝기(Impulse noise)를 내는 잡음 처리를 위하여 미디언 필터를 적용해 주위 영상의 평균값으로 비정상적 밝기를 제거하여 철근의 끝점만 더 도두라 지게 하였다[7].

다음으로 철근 끝점의 영상 경계면 잡음을 제거하기 위하여 Morphology 알고리즘 중 Opening 연산을 활용하였다. Opening 연산은 밝은 영역에 나타난 미세한 조각을 제거할 수 있도록 하는 연산으로, 우선 침식(Erosion) 연산을 수행하고 밝은 영역을 전체적으로 축소한 다음 팽창(Dilation) 연산을 수행하여 전체적인 넓이를 원래대로 복구하여 미세한 조각을 제거하는 알고리즘이다[8].

마지막으로 Blob 알고리즘을 이용하여 철근 끝점 2개가 붙었을 경우 철근을 구분하고 Labeling 목적으로 사용하기 위하여 적용하였다. Blob 알고리즘은 인접한 영상 화소에 모두 같은 번호(Label)를 붙이고 연결되지 않은 다른 성분에는 다른 번호를 붙이는 것이다. heuristic 기반의 방법으로 labeling 하는 것이며, 이미지 안에 연결된 객체 수를 검출하는 알고리즘이다[9].

3.2 Median flow를 이용한 객체 추적

Median flow를 이용한 철근의 추적은 다음 순서로 진행이 된다. 먼저 외부 환경에 영향이 적은 적외선 영상을 이용, FB 오류를 기반으로 하는 Median flow 알고리즘 수행, Depth 위치 정보와 위치 비교, 최종 객체의 움직임을 결정한다. 제안하는 알고리즘은 그림 5와 같다.

Fig. 5.

Object tracking using median flow

Median flow 알고리즘은 FB 오류를 이용하여 Tracking 추적 실패를 감지하고 이를 양적으로 Sum-of-Square Differences(SSD)와 비교한다. 여기에서 FB 오류가 있는 예측치는 걸러내고, FB 오류가 없는 점들을 이용하여 이점 중에서 중간값을 이용하여 객체를 추적하는 방식이다. 그림 6은 FB 방법을 이용한 FB 오류 계산 방식이다. 포인트 ①은 두 이미지 모두에서 동일하게 볼 수 있으며 추적시스템은 오류 없이 작동한다.  하지만 포인트 ②는 두 번째 이미지에서 다른 영역의 이미지를 가져와 앞과 뒤 궤도가 일치하지 않아 오류가 많다고 계산된다.

Fig. 6.

Forward-backward(FB) error concept

그림 7은 Median flow tracker는 한 쌍의 It, It+1 영상 이미지로 구성되며, 두 개 이미지는 각각 경계 박스(Bt)와 바운딩 박스(Bt+1)로 구분된다. 경계 박스 내에는 점집합으로 구성된다. 각 점은 Lucaskanade 추적기에 의해 추적된다[10].

Fig. 7.

Median flow tracker and bounding box

Ⅳ. 실험 방법 및 결과

개발된 알고리즘의 성능을 평가하기 위해 그림 8의 MEP사의 FORMAT 16 HS 스터럽 절곡기를 이용하여 실험을 진행했다.

Fig. 8.

FORMAT 16 HS stirrup bending machine

사용한 카메라는 그림 9의 마이크로소프트사의 Kinect 카메라로 512×424@30fps의 해상도를 사용하여 철근의 끝점(시작점)을 검출하고 본 연구애서 제안한 알고리즘으로 결과 값을 도출 하였다.

Fig. 9.

Kinect 2.0 camera

개발된 알고리즘은 depth 영상을 Binarization, 미디언 필터, Morphology, Blob 알고리즘을 이용하여 2개의 철근 끝점 검출을 하고, Median flow를 이용하여 실시간 철근 추적에 대해 평가하였다. 그 결과는 다음과 같다.

그림 10은 Kinect 카메라의 color로 표현한 영상이다. 전처리 알고리즘을 적용하기 위해서는 이 color 영상을 Depth의 회색조(Gray scale)영상으로 변경하여 진행 한다.

Fig. 10.

Color image

4.1 Depth 초기 영상(회색조)

그림 11의 초기 Depth 영상은 회색조로 256단계의 밝기를 표현한 영상이다. 중앙에 밝은 두 점이 철근 끝점을 의미하며, 수평의 점들은 철근 사출기의 경사면이 Depth 영상으로 나타난 것이다.

Fig. 11.

Depth gray scale image

4.2 Binarization 알고리즘 적용 결과

그림 12의 이진화 영상은 경계값(Threshold)을 기준으로 낮은 값은 흑(0)으로, 높은 값은 백(255)으로 표현한다. 그림 12처럼 철근 부분과 수평 경계면이 뚜렷하게 특징지어 보인다. 또한 데이터가 이진화 됨으로써 영상 파일의 크기도 줄일 수 있다.

Fig. 12.

Result of applying binarization algorithm

4.3 미디언 필터 알고리즘 적용 결과

그림 13의 미디언 필터는 주어진 마스크 영역 값들을 크기 순서대로 정렬한 후 중간 크기 값을 선택하는 필터이다. 임펄스 잡음(Impulse noise)을 제거하는 데 효과적인데 수평 경계면 라인잡음이 대부분 사라짐을 볼 수 있다.

Fig. 13.

Result of applying median filter algorithm

4.4 Morphology 알고리즘 적용 결과

그림 14는 철근 끝점 이외의 외부 경계면 잡음을 제거하기 위하여 Morphology 알고리즘 중 Opening 연산을 활용하였다. Opening 연산은 밝은 영역에 나타난 미세한 조각을 제거할 수 있도록 하는 연산으로, 우선 침식 연산을 수행하고 밝은 영역을 전체적으로 축소한 다음 철근 부분만 팽창 연산을 수행하여 철근 끝점 부분만 뚜렷하게 만들었다.

Fig. 14.

Result of applying morphology algorithm

4.5 Blob 알고리즘 적용 결과

Blob 알고리즘은 철근 끝점 2개가 붙었을 경우 철근을 분리하고 Labeling 목적으로 사용하는 알고리즘으로 그림 15와 같은 경우는 이상적 상황이고 대부분의 경우는 철근 끝점이 붙어 좌우 구분이 어려운 경우가 대부분이다.

Fig. 15.

Result of applying Blob algorithm

이를 해결할 목적으로 Blob 알고리즘을 이용하여 2개의 철근을 분리하고 Labeling 처리하여 사용한다. 철근이 좌우로 붙은 경우는 좌우 전체 길이를 이등분하고 각각에 대해 또 이등분한 값을 좌우의 중심으로 활용하였으며, 철근이 상하로 붙은 경우는 상하 전체 길이를 이등분 하고 각각에 대해 또 이등분한 값을 상하의 중심 값으로 활용하였다.

4.6 Median flow 영상추적 알고리즘 적용 결과

그림 16에는 Median flow 실시간 영상추적 알고리즘과 Depth 영상에서 검출된 철근 끝점 알고리즘을 적용한 추적 결과를 보이고 있다.

Fig. 16.

Result of median flow and depth algorithm

2개의 철근 끝점 위치 정보를 획득하기 위하여 Median flow 영상 추적 알고리즘만 적용 시는 외부 환경 등의 영향으로 75% 정도만 추적하는 문제가 있어 이를 개선하고자, Depth 영상에서 검출된 철근 끝점 좌표와 Median flow를 이용한 철근의 위치추적 좌표를 서로 비교하여 철근의 최종 위치 좌표를 결정하였다.

철근 작업 시 철근이 나오는 길이는 약 1m 정도이며 시간은 약 1초 정도 소요된다. 1초 이내에 철근의 사출 궤적과 위치를 파악하고 비틀림 정도를 OPC에 전달하며, 이때 OPC는 비틀림 정도에 따라 정해진 프로세스를 수행하고 다음 철근이 사출될 때는 비틀림이 보정된 철근이 사출된다. 본 연구는 이 보정된 값을 계속 추적하며 생산이 가능한 직진 도가 나올 때까지 반복적 작업을 진행한다. 기존 방식은 사람이 눈으로 보고 조정을 반복하는 방식이라면 본 연구는 자동으로 보정하는 방식이라 사람의 인지력과 비교 시 5% 정도 아직 미흡한 부분은 있다.

그림 17은 철근의 위치 좌표를 이용하여 2개의 철근(Steel in, Steel out)의 마지막 위치 정보(좌표)를 OPC가 활용할 수 있도록 정보를 제공하고 이정보를 바탕으로 철근의 휨(비틀림)을 기계적으로 보정하여 철근 직진도가 개선되는 것을 확인하였다.

Fig. 17.

Straightening adjustment of steel-reinforcement

그림 18은 가장 이상적인 철근 직진 도가 적용된 결과로 철근의 힘(비틀림)이 완전히 개선되어 생산 준비가 완료된 철근 사출 결과이다. 그림 15와 같이 휨(비틀림)이 심한 철근을 본 연구를 통하여 실시간 자동으로 작업이 가능한 직진 도가 적용된 결과를 얻었다.

Fig. 18.

Result of straightness application

표 1에는 2개 철근의 최종 끝점 성공률을 표시하였으며, 2개 중 한 개만 정확히 추적이 되어도 성공으로 보았다. 철근의 끝점 1개만 정확히 추적이 되어도 Depth 정보를 활용하여 In/Out을 구분 할 수 있고 철근의 직진도 조정이 가능하기 때문이다. 그 결과 95%의 성공률이 나왔으며, 95%의 성공률은 사람의 인지력에 비해 아직 부족하지만 자동으로 철근의 직진 도를 개선하는 데 의미가 있다.

Table 1.

Tracking result when 100 times execution

Ⅴ. 결 론

본 논문에서는 산업 현장에서 적용 가능한 철근 끝점 위치 추적 방식으로 Median flow와 영상의 Depth 정보만을 이용하여 대응할 수 있도록 하였다. Depth 영상에 제안하는 알고리즘(미디언 필터, Binarization, Morphology, Blob)을 이용하여 철근의 끝점 좌표를 검출하였고, Median flow를 이용한 객체 추적 알고리즘을 활용하여 실시간 철근의 끝점 추적이 가능하도록 하였다. 그 결과 95% 정도의 실시간 추적 성공률이 나왔다. 하지만 Median flow를 이용한 실시간 영상 추적 방식도 순간적으로 철근이 튈 경우 2개 철근을 모두 놓치는 경우가 5% 정도 발생하였다. 이를 개선하기 위해 Depth 영상의 끝점 검출만으로는 한계가 있어, 해상도가 낮고, 작은 크기의 물체를 실시간 추적하기 위해서는 Median flow 영상 추적 알고리즘의 보완이나 새로운 추적기술 연구가 요구된다.

Acknowledgments

이 논문은 2017 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.2017R1D1A1B04030870)

References

• Dae-il Kim, Jin-Sup Shin, and Dae-Seong Kang, "A Study on Moving Object Tracking Algorithm Using FFPD and Depth Information",  Journal of KIIT, 10(12), p167-172, Dec), (2012.
• Sang-Beom Lee, and Yo-Sung Ho, "Real-time Eye Contact System Using a Kinect Depth Camera for Realistic Telepresence", The Journal of Korean Institute of Communications and Information Sciences, 37(4), p277-282 , Apr), (2012. [https://doi.org/10.7840/kics.2012.37c.4.277]
• Innho Jee, "A Study on the Generation and Processing of Depth Map for Multi-resolution Image Using Belief Propagation Algorithm", The Journal of IIBC, 15(6), p201-208, Dec), (2015. [https://doi.org/10.7236/jiibc.2015.15.6.201]
• Sung-Min Kim, Ju-Hwan Lee, Seung-Gyu Roh, and Sung-Yun Park, "The Study of Pre-processing Algorithm for Improving Efficiency of Optical Flow Method on Ultrasound Image", Journal of the Institute of Electronics Engineers of Korea. SC,  47(5), p24-32, Sep), (2010.
• Hyun-ji Cho, and Doohee Nam, "Enhanced image detail control using Multi Channel Unsharp Mask Technique", The Journal of IIBC, 15(1), p165-170, Feb), (2015. [https://doi.org/10.7236/jiibc.2015.15.1.165]
• Sung-Min Kim, Ju-Hwan Lee, Seung-Gyu Roh, and Sung-Yun Park, "The Study of Pre-processing Algorithm for Improving Efficiency of Optical Flow Method on Ultrasound Image", Journal of the Institute of Electronics Engineers of Korea. SC,  47(5), p24-32, Sep), (2010.
• Z. Kalal, K. Mikolajczyk, and J. Matas, "Forward-Backward Error: Automatic Detection of Tracking Failures", International conference on pattern recognition, 20(4), p2756- 29759, Aug. 2010. [https://doi.org/10.1109/icpr.2010.675]
• Z. Kalal, K. Mikolajczyk, and J. Matas, "Tracking-Learning-Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence, 34(7), p1409-1422, Jul), (2012.
• Sangpil Han, Min-jae Kim, Seokmok Park, and Joonki Paik, "Key-point Selection Method for Robust Object Tracking Based on Median Flow", Autumn Annual Conference of IEIE, Seoul, South Korea, p370-372, Nov. 2016.
• S. Esakkirajan, T. Veerakumar, Adabala N. Subramanyam, and C. H. PremChand, "Removal of High Density Salt and Pepper Noise Through Modified Decision Based Unsymmetric Trimmed Median Filter", IEEE Signal Processing Letters, 18(5), p287-290, May), (2011. [https://doi.org/10.1109/lsp.2011.2122333]
• Mohamed Roushd, "Comparative Study of Edge Detection Algorithms Applying on theGrayscale Noisy Image Using Morphological Filter", In GVIP Journal, 6(4), p17-23, Dec), (2006.
• Robert T. Collin, "Mean-shift Blob Tracking through Scale Space", In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR`03), p1-7, Jun), (2003.
• "Kanade–Lucas–Tomasi feature tracker", https://en.wikipedia.org/wiki/Kanade%E2%80%93Lucas%E2%80%93Tomasi_feature_tracker, [accessed: Feb. 2019].