Home

최근 물류시스템 환경은 무인화, 자동화 추세에 따라 작업자의 지원이나 간섭 없이 센서에 의해 물체의 위치를 식별하고, 적재하거나 옮길 수 있는 기술 고도화를 반영하고 있다[1]. 그리고 무인 물류시스템은 팔레트의 위치가 항상 정확한 위치에 있어야 하지만 현실에서 모든 물류 과정을 자동화하는 것은 불가능하므로 화물의 위치가 일정하지 않을 경우도 발생한다. 이와 같이 화물의 위치가 가변적인 환경에서 자동화를 구현하기 위해서는 팔레트를 인식하고 정밀하게 위치를 측정하는 방법이 필요하다.

팔레트의 위치가 다소 가변적인 환경에서 무인 자동화 시스템을 구현하기 위하여 위치측정에 관한 다양한 연구가 진행되었다[2]-[5]. 측정에 이용하는 센서를 기준으로 지금까지 연구들을 분류하면, 초음파 센서나 레이저 거리계처럼 음파나 광선을 발사하여 반사되어 오는 것을 감지하는 방법, 비전 센서와 같이 영상을 이용하여 분석하는 방법, 마지막으로 이러한 다양한 센서로부터 감지된 정보를 혼용하여 측정하는 방법 등이 있다[6]-[8].

그림 1은 기존의 연구 방법에 대한 그림이다. (a)는 팔레트 검출에 레이저 거리계를 이용하며 흰색 반사판으로 팔레트 여부를 확정하였다[6]. (b)는 스테레오 비전 방식으로 3차원 정보를 추출할 수 있으나 팔레트 특징 추출 및 인식부분이 단순하여 바닥에 있는 팔레트만 측정 가능하고[7], (c)의 경우 레이저 거리계와 카메라 센서 혼용 방식으로 팔레트가 바닥에 놓이지 않으면 검출에 어려운 단점이 있다[8].

Fig. 1. 
Pictures of previous studies, (a) LRF, (b) Stereo vision, (c) Fusion sensor

이러한 시스템들은 선반의 특정 슬롯에 어느 정도의 편차를 가진 상태로 놓여 있는 팔레트를 센서를 이용하여 정확한 위치를 측정할 수 있지만 앞에서 서술한바와 같이 각 센서의 장단점으로 인한 한계점이 존재한다.

그러므로 본 연구에서는 비전기반 영상처리를 통하여 팔레트 영역을 먼저 검출한 후 이 영역만을 잘라내어 딥러닝 모델로 검증하도록 하였다. 이렇게 하면 팔레트 검출 시간과 검증 시간을 단축시킬 수 있다. 물류현장에서 실제로 활용 할 시 전통적인 기법으로 먼저 영상에서 팔레트 후보를 검출한 후 검출된 영역을 딥러닝 모델에 입력하여 팔레트 여부를 검증하도록 하여 실행속도를 줄일 수 있다. 이때 비전기반 영상처리 시 팔레트 후보 판단 정책을 느슨하게 하여 실제 팔레트가 필터링 되지 않도록 하며, 딥러닝 모델에서 팔레트 여부를 검증 및 필터링 하도록 한다.

먼저 초음파 센서는 저렴하고 구현이 편리하지만, 물체의 크기가 크면 다수의 센서가 필요하며 해상도가 낮아 객체 파악 능력이 다소 떨어진다. 레이저 거리계의 경우 정밀하고 안정적인 측정값을 얻을 수 있으나 센서가 비싸며 스캔 영역이 2차원이므로 3차원 물체의 형상을 얻으려면 스캔 평면과 수직인 방향으로 여러 번 스캔해야 한다. 그러므로 이러한 액티브 센서의 경우 정밀한 위치나 좌표측정에는 유리하지만, 전체적인 상황판단이나 물체의 모양을 획득하는 데는 어렵다는 것을 알 수 있다.

한편, 비전 센서의 경우, 카메라의 가격이 저렴하고 이미지의 데이터양이 많아 전체적인 상황판단이나 물체의 모양을 획득하거나 위치를 검출하는 부분에서 유리함을 알 수 있다. 반면 이러한 데이터를 해석하고 활용하는 데 많은 연산이 필요하며 이를 잘 처리할 수 있는 소프트웨어에 의해 시스템의 성능이 좌우된다고 할 수 있다.

이러한 장단점을 상호 보완하기 위해 정밀한 좌표 측정에 유리한 레이저 센서와 상황판단에 유리한 비전 센서를 혼용한 퓨전 센서 방식이 사용되기도 한다[9][10].

[11]은 레이저 센서의 데이터를 이용하여 딥러닝 시스템에 적용한 연구이다. 이 기법은 정밀한 측정과 팔레트 인식을 레이저 거리계 하나로 수행할 수 있는 장점이 있으나 다양한 높이의 팔레트를 측정하기 위해 높이를 변경하는 경우 인식과 측정에 딜레이가 생길 가능성이 있다.

전통적인 비전기반 영상처리를 통하여 팔레트를 검출하는 경우 정해진 팔레트의 구조정보나 색상정보를 이용하게 되는데, 주로 형태학 연산에 기반하여 특징을 추출하고 이 특징들의 정보와 색상정보를 조합하여 팔레트 여부를 판단하게 된다. 이러한 방법은 조명의 변화나 음영의 변화 및 탐지해야 할 팔레트의 일부를 장애물이 가리는 등의 외란에 매우 취약하게 된다.

한편, 팔레트 인식에 딥러닝 방식만을 적용하는 경우 외란에 강하며 매우 높은 인식률을 달성할 수 있으나 큰 이미지의 경우 컨볼루션 신경망(Convolutional neural networks) 연산비용으로 실시간 수행이 어렵게 되어 물류 현장에 실용화가 어려운 문제점이 있다.

본 연구에서 제안하는 팔레트 위치 측정 시스템은 기존의 영상처리 기법과 딥러닝 기법을 상호보완적으로 활용하였다. 전통적인 비전기반 영상처리 기법을 활용하여 팔레트 후보를 검출하는 단계와 딥러닝을 통하여 팔레트를 검증하는 단계로 구성하였다.

3.1 영상처리를 통한 팔레트 영역 검출

그림 2는 이미지에서 팔레트 영역을 검출하기 위한 영상처리 과정에 대한 예시이며 그 순서는 다음과 같다.

Fig. 2. 
Pallet Image processing procedure, (a) Input image, (b) Undistorted image, (c) Binarized image, (d) Labeled image, (e) Hole candidates, (f) Final hole pair

ㄱ. 입력영상은 방사형 왜곡(Radial distortion)이 심하므로 왜곡을 보정하고 그레이스케일 이미지로 변환한다. 그림 2(a)에서 실물 직선의 왜곡된 부분이 그림 2(b)에서 바른 직선으로 보정되었음을 알 수 있다.

ㄴ. 그림 2(c)는 팔레트 영상에서 음영을 검출하기 위하여 적절한 임계값을 이용하여 이진화를 수행한 것이다.

ㄷ. 그림 2(d)는 이진화 이미지에 대하여 레이블링 연산을 수행한 결과이다.

ㄹ. 그림 2(e)는 레이블링 된 블롭(Blob)에 대하여 최소 바운딩 박스를 적용한 것이다. 이 때 바운딩 박스의 가로, 세로 비율이 팔레트 음영의 비율과 유사한 바운딩 박스만 남기도록 한다.

ㅁ. 그림 2(f)는 크기가 유사한 바운딩 박스 쌍을 만들고, 각 쌍에 대하여 방향이 유사한지 조사하여 유사한 방향을 가지는 쌍 후보만을 남긴 최종 결과이다.

ㅂ. 각 쌍에서 바운딩 박스의 간격과 바운딩 박스의 크기 비율이 팔레트의 기하구조와 유사한지 검사한다.

ㅅ. 이 과정을 통과한 쌍을 팔레트 후보로 하고 바운딩 박스 영역 주변으로 직사각형의 관심영역을 설정한다. 이 때 관심영역은 가로 세로 비율 약 3:1로 설정하였다.

그림 3은 생성된 바운딩 박스의 예시 그림이다. 그림 3(a)는 정상적으로 팔레트 영역을 검출한 예시이다. 그러나 그림 3(b), (c), (d)는 오검출 예시이다. 그림 3(b)는 팔레트가 아닌 부분에서 검출되었으며, 그림 3(c)의 경우는 팔레트가 아닌 부분에서 검출되었지만 팔레트 부분에서도 검출되었음을 볼 수 있다. 팔레트가 단색인 사실을 이용하면 그림 3(b)와 (c)의 경우 모두 주변부의 색깔 분포를 이용하여 고전적인 기법에서도 어느 정도의 필터링이 가능하다. 반면 그림 3(d)의 경우는 주변부의 색깔도 모두 동일하며 음영부분의 비율과 기울기 등 대부분의 조건이 팔레트의 음영부분과 유사하다. 일반적인 적재를 위한 팔레트와 지게차의 거리 정보를 활용하면 그림 3(c)와 같은 작은(먼 거리에 있는) 팔레트도 필터링할 수 있으나 이는 근본적인 해결책은 되지 못한다. 그러므로 Ⅲ.3.1의 ㅂ 단계에서 검출된 팔레트 후보 바운딩 박스 영역에 대하여 딥러닝 모델을 이용하여 해당 영역이 팔레트인지 아닌지 검증하도록 하였다.

Fig. 3. 
Pallet candidate bounding box, (a) Accurate detection sample, (b) False detection sample, (c) False detection sample, (d) False detection sample

그림 4는 최종적으로 검출된 팔레트 바운딩 박스로 2개의 음영부분은 적색 바운딩 박스로, 팔레트 전체 영역은 녹색 바운딩 박스로 표현되어 있다. 전통적인 팔레트 영역 검출 기법에서 걸러내지 못한 오인식 영역이 모두 필터링 되었음을 볼 수 있다.

Fig. 4. 
Finally detected bounding box

3.2 딥러닝 팔레트 학습 및 검증

그림 5는 딥러닝에 사용하기 위하여 생성된 팔레트 영역 이미지 예시이다. 영상처리를 통하여 검출된 팔레트 영역의 이미지를 딥러닝을 이용하여 학습시킨다. 앞서 검출된 팔레트 영역의 이미지는 가로 세로 비율이 약 3:1 이지만 영상에서 나타나는 팔레트의 크기는 제각각이므로 딥러닝의 학습 데이터로는 적합하지 못하다.

Fig. 5. 
Data set for deep learning training

그러므로 3:1의 비율을 가지는 팔레트 영역의 이미지를 168*42 픽셀 크기로 변환하여 학습을 위한 입력 영상으로 사용하였다(Ⅲ.3.1 ㅂ 단계에서 생성된 이미지). 이 단계에서는 전 단계에서 검출한 바운딩 박스 영역이 팔레트인지 아닌지를 검증하는 단계로 학습이미지에는 큰 변화가 없다.

그림 6은 팔레트 영역으로 검출된 바운딩 박스 영역을 학습한 결과이다. 딥러닝 모델은 최근 전이학습으로 많이 사용하고 있는 Resnet50을 사용하였다. Resnet50은 ImageNet으로 이미 사전 학습된 모델이므로 팔레트를 학습하였을 때 수렴속도가 빠른 것을 확인할 수 있다. 또한 학습 이미지가 대부분 입력사이즈(168*42 픽셀)에 최적화 되어 있으므로 정확률이 100%에 수렴하는 것을 볼 수 있다.

Fig. 6. 
Palette training results for validation

실험 환경 하드웨어는 인텔 i5-4460 CPU, 16GB RAM, Geforce GTX1060을 사용하였으며 윈도우10 운영체제에서 OpenCV와 텐서플로 라이브러리를 사용하였다. 실험에 사용된 팔레트는 한국표준 팔레트로 1100*1100*150 규격을 사용하였다.

제안한 방법을 이용하여 팔레트 인식을 수행한 결과 비전기반 영상처리 방법의 정확률이 62.4%이고, 딥러닝 검증 기법을 적용한 결과 정확률은 98.9%였으며 전체 이미지를 학습시켰을 때 보다 팔레트 검출 시간이 단축되어 인식 속도가 현저히 빨라졌음을 알 수 있었다.

기존의 비전기반 영상처리 방법에서는 세부적인 팔레트의 디테일을 인식할 수 없어 팔레트와 매우 흡사한 2차원 패턴도 팔레트로 오인식 하였지만, 본 논문에서는 딥러닝 학습 모델을 이용하여 검출한 이미지에 대하여 팔레트 검증 기법을 적용하였으므로 오인식 된 이미지를 간단히 필터링 할 수 있었다.

비전기반 영상처리 기술의 경우 처리 속도에서 현저히 빠른 장점이 있지만 영상의 외란에 의한 오인식 문제가 해결하기 어려운 과제로 남아 있었다. 또한 딥러닝의 합성곱 신경망을 이용한 팔레트 검출의 경우 반복적인 컨볼루션 연산비용으로 실시간 실물 이미지에 대한 느린 처리속도가 한계점으로 남아있었다.

본 논문에서는 그동안 비전기반 기술을 이용한 무인 물류자동화 시스템을 위한 팔레트 위치 측정 분야에서 딥러닝 기술을 적용하였다. 비전기반 팔레트 위치측정 이후 딥러닝을 통하여 팔레트 검증 부분을 추가함으로써 오인식 문제를 해결하여 성능을 개선하였다. 현재 연구는 입력 영상에서 팔레트와 유사한 모양이나 패턴을 가진 후보영역을 필터링하였으나 향후에는 팔레트 슬롯이 장애물로 가려진 상황이나 팔레트의 일부에 강한 그림자가 생긴 경우에도 인식 할 수 있도록 성능을 향상시킬 필요가 있다.