3방향 레이블링과 면특성을 이용한 다단 팔레트 인식

2.1 전처리과정

전처리과정에서는 영상이 입력되면 팔레트인식을 위해 먼저 영상 이진화와 잡음 제거를 수행한다. 본 실험에서는 면의 특성을 이용하기 위해 영상을 2진화하는데 이진화 과정 중 잡음이 많이 생기게 된다. 잡음이 많이 검출되면 정확한 팔레트 영역을 설정할 수 없다. 따라서 잡음 제거 단계에서 블러링 및 샤프닝, 모폴로지 등을 모두 이용하여 잡음을 제거한다.

2.2 후보영역 추출

팔레트는 직사각형과 유사한 형태를 띠고 있다. 따라서 직사각형이 가지고 있는 가로 및 세로 직선 성분을 검출하는 과정이 수행된다. 이를 위해 본 과정에서는 허프변환과 3-방향 레이블링 기법을 함께 사용하여 가로세로 직선검출을 수행한 후 가로성분과 세로 성분이 교차하는 영역을 후보영역으로 추출한다[8][9]. 허프변환에 의한 검출에서는 어느 정도 길이가 있는 가로 세로 성분이 모두 검출된다[10]. 그러나 본 논문에서 사용되는 팔레트는 두 개의 포크가 들어가기 때문에 팔레트가 두 개의 영역으로 나누어지며 이들을 구분하는 것은 짧은 세로 선이기 때문에 짧은 세로선 인식이 필수적이다.

짧은 세로 성분을 효과적으로 검출하기 위해 본 논문에서는 3-방향 레이블링 기법을 사용하였다. 레이블링은 이진 영상에서 인접한 이웃 물체 화소에 동일한 번호를 붙여 물체영역을 비선형적으로 분할하는 기법을 의미한다[8]. 일반적으로 기준 화소를 중심으로 이웃하는 화소는 그림 2와 같이 8개 방향 즉, 동(E), 서(W), 남(S), 북(N), 북동(NE), 북서(NW), 남동(SE), 남서(SW)로 나뉘게 된다.

Fig. 2.

8-neighbor pixels

본 논문에서는 검출하고자 하는 세로선은 좌상단(0, 0)에서 시작하여 우하단까지 Y축 하단방향으로 진행하면서 세로선을 탐색하기 때문에 남(S), 남서(SW), 남동(SE)의 이웃 화소만을 탐색하게 된다. 기준 화소를 (x, y)라고 할 때 남(S)은 (x, y+1), 남서(SW)는 (x-1, y+1), 남동(SE)은 (x+1, y+1)의 위치로 표시할 수 있다. 3-방향 레이블링은 다음 두 단계 과정으로 진행된다.

첫 번째 단계는 3방향 레이블링 된 이웃 화소의 번호 중 작은 것을 선택하여 레이블 연결 테이블(LCT)에 저장하는 과정이 수행된다. 영상의 모든 화소값의 레이블 번호를 0으로 초기화한 후, 좌상단(0, 0)부터 화소를 탐색한다. 만약 레이블링 된 화소가 아니라면, 레이블링 된 이웃 화소를 찾는다. 레이블링 된 이웃 화소가 없다면 현재 화소를 신규 레이블링 그룹으로 추가하고, 레이블링 된 이웃 화소가 있다면 주변 이웃의 레이블링 그룹 중 최소값의 레이블링을 등록한다.

두 번째 단계는 연결된 영역의 레이블을 가장 작은 번호로 일치시키는 과정이 수행된다. 좌상단(0, 0)부터 레이블링 된 화소를 순차적으로 탐색한다. 연결 관계 추적에 의하여 레이블 수정이 이루어지는데, 레이블링 된 화소와 다른 레이블링 된 화소가 연결 관계에 의해서 이웃이라면 해당 레이블을 병합하는 과정을 거친다. 병합된 레이블에 의해 통합된 레이블 중 삭제되는 레이블이 생기므로, 레이블을 순차 정렬한 후 순서에 따라 레이블을 부여하면 최종 3-방향 레이블링 과정이 종료된다. 3-방향 레이블링에 의해 세로선이 검출되면 허프변환을 통해 얻어진 영상과 합하여 가로성분과 세로 성분이 교차하는 영역을 후보 팔레트 영역으로 추출하게 된다.

2.3 후보영역 검증 및 팔레트 검출

후보영역 검증에서는 2.2절의 후보영역 추출과정으로부터 얻어진 후보 팔레트 영역에 대해 실제 팔레트인지를 검사하는 과정이 진행된다. 그림 1의 팔레트에서 포크가 입력되는 부분을 상세히 표현하면 그림 3과 같이 나타낼 수 있으며 다음과 같은 구조적 특징이 있음을 알 수 있다.

Fig. 3.

Structural features of pallette

첫째, 팔레트에서 포크가 입력되는 부분은 검정색의 빈 공간으로, 이는 일정 면적을 가진 직사각형의 면으로 간주할 수 있으므로 가로세로 일정 면적을 가진 직사각형으로 판단할 수 있다.

둘째, 팔레트는 직사각형이 일렬로 존재하며 이들은 두 개의 직사각형이 세로선에 의해 분리되어 있는 구조를 갖는다.

셋째, 팔레트는 길이가 긴 상, 하 두 개의 가로선과 짧은 길이를 가진 세 개의 세로선으로 이루어지며, 중앙 세로선을 중심으로 양쪽 대칭 구조를 갖는다.

넷째, 직사각형은 4개의 꼭지점을 가지며 각 꼭지점은 시계방향으로 배열되어야 한다. 꼭지점은 물체윤곽선의 기울기 변화가 지역에서 가장 큰 점으로 본 논문에서는 꼭지점을 그림 4와 같이 세 종류의 꼭지점 즉, 제1 꼭지점, 제2 꼭지점 및 제3 꼭지점으로 분류한다. 제1 꼭지점은 정확하게 코너에 존재하는 꼭지점으로 정의하며, 제2 꼭지점은 제1 꼭지점 지역을 제외하고 현재 점이 변위 점보다 MER 변에 가장 근접하는 경우에 발생하는 꼭지점으로 정의하고. 제3 꼭지점은 제2 꼭지점 지역을 제외하고 변위 점이 현재 점보다 MER 변에 가장 근접하는 경우에 발생하는 꼭지점으로 정의한다.

Fig. 4.

Vertices

그림 5, 그림 6은 제2 꼭지점과 제3 꼭지점을 상세히 정의한 것이다. MER은 허프변환에 의한 가로선과 3-방향 레이블링에 의해 구해진 세로선이 교차하는 지점을 연결한 영역을 의미한다.

Fig. 5.

Second vertex

Fig. 6.

Third vertex

꼭지점을 검출하는 과정은 2단계로 진행되는데 1단계에서 제1, 제2, 제3, 세 종류의 꼭지점을 탐색하며, 2단계에서는 1단계에서 탐색한 꼭지점이 세 종류의 꼭지점 중 어떤 꼭지점에 해당하는지 결정하고 배정하는 과정을 진행한다. 꼭지점이 검출되면 꼭지점이 시계방향으로 배열되었는지를 검증하게 된다.

그림 7과 같이 꼭지점 네 개의 위치를 각각 NW(x, y), NE(x, y), SW(x, y), SE(x, y)라고 하면 다음 조건을 만족시켜야 한다.

Fig. 7.

Position of vertices

NW.x < NE.x, NE.y < SE.y, SE.x > SW.x, SW.y > NW.y

이는 NW위치에 있는 꼭지점은 NE보다 왼쪽에 있고, SW보다는 위쪽에 존재해야 한다. NE꼭지점은 SE보다 위쪽에 존재해야 하며 SE는 SW보다 우측에 존재해야 함을 의미한다.

다섯째, 전처리과정이 수행된 후 2진화된 팔레트에서 포크 입력 부분인 직사각형은 검정색으로 0의 값을 가지며, 직사각형을 둘러싸는 에지는 흰색으로 255 값을 가지게 되며, 그림 3에서와 같이 직사각형 가로 방향 길이와 에지의 길이는 약 9:1의 비율을 가지며, 세로 방향은 1:2:1의 비율을 갖는다.

이상과 같은 팔레트의 특성을 이용하여 2.2절에서 추출된 팔레트 후보영역에 대해 5단계 검증과정을 진행한 후 최종 팔레트 영역을 검출하게 된다.

3.1 제안된 알고리즘에 의한 인식 결과

그림 8은 그림 1의 2m 떨어진 팔레트 영상을 2진화한 후 잡음을 제거한 전처리 영상이다. 그림 9는 그림 8의 전처리 영상을 허프변환 한 결과를 나타낸 것으로 그림 9(a)은 1단 팔레트에 대한 허프변환 영상을, 그림 9(b)은 2단 팔레트에 대한 허프변환 영상을 나타낸다. 허프변환 영상에서 팔레트 부근의 세로선이 충분히 검출되지 않음을 볼 수 있다.

Fig. 8.

Pre-processed images

Fig. 9.

Hough-transformad images

그림 10은 그림 8의 팔레트에 대해 3-방향 레이블링을 수행한 결과 영상을 나타낸 것으로 그림 10(a)은 1단 팔레트에 대한 3-방향 레이블링을, 그림 10(b)은 2단 팔레트에 대한 3-방향 레이블링을 나타낸다. 그림 9의 허프변환에서보다 세로선들이 충분히 검출됨을 볼 수 있다.

Fig. 10.

3-directions labeling images

그림 11은 허프변환과 3-방향 레이블링을 결합한 영상으로 그림 11(a)는 1단 팔레트를, 그림 11(b)는 2단 팔레트에 대한 결합 영상을 나타낸다. 허프변환 결과는 빨간색, 3-방향 레이블링 결과는 파란색으로 표시하였다. 그림 12는 그림 11의 결합 영상에서 가로세로 성분이 교차하는 팔레트 후보영역을 추출한 것이다. 후보영역은 녹색으로 표시하였다. 그림 12(a)의 1단 팔레트에 대해서는 2개의 영역이 팔레트 후보영역으로 추출되었으며, 그림 12(b)의 2단 팔레트에 대해서는 3개의 영역이 팔레트 후보영역으로 추출되었다.

Fig. 11.

Combined images

Fig. 12.

Candidates for pallet regions

그림 12에서 추출된 팔레트 후보영역에 대해서 최종 팔레트 영역을 추출하기 위해서 2.3절에서 설명한 5단계 검증과정이 수행된다.

그림 13은 5단계 검증과정을 거쳐 최종 검출된 팔레트 영역을 나타낸다. 그림 13(a)는 1단 팔레트가 검출된 영상이며, 그림 13(b)는 2단 팔레트가 검출된 영상이다. 5단계 검증단계를 거치면서 매우 정확한 팔레트가 검출된 것을 볼 수 있다. 3-방향 레이블링 기법을 추가하여 세로선을 추가로 검출함으로써 가로선의 정보가 약간 소실되는 경우에도 세로선에 의해 팔레트가 정확히 추출됨을 알 수 있다.

Fig. 13.

Detected pallets

그림 14는 자율주행 지게차에서 거리 2.5m에 떨어진 2단 팔레트 영상이며, 그림 15는 그림 15의 팔레트를 추출한 최종 영상이다.

Fig. 14.

2.5m two-stage pallets

Fig. 15.

Detected pallets

그림 15에서 하단 팔레트의 가로선의 정보가 약간 소실되었지만, 세로선 정보에 의해 2개의 팔레트가 완벽하게 인식됨을 알 수 있으며 2.5m 떨어진 위치에 있는 팔레트도 제안된 알고리즘을 통해 정확히 검출됨을 보였다.

3.2 허프변환에 의한 인식결과와의 비교

허프변환은 선검출에서 많이 이용되는 알고리즘이다. 그림 16 및 그림 17은 1단, 2단 팔레트에 각각에 대해 허프변환을 이용하여 검출한 최종 팔레트를 나타낸다.

Fig. 16.

Detected pallet by Hough transform

Fig. 17.

Detected pallet by Hough transform

검출된 팔레트는 연두색으로 표현하였다. 팔레트 후보 영역 설정은 대부분 팔레트의 세로선이 검출되지 않았기 때문에 팔레트의 상단 및 하단 부분의 특징만을 이용하여 검출하였다. 그림 17과 같이 1단 영상의 경우 팔레트 후보로 찾아낸 영역은 6개의 부분이나, 실제 팔레트는 검출되지 않은 모습이다.

그림 17의 2단 영상의 경우 팔레트 후보로 찾아낸 영역은 3개의 부분이나, 실제 팔레트는 1개만 검출되었다.

또한, 2.5m 2단 영상의 경우 팔레트 후보로 찾아낸 영역은 1개의 부분이고, 실제 팔레트도 1개만 검출되었다. 따라서 허프변환에 의한 인식결과에 비해 제안된 알고리즘에 의한 인식결과가 양호함을 알 수 있다.