Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 22, No. 5, pp.71-81
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 May 2024
Received 07 Feb 2024 Revised 22 Mar 2024 Accepted 25 Mar 2024
DOI: https://doi.org/10.14801/jkiit.2024.22.5.71

다개체 로봇 SLAM에서 투영 지도 특징점 매칭을 이용한 효율적 3차원 지도 병합

김도연* ; 이헌철**
*금오공과대학교 IT융복합공학과 석사과정
**금오공과대학교 IT융복합공학과 부교수(교신저자)
Efficient 3D Map Merging with Feature Matching of Projected Maps in Multi-Robot SLAM
Doyeon Kim* ; Heoncheol Lee**

Correspondence to: Heoncheol Lee Dept. of IT Convergence Engineering, School of Electronic Engineering Kumoh National Institute of Technology, Korea Tel.: +82-54-478-7476, Email: hclee@kumoh.ac.kr

초록

본 논문은 실내 환경에서 다중 로봇 시스템을 위한 3차원 지도 병합 문제를 다룬다. 개별 로봇이 취득한 개별 지도들의 크기가 크기 때문에, 3D 지도 병합은 많은 계산 시간을 요구하며, 이는 실시간 성능을 저하시킬 수 있다. 또한, 같은 환경에서도 로봇들은 다른 움직임으로 인해 개별 지도들은 상당히 다를 수 있으며, 이는 지도 병합의 정확도를 저하시킬 수 있다. 이러한 문제들을 해결하기 위해, 본 논문은 투영된 지도를 활용한 특징점 매칭과 지도 병합 결정 모듈을 포함하는 효율적인 3D 지도 병합 방법을 제안한다. 실제 환경에서 수행된 실험은 제안된 방법이 기존 방법과 비교하여 시간을 최소 58.68% 단축하며, 초기 추정값이 없음에도 지도 병합을 성공적으로 수행함을 보여준다.

Abstract

This paper addresses the problem of three-dimensional(3D) map merging for multi-robot systems in indoor environments. Due to the large sizes of individual maps acquired by different robots, the 3D map merging requires much computation time, which may degenerate the realtime performance. Also, the individual maps may be quite different due to the different movements of robots even for the same areas, which may degenerate the accuracy of map merging. To solve the problems, this paper proposes an efficient 3D map merging method with feature matching of projected maps and a map merging decision module. Experimental conducted in real-world have shown that the proposed method saves at least 58.68% time compared to existing methods, and successfully performs map merging even without initial guess.

Keywords:

multi-robot SLAM, map merging, feature matching, projected maps, map merging decision

Ⅰ. 서 론

현대 사회에서 자동화와 효율성의 추구가 증가함에 따라, 로봇 기술에 대한 관심도 함께 높아지고 있다. 특히 다중 로봇 시스템은 기존 단일 로봇으로 수행되던 작업을 여러 로봇이 분담하여 해결할 수 있어, 다양한 산업 분야에서 그 가치를 인정받고 있다.

다중 로봇 시스템이 할당된 작업을 자율적으로 수행하기 위해서는, 환경에 대한 사전 정보를 갖고 있지 않은 한, SLAM(Simultaneous Localization And Mapping) 기술이 필요하다. SLAM이란 로봇이 미지의 환경을 자율적으로 탐사하고 다양한 객체와의 상호작용하기 위한 핵심 기술 중 하나이며, 로봇이 자신의 위치를 추정함과 동시에 주변 환경에 대한 지도를 생성하는 기술이다. 하지만 단일 로봇을 사용하여 넓은 환경의 지도를 생성하는 접근 방식은 센서의 측정 범위, 배터리 효율성, 그리고 시간적 제약 등을 고려했을 때 비효율적인 모습을 보인다.

이러한 한계를 극복하기 위해 다중 로봇 SLAM이 필요하며, 그 과정에서 각 로봇의 지도 간 정확한 위치와 방향 관계를 결정하고 이를 바탕으로 지도를 정합시켜 전체적인 환경을 나타내는 하나의 지도를 생성하는 지도 병합(Map-merging) 과정이 수행되어야 한다.

생성된 전역 지도는 모든 로봇이 전역 좌표계로 구성된 환경을 사용하여 작업을 수행할 수 있도록 만들며, 또한 다른 로봇이 수집한 정보까지 포함되어 작업 수행에 있어 효율적인 경로 계획을 수립할 수 있는 장점이 있다.

2차원 혹은 3차원의 지도 병합 문제를 해결하기 위해 제안된 선행 연구는 표 1에 정리되어 있다. 지도 병합 기술은 크게 두 가지 방법으로 구분할 수 있다. 첫 번째는 다중 로봇 시스템을 활용한 직접적 지도 병합 방법으로, 이는 로봇 관측 정보 기반 지도 병합[1]-[5]과 공통 객체 기반 지도 병합[6]-[10]이 포함된다. 로봇 관측 정보 기반 지도 병합은 각 로봇이 서로 만나는 지점이 있다는 전제가 필요하고 공통 객체 기반 지도 병합 방법은 각 로봇이 서로 동일 객체를 검출해야 하므로 두 방법 모두 사용하는 센서의 정확도에 민감하고 환경에 의존적인 단점이 있다.

Cartegories for map merging methods

두 번째로는 다중 로봇 시스템을 사용하지 않고 지도 간 매칭을 통해 이루어지는 간접적 지도 병합 방법으로, 특징점 기반 지도 병합[11]-[15], 스캔 매칭 기반 지도 병합[16]-[21], 스펙트럼 기반 지도 병합 방법[22]-[24]을 포함한다. 이 방법들은 공통으로 많은 시간이 소요되는 단점이 있으며, 특히 3차원 지도 병합에 주로 사용되는 스캔 매칭 기반 방법은 지도 병합 과정에서 국소 최솟값(Local minima)에 수렴할 수 있어, 특징점 기반 방법을 함께 사용되거나 초기 추정값(Initial guess)을 계산하기 위한 전역 정합 기법이 사전에 수행되어야 할 수 있다. 이러한 과정은 추가적인 시간 소요를 발생시키기 때문에 실시간 지도 병합 시스템에 적합하지 않다.

이러한 한계를 해결하기 위해, 본 논문은 실내 환경에서의 실시간 3차원 점 군 지도 병합을 수행할 때 특징점 기반 지도 병합이 가지는 시간적 문제와 지도 병합이 실패하는 문제를 해결하기 위해 3차원 점 군을 2차원 점유 격자 지도로 투영하는 방법 및 지도 검사 모듈을 제안하였다.

제안된 방법은 지도 병합의 실패 경우를 줄여, 신뢰할 수 있는 결과를 나타내며, 실제 환경에서 획득한 데이터를 이용하여 실험하였을 때 기존 방법과 비교하여 적은 시간 소요를 발생시켜 실시간 지도 병합 시스템으로 적합성을 나타내었다.

본 논문은 다음과 같은 순서로 구성되어 있다. 2장에서 다중 로봇 SLAM의 지도 병합 문제를 정의와 함께 3차원 지도 병합의 문제점에 관해 기술한다. 3장에서는 본 논문에서 제안한 기법을 설명하며, 4장에서는 실험 환경 및 실험 결과를 분석한다. 마지막 5장에서는 결론과 향후 연구 계획을 제시한다.


Ⅱ. 문제점 기술

2.1 지도 병합 문제 정의

다중 로봇 SLAM에서 중요한 과정 중 하나는 각 로봇이 수집한 지도 데이터를 하나의 통합된 지도로 병합하는 지도 병합 과정이다. 이 과정은 각 로봇이 생성한 지도 간 변환 행렬[25]을 계산함으로 수행된다. 따라서 3차원 점 군 지도 병합 문제는 아래 수식과 같이 3차원 변환 행렬로 정의할 수 있다.

Tx,y,z,α,β,γ=RxαRyβRzγt01(1) 

여기서 t는 이동 벡터 [Δx, Δy, Δθ]T 이며, Rx(α), Ry(β), Rz(γ)은 각각 x, y, z 축을 중심으로 α, β, γ 만큼 회전하는 행렬을 나타낸다.

하지만 실내 환경에서 지도 병합을 수행할 때, 모든 변수를 계산하는 것은 비효율적 일 수 있다. 따라서 본 논문에서는 3차원 점 군 지도를 2차원 점유 격자 지도로 변환하여 효율적으로 변환 행렬을 계산한다. 따라서 지도 병합 문제를 아래 수식과 2차원 변환 행렬로 축소하여 정의할 수 있다.

Tx,y,θ=cosθ-sinθxsinθcosθy001(2) 

2.2 3차원 지도 병합의 문제점

3차원 지도 변환 행렬을 계산하는 것은 2차원 지도 변환 행렬을 계산하는 것보다 계산해야 하는 변수의 수와 3차원 지도를 구성하는 점 군의 수에 의해 상당한 계산 비용을 동반한다. 3차원 점군 지도는 수십만에서 수천만 개의 3차원 점을 포함하고 있으므로 ICP와 같은 스캔 매칭 기반의 방법만 사용하여도 엄청난 계산 비용을 발생시키며, 또한 국소 최솟값에 수렴할 수 있어 신뢰할 수 없는 지도 병합이 도출될 수 있다.

이를 해결하기 위해 사전에 SHOT(Signature of Histograms of OrienTations)[26] 혹은 FPFH(Fast Point Feature Histogram)[27]와 같이 점과 점 사이의 관계를 계산하여 특징점을 추출하여 점 군 간 대응 관계(Correspondence)를 명확히 하는 방법을 사용하거나 Quatro++[28] 혹은 Teaser[29]와 같은 전역 정합 기법을 통해 계산된 초기 추정값을 이용하는 방법이 사용될 수 있는데, 이는 추가적인 시간 소요를 발생시켜 실시간 계산이 어렵다.

본 논문은 이러한 이유로 인하여 3차원 점 군 지도를 2차원 점유 격자 지도로 변환하여 지도 병합을 수행함으로, 계산 비용을 감소시키고 신뢰할 수 있는 지도 병합 결과를 나타내는 방법을 연구한다.


Ⅲ. 제안하는 기법

3.1 전체 구조

본 논문에서 제안하는 방법의 전체 구조는 그림 1과 같다. 서버는 각 로봇이 수집한 데이터를 처리하는 역할을 하며, 독립된 시스템 혹은 다중 로봇 시스템 내의 리더 로봇으로 구성될 수 있다.

Fig. 1.

Overall system pipeline

먼저, 각 로봇은 독립적으로 3D-SLAM을 수행하여 자신의 위치를 추정함과 동시에 3차원 점 군 지도를 생성한다. 이 과정에서, 로봇들은 자신들의 지역 위치와 지역 점 군 정보를 실시간으로 서버로 전송한다.

서버는 데이터가 수신될 때마다, 지도 투영(Map projection), 특징점 추출 및 매칭(Feature extraction and matching), 이상치 제거(Outlier filtering), 그리고 지도 병합 결정 모듈(Map-Merge decision module)을 순차적으로 반복 진행한다.

지도 투영 과정에서는 3차원 점 군 데이터를 2차원 점유 격자 지도의 형태로 변환하여, 지도 병합 단계에서 처리해야 할 변수의 수를 축소한다.

특징점 추출 및 매칭 과정에서는 점유 격자 지도 간의 변환 행렬을 계산하기 위해 Accelrated-KAZE(AKAZE)[30] 특징점을 추출하고, 각 점유 격자 지도 간의 상응하는 특징점을 매칭한다.

이상치 제거 과정에서는 특징점 매칭 과정에서 발생한 잘못된 매칭으로 지도 병합의 성능이 저하되는 것을 방지하기 위해 RANSAC(Random Sample Consensus)를 이용하여 이상치 제거(Outlier filtering) 수행한다.

최종적으로 남은 정상치는 지도 병합 결정 모듈에서 활용되어 지도 병합 수행 여부를 결정하고, 지도 병합 수행 여부에 따라 지도 병합을 수행한다.

3.2 지도 투영

지도 투영은 로봇의 지역 위치(Local pose)와 지역 점 군(Local PointCloud)을 받아 2차원의 점유 격자 지도를 생성하는 과정이다.

먼저, 점 군 정보는 사전에 정의된 높이 정보를 기반으로 천장과 바닥 영역을 제거한다. 천장과 바닥이 포함된 경우 점유 격자 지도 생성 시 자유 공간과 점유 공간을 구분할 수 없고 이는 특징점 매칭에 악영향을 주기 때문이다.

그 후 천장과 바닥 영역이 제거된 점 군과 로봇의 위치는 z축에 해당하는 값을 제거하여 2차원으로 변환하고, 변환 함수를 이용하여 x-y 좌표계에서 이미지 좌표계로 변환된다. 아래의 수식은 x-y 좌표계에서 이미지 좌표계로의 변환과 역변환을 나타낸다.

i=minmaxy-yoresolution,0, height(3) 
j=minmaxx-xoresolution,0, width(4) 
x=xo+j*resolution(5) 
y=yo+i*resolution(6) 

여기서 xo,yo는 지도의 원점, i, j는 점유격지도의 열과 행에 해당하는 인덱스를 나타내고, height, width, resolution은 각각 지도의 높이, 넓이, 해상도이다. 바닥 함수⌊∘⌋는 실숫값을 가장 가까운 작은 정수로 내림하여 정수형으로 형 변환을 나타낸다.

변환이 완료된 로봇의 위치와 점 군의 위치는 브레젠험 직선 알고리즘(Bresenham’s line algorithm)을 활용하여 점유 공간과 자유 공간을 식별하고, 이를 토대로 2차원 점유 격자 지도로 생성한다. 이 과정은 3D-SLAM이 수행되는 동안 지속해서 반복하며, 각 지도를 갱신하게 된다.

3.3 특징점 추출, 매칭 및 이상치 제거

지도 투영 과정을 거쳐 생성된 점유 격자 지도는 지도 간 특징점 매칭을 수행하여 변환 행렬을 구하기 위해 사용된다. 그림 2는 특징점 매칭을 위해 각 로봇이 생성한 점유 격자 지도이다.

Fig. 2.

Occupancy grid map for each robot

본 시스템에서는 특징점 추출을 위해 AKAZE 특징점을 사용한다. AKAZE 특징점은 KAZE[31] 특징점을 기반으로 개선된 알고리즘이다. AKAZE 특징점은 비선형 스케일 공간을 사용하여 기존 KAZE 특징점보다 노이즈에 강건한 특징점 빠르게 추출할 수 있다는 장점이 있다.

특징점들이 추출된 후, 완전 탐색(Brute Force Algorithm)을 이용하여 L2-Norm을 기준으로 가장 가까운 특징점들을 매칭한다. 하지만 매칭 쌍 중에는 지도 투영 과정 중 동적 객체의 영향으로 발생하는 이상치 및 여러 요인으로 발생하는 이상치가 포함될 가능성이 있어, 이를 직접 지도 병합에 사용하기에는 적합하지 않다. 따라서 이러한 이상치들을 제거하기 위해 Random Sample Consensus(RANSAC)을 적용한다.

RANSAC 과정에서는 무작위로 선택된 특징점 쌍을 기반으로 변환 행렬을 계산하고, 변환 행렬을 적용했을 때 정해진 오차 범위 이내에 존재하는 매칭 쌍의 개수를 계산한다. 이 과정을 반복하여 가장 많은 매칭 쌍을 제공하는 변환 행렬을 찾고, 이상치를 제거한다. 최종적으로 추출된 정상치는 지도 병합에 사용된다. 그림 3, 4는 이상치를 포함한 특징점 매칭의 결과와 RANSAC을 통해 이상치를 제거한 결과이다.

Fig. 3.

AZAZE feature matching result

Fig. 4.

Outlier filtering with RANSAC

3.4 지도 병합 결정 모듈

지도 병합 결정 모듈은 사전에 정의된 중복영역비율 임곗값(Overlap ratio threshold)과 연속프레임 임곗값(Overlap frame threshold)을 사용하여, 지도 병합 여부를 결정한다. 앞선 단계에서 RANSAC을 거쳐 이상치가 제거된 정상치라 할지라도 단일 프레임에서의 정상치를 그대로 지도 병합에 사용한다면, 복도와 같은 유사한 구조를 가진 환경에서 오인된 정상치로 인해 부정확한 지도 병합 결과가 발생할 수 있다.

이를 방지하기 위해, 지도 병합 결정 모듈은 연속된 프레임을 활용하여 이런 정상치들이 지도 병합에 적합한지를 판별하기 위해 설계되었다.

우선, 현재 프레임에서 계산된 정상치들의 좌표들을 활용하여 사각형의 내부 영역인 Acurr을 정의한다. 그 후, 이전 프레임에서 계산된 정상치들의 좌표들과 현재 프레임에서 계산된 정상치들의 좌표들의 합집합을 이용해, 해당 집합으로 나타낼 수 있는 사각형의 내부 영역인 Acombined을 정의한다.

계산된 두 영역, AcurrAcombined을 활용하여 현재 프레임의 정상치가 이전 프레임의 정상치로부터 얼마나 변했는지를 나타내는 중복영역비율 Roverlap을 계산한다. 중복영역비율이 1에 가까우면 현재 프레임의 정상치가 이전 프레임과 유사함을 의미하며, 0에 가까워질수록 크게 달라짐을 나타낸다. 따라서, 정해진 중복영역비율 임곗값과 연속프레임 임곗값을 만족하는 프레임이 연속될 경우, 이는 신뢰할 수 있는 정상치로 간주하여 지도 병합을 진행하게 된다.

표 2는 지도 병합 검사 모듈의 의사 코드이다. 여기서 ThratioThframe는 중복영역비율 임곗값과 연속프레임 임곗값을 의미하고, B, A, R 은 입력으로 받은 특징점 정상치 I를 포함하여 만들 수 있는 최소한의 사각형의 좌표, 내부 영역의 넓이, 중복 영역의 비율을 의미한다. C는 중복영역비율 임곗값 조건을 만족하는 연속된 프레임의 수를 나타내고 S는 지도 병합 여부를 나타낸다.

Map-merge-decision-module psudo-code


Ⅳ. 실험 결과

4.1 실험 환경 및 다중 로봇 시스템 구성

본 실험은 크기가 다른 두 가지의 실험 환경에서 진행되었으며, 지도 병합이 수행될 수 있도록 교차 영역을 형성하였다. 그림 5는 사용된 다중 로봇 시스템을 나타내며, 그림 6은 사용된 실험 환경과 각 로봇의 이동 경로를 나타낸다.

Fig. 5.

Robot configuration

Fig. 6.

Experimental environment and path for each robot

사용된 로봇은 OMOROBOT 사의 R1 모델이며, 3D LiDAR와 IMU는 각각 Velodyne 사의 VLP-16 모델과 Microstrain 사의 3DM-GX5-AHRS 모델을 사용했다. 로봇 간 통신을 위해 Iptime 사의 A9004M을 Mesh Network로 사용했다.

4.2 지도 병합 검사 모듈 결과

아래 그림들은 실험 간 지도 병합 검사 모듈을 수행했을 때 취득한 결과이다. 그림 7은 지도 병합 검사 모듈에 입력으로 들어갈 정상치 특징점들이며, 이를 바탕으로 그림 8과 같이 중복 영역을 계산한다. 마지막으로 그림 9과 같이 연속된 프레임 동안 중복 영역의 비율이 사전에 정의한 연속프레임 임곗값 이상이면 지도 병합이 수행된다.

Fig. 7.

Inliers for map-merge dicision module

Fig. 8.

Visualization of overlap area

Fig. 9.

Map-merge-dicision module results by frame

4.3 지도 병합 결과 및 분석

다음은 3차원 지도 병합 결과 및 분석에 관한 설명이다. 지도 병합의 정확도를 측정하는 것은 실내 환경에서의 다중 로봇 시스템의 지도 병합을 위한 공개 데이터의 부재와 정확한 평가 지표를 도출하는 데 어려움이 있다.

본 논문에서는 Loop Closure Detection에서 Loop 발생이 판별되면, 노드 간 변환 관계를 알기 위해 추가로 ICP와 같은 방법이 사용된다는 점과 [16]에서 ICP를 사용하여 지도 간 변환 관계를 계산한 것을 참고하여 ICP와 Voxelized-ICP와 제안된 방법을 비교하였다.

그림 10은 각 실험 환경에서 비교 알고리즘과 본 논문에서 제안한 알고리즘의 지도 병합 결과를 나타낸 것이다. 각 그림에서 파란색의 점 군 지도는 로봇 1이 생성한 지도이며, 초록색의 점 군 지도는 로봇 2가 생성한 지도이다. 사용된 ICP 알고리즘은 Open3D[32] 패키지에 내장된 함수를 사용하였으며 Voxelized-ICP는 ICP 과정 중 제안된 방법과 동일한 해상도를 가지도록 복셀화 과정을 추가하여 사용하였다. 또한 동일한 점 군 개수를 사용하기 위해 모든 방법에서 3.2에서 설명한 2차원에 투영된 점 군을 사용하였다.

Fig. 10.

Algorithm results in each experimental environmentTop row : ICP(a), Voxelized-ICP(b), Proposed method(c) map-merging result in experimental environment 1, Bottom row : ICP(d), Voxelized-ICP(e), Proposed method(f) map-merging result in experimental environment 2

비교 지표로 지도 병합 과정에서 소요된 시간(Time)과 지도 병합의 성공 여부(Success/Failure)를 측정하였으며 표 3에 정리되어 있다. 지도 병합 성공 여부는 사용된 방법의 수렴 여부를 나타낸 것이다. 표 3에 나타난 것과 같이, 제안된 방법은 시간 소요 측면에서 기존 방법보다 최소 58.68% 단축을 나타내어, 이는 제안된 방법이 실시간 지도 병합에 더 적합하다는 것을 보인다.

Comparison with ICP and Voxelized-ICP

또한, 그림 10에서 나타난 것과 같이 ICP와 Voxelized-ICP는 초기 추정값에 대한 민감성으로 인해 지도 병합에 실패하였지만, 제안된 방법은 초기 추정값 없이도 지도 병합에 성공함으로써 신뢰할 수 있는 지도 병합 결과를 제공한다.


Ⅴ. 결 론

본 논문은 실내 환경에서 운용되는 다중 로봇 시스템을 위한 실시간 지도 병합 기법을 제안한다.

제안된 기법은 지도 투영, 특징점 추출, 매칭 및 이상치 제거 및 지도 병합 검사 모듈을 포함하며, 3차원 점 군 지도 병합 시 발생하는 시간적 문제를 완화하고, 신뢰할 수 있는 지도 병합 결과를 제공한다.

이는 실제 환경에서 취득한 데이터를 이용하여 기존 방법과 비교하였을 때, 제안된 기법은 최소 58.68% 시간을 단축할 뿐만 아니라, 초기 추정값이 없음에도 성공적으로 지도 병합에 성공할 수 있음을 나타내어 입증하였다. 하지만 지도 투영 과정에서 발생하는 양자화 과정에서 오차가 발생할 수 있어, 향후 연구에서는 지도 병합 성능 향상을 위해 중복 영역 내의 3차원 평면의 구조적 정보를 활용함으로써 제안된 방법의 시간적 이점을 유지하면서 지도 병합의 오차를 최소화하는 정밀 매칭 연구를 진행할 계획이다.

Acknowledgments

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 지역지능화혁신인재양성(Grand ICT연구센터) 사업(IITP-2024-2020-0-01612) 및 과학기술정보통신부의 재원으로 정보통신기획평가원의 지원(No.2021-0-02087, 사회적 상호작용 기반 다중 로봇 자율 주행을 위한 3차원 Semantic Scene 재구성 응용 기술)을 받아 수행된 연구임.

References

  • H. C. Lee, "One-Way Observation-based Cooperative Robot Mapping", 2020 IEEE 16th International Conference on Automation Science and Engineering (CASE), Hong Kong, China, pp. 900-905, Aug. 2020. [https://doi.org/10.1109/CASE48305.2020.9216996]
  • H. C. Lee, S. H. Lee, M. H. Choi, and B. H. Lee, "Probabilistic Map Merging for Multi-Robot RBPF-SLAM with Unkown Initial Poses", Robotica, Vol. 30, pp. 205-220, Mar. 2012. [https://doi.org/10.1109/ACCESS.2021.3083936]
  • H. C. Lee and S. Lee, "Extended Spectra-Based Grid Map Merging With Unilateral Observations for Multi-Robot SLAM", IEEE Access, Vol. 9, pp. 79651-79662, May 2021. [https://doi.org/10.1017/S026357471100049X]
  • H. C. Lee, Y. J. Cho, and B. H. Lee, "Accurate map merging with virtual emphasis for multi‐robot systems", Electronics Letters, Vol. 49, No. 15, pp. 932-934, Jul. 2013. [https://doi.org/10.1049/el.2013.1572]
  • X. S. Zhou and S. I. Roumeliotis, "Multi-robot SLAM with Unknown Initial Correspondence: The Robot Rendezvous Case", 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems, Beijing, China, pp. 1785-1792, Oct. 2006. [https://doi.org/10.1109/IROS.2006.282219]
  • H. C. Lee and B. H. Lee, "Enhanced-spectrum-based map merging for multi-robot systems", Advanced Robotics, Vol. 27, No. 16, pp. 1285-1300, Feb. 2013. [https://doi.org/10.1080/01691864.2013.819609]
  • F. Tungadi, W. L. D. Lui, L. Kleeman, and R. Jarvis, "Robust online map merging system using laser scan matching and omnidirectional vision", 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, Taipei, Taiwan, pp. 7-14, Oct. 2010. [https://doi.org/10.1109/IROS.2010.5654446]
  • X. Ma, R. Guo, Y. Li, and W. Chen, "Adaptive genetic algorithm for occupancy grid maps merging", 2008 7th World Congress on Intelligent Control and Automation, Chongqing, pp. 5716-5720, Jun. 2008. [https://doi.org/10.1109/WCICA.2008.4593862]
  • J. Park, A. J. Sinclair, R. E. Sherrill, E. A. Doucette, and J. W. Curtis, "Map merging of rotated, corrupted, and different scale maps using rectangular features", 2016 IEEE/ION Position, Location and Navigation Symposium (PLANS), Savannah, GA, USA, pp. 535-543, Apr. 2016. [https://doi.org/10.1109/PLANS.2016.7479743]
  • A. Birk and S. Carpin, "Merging Occupancy Grid Maps From Multiple Robots", Proc. of the IEEE, Vol. 94, No. 7, pp. 1384-1397, Jul. 2006. [https://doi.org/10.1109/JPROC.2006.876965]
  • H. C. Lee and B. H. Lee, "Improved feature map merging using virtual supporting lines for multi-robot systems", Advanced Robotics, Vol. 25, No. 13-14, pp. 1675-1696, Apr. 2011. [https://doi.org/10.1163/016918611X584631]
  • C. A. V. Hernandez and F. A. P. Ortiz, "A Real-Time Map Merging Strategy for Robust Collaborative Reconstruction of Unknown Environments", Expert Systems With Applications, Vol. 145, pp. 1-12, May 2020. [https://doi.org/10.1016/j.eswa.2019.113109]
  • M. Drwięga, "Features Matching based Merging of 3D Maps in Multi-Robot Systems", 2019 24th International Conference on Methods and Models in Automation and Robotics (MMAR), Miedzyzdroje, Poland, pp. 663-668, Aug. 2019. [https://doi.org/10.1109/MMAR.2019.8864711]
  • V. T. Ferrão, C. D. N. Vinhal, and G. da Cruz, "An Occupancy Grid Map Merging Algorithm Invariant to Scale, Rotation and Translation", 2017 Brazilian Conference on Intelligent Systems (BRACIS), Uberlandia, Brazil, pp. 246-251, Oct. 2017. [https://doi.org/10.1109/BRACIS.2017.69]
  • C. Chai and Y. Huang, "Two-step Method Grid Map Merging Based on Corner Points", 2022 41st Chinese Control Conference (CCC), Hefei, China, pp. 6298-6303, Oct. 2022. https::/doi.org/10.23919/CCC55666.2022.9902460.
  • P. Li, Z. Liu, and D. Huang, "3D Map Merging Based on Overlapping Region", 2019 3rd International Conference on Electronic Information Technology and Computer Engineering (EITCE), Xiamen, China, pp. 1133-1137, Oct. 2019. [https://doi.org/10.1109/EITCE47263.2019.9095028]
  • S. Sun, B. Xu, Y. Sun, and Z. Sun, "Sparse Pointcloud Map Fusion of Multi-Robot System", 2018 International Conference on Control, Automation and Information Sciences (ICCAIS), Hangzhou, China, pp. 270-274, Oct. 2018. [https://doi.org/10.1109/ICCAIS.2018.8570467]
  • Y. Chen, Y. Wang, J. Lin, Z. Chen, and Y. Wang, "Multi-Robot Point Cloud Map Fusion Algorithm Based on Visual SLAM", 2021 IEEE International Conference on Consumer Electronics and Computer Engineering (ICCECE), Guangzhou, China, pp. 329-333, Jan. 2021. [https://doi.org/10.1109/ICCECE51280.2021.9342251]
  • W. Liang, H. Lai, Z. Shi, and Y. Zhong, "Global Registration of Point Cloud Maps with Low-overlap Regions", 2022 41st Chinese Control Conference (CCC), Hefei, China, pp. 3743-3748, Jul. 2022. [https://doi.org/10.23919/CCC55666.2022.9902253]
  • A. Leon, R. Barea, L. M. Bergasa, E. Lopez, M. Ocana, and D. Schleicher, "SLAM and Map Merging", Journal of Physical Agents, Vol. 3, No. 1, pp. 13-23, Jan. 2009. [https://doi.org/10.14198/jopha.2009.3.1.03]
  • K. Wang, S. Jia, Y. Li, X. Li, and B. Guo, "Research on map merging for multi-robotic system based on RTM", 2012 IEEE International Conference on Information and Automation, Shenyang, China, pp. 156-161, Jun. 2012. [https://doi.org/10.1109/ICInfA.2012.6246800]
  • S. Carpin, "Fast and Accurate Map Merging for Multi-Robot Systems", Autonomous Robots, Vol. 25, pp. 305-316, Jul. 2008. [https://doi.org/10.1007/s10514-008-9097-4]
  • H. Lee, "Selective Spectral Correlation for Efficient Map Merging in Multi-Robot Systems", Electronics Letters, Vol. 57, No. 9, pp. 351-353, Mar. 2021. [https://doi.org/10.1049/ell2.12139]
  • H. C. Lee, "Grid Map Merging with Spectra-based PSO for Multi-Robot SLAM", The Transactions of the Korea Institute of Electrical Engineers, Vol 71, No. 5, pp. 734-743, May 2022. [https://doi.org/10.5370/KIEE.2022.71.5.734]
  • WIKIPEDIA Transformation matrix, https://en.wikipedia.org/wiki/Transformation_matrix#Examples_in_3D_computer_graphics, [accessed: Mar. 05, 2024]
  • F. Tombari, S. Salti, and L. Di Stefano, "Unique signatures of histograms for local surface description", Proc. of the 11th European Conference on Computer Vision, Heraklion, Crete, Greece, Vol. 6313, pp. 356-369. Sep. 2010. [https://doi.org/10.1007/978-3-642-15558-1_26]
  • R. B. Rusu, N. Blodow, and M. Beetz, "Fast Point Feature Histograms (FPFH) for 3D registration", 2009 IEEE International Conference on Robotics and Automation, Kobe, Japan, pp. 3212-3217, May 2009. [https://doi.org/10.1109/ROBOT.2009.5152473]
  • H T. Lim, B. S. Kim, D. B. Kim, E. M. Lee, and H. Myung, "Quatro++: Robust global registration exploiting ground segmentation for loop closing in LiDAR SLAM", The International Journal of Robotics Research, Nov. 2023. [https://doi.org/10.1177/02783649231207654]
  • H. Yang, J. Shi, and L. Carlone, "TEASER: Fast and Certifiable Point Cloud Registration", IEEE Transactions on Robotics, Vol. 37, No. 2, pp. 314-333, Apr. 2021. [https://doi.org/10.1109/TRO.2020.3033695]
  • P. F. Alcantarilla, J. Nuevo, and A. Bartoli, "Fast explicit diffusion for accelerated features in nonlinear scale spaces", British Machine Vision Conference (BMCV), Bristol, UK, pp. 9-13, Sep. 2013. [https://doi.org/10.5244/C.27.13]
  • P. F. Alcantarilla, A. Bartoli, and A. J. Davison, "KAZE features", European Conference on Computer Vision (ECCV), Florence, Italy, pp. 214-227. Oct. 2012. [https://doi.org/10.1007/978-3-642-33783-3_16]
  • Q. Y. Zhou, J. Park, and V. Koltun, "Open3D: A modern library for 3D data processing", arXiv preprint, arXiv:1801.09847, , Jan. 2018. [https://doi.org/10.48550/arXiv.1801.09847]
저자소개
김 도 연 (Doyeon Kim)

2024년 2월 : 금오공과대학교 전자공학부(공학사)

2024년 3월 ~ 현재 : 금오공과대학교 IT융복합공학과 석사과정

관심분야 : SLAM, Multi-Robot SLAM, Traversability Estimation, Navigation

이 헌 철 (Heoncheol Lee)

2006년 8월 : 경북대학교 전자전기컴퓨터학부(공학사)

2008년 8월 : 서울대학교 전기컴퓨터공학과(공학석사)

2013년 8월 : 서울대학교 전기컴퓨터공학과(공학박사)

2013년 9월 ~ 2019년 2월 : 국방과학연구소 선임연구원

2019년 3월 ~ 2023년 8월 : 금오공과대학교 전자공학부 IT융복합공학과 조교수

2023년 9월 ~ 현재 : 금오공과대학교 전자공학부 IT융복합공학과 부교수

관심분야 : SLAM, 자율주행, 인공지능, 알고리즘 가속화

Fig. 1.

Fig. 1.
Overall system pipeline

Fig. 2.

Fig. 2.
Occupancy grid map for each robot

Fig. 3.

Fig. 3.
AZAZE feature matching result

Fig. 4.

Fig. 4.
Outlier filtering with RANSAC

Fig. 5.

Fig. 5.
Robot configuration

Fig. 6.

Fig. 6.
Experimental environment and path for each robot

Fig. 7.

Fig. 7.
Inliers for map-merge dicision module

Fig. 8.

Fig. 8.
Visualization of overlap area

Fig. 9.

Fig. 9.
Map-merge-dicision module results by frame

Fig. 10.

Fig. 10.
Algorithm results in each experimental environmentTop row : ICP(a), Voxelized-ICP(b), Proposed method(c) map-merging result in experimental environment 1, Bottom row : ICP(d), Voxelized-ICP(e), Proposed method(f) map-merging result in experimental environment 2

Table 1.

Cartegories for map merging methods

Catecory Type Description Reference
Direct map merging Robot-to-robot measurments Using relative distance and direction between the robots when the robots meet each other at a rendezvous [1], [2], [3]
[4], [5]
Common objects Using locations and orientations of objects when each robot finds common object [6], [7], [8]
[9], [10]
Indirect map merging Feature matching Matching features of point cloud or images [11], [12][13], [14][15] [16][17][18]
[19]
Scan matching Applying scan matching algorithms such as ICP and NDT [20], [21]
Spectra-based matching Extracting and matching spectral information on maps [22], [23], [24]

Table 2.

Map-merge-decision-module psudo-code

Initial SequenceCount C
Threshold Th
Input
Output
Inliers I
Map merge state S
1 Do
2   Bcurr = MinimumBox (I)
3   Acurr = ContourArea(Bcurr)
4 Bcombined = Concatenate(Bcurr, Bprev)
5   H = ConvexHull(Bcombined)
6   Acombined = ContourArea(H)
7   Roverlap = Acurr / Acombined
8   if Roverlap > Thratio
9     C += 1
10   else
11     C = 0
12   if C > Thframe
13     S = True
14   else
15     S = False
16 end

Table 3.

Comparison with ICP and Voxelized-ICP

Method Time(s) Success/Failure
Env1 Env2 Env1 Env2
ICP 5.4712 17.6767 Fail Fail
Voxelized-ICP 0.2660 3.8537 Fail Fail
Proposed 0.1099 1.1796 success success