LMNet[6]은 LiDAR 스캔을 범위 이미지(Range image)로 변환하고, 컨볼루션 신경망(CNN, Convolutional Neural Network) 기반 U-Net 아키텍처를 활용하여 실시간으로 동적 객체를 분할하는 방법을 제안하였다.

현재 프레임과 이전 프레임 간의 잔차 이미지(Residual images)를 결합하여 프레임별 움직이는 객체를 식별한다. 이후, 2D 이미지에서 선택된 동적 객체 픽셀을 다시 3D 좌표로 복원하는 방식을 사용한다. LMNet은 일반적인 LiDAR 센서의 주사율(10Hz)을 초과하는 속도로 작동할 수 있어 실시간성이 보장되지만, 그림자 영역에서 잘못된 객체 분할이 발생할 수 있다는 한계가 있다.

4DMOS[7]는 일정 시간의 윈도우에 걸친 LiDAR 스캔을 4차원(4D, 4-Dimension) 시퀀스로 변환하고, Sparse 4D CNN을 활용하여 효율적이고 빠르게 공간-시간적 특징을 추출하여 동적 객체를 분할하는 방법을 제시하였다. 이 방식은 이진 베이즈 필터를 사용해 예측 결과를 융합하여 지속적인 개선이 가능하다. 4DMOS는 실시간 처리가 가능하다는 장점을 가지고 있지만, 복잡한 장면에서는 여전히 잘못된 객체 분할이 발생할 수 있다.

MapMOS[8]는 LiDAR 데이터를 기반으로 과거 모든 스캔을 통합하여 공간 신뢰도 맵(Volumetric belief map)을 구축하고, 이를 기반으로 동적 객체 분할을 수행하는 방법을 제안했다. 이 방법은 확률적 융합 기법과 베이즈 필터를 통해 초기 예측의 오류를 교정하고 매우 높은 정확도의 동적 객체 분할 결과를 얻을 수 있다. 그러나 높은 정확도를 얻어 좋은 맵을 구축하는 대신, 실시간성이 잃게 되어 즉각적인 자율주행 시스템에 적용하기에는 한계가 있다. 따라서, 이 방식은 실시간 처리보다는 디지털 트윈 등 후처리 기반의 태스크에 더 적합하다고 볼 수 있다.

평면 탐지 결과를 바탕으로 비동적 요소를 효과적으로 제거할 수 있지만, 이 과정에서 불필요하게 동적 객체의 일부를 제거하는 문제도 발생할 수 있다. 예를 들어, 그림 1(c)의 노란색 원으로 표시한 것과 같이, 자동차나 자전거의 바퀴, 사람의 발 등이 지표면에 근접해 있는 경우 평면 탐지 결과와 혼동되어 필터링 과정에서 동적 객체의 일부가 잘못 제거되는 현상이 발생할 수 있다. 이를 방지하기 위해 단순한 이진 필터링이 아닌 의미론적 정보(Semantic mask)를 활용하여 지표면 라벨을 가진 요소들만 제거하는 방법을 고려할 수 있다. 그러나 이 경우 새로운 딥러닝 모델의 설계와 학습이 필요하며, 자원이 많이 소모된다는 단점이 있다.

본 논문에서는 보다 직관적인 대안으로, 프로젝션 거리 기반 필터를 제안한다. 그림 2는 평면 탐지를 통해 추출된 프레임별 평면 모델을 바탕으로 정분류된 포인트 클라우드(하늘색)와 오분류된 포인트 클라우드(빨간색)를 해당 평면에 프로젝션 한 후 시각화한 것이다. 그림에서 초록색으로 표시된 부분은 제거해야 할 빨간색 점을 프로젝션 한 것으로, 그림자 영역을 나타내며, 제거해야할 대상이다. 반면, 노란색으로 표시된 부분은 하늘색 점을 프로젝션 한 것으로, 옳게 탐지되었으므로 유지해야 할 영역이다.

Fig. 2. 
Comparison between removal targets (shadow areas) and non-removal targets (points near the ground of dynamic objects)

프로젝션 거리 기반 필터의 핵심 아이디어는 초록색 점 근처에 노란색 포인트가 존재할 경우, 초록색 점의 근원인 빨간색 점을 유지하고, 그렇지 않다면 해당 빨간색 점을 제거함으로써 더욱 정교한 필터링을 진행할 수 있다.

필터링 과정을 위해 빨강색 포인트 클라우드를 R = {r₁, ..., r_n}, 초록색 포인트 클라우드를 G = {g₁, ..., g_n}, 하늘색 포인트 클라우드를 S = {s₁, ..., s_m}, 노랑색 포인트 클라우드를 Y = {y₁, ..., y_n} (∀r_i, g_i, s_j, y_j ∊ R³) 로 정의하고, 다음과 같은 단계로 필터링을 수행한다.

식 (1)을 사용하여 초록색 포인트(g_i)와 노란색 포인트(y_i) 사이의 거리(d_ij)를 계산하고, 식 (2)를 사용하여 특정 임계값(δ) 이상인 거리에 위치한 빨간색 포인트 클라우드(r_i)를 흰색(∅)으로 변경(제거)하며, 그 외의 경우에는 하늘색(S)으로 변경(유지)하는 방식으로 오탐지 영역을 정제한다. 이 방법을 통해 지표면과 그림자 영역을 효과적으로 구분하고 동적 객체 분할의 정확도를 높일 수 있게된다.

거리를 측정하는 과정에서 단순히 초록색 포인트(g_i)와 노란색 포인트(y_i) 사이의 거리(d_ij)를 측정할 때 모든 경우의 수에 대해 조사하게 된다면 O(nm)의 시간복잡도를 갖게 되므로 n과 m이 커진다면 매우 비효율적일 것이다. 이를 해결하기 위해 KD-Tree[10] 기반의 근접 이웃(Nearest Neighbors)을 이용하였다. 식 (3)에 따라 O(n·logm)으로 KD-Tree를 구성하고 O(m·logm)으로 탐색함으로서 효율성을 크게 개선할 수 있었다.

본 논문에서는 식 (4)에 따른 Intersection over Union(IoU) 지표를 사용하여 성능을 평가하였으며, 실험에는 Semantic KITTI의 벨로다인 시퀀스 8번 데이터를 활용하였다. IoU는 TP, FP, FN의 합에 대한 TP의 비율로 계산되며, 여기서 TP(True Positive)는 실제로 Moving으로 라벨링된 점들 중 모델이 Moving으로 정확히 예측한 점의 개수, FP(False Positive)는 실제로 Static인 점을 잘못 예측하여 Moving으로 분류한 점의 개수, FN(False Negative)는 실제로 Moving인 점을 Static으로 잘못 예측한 점의 개수를 의미한다. 또한, TN(True Negative)는 실제로 Static인 점을 모델이 Static으로 정확히 예측한 점의 개수를 나타낸다. 최적의 거리 임계값 δ를 구하기 위해 δ 값을 변화시키며 IoU 변화를 분석하였으며, 그림 3은 δ 값에 따른 IoU 변화를 그래프로 나타낸 것이며, 최적의 IoU는 δ = 0.2 또는 δ = 0.3에서 달성되는 것을 확인하였다. 이후 실험에서는 δ = 0.2를 기준으로 다양한 방법에 필터를 적용하여 성능을 비교 분석하였다.

• where P : Moving, N : Static

Fig. 3. 
IoU graph according to threshold δ

표 1는 다양한 MOS 방법론에 따른 IoU 성능을 비교한 결과를 보여준다. 여기에는 (i) LMNet 방법 별 성능, (ii) LMNet에 제안한 필터를 적용한 성능, (iii) 4DMOS의 성능, (iv) 4DMOS에 필터를 적용한 성능이 포함된다. LMNet의 저자가 제안한 방법(N=1, N=8, N=8+Semantics)과 4DMOS에 모두 필터를 적용한 결과, 유의미한 성능 개선이 나타났다. 특히, LMNet의 N=8 모델의 경우 기존에 정보가 부족해 직접 학습한 후 필터를 적용한 결과 IoU가 62.6%를 기록하였다. 이는 필터를 적용하지 않은 N=8+Semantics 모델(62.5%)보다 높은 수치이다. 또한, N=8+Semantics 모델에 필터를 적용했을 때는 2.6%p 증가하였고, N=1 모델에서는 8.7%p로 가장 큰 상승폭을 보였다. 4DMOS 모델에도 필터를 적용한 결과 6.3%p의 성능 향상이 확인되었다.

제안된 필터의 처리 단계는 다음과 같다. 먼저, 매 LiDAR 스캔에서 점-라벨 쌍을 불러오고, 라벨을 기반으로 동적 점과 비동적 점을 분류한다. 이후, 모든 점을 활용하여 평면을 탐지하고, 탐지된 평면에 속하는 동적 점과 그렇지 않은 점을 구분한다. 구분된 동적 점은 해당 평면에 투영되며, 마지막으로 과도한 필터링을 방지하기 위해 4.3에서 제시된 방식을 적용하여 최종 점의 라벨을 결정한다.

그림 4는 제안된 필터의 각 처리 단계별 실행 시간을 분석한 결과를 시각화한 것이다. 해당 분석은 Semantic KITTI의 시퀀스 8번 데이터를 사용하였으며, 가시성을 위해 전체 4070개 프레임 중 초기 500개의 프레임만을 그림에 나타냈다. 실제로 전체 프레임에서도 유사한 경향이 관찰되었다. 그림에서는 각 처리 단계를 서로 다른 색상으로 구분하여, 첫 번째 단계인 ‘Load Points and Labels’부터 마지막 단계인 ‘Update Colors’까지의 소요 시간을 비교하였다. 특히, 각 단계의 누적 시간은 분홍색으로 표시하였다.

Fig. 4. 
Operation time analysis of the proposed filter

분석 결과, 대부분의 처리 단계는 매우 짧은 시간 내에 완료되었으나, ‘3. 평면 분할(Plane segmentation)’ 단계에서 상대적으로 긴 시간이 소요되며 약 0.075초로 측정되었다. 누적 실행 시간은 프레임마다 다소 변동이 있으며, 이는 매 LiDAR 스캔마다 점의 개수가 달라지기 때문으로 분석된다. 평균 누적 실행 시간과 1표준편차는 진회색 영역으로 표시되었으며, 평균 누적 시간은 10Hz LiDAR 장비의 주사율에 해당하는 0.1초에 근접한 값을 보인다.

또한, 그림 4의 연회색 영역은 상용 Velodyne LiDAR 장비의 작동 주사율 범위를 나타내며, 5Hz에서 20Hz 사이에 분포하고 있다. 실험에 사용된 장비는 10Hz(0.1초/스캔)로 작동하는 LiDAR이며, 제안된 필터는 이러한 주사율 내에서 적절히 동작하는 것을 확인할 수 있다.