Home

앞서 소개한 MinkowskiNet 모델은 고차원 이미지를 희소 행렬로 치환한 특징 행렬에 대해 이산적인 합성곱을 진행하였다. 하지만, 3차원의 연속적인 이미지 데이터에 합성곱을 적용하기 적합하지 않다. 결국 연속적인 데이터에 순서를 부여하는 방법으로 이를 해결해야 한다.

본 연구에서는 3차원 이미지에서의 포인트 클라우드를 이산적인 데이터로 표현하기 위해 복셀-그리드 방식을 사용하였다. 기존의 복셀-그리드 방식은 포인트 클라우드를 단순히 복셀화하는 과정으로 활용되지만, 원본 이미지의 특징이 일부 소실될 가능성이 존재한다. 따라서, 포인트 클라우드를 3차원 공간에 투영하여 각 그리드에 할당하였고, 원본 손실 없이 그리드 기반으로 이산적인 행렬을 이용한 합성곱 진행을 용이하게 하였다.

일반적인 희소 행렬 연산은 포인트 클라우드 데이터를 복셀-그리드 방식으로 투영한 행렬에 그대로 적용하기에 적합하지 않다. 왜냐하면, 각 그리드의 정보, 즉 그리드에 포함된 포인트의 개수에 큰 차이가 존재하기 때문이다. 이 경우 일반적인 합성곱 방식은 일정 개수 이상의 포인트를 가진 그리드를 제외하고 나머지 그리드에 0의 값을 할당하여 학습한다.

이에 반하여, 본 연구에서 제안된 WSCN 모델은 포인트의 개수에 따라 각 그리드에 0과 1 사이의 값으로 가중치를 부여함으로써 그리드의 중요도를 결정한다.

WSCN 모델의 각 그리드에 대한 가중치는 그리드가 포함하는 포인트의 비율로 계산한다.

여기서 Wi는 i번째 그리드의 가중치, n_i는 i번째 그리드가 포함하는 포인트의 개수, N은 가장 많은 포인트를 포함하는 그리드의 포인트 개수를 의미한다. 또한, 정규화를 통하여 각 그리드의 가중치 분포를 보정하였다.

제안한 모델의 구조는 이산적인 합성곱과 같지만기존의 희소 합성곱(Sparse convolution)과는 달리 각 그리드에 가중치를 부여하여 개별적으로 어느 위치에 합성곱을 진행할지 따로 설정할 필요가 없다. 또한, 그리드 방식으로 포인트의 클러스터링을 진행하므로 데이터의 특징을 축소하는데 적합하다. 그림 1은 WSCN 모델의 구조도를 보여준다. WSCN 모델은 전체적으로 이미지 특징 추출에 용이한 UNet 구조를 따르며, 특징을 추출하는 합성곱 층(Convolution layer)과 추출한 특징 맵을 원본과 같은 크기로 변환하기 위한 역합성곱 층(De-convolution layer)으로 구성된다. 합성곱 층과 역합성곱 층을 포함한 각 층의 크기는 [256 128 64 32 64 128 256]로 구성된다.

Fig. 1. 
Architecture of the WSCN model

제안한 WSCN 모델의 의미론적 분할(semantic segmentation)에 대한 유효성을 검증하기 위하여 널리 사용되는 공개 데이터 세트인 S3DIS[11]를 이용하여 비교 실험을 수행하였다. S3DIS 데이터 세트는 6개의 구역에 271개 방의 이미지를 포함하고 바닥, 벽, 책장, 소파 등 총 13개의 클래스로 주석이 달려있다. 본 실험에서는 S3DIS 5구역을 테스트 및 검증 데이터로, 그 외 1, 2, 3, 4, 6구역을 훈련 데이터로 사용하였다. 검증 및 훈련 데이터 개수는 각각 68개, 203개의 원본 데이터를 사용하였지만, 훈련 데이터는 데이터 증강으로 30배 많은 양의 데이터를 사용하였다.

본 실험을 위해서 GPU는 GeForce RTX 3090 24GB 4-way를 사용하였고, CPU는 i9-10980XE를 사용하였다. 소프트웨어는 Ubuntu 20.04.3, cuda 11.5, pytorch 1.13를 사용하여 실험을 진행하였다.

모델의 의미적 분할 및 분류 성능을 평가하기 위한 지표로 손실(Loss), mAcc(mean Accuracy), 및 mIoU(mean Intersection over Union)를 사용하였다. 첫째, 손실은 교차 엔트로피(Cross entropy)의 개념을 이용하여 계산된다.

여기서 M은 데이터 셀의 개수, C는 클래스의 개수, L은 0 또는 1의 값을 갖는 이진수 형의 실제값(Ground-truth), A는 실제값의 확률을 의미한다. 또한, w_c는 클래스 c의 가중치로 본 실험에서는 사용하지 않고 모든 클래스에 대해 1의 값을 할당하였다.

둘째, mAcc는 모든 클래스에 대한 분류 정확도의 평균을 의미하며, 각 클래스의 분류 정확도는 클래스를 표현하는 총 포인트 개수에 대해 올바르게 예측된 포인트 개수의 비율로 정의된다.

여기서 P_ii는 클래스 i에 포함된 포인트 중에서 올바르게 분류된 포인트 개수를 나타내고, P_ij는 클래스 i에 포함된 포인트 중에서 클래스 j로 분류된 포인트 개수를 의미한다.

마지막으로, IoU는 각 클래스의 분류 정밀도를 평가하는 기준이다.

위의 식에서 확인할 수 있듯이, i번째 클래스에 포함된 포인트의 집합과 i번째 클래스로 예측된 포인트의 집합 간의 교집합을 합집합으로 나눠 계산된다. mIoU는 모든 클래스에 대한 IoU의 평균을 의미한다.

본 연구에서 제안한 WSCN 모델에 대한 3차원 데이터의 의미적 분할 검증 결과를 이전 모델의 결과와 비교 분석하였다. WSCN의 옵티마이저는 SGD를 사용하였고 초기 학습률(Learning rate)은 0.1, 모멘텀 계수는 0.9, 학습 시 가중치 감소 값은 0.0001로 설정하였다. 배치는 32, 훈련 횟수(Epoch)는 100으로 설정하여 훈련을 진행하였다.

표 1에서 확인할 수 있듯이, WSCN이 가장 우수한 성능을 보였고, MinkowskiNet이 다음으로 우수한 성능을 보였다. 전반적으로, 비교한 모델의 실험 결과는 mAcc와 mIoU 지표 값에 대해 유사한 패턴을 보였다. 정량적인 측면에서 WSCN은 MinkowskiNet과 비교하여 작은 양의 성능 향상을 이루었지만, 표 2에서 볼 수 있듯이 각 클래스의 mIoU 지표 값에 대해서는 클래스 간 편차가 줄어든 것을 확인할 수 있다. 즉, MinkowskiNet이 정확히 분할하지 못한 창문(Window), 소파(Sofa) 등의 객체를 WSCN은 비교적 높은 정확도로 분할하는 것을 알 수 있다. 따라서 WSCN은 이전 모델이 추출하지 못한 특징을 추출한다고 예측할 수 있다.

또한, WSCN과 MinkowskiNet 사이에 유사한 정확도를 가진 1개의 데이터에 대해 훈련 속도를 비교했을 때 WSCN이 0.061초, MinkowskiNet이 0.16초로 2.5배 이상 차이가 나는 것을 확인할 수 있었다.

그림 2는 WSCN의 훈련 및 검증 과정에서 훈련 횟수에 따른 손실, mAcc, mIoU 값의 변화를 보여준다. 훈련 과정에서 손실 값은 일정하게 수렴하는 것을 확인할 수 있었지만, 검증 과정에서는 손실에 대한 노이즈가 많이 발생함을 확인할 수 있다.

Fig. 2. 
Training and validation performance changes with increasing epochs of the WSCN model

또한, 훈련 과정에서의 손실 값은 대략 0.1까지 떨어졌지만, 검증 과정에서는 0.6에서 수렴하여, 데이터의 다양한 변화를 통한 훈련 데이터 증강에도 불구하고 과적합(overfitting)이 생겼음을 알 수 있다. mAcc와 mIoU 값의 변화를 보면, 훈련 횟수 증가에 따라 완만히 상승하다가 53번째에서 급상승하는 것을 확인할 수 있는데, 이는 정확도가 임계값 이하로 큰 변동이 없을 때 스케쥴러가 학습률을 변화시켜 정확도가 급상승하는 것으로 예측할 수 있다.

그림 3은 WSCN 모델의 예측 결과를 시각화하여 원본 데이터와의 차이를 보여준다. 전반적으로, 특정 객체를 제외하고는 우수한 분할 성능을 보이는 것을 알 수 있다. 의자, 책상, 천장 등의 객체는 정확히 분할되었지만, 벽과의 경계가 선명하지 않은 칠판 또는 두 객체가 서로 겹쳐서 그 경계가 모호한 책상다리와 의자 등에서 다소 분할 정확도가 떨어졌다.

Fig. 3. 
Visualization of the S3DIS original data and the semantic segmentation results by the WSCN model

결과적으로, 전역적인 특징은 정확히 추출하는 반면에 지역적인 특징 추출에는 다소 부족한 결과를 보였다.