회전 테이블의 기하적 변환을 이용한 점군 정합

Ⅰ. 서 론

구조광 시스템(Structured Light)은 스테레오 기반의 강건한 픽셀 대응을 통해 객체의 3차원 형상을 복원하는 방법이다[1]. 그리고 최종적인 객체의 3차원 모델을 구축하기 위하여 다른 시점의 3차원 점군에 대해 최상의 자세정렬이 요구된다. 3차원 정합 방법에서 ICP(Iterative Closet Point)알고리즘은 최소 자승법(Least Square Method)을 이용하여 두 개의 다른 시점의 3차원 점군 사이에서 강체 운동(Rigid Motion)에 대한 6개의 매개 변수를 추정한다[2]. 그러나 ICP는 6차원 검색 공간에서 목적함수의 수렴을 위해 적절한 초기 해(Initial Solution)가 필요하거나, 또는 검색 중에 목적 함수가 지역적 최소점(Local Minima)에 갇히는 경우에는 만족스럽지 못한 정합 결과를 초래할 수 있다[3][4]. 이와 같이 기본적인 ICP 알고리즘을 적용함으로써 야기되는 문제를 극복하기 위해 최근에는 다양한 접근법들이 제안되고 있다.

Yang 등은 ICP 기반의 GO-ICP 방법을 제시하였고[5], D. Cambell은 강건한 연속적인 데이터를 이용하여 강체 포인트 셋의 정합 및 병합을 제시하였다[6]. Serafin등은 스케일이 큰 3차원 점군에 대하여 개선된 정합 결과를 보이기 위해 표면 법선 벡터를 이용하였다[7]. 이들은 전역적 최적화 관점에서 3차원 정합 방법을 제시하였지만 해(Solution)를 찾기 위해 상당한 계산 시간이 요구된다. 그리고 Pomerleau 등은 실시간 SLAM(Simultaneous Localization and Mapping)에 대해 고속 ICP 알고리즘을 제시하였으며[8], 이 방법의 핵심은 상당 부분 중첩 되는 다른 시점의 두 점군 사이에서 대응점을 결정하는 것이다. 그러나 실제 환경에서 사전 정보 없이 두 점군 사이에서 정확하게 대응점을 찾는 것은 어려운 일이다.

다른 정합 방법으로 확률적 접근법이 있다. 이와 같은 방법은 특히 잡음과 특이 값이 포함되어 있는 점군에 대하여 ICP 방법보다 나은 성능을 보여준다. Jian 등[9]은 3차원 정합에 대하여 GMM(Gaussian Mixed Model)을 적용하였다. 또한 Evangelidis 등[10]은 다수의 점군 정합을 위하여 다중 GMM 기반의 방법을 제안하였다. Myronenko 등[11]은 서로 다른 두 점군의 GMM 사이의 유사 가능성을 극대화하여 정합 성공률을 높이기 위한 CPD(Coherent Point Drift) 알고리즘을 제안하였다.

정합의 계산 복잡도 측면에서 Myronenko 등[11]은 Fast Gauss Transform기반의 CPD 알고리즘(FGT-CPD)을 제안하였고, Lu 등[12]은 고속의 정합을 위하여 ACPD(Accelerated Coherent Point Drift)알고리즘을 제안하였다. 그러나 이와 같은 확률적 접근 방법들은 대규모 점군에 대하여 계산 복잡도가 극심하게 높아진다.

3차원 정합 알고리즘은 정합의 성능뿐만 아니라 정합의 계산 복잡도도 매우 중요하다. 본 논문은 회전 테이블을 사용하는 환경에 적합한 수학적 분석에 의해 고안된 기하보정을 사용하여 물리적으로 검색 공간을 줄이는 방법을 제시한다. 그리고 구조광 시스템과 회전 테이블 사이의 기하적 변환이 존재함을 증명하고, 동시에 추정된 기하적 변환으로부터 다수의 점군 정합이 1차원 회전 변환을 통해 신속하게 수행 될 수 있음을 보여준다.

개발 환경은 Microsoft Visual studio 10, C/C++ 기반의 OPENCV 2.4, PCL 1.6(point cloud library)라이브러리를 사용한다. 영상 획득 카메라는 7360×4912 해상도의 DSLR Nikon D810이고, 구조광 투사에는 1920×1200 해상도의 Epson EB1985 WUXGA 프로젝터를 사용한다. 회전 테이블은 수동 회전만 가능하도록 제작됐다.

Ⅱ. 구조광 시스템과 회전 테이블의 상대적 위치 추정

2.2 구조광 시스템과 회전 테이블의 상대적 위치 추정

그림 1에서 카메라와 패턴사이의 기하 보정이 사전에 완료되어 있는 상태 이다. 그래서 우리는 카메라 좌표계인 X_c는 이미 알고 있는 행렬이다. 회전 테이블의 좌표계 X_T의 원점은 회전 테이블의 회전축을 따라 존재한다. 회전 테이블의 회전축은 회전 테이블의 Z축을 따라 회전을 하기 때문에 회전 테이블의 좌표계의 Z축은 [0,0,1]^T이다. 회전 테이블 위에 고정되어 있는 기하 보정 패턴의 좌표계 X_w의 3차원 점을 X라고 정한다.

Fig. 1.

Conversion estimation between pattern and turntable

회전 테이블에 고정된 기하 보정 패턴의 초기 위치에서 기하 보정 패턴 위에 있는 임의의 점 X는 회전 테이블 좌표계 X_T와 카메라 좌표계 X_c로 모두 표현될 수 있으며, 강체 변환 R, t를 통한 점 X와 두 좌표계의 관계는 그림 1과 같이 정의한다.

카메라 좌표계와 회전 테이블 좌표계 사이의 좌표 변환을 미리 알 수 없기 때문에 추정하고자 하는 회전 테이블과 패턴 사이의 변환 관계 R, t도 알 수 없다.

그림 1에서 테이블의 회전은 테이블에 고정된 패턴을 다른 위치로 이동시킨다. 테이블의 회전에 따라 회전 테이블 좌표계의 강체 변환은 오직 회전 변환만 존재한다. $$ X_T^1$$은 테이블의 회전 이전의 좌표계이며, $$ X_T^2$$는 회전 이후의 테이블 좌표계이다. 두 테이블 좌표계간의 변환은 오직 회전만이 존재하기에 $$ X_T^1=R•X_T^2$$로 정의 할 수 있으며, R은 회전 변환만 존재하므로 $$ \left[\begin{array}{cc}Z& 0\\ 0& 1\end{array}\right]$$로 정의 할 수 있다. 이것으로 궁극적으로 테이블과 패턴 사이의 변환 R, t를 추정할 수 있으며 수식은 그림 2와 같다.

Fig. 2.

Relative position transformation of turntable

그림 2식을 이용하여 회전 테이블의 전, 후 회전으로 인한 패턴 사이의 대응점을 통해 상대적 위치 변환 D, d를 그림 3과 같이 계산 할 수 있다.

Fig. 3.

Conversion between geometric correction patterns due to rotation of the turntable

2.3 회전 이동 변환 추정

그림 4에서 회전 테이블의 임의의 회전각도 θ는 회전 테이블의 Z축을 기준으로 회전 한다. Z축에 대한 3차원 회전행렬 Z는 $$ \left[\begin{array}{ccc}\cos \theta & -\sin \theta & 0\\ \sin \theta & \cos \theta & 0\\ 0& 0& 1\end{array}\right]$$이며, 결과적으로 θ는 $$ \mathrm{a}\mathrm{r}\mathrm{c}\mathrm{c}\mathrm{o}\mathrm{s}\left(\frac{Trace\left(D\right)-1}{2}\right)$$로 정의 할 수 있다. 이처럼 그림 4와 같은 식을 이용하여 두 패턴간의 회전 각도를 알 수 있다.

Fig. 4.

Rotation angle estimation of turntable

회전축 3개는 정규직교기저(Orthornormal Basis)로 구성되어 있으며, 회전 이동 변환 R은 각각 3차원 벡터로 이루어진 [u,v,w]로 정의할 수 있다. 축각도 표현(Axis-angle Representation)[13]의 수식을 이용하여 회전의 기준이 되는 축 w는 그림 5의 식을 이용하여 구할 수 있다.

Fig. 5.

Rotation transformation estimation equation

3개의 축이 모두 직교를 이루고 있기에 서로 2개의 축의 외적은 0이 되어야 한다. u^Tw = 0을 만족해야 하므로 u_z를 임의로 0으로 정의하고 계산한다면 u_x, u_y를 구할 수 있다. 나머지 v는 외적(Cross Product)[14]의 수식을 이용하여 그림 5와 같이 구한다. 추정한 w에 직교 변환을 통해 계산된 u, v는 유일한 직교 벡터는 아니지만, 객체는 회전 테이블에 고정된 채로 회전 테이블과 함께 회전을 하기 때문에 객체로부터 획득된 3차원 점군 사이의 정합은 회전 축 벡터 w에만 의존한다. 따라서 제안하는 방법에서 그림 6과 같이 패턴과 회전 테이블 사이의 회전 변환 R은 1차원의 자유도(Degree of Freedom)을 가지게 된다.

Fig. 6.

Rotational axis of the pattern

2.4 평행 이동 변환 추정

회전 테이블의 원점은 그림 7과 같은 식을 이용하여 구할 수 있다. 벡터 t는 카메라 좌표계로 표현된 회전 테이블 좌표계의 원점에 대한 좌표 벡터이다. I, D는 4×4 행렬이여서 역행렬이 가능하며, 카메라 좌표계의 원점을 [0,0,0,1]^T라 하면 회전 테이블의 좌표계의 원점은 [t,1]^T이 된다.

Fig. 7.

Origin of the turntable coordinate system

2.5 좌표 변환과 정합

지금까지 구조광 시스템과 기하 보정 패턴, 그리고 회전 테이블 사이의 상대적 위치를 추정하였다. 회전 테이블의 회전에 따라 다른 시점에서 획득한 점군의 정합을 수행하기 위하여, 먼저 구조광 시스템에서 획득된 모든 3차원 점군을 카메라 좌표로 변환한다. 이 과정은 구조광 시스템의 카메라 기하 보정을 통하여 간단하게 변환된다. 카메라 좌표계로 획득한 모든 3차원 점군을 기하 보정 패턴 좌표로 변환 한다. 그리고 기하 보정 패턴의 좌표로 변환된 점군을 다시 회전 테이블 좌표로 변환한다. 구조광 시스템 좌표로 획득된 모든 점군을 회전 테이블 좌표로 변환하였다. 영상의 잡음이나 불완전한 시스템 요소가 없다면 회전 테이블의 회전 이전에 얻어진 점군 $$ X_T^1$$과 회전 후에 얻어진 점군 $$ X_T^2$$의 정합은 회전 테이블의 Z축의 회전에만 영향을 받는다. 따라서 각 시점마다 회전 테이블의 물리적인 회전 각도를 알고 있다면 획득한 점군 사이의 정합이 가능하다는 것을 의미하며, 이는 고속의 3차원 정합 알고리즘이 될 수 있음을 보여준다.

Fig. 8.

Coordinate transformation to turntable

Ⅲ. 실험 결과

3장에서는 실제 데이터에 대하여 구조광 시스템과 회전 테이블 사이의 상대적 위치 변환 관계를 추정하고 구조광 시스템으로부터 획득한 3차원 점군을 회전 테이블의 좌표로 변환을 한 후, 1차원의 회전 변환만으로 3차원 점군의 정합이 가능함을 보인다. 실험은 먼저 구조광 기반으로 객체의 3차원 점군을 획득하고, 획득한 3차원 점군에 대하여 ICP 알고리즘[2]을 이용한 정합 결과를 보인다. 그 후에는 구조광 시스템과 회전 테이블의 상대적 위치 변환을 통해 점군을 구조광 시스템에서 회전 테이블 좌표계로 변환한다. 그리고 변환된 점군에 대하여 정합 과정을 수행함으로써 정합이 회전 테이블의 Z축 회전만으로 이루어짐을 보여준다.

3.1 구조광 기반의 3차원 모델 생성

카메라의 기하 보정은 2개의 영상 획득용 카메라를 이용하여 각각의 카메라에 대한 기하 보정을 수행하였다. 구조광 시스템의 기하 보정이 완료된 후에는 3차원 형상을 획득하고자 하는 객체를 회전 테이블에 고정한다. 그리고 임의로 회전된 회전 테이블 위의 객체에 구조광 패턴(Structured Light Pattern)을 투사함으로써 패턴이 투사된 객체 영상을 획득하고 복호화(Pattern Decoding)을 통해 2개의 카메라 영상 대한 대응점을 계산한다. 앞서 계산된 카메라의 기하 보정과 복호화를 통해 얻은 대응점을 입력으로 삼각 측량법(Triangulation)을 통해 최종적인 객체의 3차원 점군을 획득한다.

실험에서 그림 9와 같이 45º간격으로 8번 회전 테이블의 회전으로 다른 시점에서 객체의 3차원 점군을 획득한다. 그리고 모든 점군에 대하여 정합을 수행한 결과는 그림 10에서 보여준다. [2]에서 제시한 ICP 알고리즘은 실외 환경에서 획득한 3차원 점군뿐만 아니라 본 실험에서 획득한 구조광 시스템 기반의 대규모의 3차원 점군에서도 상당한 수준의 정합 결과를 보인다. 그러나 고해상도 구조광시스템을 통해 획득한 대규모 점군에 대한 정합의 계산 복잡도는 매우 높은 편이다.

Fig. 9.

Structured light pattern image acquired at various points through rotation of turntable

Fig. 10.

3D model through 3D point cloud registration at every point

그림 11은 다른 시점에서 획득한 3차원 점군의 순차적 정합에 소요되는 누적 계산 시간을 나타낸다. 실험에서는 한 시점에서 대략 100만개의 점군을 획득하였고, 전체 획득한 점군의 수는 약 800만(8개 시점)이다. ICP정합에 대하여 3.60GHz CPU Intel i7과 16GB 메모리의 연산 장치와 PCL1.6 라이브러리를 사용하였다.

Fig. 11.

Sequential registration calculation time for point cloud at all time points

3.2 구조광 시스템과 회전 테이블의 상대적 위치 추정을 통한 3차원 정합

구조광 시스템과 회전 테이블의 상대적 위치를 직접 추정하는 것은 쉽지 않다. 따라서 순차적으로 카메라 기하 보정을 통해 구조광 시스템과 기하 보정 패턴의 기하 변환을 계산하고, 그 후에 기하 보정 패턴과 회전 테이블의 상대적 위치 변환을 추정한다.

그림 12에서는 기하 보정 패턴과 회전 테이블의 위치 변환을 추정하기 위하여 회전 테이블 위에 기하 보정 패턴을 고정하고 임의의 회전을 통해 기하 보정 패턴 사이의 상대적 위치를 2장의 식을 이용하여 R, t를 계산한다.

Fig. 12.

Pattern image for estimation of relative position change of structured light system and turntable

회전 테이블의 회전에 따라 다른 시점에서 획득한 점군의 정합을 수행하기 위하여 먼저 구조광 시스템에서 획득된 모든 3차원 점군을 카메라 좌표 X_C로 변환한다. 이 과정은 구조광 시스템의 카메라 기하 보정을 통하여 간단하게 변환된다. 그리고 식 (1)과 같이 카메라 좌표계로 획득한 모든 3차원 점군을 기하 보정 패턴 좌표로 변환 한다. 그리고 식 (2)를 이용하여 기하 보정 패턴의 좌표로 변환된 점군을 다시 회전 테이블 좌표로 변환한다. 구조광 시스템 좌표로 획득된 모든 점군을 회전 테이블 좌표로 변환하였다.

$\[ X_P=R_C^T•X_C-R_C•t_C \]$

(1)

$\[ X_T=R^T•X_P-R•t \]$

(2)

그림 13은 구조광 시스템에서 획득한 3차원 점군에 대하여 카메라에서부터 기하 보정 패턴을 거쳐 회전 테이블까지의 좌표 변환 과정을 보여주며 그림 14는 회전 테이블의 좌표로 변환한 모든 시점의 3차원 점군에 대한 정합 결과를 보여준다. 그리고 그림 15는 정합을 통해 얻어지는 각각의 변환 관계를 좌표계로 표현한 것이다.

Fig. 13.

3D point cloud coordinate transformation through relative position estimation

Fig. 14.

Registration result of 3D point cloud converted into turntable coordinates

Fig. 15.

Point cloud coordinates at each point through the registration result

ICP 알고리즘[2]은 일반적으로 강체 변환에 대하여 6개 자유도의 매개변수를 추정한다. 그러나 그림 15에서 보듯이 정합 결과를 통해 얻어지는 각각의 시점에 대한 좌표계의 Z축은 거의 일치하는 것을 볼 수 있다. 모든 점군의 정합은 회전 테이블 좌표계의 Z축 회전에 의한 것임을 알 수 있다.

이것은 1차원 회전 변환만으로 정합이 가능하다는 본 논문의 가설이 타당함을 보여 주는 것이다. 그리고 이 결과는 구조광 시스템에서 회전 테이블 좌표계로의 기하학적 변환을 구축하기 위한 수학적 추론을 지원하고, 제안한 상대적 위치 추정 알고리즘의 정확성을 보여준다. 따라서 6차원의 공간을 검색하는 시간 소모적인 ICP 알고리즘 없이 이미 알고 있는 회전 테이블의 각 시점의 회전각을 이용 하여 1차원의 회전 변환만으로 정합을 가능케 할 수 있다.

그림 16~18은 그림 15에서 각각의 시점에 대해 좌표계로 표현한 것 보다 정합이 1차원의 Z축의 회전에 의한 것임을 보다 명확하게 확인할 수 있도록 인접한 점군 사이의 회전 변환을 각각의 축각도로 표현한 것이다. 그림 16~18은 인접한 점군 사이의 각각의 X, Y, Z축에 대한 회전각을 나타낸다. 정합 결과를 통해 모든 점군의 좌표가 X, Y축으로는 거의 변화가 없고 Z축의 회전만 있다는 것을 보여준다. 그림 19는 서로 인접한 시점 좌표계의 원점에 대한 유클리드 거리로 나타낸 것이다. 점군들의 원점에 대한 오차는 0.861mm(rms)이다.

Fig. 16.

Result of registration between adjacent point cloud(X axis angle)

Fig. 17.

Result of registration between adjacent point cloud(Y axis angle)

Fig. 18.

Result of registration between adjacent point cloud(Z axis angle)

Fig. 19.

Result of registration between adjacent point cloud(distance between origin)

Ⅳ. 결론 및 추후 과제

고속의 3차원 점군 정합을 위하여 수학적 분석을 통해 구조광 시스템과 회전 테이블 사이의 상대적 위치 변환을 추정하였다. 그리고 추정된 변환 관계로부터 획득한 3차원 점군을 회전 테이블의 좌표로 변환함으로써 1차원 기반의 회전 변환을 통하여 3차원 정합이 효율적으로 수행할 수 있음을 보여줬다. 향후 연구는 다중 시점의 점군을 정합시킨 데이터를 이용하여 메쉬 모델로 만들고, 여기에 텍스처를 맵핑시키는 연구를 할 것이다.

Acknowledgments

이 논문은 2018년도 정부(과학기술정보통신부)의 재원으로 '범부처 Giga KOREA 사업'의 지원을 받아 수행된 연구임 (No.GK18P0300, 초실감 서비스를 위한 동적 객체의 실시간 4D 복원 기술 개발)

본 연구는 중소기업벤처부의 "2017년도 지역특화(주력)산업육성사업"의 지원을 받아 수행된 연구결과임(R0006303, 2017)

References

• Richard Hartely, and A. Zissermann, "Multiple View Geometry, 2^nd", Ed., Cambridge Press, p310-323, Mar.), (2002.
• P. J Besl, and N. D. McKay, "A method for registration of a 3-D shapes", IEEE Trans. Pattern Anlaysis and Machine Intelligence, 14(2), p239-256, Feb.), (1992. [https://doi.org/10.1109/34.121791]
• K. A. Johnson, and S. B. Kang, "Registration and integration of textured 3-D data", in Proc. Int. Conf. on Recent Advances in 3D Digital Imaging and Modeling, Cat. No.97TB100134, p234-241, May), (1997. [https://doi.org/10.1109/im.1997.603871]
• R. Sandhu, S. Dambreville, and A. Tannenbaum, "Point set registration via particle filtering and stochastic dynamics", IEEE Trans. Pattern Analysis and Machine Intelligence, 32(8), p1459-1473, Jul.), (2010. [https://doi.org/10.1109/tpami.2009.142]
• J. Yang, H. Li, and Y. Jia, "GO-ICP:Solving 3D registration efficiently and globally optivally", Proc. Int. Conf. Computer Vision, p1457-1464, Dec.), (2013. [https://doi.org/10.1109/iccv.2013.184]
• D. Campbell, and L. Petersson, "An adaptive data representation for robust point-set registration and merging", Proc. ICCV, Dec.), (2015. [https://doi.org/10.1109/iccv.2015.488]
• J. Serafin, and G. Grisetti, "NICP:Dense normal based point cloud registration", IROS, p742-749, Oct.), (2015. [https://doi.org/10.1109/iros.2015.7353455]
• F. Pomerleau, S. Magnenat, F. Colas, M. Liu, and R. Siegwart, "Tracking a depth camera:Parameter exploration for fast ICP", IROS, p3842-3829, Dec.), (2011. [https://doi.org/10.1109/iros.2011.6048545]
• B. Jian, and B. C. Vemuri, "Robust point set registration using gaussian mixture models", IEEE TPAMI, 33(8), p1663-1645, Aug.), (2011.
• G. D. Evangelidis, D. Kounades-Bastian, R. Horaud, and E. Z. Psarakis, "A generative model for the joint registration of multiple point sets", ECCV, 8695, p109-122, Sep.), (2014.
• A. Myronenko, and X. Song, "Point set registration: Coherent point drift", IEEE TPAMI, 32(12), p2262-2275, Mar.), (2010. [https://doi.org/10.1109/tpami.2010.46]
• M. Lu, J. Zhao, Y. Guo, and Y. Ma, "Accelerated coherent point drift for automatic 3D point cloud registration", IEEE GRSL, 13(2), p162-166, Nov.), (2016.
• https://en.wikipedia.org/wiki/Axis%E2%80%93angle _representation, [accessed: Nov. 07. 2018]
• https://en.wikipedia.org/wiki/Cross_product, [accessed: Nov. 07. 2018]