[ Article ]

The Journal of Korean Institute of Information Technology - Vol. 17, No. 2, pp.99-107

ISSN: 1598-8619 (Print) 2093-7571 (Online)

Print publication date 28 Feb 2019

Received 03 Jan 2019 Revised 11 Jan 2019 Accepted 14 Jan 2019

DOI: https://doi.org/10.14801/jkiit.2019.17.2.99

프로젝터 보정에 대한 기준 이미지 노이즈의 영향

유연석^*

*청주대학교 이공대학 레이저광정보공학과 교수

Effect of Reference Image Noise on Projector Calibration

Yeon-Serk Yu^*

Correspondence to: Yeon-Serk, Yu Dept. of Laser & Optical Information Eng., Cheongju University, 298 Daeseong-ro, Cheongwon-gu, Chungcheongbuk-do, 373-765, Korea Tel.:+82-43-229-8501, Email: yuys@cju.ac.kr

초록

프로젝터 보정 과정에서는 2차원 체커보드 이미지들을 기준 이미지로 사용하여 구한 특성 점 좌표들로부터 프로젝터 내부 매개 변수들을 계산 한다. 따라서 프로젝터 보정의 정확도는 특성 점 좌표 측정의 정확도에 의존하게 된다. 여기서는 프로젝터 보정으로 구한 1차 보정된 체커보드 이미지를 사용하여 2차 보정을 하였다. 2차 보정에서는 세기가 다른 가우시안 노이즈를 보정된 체커보드 기준 이미지에 추가하여 프로젝터 보정을 하였다. 이를 통하여 가우시안 노이즈 세기 변화가 프로젝터 내부 매개변수 측정값에 미치는 영향을 실험적으로 분석하였다. 결과적으로 보면 가우시안 노이즈가 기준 이미지 세기의 0.25배가 될 때 프로젝터 재 투영 에러와 평균 초점거리 에러 및 평균 주요점 에러는 각각 2.3배, 2.1배, 2.3배 증가 되었다. 잡음 강도가 0.075 배 이하로 작은 경우에서 잡음에 대한 재 투영 오차 민감도는 1.0 보다 큰 비율로 영향을 나타내었다.

Abstract

Projector calibration process is the calculation of projector intrinsic parameters that are based on characteristic point coordinates found by using a checker board image as a reference target. The accuracy of projector calibration depends on the accuracy of the characteristic point coordinate measurements. Here, a secondary calibration was made using the primary calibrated checker board image obtained by the 1st projector calibration. In the 2nd calibration we used a calibrated checker board as the reference image, was added with Gaussian noise at different intensity levels to understand how Gaussian noise influenced to intrinsic parameters by experimentally analyzed. As a result, when the Gaussian noise is 0.25 times the reference image intensity, projector reprojection error, average focal length error, and average principal point error were increased 2.3, 2.1, and 2.3 times, respectively. When the noise intensity is as small as 0.075 times or less, the re-projection error sensitivity to noise is affected by a ratio greater than 1.0.

Keywords:

projector calibration, camera calibration, image noise, intrinsic parameters

Ⅰ. 서 론

광학적 3차원 측정 기술은 비접촉식 방식으로 넓은 면적을 높은 정밀도로 빠르게 측정 할 수 있어서 각종 산업현장과 생의학 분야, 오락, 재설계 등에 널리 응용되고 있다[1][2]. 또한 측정 대상에 따라 레이저 주사 방식[3], 퓨리에 변환 형상 측정법[4], 위상 이동 측정법[5], 무늬 투사 및 반사 형상 측정법[6] 등의 다양한 기술들이 연구 되고 있다. 주기적 격자무늬 패턴을 투사하여 3차원 형상을 측정 하는 무늬투사 형상 측정계에서는 하나의 카메라와 하나의 무늬투사용 프로젝터를 사용하기 때문에 장치도 간단하고 측정도 용이하다. 또 광학적 삼각측량법 형태의 변위 측정법을 사용하여 3차원적 높이 변화를 측정하므로 정확도 또한 매우 높게 된다. 따라서 측정 도구인 카메라나 프로젝터에 의한 작은 에러도 변위 측정 정확도에 영향을 주게 되므로 정확한 보정이 필요하다. 보정 과정에서 기준이 되는 주기적 무늬들을 투사 하는데 사용하는 디지털 프로젝터들은 광학 렌즈를 사용하게 되므로 투사된 영상들에는 광학적 상 결함인 왜곡이 수반 된다. 이러한 광학적 상 결함은 기준이 되는 주기적 무늬들로부터 계산되는 위상이나 변위, 물체 형상 크기 등에 오차를 발생 하게 되고 결과적으로 3차원 측정 정밀도에 영향을 주게 된다[7].

따라서 정밀 하게 3차원 측정을 하는 경우에는 2차원 체커보드 패턴과 같은 길이와 높이를 알고 있는 기준 평면 이미지 타겟을 사용하여 카메라 내부 매개변수와 외부 매개변수, 왜곡 특성 등을 측정 하여 보정한다. 이렇게 구한 카메라 보정 데이터는 피사체에 주기적 겨자 무늬 등을 투사하는 프로젝터에 대한 광학적 보정에 사용 된다. 그러나 프로젝터 장치는 카메라와 달리 영상을 켑쳐 하거나 기록 할 수 없으므로 보정 과정에 카메라를 사용할 수밖에 없다. 프로젝터의 보정은 카메라의 역 과정으로 취급 할 수 있어 카메라 보정과 유사한 수학적 모델로 설명할 수 있다[8].

프로젝터 보정에는 여러 가지 방법들이 제안된바 있으나 대별 하자면 첫 번째는 카메라 보정을 통해 보정된 값들을 사용하여 프로젝터의 매개변수들을 결정하는 경우로서 이런 경우 카메라의 보정 에러가 프로젝터 보정 과정에 누적되고 확산 된다[9]. 두 번째 범주로는 프로젝터 상면과 보정 평면 사이에서 하나의 호모그레피적 변환을 구하여 프로젝트의 매개 변수들을 구하는 방법인데 이 방법은 역과정이어서 실제 적용은 매우 복잡하고 프로젝터의 비선형적 왜곡으로 인하여 정밀도가 높지는 않다[10]. 프로젝터 보정의 세 번째 범주는 프로젝터와 카메라를 역관계로 취급하여 카메라의 픽셀들과 프로젝터의 픽셀들을 일대일로 정열 해야 하는 어려움과 광축들이 교차하는 모순점을 갖는다[11]. 또한 광속분리기를 사용하여 프로젝트의 투사 축과 카메라의 결상 축이 동축 구조를 갖도록 배치하여 프로젝트와 카메라를 실제적으로 역관계를 형성하게 하고 위상 측정 방식으로 프로젝터의 내부 및 외부 매개 변수를 구하는 방법도 제안된 바 있다[12].

여기서는 기준 이미지로서 일반적으로 많이 사용하는 체커보드 패턴을 사용하는 카메라 보정 방법을 적용하였다. 2차원적으로 프린트한 체커보드 패턴 이지미지 보다 정밀하고 우수한 평 편도를 갖는 LCD모니터 화면에 체커보드 패턴을 디스프레이 하여 카메라를 먼저 보정 하였다. 동일한 물리적 배위를 유지하고 동일한 체커보드 패턴을 프로젝트로 LCD모니터 화면에 설치한 백색 평면에 투사하고 다양한 포즈를 카메라로 캡쳐 하여 프로젝터를 1차 보정 하였다. 프로젝터 1차 보정을 통해 구해진 보정 데이터 들을 적용하여 사용한 체커보드 패턴의 왜곡을 보정 하여 2차 보정에 사용하였다. 프로젝터 투사 광학계에 대하여 보정된 체커보드 패턴을 2차 보정 기준 이미지로 사용함으로서 프로젝터 자체의 상 결함을 최소로 하고 기준 이미지에 추가된 가우시안 광학적 노이즈가 프로젝터 보정에 미치는 영향을 실험적으로 구하였다.

Ⅱ. 이 론

2.1 프로젝터 보정의 기초

프로젝트는 픽셀 어레이 2차원 소자에서 만들어진 영상을 렌즈 광학계를 사용하여 평면 스크린에 투영하는 장치이다. 투영된 영상에는 2차원 평면 영상 소자 자체의 정도비와 투사용 렌즈계의 광학적 수차, 비축 정열, 왜곡 등이 포함되게 된다. 따라서 카메라 보정의 경우와 마찬 가지로 상점과 물체점이 일대일로 대응되는 바늘구멍 모델을 사용하여 방사왜곡, 정접 왜곡들로 프로젝터의 결상특성을 기술 할 수 있다. 컴퓨터를 사용하여 체커 보드 패턴을 프로제터 영상 소자에 형성하고 그중 어떤 한 장방형 격자의 모서리 점을 프로젝터 픽셀 좌표계로서 P_pr = (u_p, υ_p, 1)로 나타내고, 이것을 렌즈를 사용하여 확대 투영한 백색 반사 평면(또는 LCD 모니터 화면) 스크린 면에서의 동일 모서리 점의 월드 좌표계를 P_ws = (x, y, z, 1)로, 또한 백색 반사 평면에 결상된 이 점의 카메라 상면에서의 좌표를 C_am = (u_c, υ_c, 1)로 쓴다. 프로젝터의 해당 코너 점의 좌표계 P_pr과 백색 반사 평면(또는 LCD 모니터 화면) 스크린 면에 투영된 동일 코너 점의 좌표계 P_ws사이에는 변형, 이동을 포함하는 회전 행렬 R과 병진 벡터 T, 그리고 상의 크기 변화에 관계되는 렌즈계의 초점 거리와 스케일링 인자 S를 사용 하여 아래와 같이 쓸 수 있다[13].

S u p υ p 1 = f u 0 u p o 0 f υ υ p o 001 R, T x y z 1

(1)

여기서 초점거리 f_u와 f_u는 프로젝터 영상 소자 픽셀들의 폭과 넓이로 나타낸 초점거리 들이고, u_po와 υ_po는 프로젝터 좌표계에서 주요점의 픽셀 좌표를 나타낸다. 이 관계들은 프로젝터 투사 렌즈광학계와 카메라 결상 렌즈 광학계를 무 수차 형태로 가정한 바늘구멍 모델을 사용한 경우이다. 그러나 실제의 경우 투사 및 결상 렌즈 광학계 들은 이상적이지 못하여 수차를 나타내고 영상의 왜곡, 변형이 나타난다. P_pr = (u_p, υ_p, 1) 좌표에 렌즈계의 방사 왜곡과 정접 왜곡을 고려하면 다음 형태의 왜곡된 좌표계 P_d = (u_d, υ_d, 1)로 나타낼 수 있다. 왜곡된 P_d 좌표계에 영향 주는 요인들은 다음의 (2)식 형태로 쓸 수 있다[6][13]. 여기서 k₁과 k₂,k₃는 방사 왜곡 계수이고, k₄와 k₅는 정접 왜곡 계수, $r p 2 = u p 2 + υ p 2$ 이다.

P d = 1 + k 1 r p 2 + k 2 r p 4 + k 3 r p 6 P p + 2 k 4 u p υ p + k 5 r p 2 + 2 u p 2 2 k 5 u p υ p + k 4 r p 2 + 2 u p 2

(2)

그런데 프로젝터로 백색 반사 평면에 투사한 체커보드 기준 이미지는 카메라로 켑쳐 하게 되므로 프로젝터와 카메라 사이의 이미지 좌표계 변환 관계에는 카메라에서의 왜곡과 프로제터에서의 왜곡 등이 식 (1)과 식 (2) 형태로 각각 영향을 주게 된다. 카메라 보정을 먼저 하여 보정된 카메라의 5개 내부 매개 변수를 [A_c]라 하고, 6개의 외부 변수들을 [R_c, t_c]라 두면, 프로젝터에 의해 투영된 체커보드 이미지를 캡쳐 한 카메라 이미지에서의 좌표계는

u c υ c 1 = A c I 3 000 R c t c 0 1 x y z 1

(3)

로 쓸 수 있다. 여기서 u_c와 υ_c는 카메라에서 측정한 코너 점의 좌표이고 x와 y는 프로젝터에 의해 투사된 이미지의 백색 평면에서의 좌표계이다. 따라서 LCD 모니터 평면이나 백색 반사 평면에 투사된 프로젝터 영상 데이터 C_am으로부터 P_ws를 구할 수 있다. 이 식에서 구해진 P_ws 값들을 사용하여 프로젝터 영상 소자 내에서의 상점 P_pr을 역으로 구할 수 있다. 즉, P_ws 점의 좌표는 프로젝터 디스프레이 소자 영상을 렌즈를 사용하여 투사한 이미지 이므로 프로젝터 투사 광학계의 5개 내부 매개 변수와 6개 외부 매개 변수가 포함된 것으로서 역 관계로 추적 할 수 있다. 따라서

u p υ p 1 = A p I 3 000 R p t p 0 1 x y z 1

(4)

으로 쓸 수 있고, P_ws = (x, y, z, 1)가 구해지면 식 (4)를 사용하여 프로젝터의 내부 매개 변수, 외부 매개 변수 등을 일반적으로 적용하는 카메라 보정 방법을 사용하여 구할 수 있다.

그런데 체커보드와 같은 2차원 이미지를 캡쳐 하여 기준 영상 이미지로 사용하여 카메라 보정을 하거나 프로젝터 보정을 할 경우에는 이미지에 포함되는 가우시안 백색 노이즈, 스페클 노이즈, salt & pepper 노이즈 등 과 같은 다양한 광학적 이미지 노이즈들이 영상에 포함되어 영향을 나타내게 된다[7][14]. 디지털 영상에 포함되는 가장 일반적인 광학적 노이즈는 가우시안 노이즈 이다. 가우시안 노이즈는 신호 세기에 덧붙여진 주기와 세기가 다른 무작위적인 빛의 분포를 뜻한다. 이때 이미지 내 주어진 크기의 직사각형 그리드 형태의 표본 내 잡음의 진폭의 평균값이 영을 갖는 정규 분포를 갖는 경우 이 잡음을 가우시안 노이즈 또는 백색 잡음이 라고 한다. 이러한 가우시안 노이즈가 프로젝터 보정 정밀도에 미치는 영향을 분석하였다.

Ⅲ. 실험 및 결과

3.1 프로젝터 보정 측정 시스템

프로젝터의 보정은 카메라 보정의 역 순으로 진행된다. 먼저 종이 평면 보다 평면의 평 편도나 디스프레이 된 패턴의 정밀도가 우수한 LCD 모니터에 컴퓨터를 사용하여 한 무늬의 크기가 가로 세로 13mm×13mm인 장방형 흑백 무늬의 흑백 주기가 가로 세로 9×10인 체커보드 이미지를 만들었다. 이 LCD 모니터를 다양한 변위와 회전, 이동 등 서로 다른 포즈를 취하여 고정 위치에 있는 카메라로 변형된 체커보드 이미지를 캡쳐 하였다. 약 15개의 저장된 이미지들을 사용하여 카메라의 내부 및 외부 매개 변수들을 계산하였다. 카메라 보정할 때와 동일하게 카메라 위치와 LCD 모니터위치와 방위를 유지하고 동일한 크기의 체커보드 이미지를 컴퓨터와 프로젝터를 사용하여 LCD 모니터 패널 표면에 투사하였다. LCD 모니터 표면은 평편도는 우수하나 투사된 영상의 반사도가 낮아 코너 점 인식 에러율이 커져 평면 백색 종이를 LCD 모니터 표면에 목측으로 평면이 되도록 하여 반사면으로 사용 하였다. 프로젝터 교정의 경우도 체커보드 이미지가 투사된 면을 앞에서와 유사한 방위와 배위로 변위와 회전, 이동시키며 변형된 기준 이미지를 카메라로 캡쳐하여 저장한 후 카메라 보정과 동일한 방법과 소프트웨어로 처리하여 프로젝트의 내부 및 외부 매개 변수와 보정 데이터를 계산하였다. 1차 프로젝터 보정을 통하여 계산된 보정 데이터들을 사용하여 프로젝터로 투사한 체커보드 영상들의 왜곡을 보정하여 보정된 체커보드 기준 이미지를 만들었다. 또한 프로젝터 보정의 기준이 되는 체커보드 이미지에 포함된 가우시안 광학적 노이즈가 보정에 미치는 영향을 정밀하게 분석하기 위해 프로젝터 보정된 체커보드 이미지에 가우시안 노이즈를 추가하여 2차 프로젝터 교정을 하였다. 추가된 가우시안 이미지 노이즈 세기 값이 식 (1)과 식 (2)에 주어진 프로젝터 내부 매개 변수와 외부 매개 변수, 왜곡 계수, 재 투영 에러 등에 미치는 영향을 분석해 보기 위해 그림 1과 같은 실험 장치를 구성하였다.

Fig. 1.

Optical system configuration for projector calibration

프로젝터 보정 과정은 프로젝터로 투사한 영상을 카메라로 캡쳐 하게 되므로 우선 먼저 카메라 보정을 하였다. 여기서는 한 변의 길이가 13cm인 정사각형 흑백 무늬를 가로세로 9×10개 배열한 2차원 평면 체커보드 패턴을 평면 LCD 모니터에 디스프레이하여 카메라 보정의 기준 이미지로 사용하였고, 동일한 체커보드 패턴을 프로젝터를 통해 LCD 모니터 면에 부착한 평면 백색 스크린에 투사하여 프로젝터 보정의 기준 이미지로 사용하였다. 카메라는 라이카 T로서 APS-C 규격 CMOS 센서의 픽셀 수는 4272×2856이고, 초점거리 값이 18~56mm인 렌즈 광학계와 자동초점, 자동노출 기능을 사용하였다. 체커보드 패턴이 디스프레이 되는 LCD 모니터로부터 영상 투사 프로젝터 까지는 70~80cm 거리를 두었다.

LCD 모니터는 다양한 기울기와 상이한 방위각을 갖도록 회전 및 병진 이동 배치 한 후 변형된 체커보드 이미지를 캡쳐 하였다. 프로젝터는 Optoma 회사 제품으로서 해상도가 1920×1080이고, 초점거리 값이 22.4~26.82mm인 HD20 DLP 프로젝터를 사용하여 초점거리는 수동으로 조절하였다. 프로젝터 보정과 카메라 보정 및 가우시안 광학 이미지 노이즈 발생은 Mathworks사의 Matlab의 카메라 보정 툴과 프로그램을 사용하였다[15].

프로젝터 보정의 기준 좌표계로 사용하는 1차 보정된 체커보드 이미지에 노이즈 세기 분포가 다른 가우시안 노이즈를 추가하여 보정에 미치는 영향을 측정하였다. 이때 가우시안 노이즈는 평균값이 0이고, 이미지 세기에 대한 노이즈 세기의 변화를 0.001 배로부터 0.25배 까지 단계 별로 변화 시켰다. 그림 2에는 가우시안 노이즈와 노이즈 세기 레벨에 따른 이미지 노이즈의 평균 표준 편차 값을 보여준다.

Fig. 2.

Mean standard deviation values for gaussian noise with different intensity levels

그림 3에는 카메라 보정에 사용한 LCD 모니터에 디스프레이한 노이즈 없는 이미지와 프로젝터 보정에 사용한 노이즈 없는 이미지 그리고 세기 레벨이 다른 가우시안 노이즈를 추가한 체커보드 이미지를 보여준다. 그림 4에는 카메라 보정과 프로젝터 보정에서 사용한 카메라와 여러 포즈를 취한 LCD 모니터 위치 좌표계와 프로젝터로 투사한 백색 평면 스크린의 여러 포즈들과 위치들을 보여준다.

Fig. 3.

Checker board images, (a) LCD monitor image for camera calibration, (b) Projector image for projector calibration, (c) Projector calibrated checker board image with gaussian noise intensity level 0.01, (d) Projector calibrated checker board image with gaussian noise intensity level 0.2

Fig. 4.

Calibration configuration of camera and projector

그림 5(a)에는 카메라 보정에 사용되는 기준 좌표계인 2차원 평면 체커보드 이미지의 제작 변형이 작은 LCD 모니터에 디스프레이한 체커보드 기준 이미지를 사용하여 카메라 보정을 수행한 결과로서 체커보드 이미지 내에 있는 장방형 모서리 점 들인 특성 점들에 대한 2차원(X, Y) 평면 재 투영 에러의 분포를 보여 준다. 이 경우 카메라의 평균 재 투영 에러의 값은 0.1687 픽셀로 계산되었다.

Fig. 5.

Changes in reprojection error values of checker board image characteristic point (a) Camera calibration with LCD monitor display, (b) 1st projector calibration with checkerboard image, (c) Projector calibration with 1st calibrated image, (d) Projector calibration with 1st calibrated image added gaussian noise intensity level 0.01, (e) Projector calibration with 1st calibrated image added gaussian noise intensity level 0.1, (f) Projector calibration with 1st calibrated image added gaussian noise intensity level 0.2

또한 그림 5(b)에는 동일한 체커보드 기준 이미지를 프로제터를 사용하여 LCD면 백색 스크린에 투사하여 동일한 방법으로 보정한 프로젝터 1차 보정 재 투영 에러의 분포를 보여 주며, 이 경우 프로젝터의 1차 보정 재 투영 에러의 평균값은 0.5119 픽셀로 계산되었다.

그림 5(c)에는 1차 프로젝터 보정된 체커보드 이미지를 사용한 경우의 재 투영 에러의 분포를 보여 주며, 평균 재 투영 에러의 값은 0.1694 픽셀이었다. 이 값은 체커보드 이미지 자체의 오차가 가장 작은 LCD 모니터를 사용하여 보정한 카메라 보정 값의 평균 재 투영 에러 0.1687과의 차이가 0.1% 이하 이어서 프로젝터 보정이 정밀하게 수행된 것으로 판단 할 수 있다. 따라서 1차 프로젝터 보정된 이미지를 사용하면, 가우시안 노이즈만의 효과, 즉 보정의 기준이 되는 체커보드 이미지에 추가되는 가우시안 노이즈가 프로젝터 보정에 미치는 효과를 충분한 정확도로 나타낼 수 있을 것으로 판단된다.

또한 그림 5(d), (e), (f)는 1차 프로젝터 보정된 체커보드 기준 이미지에 세기 레벨이 0.01배, 0.1배, 0.2배인 가우시안 노이즈를 각각 추가한 체커보드 이미지를 사용하여 구한 프로젝터 2차 보정의 결과이다. 여기서는 특성 점들의 재 투영 분포를 보여 주며, 평균 재 투영 에러의 크기는 각각 0.1798, 0.2681, 0.3525 픽셀로 구해졌다.

그림 6에는 1차 프로젝터 보정 과정을 거쳐 보정된 체커보드 이미지를 사용하고, 가우시안 노이즈를 세기를 달리하여 추가하여 2차 프로젝터 보정을 실시한 결과를 보여준다. 노이즈의 세기 레벨에 따른 프로젝터 보정 내부 매개 변수들 중에서 프로젝터 렌즈 광학계의 방사 왜곡 계수들 k₁, k₂, k₃와 에러 값들의 변화를 보여 준다. 가우시안 노이즈 세기 레벨에 따른 방사 왜곡 계수들의 변화를 보면 방사 왜곡 계수 k₁은 노이즈 세기 평균 표준 편차 값 20 이상에서 변동의 폭이 약 0.02 픽셀 정도됨을 알 수 있다. 방사 왜곡 계수 k₂는 노이즈 세기 표준 편차 값 30 부근에서 0.01 픽셀의 변동 값을 나타내었다.

Fig. 6.

Gaussian noise effect on the projector radial distortion coefficients and its error values

또한 그림 6(b)에서 보면 가우시안 노이즈 세기 평균 표준 편차 값이 2.49에서 40.48로 16.2배 증가 될 때 방사 왜곡 계수들 k₁, k₂, k₃ 등의 에러 값 들은 각각 0.004, 0.0037, 0.0017 픽셀들로 부터 0.103, 0.012, 0.0066 픽셀로 각각 2.57배, 3.24배, 3.8배 증가 되어 k₃ 에러가 가장 크게 변화되었다.

그림 7에는 가우시안 노이즈 세기 레벨에 따른 프로젝터 투사 렌즈계의 정접 왜곡 계수 k₄, k₅와 이들의 에러 값들의 변화를 보여 준다.

Fig. 7.

Gaussian noise effect on the projector tangential distortion coefficients

정접 왜곡 계수들은 가우시안 노이즈 세기 평균 표준 편차 값 35 부근에서 큰 변동을 나타내고 있음을 알 수 있고, 정접 왜곡 계수들의 에러 값은 노이즈 세기 평균 표준 편차 값이 2.49에서 40.48로 16.2배 증가 될 때 k₄와 k₅의 에러는 각각 0.0033, 0.0027 픽셀로부터 0.008, 0.0067 픽셀로 각각 2.42배, 2.48배 증가 되었다.

그림 8은 1차 프로젝터 보정 과정을 거쳐 보정된 체커보드 이미지를 사용하고, 가우시안 노이즈를 세기를 달리하여 추가하여 2차 프로젝터 보정을 수행 하여 구한 평균 재 투영 에러 값들이다.

Fig. 8.

Effect of gaussian noise on the projector mean reprojection error

이 결과를 보면 1차 프로젝터 보정된 체커보드 이미지에 추가한 가우시안 노이즈 세기 값을 평균 표준 편차 값 2.49로부터 40.45까지 약 16.2배 증가 시킬 때, 프로젝터의 평균 재 투영 에러의 값은 0.1704 픽셀로부터 0.3958 픽셀 까지 약 2.32배 증가 하였다.

그림 9에는 이미지 세기에 대한 가우시안 노이즈 세기 값을 0.001배로부터 0.25배 까지 단계 별로 변화 시켜 2차 프로젝터 보정을 수행하여 구한 증가된 평균 재 투영 에러 값들에서 1차 보정된 체커보드 이미지를 사용하여 구한 프로젝터 보정 평균 재 투영 에러 값(0.1694)을 뺀 값들, 다시 말해 순수 노이즈 증가 효과에 의해 증가된 재 투영 에러 값의 크기를 각각의 노이즈 세기 값들로 나누어서 구한 그래프로서 노이즈에 대한 재 투영 에러의 민감도를 나타내 준다. 노이즈 세기가 작은 0.075배 이하에서 재 투영 에러 값에 더 큰 비율(1.0 이상)로 영향을 나타내고 있음을 볼 수 있다.

Fig. 9.

Increment ratio of mean reprojection error to the noise intensity level

표 1에는 LCD 모니터를 사용하여 구한 카메라 보정 매개 변수들과 프로젝터 1차 보정으로 구한 매개 변수들 및 보정된 기준 이미지를 사용한 프로젝터 2차 보정 매개 변수들, 또한 프로젝터 1차 보정된 기준 이미지에 세기 레벨 값이 0.25(노이즈 표준편차 값 40.48)인 가우시안 노이즈를 추가하고 프로젝터 2차 보정을 수행한 경우의 보정 매개 변수들의 변화를 비교하여 보여준다.

Table 1.

Comparison of projector calibration data on the several case.(unit; pixel)

Ⅳ. 결 론

여기서는 프로젝터 보정에 사용되는 체커보드 이미지에 포함되는 가우시안 노이즈가 프로젝터 보정에 미치는 영향을 실험적으로 분석 하였다. 먼저 카메라 보정을 수행 한 후 프로젝터 1차 보정과 1차 보정 데이터를 사용한 프로젝터 2차 보정 및 가우시안 노이즈가 포함된 보정된 기준 이미지를 사용한 프로젝터 2차 보정을 수행하였다. 기준이 되는 체커보드 이미지의 특성 점인 코너 점을 측정 하는 방법을 사용하여 카메라 렌즈와 프로젝터의 이미지 투사용 렌즈 계에 대한 왜곡수차들의 지표가 되는 방사 왜곡 계수 k₁, k₂, k₃와 정접 왜곡 계수 k₄, k₅ 값들의 변화와 이 값들의 에러 크기들을 계산하였다.

또한 이 특성 점 들을 재 투영하여 평균 재 투영 에러 값들을 픽셀 단위로 구하여 가우시안 노이즈의 영향을 보였다. 가우시안 노이즈 세기 레벨을 평균 표준편차로 나타내어 계산하였다. 가우시안 노이즈 세기를 평균 표준 편차 2.49로부터 40.45까지 약 16.2배 증가시켰을 때, 프로젝터의 평균 재 투영 에러의 값은 0.1704픽셀로부터 0.3958픽셀까지 약 2.32배 증가하였다. 순수 노이즈 증가 효과에 의해 증가된 재 투영 에러의 노이즈 민감도를 보면 노이즈 세기가 작은 0.075배 이하에서 1.0 보다 더 큰 비율로 재 투영 에러 값에 영향을 나타내었다. 기준 이미지에 포함된 세기 0.001배인 작은 크기의 노이즈로부터 세기가 0.25배인 노이즈까지 프로젝터 보정에 미치는 정밀도와 에러 크기 범위 등을 알 수 있어 보다 정밀한 프로젝터 보정이 가능할 것으로 판단된다.

Acknowledgments

이 논문은 2018-2019년 청주대학교 산업과학연구소가 지원한 학술연구조성비(특별과제)에 의하여 연구되었음

References

S. Gorthi, and P. Rastogi, "Fringe Projection Techniques : Whither we are?", Opti. Laser Eng., 48(2), p133-140, Feb.), (2019. [https://doi.org/10.1016/j.optlaseng.2009.09.001]
F. Chen, G. Brown, and M. Song, "Overview of Three-dimensional Shape Measurement using Optical Methods", Opti. Eng., 39(1), p10-22, Jan.), (2000. [https://doi.org/10.1117/1.602438]
M. Idesawa, "High-precision Image Position Sensing Methods Suitable for 3-D Measurements", Opt. Lasers Eng., 10(3), p191-204, Mar.), (1989. [https://doi.org/10.1016/0143-8166(89)90037-7]
X. Su, and W. Chen, "Fourier Transform Profilometry : A Review", Opt. Lasers Eng., 35(5), p263-284, May), (2001. [https://doi.org/10.1016/S0143-8166(01)00023-9]
M. Knauer, J. Kaminski, and G. Hausler, "Phase Measuring Deflectometry : A New Approach to Measure Specular Free-Form Surfaces", Proc. SPIE, 5457, p366-376, Jan.), (2004. [https://doi.org/10.1117/12.545704]
J. H. Yoo, and Y. S. Yu, "A Study on Precalibration Techniques in Fringe Reflection Profilometry", Journal of KIIT, 11(12), p59-69, Dec.), (2013.
Y. S. Yu, "Effect of Chessboard Image Noise on Camera Calibration", Journal of KIIT, 16(1), p145-153, Jan.), (2018. [https://doi.org/10.14801/jkiit.2018.16.1.145]
X. Zhang, and L. Zhu, "Projector Calibration from the Camera Image Point of View", Opti. Eng., 48(11), p117208-11, Nov.), (2009. [https://doi.org/10.1117/1.3265551]
S. D. Ma, R. H. Zhu, C. Quan, L. Chen, and C. Tay, "Flexible Structured-Light-Based Three-Dimensional Profile Reconstruction Method Considering Lens Projection-Imaging Distortion", Applied Opti., 51(13), p2419-2428, May), (2012. [https://doi.org/10.1364/AO.51.002419]
C. Y. Chen, and H. J. Chien, "An incremental Target-Adapted Strategy for Active Geometric Calibration of Projector-Camera Systems", Sensors, 3(2), p2664-2681, Mar.), (2013. [https://doi.org/10.3390/s130202664]
Z. Li, Y. Shi, and K. Zhong, "Projector Calibration Algorithm for the Structured Light Measurement Technique", Acta Optica Sinica, 29(11), p3061-3065, Nov.), (2009. [https://doi.org/10.3788/AOS20092911.3061]
L. Xie, S. Huang, Z. Zhang, and F. Gao, "Projector Calibration Method Based on Optical Coaxial Camera", Proc. of SPIE, 9301, p930121-10, Nov.), (2014.
Z. Song, and R. Chung, "Use of LCD Panel for Calibrating Structured-Light-Based Range Sensing System", IEEE Trans. on Inst. and Meas, 57(11), p2623-2630, Nov.), (2008. [https://doi.org/10.1109/TIM.2008.925016]
M. V. Sarode, and P. Deshnukh, "Reduction of Speckle Noise and Image Enhancement of Images using Filtering Technique", Inter. J. of Advan. in Tech., 2(1), p30-38, Jan.), (2011.
Camera Calibration Toolbox for Matlab : http://www.vision.caltech.edu/bouguetj/calib_doc/, [accessed: Nov. 01, 2018]

저자소개

유 연 석 (Yeon-Serk Yu)

1979년 2월 : 충북대학교 졸업(학사)

1982년 8월 : 충북대학교 물리교육(석사)

1988년 2월 : 숭실대학교 물리학과(박사)

1988년 3월 ~ 현재 : 청주대학교 이공대학 레이저광정보공학과 교수

관심분야 : 광계측, 광응용시스템, 3차원 측정, 박막광학

IP	Cam. cali.	P 1 Ca.	P 2 Ca.	P2 noise
* Ip: Intrinsic Parameter, P1Ca: Projector 1st calibration P2Ca.: Projector 2nd calibration, P2 Ca. with Noise(0.25) MFE: Focal length error, MPE: Principal point error SKE: Skew error, MRE: Mean reprojection error
k₁	7.2X10^-4	0.0064	0.0037	0.0103
k₂	0.0074	0.0064	0.0033	0.012
k₃	0.0257	0.0058	0.0014	0.0066
MFE	0.448	167.9	90.4	190.6
MPE	0.486	84.8	30.5	70.8
SKE	0.901	43.511	31.12	67.09
MRE	0.1687	0.5119	0.1694	0.3958