Joint Transform Correlator를 이용한 디지털 홀로그램 지문 영상의 인식에 관한 연구

Ⅰ. 서 론

요즘 증가한 보안 인식에 따라 많은 보안 기술이 개발되었다. 그 중의 하나로 생체인식 기술들이 있다. 이러한 기술은 개인이 가지고 있는 특징을 사용하여 암호화를 하는 것이기 때문에 비밀번호를 관리하는 등의 번거로움을 줄일 수 있으며 열쇠를 가지고 다니거나 비밀번호를 외우는 등의 불편함을 해소 시킬 수 있다. 지금 가장 보편적으로 사용되는 생체인식 시스템으로는 지문인식시스템이 있다. 지문 인식이 보편화된 주된 이유로는 지문은 다른 DNA나 홍채와 같은 신체 일부보다 사용되는 것에 대한 심리적 거부감이 덜 하며 지문인식을 하는데 필요한 입력장치와 같은 장치들의 비용이 저렴하기 때문에 많이 사용되고 있다[1]-[3].

이러한 지문인식 방법은 지문을 인식하는 방법에 따라 크게 광학식, 비광학식 방법으로 나뉠 수 있다. 광학식 방법의 기본적인 형태는 프리즘과 CCD를 이용한 것으로 광원에서 나온 빛이 프리즘을 통하여 입사할 때 지문에 부딪혀 프리즘의 다른 면으로 반사되는 빛을 디지털화하여 인식하는 방법이다. 비광학식 방법은 광학식 방법과 유사한 형태로서 광원 대신에 초음파를 사용하는 초음파 방법, 지문의 땀샘이 융기되어 만들어진 것을 활용하는 것으로서 이러한 원리로 지문의 정전용량을 측정한 데이터의 차이를 이용하는 정전용량 방법, 지문의 융기로 인해 손가락으로 센서를 눌렀을 때 지문의 무늬에 따라 생기는 압력차를 전기신호로 바꾸어 이용한 압전기 방법 등이 있다[4].

위와 같이 입력된 영상들은 여러 과정을 통해서 디지털화하게 되고 디지털화된 영상은 기존의 컴퓨터에 암호로 지정되어 있는 지문영상과 일치여부를 확인하게 된다. 일치여부를 확인 하는 방법으로는 각 영상의 특이점 위치와 개수를 비교하는 방법으로 일치율이 일정 비율보다 높으면 같은 지문으로 인식하는 방법이다[5].

하지만 이러한 지문인식에도 여러 문제점이 발견되었는데 첫 번째로 지문과 입력장치 사이에 이물질이 존재하게 되면 지문인식에 오류 또는 왜곡이 발생할 수 있으며 지문의 미세한 변화 예를 들면 위치, 방향 등의 미세한 변화에 대응하지 못하는 단점이 있다[6].

본 논문에서는 이러한 여러 문제점 중에서 지문인식 장치에 입력되는 지문 영상의 위치와 방향이 항상 일치하지 않고 이러한 오류는 입력시키는 지문의 정보가 기존에 입력되어 있는 지문의 정보 즉, 위치와 각도의 차이가 생기면서 두 지문을 비교했을 때 같은 지문일지라도 일치 율이 위치와 각도에 따라 낮아진다. 이에 이 논문에서는 지문의 특이점 중 하나인 중심점을 이용하려 한다. 중심점은 지문의 곡률이 가장 높은 곳으로서 중심점을 지문영상의 중심으로 인식시켜 두 지문을 비교한다면 입력 장치에 닿는 위치와 각도에 따른 오류를 줄 일 수 있을 것으로 예측한다.

본 논문에서는 지문 영상 및 이들 지문 영상을 CGH로 변환한 영상을 활용하여, 이들의 중심점을 찾아 지문 인식을 하였을 때와 중심점을 찾지 않고 지문 인식을 하였을 때의 차이점을 비교함으로서 중심점을 찾았을 때의 방식이 지문 인식률의 증가를 가져옴을 확인하였다. 그 뿐만 아니라 지문 영상을 일정 거리 움직이거나 회전시킴으로서 어느 정도의 움직임과 회전까지를 같은 지문으로 인식할 수 있는가를 비교해봄으로서 중심점을 찾은 영상이 같은 지문끼리의 인식률이 얼마나 증가하였는가를 연구하였으며 2차원 상관 피크 값을 데이터로 제시하였다.

Ⅱ. JTC를 이용한 지문 인식 이론

2.1 JTC의 기본 이론

JTC(Joint Transform Correlator)는 그림 1과 같이 서로 다른 샘플 이미지(S)와 기준 이미지(R)를 한 평면(L₁)에 올려놓고 렌즈(L₂)를 통해 퓨리에 변환을 시키고 다시 역변환 시켜 C.P.(Correlation Peak)를 이끌어내어 서로 상호관계를 알아보는 것을 말한다[7]-[16].

Fig. 1.

Optical system of joint transform correlator

JTC의 입력 영상은 축의 중심으로 h(x₁,y₁ )와 g(x₁,y₁)가 각각 $$ \frac{Y}{2}$$만큼 떨어져 있기 때문에 식 (1)과 같이 나타낼 수 있다.

$\[ u_1\left(x_1,y_1\right)=h\left(x_1,y_1-\frac{Y}{2}\right)+g\left(x_1,y_1+\frac{Y}{2}\right) \]$

(1)

입력 영상은 초점거리 f만큼 떨어져 있는 렌즈를 통과하면 푸리에 변환(Fourier Transform)이 되어 렌즈에서 f만큼 떨어져 있는 위치에서 다음과 같은 영상이 기록된다.

$\[ U_2\left(x_2,y_2\right)=\frac{1}{\text{λ}f}H\left(\frac{x_2}{\text{λ}f},\frac{y_2}{\text{λ}f}\right)e^{-j\pi y_{2}Y/\lambda f}+\frac{1}{\text{λ}f}G\left(\frac{x_2}{\text{λ}f},\frac{y_2}{\text{λ}f}\right)e^{+j\pi y_{2}Y/\lambda f} \]$

(2)

이 기록된 영상의 빛의 세기(I)를 구한 뒤 복원할 때의 영상(u₃)은 식 (3)을 역 푸리에 변환(Inverse Fourier Transform)을 시키면 구할 수 있다.

$\[ I\left(x_2,y_2\right)=\frac{1}{{\lambda }^2{f}^2}\left\{{\left|H\left(\frac{x_2}{\text{λ}f},\frac{y_2}{\text{λ}f}\right)\right|}^2+{\left|G\left(\frac{x_2}{\text{λ}f},\frac{y_2}{\text{λ}f}\right)\right|}^2+H\left(\frac{x_2}{\text{λ}f},\frac{y_2}{\text{λ}f}\right)G^{*}\left(\frac{x_2}{\text{λ}f},\frac{y_2}{\text{λ}f}\right)e^{-j\pi y_{2}Y/\lambda f}+H^{*}\left(\frac{x_2}{\text{λ}f},\frac{y_2}{\text{λ}f}\right)G\left(\frac{x_2}{\text{λ}f},\frac{y_2}{\text{λ}f}\right)e^{+j\pi y_{2}Y/\lambda f}\right\} \]$

(3)

$\[ u_3\left(x_3,y_3\right)=\frac{1}{\lambda f}\left[\begin{array}{c}h\left(x_3,y_3\right)\times h^{*}\left(-x_3,-y_3\right)+g\left(x_3,y_3\right)\times g^{*}\left(-x_3,-y_3\right)+h\left(x_3,y_3\right)\hfill \\ \times g^{*}\left(-x_3,-y_3\right)\times \delta \left(x_3,y_3-Y\right)\times h^{*}\left(-x_3,-y_3\right)\times g\left(x_3,y_3\right)\times \delta \left(x_3,y_3+Y\right)\hfill \end{array}\right] \]$

(4)

이때 식 (4)의 오른쪽의 세 번째, 네 번째 항은 다음과 같이 정리할 수 있다.

$\[ h\left(x_3,y_3\right)\times g^{*}\left(-x_3,-y_3\right)\times \delta \left(x_3,y_3-Y\right)=h\left(x_3,y_3\right)\times {\int }_{-\infty }^{\infty }{g}^{*}\left(\xi -x_3,\eta -y_3+Y\right)d\xi ={\iint }_{-\infty }^{\infty }h\left(\xi ,\eta \right)g^{*}\left(\xi -x_3,\eta -y_3+Y\right)d\xi d\eta \]$

(5)

$\[ h^{*}\left(-x_3,-y_3\right)\times g\left(x_3{y}_3\right)\times \delta \left(x_3,y_3+Y\right)=h^{*}\left(-x_3,-y_3\right)\times {\int }_{-\infty }^{\infty }{h}^{*}\left(\xi -x_3,\eta -y_3-Y\right)d\xi ={\iint }_{-\infty }^{\infty }g\left(\xi ,\eta \right)h^{*}\left(\xi -x_3,\eta -y_3-Y\right)d\xi d\eta \]$

(6)

식 (5)와 식 (6)은 상관 평면에 생긴 결합상관관계식을 나타내며, 상관 피크 값으로 나타낸다. 기준 영상과 샘플 영상이 일치 할수록 상관 피크 값은 1에 가까워지고 일치하지 않을수록 상관피크 값은 0에 가까워진다[17][18].

Ⅲ. 실험 방법

이 실험은 홀로그램으로 만든 지문영상들을 비교하기 위하여 제작되었다. 크게는 메인 함수와 지문의 영상을 받는 함수, JTC 함수, 중심점을 찾는 함수로 구성되어 있다.

이때의 알고리즘은 메인 함수가 지문 영상을 받는 함수를 불러들여서 두 개의 지문을 얻은 뒤 중심점을 찾는 함수를 사용하여 지문의 중심점을 찾게 되고 이 과정을 통해서 발생할 수 있는 잡음을 제거하기 위하여 2D 가우시안 저주파통과여과기(Gaussian Low Pass Filter)를 사용하게 된다. 이렇게 잡음을 제거한 두 개의 영상은 중심점을 기준으로 100X100 픽셀 크기로 자름으로서 영상을 반환한다. 이렇게 얻어진 두 지문영상은 JTC 함수의 변수로서 푸리에 변환과 역 푸리에 변환을 통하여 CPV(Correlation Peak Value)와 PSR(Peak to Sidelobe Ratio) 값을 도출함으로써 두 지문영상 서로의 상호관계를 알아본다.

위의 과정에서 얻은 두 개의 지문영상은 JTC를 통해 두 지문이 같은 지문인지 확인하게 된다. 이렇게 확인하는 방법으로는 CPV와 PSR을 비교하는 방법이다.

첫 번째로 홀로그램으로 만들어진 두 지문영상의 비교뿐만 아니라 지문이 좌우로 0.1cm씩 움직였을 때와 좌우로 5도씩 회전시켰을 때 각각 어느 정도의 움직임까지 같은 지문으로 인식하는가를 알아보았으며 이를 기준으로 위에 언급한 방법으로 중심점을 찾은 지문끼리의 영상을 어느 정도의 움직임까지 같은 지문으로 인식하는지 알아보았다. 이를 통하여 중심점을 찾음으로써 위치의 움직임에 상관없이 같은 지문의 홀로그램 영상 간의 일치 율이 어느 정도 개선되었는가를 확인해보았다. 또한 이 실험에서는 기존의 지문영상을 비교하는 방법에서 더욱 복잡하고 안전하게 만들기 위하여 지문영상을 홀로그램으로 만드는 과정을 거쳤다.

Ⅳ. 결과 및 분석

그림 2와 같이 지문 영상을 CGH 영상으로 변환시켜 서로 다른 지문 영상인 샘플 1과 샘플 2를 비교해보았을 때 같은 지문으로의 인식률을 구하고 이를 기준으로 샘플 1을 좌우로 움직여서 중심점을 찾은 영상이 그렇지 않은 영상보다 같은 지문으로 인식하는 비율이 얼마나 증가하였는가를 확인해보았다.

Fig. 2.

Sample and CGH

먼저 일반 지문 영상을 CGH 영상으로 변환 시킨 뒤 중심점을 찾지 않았을 때 지문 영상을 좌우로 이동시켰을 시의 CGH영상과 원래의 CGH영상을 비교하였다. 이때 중심점을 찾지 않았을 때 샘플 1과 샘플 2의 C.P.는 7.475e+05로 측정되었다. CGH로 변환한 두 지문영상은 그림 3과 그림 4와 같은 결과가 나타났으며 지문 영상을 좌우로 움직였을 때 평균적으로 0~0.3cm 움직임에서는 원본 영상과 움직인 영상의 C.P.가 0.31e+07~8.51e+06로서 같은 지문으로 구분이 가능함을 알 수 있었다. 또한 좌우로 0.3~0.8cm까지의 움직임은 C.P.는 5.56e+06~8.43e+05로서 서로 다른 지문끼리의 C.P.와 값이 유사하기 때문에 같은 지문인지 완전히 다른 지문인지 인식하기 어려웠으며 0.8cm이상에서는 C.P.가 7.475e+05보다 작았기 때문에 완전히 다른 지문으로 인식함을 알 수 있었다. 중심점을 찾았을 때의 샘플 1과 샘플 2의 C.P.는 6.087e+05로 측정되었으며 지문 영상을 좌우로 움직였을 때 그림 5, 그림 6과 같이 C.P. 평균값이 1.28e+07~1.56e+7로서 좌우로 1.1cm까지 움직인 지문영상을 같은 지문으로 인식함을 알 수 있었다. 1.1cm이상 좌우로 옮긴 지문 영상은 같은 지문끼리의 C.P. 평균값이 급격히 감소함을 알 수 있었다.

Fig. 3.

C.P. according to sample shift to left when center point is not found

Fig. 4.

C.P. according to sample shift to right when center point is not found

Fig. 5.

C.P. according to sample shift to left when center point is found

Fig. 6.

C.P. according to sample shift to right when center point is not found

두 번째 실험은 일반 지문 영상을 CGH 영상으로 만든 뒤 좌우로 회전시켰을 때의 두 지문영상을 비교하는 실험이다. 이때 중심점을 찾지 않았을 때 샘플 1과 샘플 2의 C.P.는 1.537e+06로 측정되었다. 지문 영상을 시계·반시계 방향으로 움직였을 때 그림 7과 그림 8과 같이 평균적으로 5°까지의 회전은 원본 영상과 회전한 영상의 C.P.가 3.693e+06으로 같은 지문으로 인식이 가능했다. 또한 좌우로 5~20°까지 회전한 영상의 C.P.는 1.477e+06~1.649e+06으로 서로 다른 지문끼리의 C.P.값이 유사하기 때문에 같은 지문인지 완전히 다른 지문인지 인식하기 어려웠으며 20°이상의 회전에서는 C.P.가 3.693e +06보다 작았기 때문에 완전히 다른 지문으로 인식함을 알 수 있었다. 중심점을 찾았을 때의 샘플 1과 샘플 2의 C.P.는 1.55e+05로 측정되었으며 지문 영상을 시계·반시계 방향으로 회전하였을 때 그림 9와 그림 10과 같이 C.P. 평균값이 1.23e+06~3.762e +05로서 좌우로 0~25°까지의 회전은 원본 영상과 회전한 영상이 같은 지문으로 인식이 가능했다. 또한 좌우로 25~30°까지의 회전한 영상의 C.P.는 3.762e+05~2.90e+05으로 서로 다른 지문끼리의 C.P.값이 유사하기 때문에 같은 지문인지 완전히 다른 지문인지 인식하기 어려웠으며 30°이상의 회전에서는 C.P.가 1.55e+05보다 작았기 때문에 완전히 다른 지문으로 인식함을 알 수 있었다.

Fig. 7.

C.P. according to sample rotation with clockwise when center point is not found

Fig. 8.

C.P. according to sample rotation with counterclockwise when center point is not found

Fig. 9.

C.P. according to sample rotation with clockwise when center point is found

Fig. 10.

C.P. according to sample rotation with counterclockwise when center point is found

이 실험들을 통하여 일반 영상 뿐 만 아니라 CGH영상 의 중심점을 찾고 중심점을 기준으로 지문이 같은지 유무를 확인한다면 보다 더 높은 정확도를 갖는 데이터를 얻을 수 있다는 것을 알 수 있었다.

Ⅴ. 결 론

본 논문에서는 지문을 입력장치에 입력시킬 때 입력하는 지문의 중심과 입력장치의 중심이 일치하지 않는다면 생길 수 있는 두 지문의 일치 비율 저하를 개선하기 위하여 암호화를 위한 JTC와 지문인식 및 인증절차에 대하여 조사하였다. 또한 지문의 중심점을 찾는 방법을 조사 및 연구하여 JTC에 대입하여 컴퓨터 모의실험을 통하여 지문 영상의 중심점의 유무에 따른 같은 지문끼리의 인식률을 비교 분석해 보았다. 또한 기존의 지문 영상 비교 방법에서 CGH로 만든 지문 영상을 사용함으로써 더 복잡하고 보완성이 높은 방법을 채택하였다.

기본적인 JTC 형태에 서로 다른 지문의 두개의 영상을 집어넣었을 때의 두 지문의 같은 지문 인식률을 다른 지문으로 인식하는 한계점으로 설정한 뒤 기준영상과 비교영상을 JTC에 집어넣어서 같은 지문인지 확인해 보았다.

첫 번째 실험에서 샘플 1과 샘플 2를 비교해보았을 때의 같은 지문으로의 인식률을 구하고 이를 기준으로 샘플 1을 좌우로 움직여서 중심점을 찾은 영상이 그렇지 않은 영상보다 같은 지문으로 인식하는 비율이 얼마나 증가하였는가를 확인해보았다.

위의 첫 번째 실험을 통해서 CGH로 변환한 두 지문영상은 좌우로 0.3cm 이동시켰을 때까지를 같은 지문으로 인식한 반면 중심점을 찾은 영상은 좌우로 1.1cm이상 움직였을 때 까지도 같은 지문으로 인식한다는 것을 알 수 있었다.

두 번째 실험은 일반 지문 영상을 CGH 영상으로 만든 뒤 좌우로 회전시켰을 때의 두 지문영상을 비교하는 실험이다. 이 실험을 통하여 중심점을 찾지 않은 영상은 좌우로 5도 움직였을 때까지를 같은 지문으로 인식하였으며 중심점을 찾은 CGH영상은 25도까지 같은 지문으로 인식한다는 것을 알 수 있었다.와 두 번째 실험을 통해서 지문의 중심점을 찾음으로서 같은 지문으로 위치와 회전에 따른 오류를 줄일 수 있음을 알 수 있었다.

이렇게 두 가지의 실험을 통하여 대체적으로 일반 영상의 이동 또는 회전했을 때 중심점을 설정하지 않은 영상보다 중심점을 찾은 영상이 더 같은 지문끼리의 같은 지문으로 인식하는 범위가 넓다는 것 을 알 수 있었다. 따라서 중심점을 설정했을 때가 설정하지 않았을 때보다 지문이 일치할 때와 지문이 일치하지 않았을 때의 상호간 인식률이 더 높아졌음을 알 수 있었으며 이 기술을 사용하면 지문 인식할 때 위치에 따른 오류에도 불구하고 인식률을 향상시킬 수 있음을 알 수 있다.

Acknowledgments

이 논문은 2016년도 청주대학교 연구장학 지원에 의한 것임.

References

• Jong Eun Hyun, "A study in Cyber Security System using Fingerprint Recognition", Major in Computer Engineering, Yonsei University, (2000).
• Henry C. Lee, and R. E. Gaensslen, "Advances in Fingerprint Technology", Elsevier, New York, (1991).
• Sung Won Hwang, "Fingerprint Identification Market Trend", Korea Information Security Agnecy, (2001).
• Do-Seok Han, "The Proposal for a Fingerprint Recognition Method for the Improvement of Security and thd Use of each Application in FIDO Authentication", Department of Convergence Service Security Engineering, Soonchunhyang University, (2016).
• A. Jain, L. Hong, and R. Bolle, "On-line fingerprint verification", IEEE Trans. Pattern Analysis and Machine Intell., 19(4), p302-314, Apr), (1997. [https://doi.org/10.1109/34.587996]
• Joseph W. Goodman, "Introduction to Fourier Optics", Chapter 8, McGrawHill, New York, (1996).
• Anthony Vanderlugt, "Optical Signal Processing", Chapter 5, John Wiley & Sons, New York, (1992).
• C. R. Chatwin, and R. K. Wang, "Frequency Domain Filtering Strategies for Hybrid Optical Information Processing", Chapter 8, Research Studies Press, Taunton, (1996).
• Bahram Javidi, "Nonlinear joint power spectrum based optical correlation.", Applied Optics, 28(12), p2358-2367, June), (1989. [https://doi.org/10.1364/ao.28.002358]
• Qing Tang, and Bahram Javidi, "Sensitivity of the nonlinear joint transform correlator: experimental investigations", Appl. Opt., 31(20), p4016-4024, Jul), (1992. [https://doi.org/10.1364/ao.31.004016]
• Joseph W. Goodman, "Introduction to Fourier Optics", Chapter 8, McGrawHill, New York, (1996).
• Bahram Javidi, Qing Tang, Don A. Gregory, and T. D. Hudson, "Experiments on nonlinear joint transform correlator using an optically addressed spatial light modulator in the Fourier plane", Applied Optics, 30(14), p1772-1776, May), (1991. [https://doi.org/10.1364/ao.30.001772]
• Yaroslavsky, Leonid P., and Emanuel Marom, "Nonlinearity optimization in nonlinear joint transform correlators.", Applied optics, 36(20), p4816-4822, Jul), (1997. [https://doi.org/10.1364/ao.36.004816]
• Chung-Sang Ryu, "Multi-target tracking system using optical JTC and neural networks", Dept. of Electron. Eng., Kwangwoon University, (1993).
• Sang-Yi Yi, "Implementation of multi-target tracking system by using joint transform correlator", Dept. of Electron. Eng., Kwangwoon University, (1992).
• Sang Beak Kim, Sung Hyun Joo, and Man Ho Jeong, "A study on correlation - based fingerprint recognition method", Optical Society of Korea, 13(6), p493-500, Dec), (2002.
• Kotzer, Tuvia, Joseph Rosen, and Joseph Shamir, "Phase extraction pattern recognition", Applied optics, 31(8), p1126-1137, Mar), (1992. [https://doi.org/10.1364/ao.31.001126]
• Leonid P. Yaroslavsky, and Emanuel Marom, "Nonlinearity optimization in nonlinear joint transform correlators", Applied Optics, 36(20), p4816-4822, Jul), (1997. [https://doi.org/10.1364/ao.36.004816]
• Seung-Hyuk Ahn, "Efficient implementation of digital matched filter banks for code acquisition in CDMA systems", School of Electrical Engineering, Korea Advanced Institute of Science and Technology, (1998).
• Asker M. Bazen, and Sabih H. Gerez, "Directional field computation for fingerprints based on the principal component analysis of local gradients", in Proceedings of ProRISC2000, 11th Annual Workshop on Circuits, Systems and Signal Processing, Veldhoven, the Netherlands, Nov), (2000.