다중 생체인식 알고리즘을 적용한 개인 인증 시스템

2.1 지문인식

생체인식기술의 하나로 사람 각 개인마다 특징적으로 갖고 있는 지문을 통해 사용자를 인식하는 방법이다. 지문인식기술을 사용하기 위해서 사용자는 먼저 자신의 지문을 시스템에 등록해야 한다. 등록된 지문은 등록한 사람의 이름 혹은 다른 개인정보와 함께 저장된다. 이후 사용자가 자신의 지문을 입력하면 전에 등록되어 있던 사용자의 지문과 비교를 함으로써 시스템이 인지하여 그 사람을 인식한다. 지문인식기술이 적용된 기기는 다른 생체인식기술을 적용한 기기에 비해 가격이 낮으며, 인식하는 속도가 빨라 많이 사용되고 있는 추세다. 적용 범위는 출입통제, 근태관리, 빌딩통합시스템, 금융자동화 기기, 컴퓨터보안 분야, 전자상거래 인증, 공항정보 시스템 등 다양하다[7].

2.2 얼굴 인식

사람 얼굴의 대칭적인 구도, 생김새, 머리카락, 눈의 색상, 얼굴 근육의 움직임 등을 분석해 얼굴의 특징을 알아내는 작업을 말한다. 실물 또는 사진 속의 얼굴을 인식할 수 있으며 얼굴 모양새를 통해 성별과 나이도 인지해 낼 수 있다. 정지된 얼굴뿐 아니라 웃는 표정을 포함한 얼굴 요소의 움직임과 근육의 변화도 파악하는 방향으로 진화하고 있다. 홍채 · 정맥과 함께 대표적인 생체 인식 기술 중 하나로 손꼽힌다. 얼굴 인식은 분실이나 복제될 우려가 없다는 점에서 최근 차세대 신원확인 시스템으로 주목 받고 있다. 출입관리를 위한 보안에 가장 빠르게 확산되고 있으며 유통산업에서 맞춤형 홍보에도 적용되고 있다.

보안 시스템에는 사람을 식별해 비관계자 출입을 막는 기술이 주로 적용되며 홍보에는 남녀 성별과 나이 등을 인지해 다른 광고물을 보여주는 방법 등이 쓰인다. 미세한 근육 움직임을 파악해 서비스를 사용하는 사람의 감정을 분석하는 데도 쓰이고 있다.

2.3 홍체 인식

지문인식기술에 이어 등장한 보안 시스템으로 사람마다 고유한 특성을 가진 안구의 홍채 정보를 이용해 사람을 인식하는 기술 또는 그러한 인증 체계를 일컫는데 1980년대에 미국에서 처음으로 소개되었다. 지문보다 많은 고유한 패턴을 가지고 있고, 안경이나 렌즈를 착용해도 정확히 인식할 수 있으며, 비접촉 방식이라 거부감이 없는 것이 장점이다.

사람의 홍채는 생후 18개월 이후 완성된 뒤, 평생 변하지 않는 특성을 가지고 있다. 홍채 패턴은 한번 정해지면 거의 변하지 않고, 또 사람마다 모양이 모두 다르다.

홍채인식은 사람마다 각기 다른 홍채의 특성을 정보화해 이를 보안용 인증기술로 응용한 것이다. 즉, 홍채의 모양과 색깔, 망막 모세혈관의 형태소 등을 분석해 사람을 식별하기 위한 수단으로 개발한 인증방식으로, 1980년대에 미국에서 처음으로 소개되었다.

홍채의 패턴을 코드화해 이를 영상신호로 바꾸어 비교·판단하는데, 일반적인 작동 원리는 다음과 같다. 먼저 일정한 거리에서 홍채인식기 중앙에 있는 거울에 사용자의 눈이 맞춰지면, 적외선을 이용한 카메라가 줌렌즈를 통해 초점을 조절한다. 이어 홍채 카메라가 사용자의 홍채를 사진으로 이미지화한 뒤, 홍채 인식 알고리즘이 홍채의 명암 패턴을 영역별로 분석해 개인 고유의 홍채 코드를 생성한다. 마지막으로 홍채 코드가 데이터베이스에 등록되는 것과 동시에 비교 검색이 이루어진다.

지문보다 많은 고유한 패턴을 가지고 있고, 안경이나 렌즈를 착용해도 정확히 인식할 수 있으며, 비접촉 방식이라 거부감이 없는 것이 장점이다. 또 처리 속도가 길어야 2초 정도밖에 걸리지 않아 지문이나 망막인식 기술보다 한 단계 진보한 생체인식기술로 평가받는다. 적용범위는 출입통제, 근태관리, 빌딩통합시스템, 금융자동화기기, 컴퓨터보안 분야, 전자상거래 인증, 공항정보 시스템 등 다양하다[8].

시선 인식은 영상처리 분야에서 사용자의 눈을 검출하는 방법은 오래전부터 활발하게 연구되고 다양한 응용분야에서 활용되고 있다. 그 예로 자동차에서 사람의 눈 움직임을 검출하여 졸음운전을 방지하는 시스템, 그리고 생체인식 관련연구 중 사람의 홍채 정보를 이용한 보안시스템 등 사용자의 편의성을 고려한 비 접촉식 시스템에서 활발하게 연구가 진행되고 있다. 특히, 실시간의 눈 검출에 관련된 CAMShift기법과 Adaboost기법이 사용되고 있다.

CAMShift알고리즘은 전체 영상에서 물체가 존재할 영역을 예측하여 물체를 검색할 중심위치를 검색영역으로 지정하여 물체를 검색 한다. CAMShift 알고리즘에서는 물체의 크기 및 각도를 계산하여 매 프레임 마다 탐색윈도우의 크기가 정해지기 때문에 물체의 크기의 변화에 상관없이 검출이 가능하다. 하지만 이전 영상의 아무런 정보 없이 검색 영역을 예측 하기란 불가능하다[9][10].

2.4 음성 인식

음성인식기술은 컴퓨터가 마이크와 같은 소리 센서를 통해 얻은 음향학적 신호(Acoustic Speech Signal)를 단어나 문장으로 변환시키는 기술을 말한다. 음성인식기술은 일반적으로, 음향 신호를 추출한 후 잡음을 제거하는 작업을 하게 되며, 이후 음성 신호의 특징을 추출하여 음성모델 데이터베이스와 비교하는 방식으로 음성인식을 하게 된다. 음성 인식기술 역시 센싱과 데이터 분석 기술이 결합하여 있기는 하지만, 측정하고 분석해야 하는 데이터가 음성 데이터 하나라는 점에서 보다 손쉽고 정확하게 사람의 의도를 파악할 방법으로 알려졌다[11].

음성인식기술을 바탕으로 한 다양한 음성인식 서비스들은 2000년대 후반에 본격적으로 소개되기 시작했다. 대표적인 것이 2011년에 출시된 애플의 음성 기반 개인비서 서비스인 ‘시리(Siri)’다. 시리는 아이폰 사용자의 음성명령을 바탕으로 모바일 검색은 물론, 일정관리, 전화 걸기, 메모, 음악 재생 등 다양한 생활편의 서비스를 제공하는 개인비서 서비스다. 애플의 시리 출시 이후, 구글은 ‘구글 나우(Google Now)’, 마이크로소프트는 ‘코타나(Cortana)’와 같은 음성인식 기반의 개인비서 서비스를 출시했으며, 일본의 NTT도코모는 ‘샤베테콘쉐루(しゃべってコンシェル)’라는 외국어 통역 서비스를 출시하기도 했다. 최근에는 SKT의 “누구”와 KT의 기가 “지니” 등이 대표적인 음성인식 기술을 기반으로 한 서비스 장치(Service Device)이 출시되고 있다.

2.5 OTP

OTP를 이용한 인 증방식은 기존의 아이디 패스워드 인증방식에서 문제가 되었던 패스워드 재사용 공격, 키로거(Keylogger) 프로그램을 이용한 패스워드 탈취 공격 등으로 부터 안전성을 제공할 수 있어 금융권의 전 자금융거래, 기업체 사내정보시스템의 접근통제, 인 터넷포털 사이트의 사용자 인증 등 민감한 자원을 다루는 분야에서 많이 사용되고 있다. OTP 이외의 사용자 인증 수단으로는 사용자 아이디 및 암호를 이용한 방식, 추가적인 질의응답을 이용한 방식 등 여러 가지가 있는데, 대부분 한 번 인증 값이 유출되고 나면 인증 값을 바꾸기 전에는 해킹을 당하기 쉽다는 문제점을 가지고 있다. 이를 보완하기 위한 인증 수단으로 보안 카드가 있지만, 이 역시 정해진 수십여 개의 번호를 사용할 뿐이므로 여전히 유출에 의한 위험성을 가지고 있다[12].

3.1 Biometrics 패턴 알고리즘을 적용한 복합 개인 인증 시스템 개발

생체인증은 식별성이 높고 위변조가 어려워 간편인증의 범용 인증수단으로 수요가 높으나, 인증기술은 위변조에 대응하고 범용성, 편의성, 보안성 등의 시장경쟁력을 만족시켜야 하는 새로운 문제 직면하고 있다.

본 논문에서는 이러한 요구사항을 바탕으로 생체(Face, Fingerprint, Eye) 인증과 PIN인증을 융복합 처리하는 간편인증 시스템을 설계하고 개발하였으며, 개발된 시스템은 인증 시스템 강화를 위하여 최근 각광을 받고 있는 인공지능(A.I.)의 핵심인 머신러닝 알고리즘을 적용하여 범용성, 보안성, 편리성의 3가지 특징으로 개발된 국내외 최초 사용자 다중 생체인증 알고리즘을 적용한 개인 인증 시스템이다.

본 논문에서 제안된 시스템은 다음과 같이 다중 생체인증 알고리즘을 구성하기위하여 Face recognition 알고리즘, Eye recognition 알고리즘, 그리고 Fingerprint 알고리즘을 개발 적용하였다.

먼저, Face recognition 알고리즘은 그림 1과 같은 구조로 개발되었다. Face Detection은 Raw Data에서 특정 채널만 추출하여 얼굴을 검출하도록 구성되어져 있다. 성능을 위하여 감마 보정을 통하여 조도를 향상 시켰으며, 노이즈를 제거하기 위하여 Median filtering을 적용하였고, 영상 내, 선, 면, 코, 에지 등의 특징을 히스토그램을 통해 특징 점을 표현하기 위하여 LBP를 사용하였다. LBP는 center pixel(M)을 기준으로 8개의 neighbor pixels의 비교하여 구성하도록 8bits로 표현하고, 3*3 영역의 형태로 사용되었다.

Fig. 1.

Face recognition algorithm block diagram

그림 2에서와 같이 Face 검출 성능은 LGP(Local Gradient Patterns)는 LBP에 비해 검출 성능은 높지만, 처리 속도가 느리기 때문에 본 연구에서는 LBP를 사용하였다. LBP+Adaboost를 이용한 얼굴 검출은 조명변화에 강인하고, 고속 처리가 가능한 장점을 가지고 있다. 머신 러닝을 위한 학습 데이터로는 Positive 영상 40만장, Negative 영상 60만장 사용하였고, 학습은 약 하루 소요되었다. Cascade는 4단계로 구성하였고, 각 스테이지의 특징 수는 각 [26, 60, 144, 360]로 사용 하였다. 평가는 FDDB를 이용하였고, 기존 연구들에 비해 성능이 우월하다.

Fig. 2.

Face detection performance

그림 3은 본 논문에서 설계한 Face Recognition 검출 결과와 검출 속도를 보여주고 있다. 테스트 DB는 총 84장의 DB를 이용하여 평가하였다. Face Recognition 테스트를 위하여 구축한 DB에서 역광, 얼굴 포즈 기울임, 저조도, 폐색에 대한 영상들의 경우 RGB 채널에서도 검출 되지 않았다. 인식 속도는 MCT(Modified Census Transform)와 비교를 하였다. 기존의 MCT보다 다소 우수한 인식 속도를 보여주었다. 평가 환경은 Intel® CoreTM i7 CPU, 16.0GB, Window OS, 1980x1200 Raw Data로 구성하였다.

Fig. 3.

Result of face detection and speed

이를 통해서, 본 연구에서는 Face Detection 알고리즘을 이용하여 얼굴 검출 부분에서 조명변화에 강인하고, 고속 처리가 가능하도록 구성하였으며, 이를 위한 평가는 FDDB를 이용하였고, 기존 연구들에 비해 성능이 우월한 결과를 가져올 수 있었다.

Eye Detection은 학습된 사용자의 눈의 위치 및 시선을 현재 사용자와 비교하여 인증하는 알고리즘을 적용하였다. 그 구조는 그림 4와 같다. Eye 검출의 위해서는 먼저 두개의 Sub-regions 나눈 후 영상 피라미드를 만든다. 그 후 그림 5와 같이 Eye 후보군을 선택하고 가장 높은 누적 교차수를 선택하게 된다.

Fig. 4.

Eye recognition algorithm block diagram

Fig. 5.

Selecting eye candidate group

Raw data에서의 Eye 검출은 RGB/R/G/B/G1/G2 channel에서 수행하였다 검출 결과는 그림 6과 같이 대부분의 채널에서 비슷한 성능을 보여주었다. 데이터베이스는 ID는 1,521 gray level 저수준 images가 사용되었으며, ColorFERET은 정면 및 대체 정면 포즈가 있는 2,722개의 얼굴 이미지를 사용하였다.

Fig. 6.

Eye detection performance

지문인식 알고리즘은 그림 7과 같이 개발되었다. 지문인식에 대한 작동 원리는 다음과 같다. 특히 본 논문에서 개발된 지문인식은 효과적인 인증을 위하여 지문인식과 무작위로 생성되는 난수의 일회용 패스워드를 이용하는 사용자 인증 방식중의 하나인 OTP를 적용하여, 보안상 발생할 수 있는 다양한 취약점을 극복할 수 있도록 하였다. 지문은 지문 융선방향으로 정보를 추출하여 지문을 인식하도록 개발되었다. Fingerprint recognition (OTP) method 작동 원리는 다음과 같다. N개의 Fingerprint에 대한 Randomic Request를 다음의 과정으로 진행된다.

Fig. 7.

Fingerprint recognition method

• 1. 현재 지문 인식 기계 + 지문 OTP S/W (지문 n개 등록)
• 2. 인증 시 Randomic한 Fingerprint 요청
• 3. 요청된 지문 ID 확인 (기존 방식의 보안)

지문인식을 위하여 사용한 알고리즘은 그래디언트 기반의 인식 알고리즘을 사용하여 지문의 특징을 추출하고 지문 영역 추출하였으며, 요구된 지문 ID 확인을 위한 주요 과정은 그림 8에서와 같이 진행된다[13]. 먼저 랜덤으로 요청된 지문과 등록된 지문 비교한다. 이 부분에서 3번 불일치 시 두 번째 랜덤 등록 지문 요청하고 Request된 등록 지문 불일치 시 자동 Lock 기능이 수행된다. 비교 일치 시 본인인증이 되면 인증에 성공하게 된다.

Fig. 8.

Fingerprint recognition core flower

마지막으로 일반적으로 사용되는 PIN번호 입력 방식을 추가하여 사용자가 제시된 인증 알고리즘을 선택하여 인증할 수 있도록 구현하였다.

본 논문에서는 개발된 인증 시스템을 더욱더 효과적으로 사용하기 위하여 그림 9와 같이 지능형 알고리즘을 적용하였다. 적용된 AI Processor는 Face와 Eye 검출에 사용되었다. 사용자의 생체 정보를 학습하고 이를 통해 사용자 인증에 대한 정확성을 높여주고 보안성을 강화하도록 구성하였다.

Fig. 9.

AI processor apply

적용된 AI Processor의 Neural Network 구조는 그림 10과 같이 시선 분류기와 View 분류기로 구분하였다. 분류기는 정면 뷰에서의 상중하 분류기, 하단뷰에서의 상중하 분류기, 정면 뷰에서의 좌우 분류기, 하단 뷰에서의 좌우 분류기, 정면 뷰, 하단 뷰분류기로 구성되며 Eye 분류를 위해서 사용된 수식은 그림 11과 같다. 상중하의 경우 “a"가 사용되며, 좌우 분류는 ”b"가 사용되었다.

Fig. 10.

Neural network structure

Fig. 11.

Neural network structure

실제 개발된 융복합 인증 화면은 그림 12와 같이 개발되었으며 본 인증 시스템은 모바일 기반으로 안드로이드에 적용되었으며 다양한 계정 등록을 통하여 보다 편하고 빠르게 그리고 안전하게 개인 정보를 보호할 수 있도록 개발 되었다.

Fig. 12.

Result of multi biometrics application

본 개발된 알고리즘은 사물인터넷 기반의 디바이스에서도 적용 가능하도록 개발되었다. 사용된 언어는 자바와 C를 사용하여 개발 되었다.

성능평가는 앞서 언급한 그림 3과 그림 6과 같이 Face detection 처리 속도 부분과 Eye detection 부분의 수행 능력부분에 대해서 측정하였다. 측정 결과는 속도 측면에서 우수한 결과를 가지고 있는 것으로 판단되었다. AI Processor의 경우 그림 13과 같이 평균 90%이상의 학습 결과를 가져 왔다. 테스트를 위한 단말기는 L사의 휴대 단말기를 사용하였다.

Fig. 13.

Result of AI processor

그림 13과 같이 개발된 알고리즘(Face 인식, Eye 인식, Fingerprint인식)을 통한 생체 인증 방안과 일반적으로 사용되는 PIN인증방법을 적용하여 그림 14와 같이 세계 최초의 16개 조합을 실시간으로 인증 처리할 수 있는 다중 생체인증 알고리즘이 개발되었다.

Fig. 14.

Method of multimodal

본 논문에서의 제안된 알고리즘을 통하여 표 1과 같이 기존의 단일 인증방법보다 인증의 강도를 더욱 증가하게 되어 기존 보다 보안성을 높이는 효과를 가져왔다.

Table 1.

Characteristics of the proposed algorithms

본 논문을 통해 개발된 인증 시스템으로 사용자는 자신이 원하는 인증 방법을 선택하여 쉽고 빠르게 인증을 진행 할 수 있도록 개발하였다.