Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 19, No. 1, pp.147-156
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Jan 2021
Received 12 Dec 2020 Revised 25 Jan 2021 Accepted 28 Jan 2021
DOI: https://doi.org/10.14801/jkiit.2021.19.1.147

지정맥 기반 인증 및 헬스케어 서비스 시스템 구현

김영규* ; 최대영** ; 정상우** ; 백승현* ; 김도훈* ; 김대년***
*경북IT융합산업기술원 융합연구팀 선임연구원
**경북IT융합산업기술원 융합연구팀 연구원
***경북IT융합산업기술원 융합연구팀 책임연구원(교신저자)
Implementation of Recognition and Healthcare Service System based on Finger Vein
Young-Kyu Kim* ; Daeyoung Choi** ; SangWoo Jung** ; Seung Hyun Paik* ; Do Hun Kim* ; Dae-Nyeon Kim***

Correspondence to: Dae-Nyeon Kim Gyeongbuk Institute of IT Convergence Industry Technology (GITC) 203-ho, 25, Gongdan 9-ro 12-gill, Jillyang-eup, Gyeongsan-si, Gyeongsangbuk-do, 38463, Republic of KOREA Tel:+82-53-245-5071, Email: dnkim@gitc.or.kr

초록

지정맥(Finger vein)을 이용한 생체인식기술은 훼손 및 위조가 어렵고 휴대성 및 정확도가 우수하기 때문에 많은 관심을 받고 있다. 하지만 대부분의 지정맥 인식 장치들은 지정맥 인식에만 특화된 임베디드 시스템(Embedded system)으로 구현되기 때문에 지정맥 기반의 헬스케어(Healthcare) 서비스는 제공하지 못하는 한계가 있다. 이에 본 논문은 지정맥 분석 기반 헬스케어 서비스를 제공할 수 있는 지정맥 인증 시스템을 제안하고 구현한다. 논문에서 제안하는 시스템은 스마트폰 앱(Smart-phone application), 지정맥 측정 장치, 서버컴퓨터(Server computer)로 구성되며, 지정맥 인증은 물론 산소포화도, 맥박, 맥파전달속도 등의 헬스케어 정보를 제공한다. 제안하는 시스템은 89.1 mAP(Mean average precision)의 지정맥 인증 정확도를 보였고, 산소포화도는 95~98%, 맥박 66~91ppm, 맥파전달속도는 5~7m/sec로 측정되어 정상범주임을 보였다.

Abstract

Biometrics personal identification technologies based on finger-vein features have been attracting considerable attention because those are difficult to distort and forge, and have excellent portability and accuracy. However, most of finger-vein equipments have been designed as a embedded system, which is only oriented to personal authentication, and not able to support healthcare services. Consequently, this paper implements and proposes a finger-vein recognition system which can support healthcare services based on finger-vein analysis. The proposed system comprises a smart phone application, a finger-vein measuring module, a server computer, and serves personal authentication as well as healthcare information such as oxygen saturation (SpO2), pulse, and pulse-wave-velocity (PWV). The experimental results respectively indicated a recognition accuracy of 89.1 mAP (mean average precision), an SpO2 of 95-98%, a pulse of 66-95ppm, and a PWV of 5 to 7m/sec, thus estimated results were in the normal range.

Keywords:

finger-vein, finger-vein recognition, personal authentication, ubiquitous healthcare, U-healthcare

Ⅰ. 서 론

경제가 발전하고 삶의 질이 높아짐에 따라 더욱 간편하고 정확한 의료 정보 서비스에 대한 사회적 욕구가 증대되고 있으며, 이러한 요구에 부응하기 위한 사물인터넷(Internet of things) 기반의 U-헬스케어(Ubiquitous healthcare system)에 대한 관심이 높아지고 있다[1]-[3]. U-헬스케어는 무선통신기술과 생체정보 측정⦁분석 기술을 소형 임베디드 시스템(Embedded system)으로 융합한, 종래 의료장비의 크기 및 중량을 최소화하여 사용자의 휴대성 및 편의성을 증대시키고 공간적 제약 없이 건강상태 모니터링, 위험상황 예측, 응급상황 자동 구조 요청 등을 가능하게 한다[4]-[6].

한편, 사람은 생체조직에 산소(O2)를 공급하기 위해 호흡을 통해 산소를 받아들이고 이산화탄소(CO2)를 배출한다. 이때 적혈구의 헤모글로빈은 혈액세포에 산소를 공급하는 역할을 담당한다. 헤모글로빈은 산소를 포함하고 있는 옥시헤모글로빈(Oxyhemoglobin)과 산소를 포함하지 않고 있는 디옥시헤모글로빈(Deoxyhemoglobin) 두 상태로 구분되며 각 상태에 따라 광흡수 스펙트럼(Absorption spectrum)은 다르게 나타난다. 이러한 헤모글로빈의 광흡수 특성을 이용하면 비-외과적인 방법으로 정맥의 형상, 산소포화도(SpO2) 등을 알 수 있으며, 특히 최근에는 손가락의 정맥 형상을 개인 인증(Personal recognition)에 이용하는 지정맥(Finger-vein) 인증 기술이 발전하고 있다[7].

취약한 개인정보보안 및 개인인증방법이 사회적 문제가 됨에 따라 인간의 신체적 패턴 특징을 개인 식별 수단으로 이용하는 생체인식기술(Biometric recognition)이 큰 관심을 받고 있다. 생체인식기술은 훼손 및 위조가 어렵고, 편의성 및 정확성이 우수하기 때문에 개인 식별이 필요한 다양한 분야에 적용 될 수 있다[8][9]. 지정맥 인증은 생체인식기술 중 하나로서, 근적외선이 적혈구를 통과하지 못하는 원리를 응용하여 적외선으로 촬영된 지정맥 그림자 형상을 개인 인증에 사용하는 기술이다[10]. 최근에는 딥러닝(Deep learning) 알고리즘들을 지정맥 패턴 분석에 이용하는 연구들이 많이 발표되고 있으며, 이러한 기술을 통해 더욱 신뢰성 있고 적응력 강한 지정맥 인증 기기들이 개발되고 있다.

혈중 산소포화도는 혈중 전체 헤모글로빈 농도에서 옥시헤모글로빈의 농도를 비율로 정의한다. 산소포화도 측정은 동맥혈을 채취하여 혈액내의 산소포화도를 직접 측정하는 방법이 있으나, 피측정자에게 고통을 주며 측정과정이 일정한 시간을 반드시 요구하기 때문에 혈중 산소포화도를 실시간으로 알 수 없는 단점이 있다. 반면에, 최근에는 정맥의 옥시헤모글로빈과 디옥시헤모글로빈의 빛 흡광도 차이를 이용하여 비-침습적(Non-invasive)으로 혈중 산소포화도를 실시간 추정하는 방법이 많이 사용되고 있다. 이러한 비접촉 방식 산소포화도 측정기는 피부 표면에 적색광 영역(650~750nm)의 적색 LED와 근적외선 영역(850~1000nm)의 NIR(Near infrared) LED를 순차적으로 조사하고, 피부로 투사된 가시광선과 근적외선의 양을 각각의 센서로 수집하여 산소포화도를 추산한다[11].

지정맥 인증 기술 및 비-침습적 산소포화도 측정 기술을 응용하면 지정맥을 통해 산소헤모글로빈 농도, 맥박, 맥파전달속도 등의 헬스케어 정보를 측정가능하다. 이렇게 측정된 정보들은 의학적 정밀도를 만족하지는 못하지만, 일상생활에서 사용자 스스로 자신의 건강 정보를 측정하고 누적된 통계 데이터를 활용하면 건강관리를 보조할 수 있는 객관적인 데이터로 활용할 수 있다. 하지만 종래의 지정맥 관련 연구들은 지정맥 인증에 집중되어 있으며, 최근에는 지정맥을 이용한 U-헬스케어 장치에 대한 연구들이 집중되고 있다[12]-[15]. 이에 본 논문은 지정맥 분석 기반 헬스케어 서비스를 제공하는 지정맥 인증 시스템을 제안하고 구현하였다. 제안하는 헬스케어 서비스는 엄격한 정밀도를 만족하지는 않지만, 사용자가 공간에 구애받지 않고 손쉽게 자신의 헬스케어 정보를 측정 및 열람할 수 있게 해준다. 제안하는 시스템은 무선 통신이 가능한 소형 임베디드 시스템, 스마트폰 앱(Smart-phone application), 서버컴퓨터로 구성되며, 지정맥 인증, 산소포화도, 헤모글로빈 농도, 맥박, 맥파전달속도 등을 사용자에게 제공한다. 제안하는 시스템의 지정맥 인증 성공률을 검증하기 위하여 50명의 임상적 실험 결과 및 k겹 교차 검증(k-fold cross validation)[16]을 통한 측정 결과를 제시한다. 뿐만 아니라 제안하는 시스템의 산소포화도, 헤모글로빈 농도, 맥박, 맥파전달속도의 정확도를 입증하기 위하여 종래 의료기기들에서 측정된 데이터와의 비교 결과를 제시한다.


Ⅱ. 지정맥 기반 인증 및 헬스케어 시스템

본 논문에서 제안하는 지정맥 기반 인증 및 헬스케어 시스템은 지정맥 측정 장치, 서버컴퓨터, 스마트폰 앱으로 구성된다. 본 장에서는 각 구성에 대해 상세히 설명한다.

2.1 지정맥 측정 장치

제안하는 시스템의 지정맥 측정 장치는 지정맥 형상 촬영, 산소포화도, 헤모글로빈 농도 측정을 수행한다. 지정맥 측정 장치의 하드웨어 구조는 그림 1의 블록다이어그램과 같다.

Fig. 1.

Hardware architecture of the proposed finger-vein scanning module

지정맥 측정 장치는 정맥의 백혈구가 근적외선을 흡수하는 특성을 이용하여, 적외선광(NIR LED)과 적외선 카메라(IR camera)를 통해 그림 2와 같이 지정맥의 음영을 촬영한다. 촬영된 영상은 고속 카메라 인터페이스(MIPI CSI)를 통해 마이크로 프로세서(Micro processor)로 전달되고, 전달된 영상은 영상처리 및 분석을 위해 WiFi를 통하여 서버컴퓨터로 전송된다. 적외선 카메라에서 촬영된 지정맥 영상들은 서버컴퓨터에서 분석되며, 분석 결과는 지정맥 인증기능, 맥박, 그리고 맥파전달속도 추산에 사용된다.

Fig. 2.

A scanning method of Finger-vein shape

지정맥을 통한 산소포화도 측정은 그림 3과 같이, 적색광(Red LED)과 적외선광을 손가락에 순차적으로 조사하고 손가락 반대편의 포토 센서(Photo sensor) 들로 감지하여 산소포화도를 추산한다.

Fig. 3.

SpO2 measurement of the finger-vein scanning module

산소포화도 추산에 사용된 알고리즘은 적색광 및 적외광 두 개의 광선을 주로 사용하지만, 두 개 이상의 광선을 사용하는 방식도 발표되고 있다[17]. 본 논문은 소형 임베디드 시스템에서 구현되기 때문에 두 개의 광원을 사용하며 기존 알고리즘들 중 계산 복잡도가 낮은 식 (1)의 알고리즘을 사용하였다[18]. 포토 센서에서 측정된 신호는, 말초혈관을 지난 혈액에 흡수된 광량(AC)과 뼈와 근육 등의 조직에 흡수된 광량(DC)으로 구분할 수 있다. 따라서 옥시헤모글로빈은 적색 광원에서 흡수율이 낮고, 적외 광원에서 흡수율이 높게 나타난다[18]. 이러한 특성에 따라 센서들에서 감지된 신호들을 ADC(Analog-to-Digital Converter)를 통해 디지털 값으로 변환하고 식 (1)을 통해 산소포화도를 측정한다. 뿐만 아니라 측정된 신호의 주기를 읽어 맥박 속도를 계산하고 계산된 산소포화도 값으로 옥시헤모글로빈의 농도의 근사치를 구할 수 있다.

SpO2=lnDCRED+ACREDDCREDlnDCIR+ACIRDCIR×100(1) 

지정맥 측정 장치의 시제품은 그림 4와 같으며, 적색광 및 적외광 광학장치와 센서는 손가락 좌우에 위치하며, 적외선 카메라와 마이크로 프로세서 보드(Micro processor board)는 기구부 하단에 위치한다.

Fig. 4.

A prototype design of the finger-vein scanning module

2.2 서버컴퓨터

본 논문의 지정맥 측정 장치는 소형 임베디드 시스템으로 구현되었기 때문에 연산복잡도가 높은 알고리즘을 수행하게 되면 실시간 동작을 보장하기 어렵다. 따라서 본 논문에서 제안하는 시스템은 촬영된 지정맥 영상을 서버컴퓨터로 전송하고 서버컴퓨터의 연산 가속기를 통해 영상처리 알고리즘을 수행 한다. 본 연구에서 사용한 딥러닝 시스템 환경으로는 리눅스(Ubuntu 20)기반의 운영체제를 사용하였으며, 딥러닝 기반의 환경을 구축하기 위하여 NVIDIA Jetpack[19]을 사용하여 기본적인 라이브러리들을 구축하였다. 또한 여러 지정맥 측정 장치들의 요청을 원활하게 처리할 수 있는 인공지능 웹서버(web-server) 환경을 구축하였으며, Apache2[20], Tomcat9[21], Maria-DB[22]를 이용하여 기본적인 서버 프레임을 구성하였다. 앱과 서버, 서버와 지정맥 모듈간의 통신은 JSON파일 형식으로 통신데이터를 전달하였다.

본 연구에서는 지정맥 인증 기능 수행을 위하여, 딥러닝의 재식별화(Re-identification)[23] 기술을 통한 지정맥 인식 기술을 사용하는 것을 제안한다. 본 논문에서 제안하는 네트워크는 그림5와 같은 구성을 가진 RMNet[24]이며 임베디드 시스템의 하드웨어 성능 제약을 고려하여 구조적으로 효율적인 학습이 가능하도록 잔차 블록(Residual block) 기반의 매우 깊은 백본 네트워크(Backbone network)로 구성 하였다. 또한 시스템 자원을 많이 소모하지 않고 연산 자원(Computation resource)을 줄이기 위하여 가지(Branch) 수를 제한해 효율적으로 네트워크 연산이 가능하도록 만들었다. 최종적으로 나오는 임베딩 벡터(Embedding vector)도 크기가 커지면 전체 연산시간이 늘어나므로 크기를 최소한으로 줄여 인식이 가능하도록 구성하였다.

Fig. 5.

Feature extraction of RMNet

지정맥을 이용한 맥파전달속도는 손가락을 기기에 올리는 단순 행위로 보다 쉽게 맥파전달속도를 습득할 수 있어 사용자 편의성을 극대화 시켰으며, 별도의 해석 및 전문지식이 필요하지 않아 쉽게 맥파전달속도를 구할 수 있다. 습득의 자동화를 위해 딥러닝의 이미지분할(Image segmentation)을 이용하여 손가락이미지에서 지정맥만 추출하였으며, 추출된 지정맥 비트맵 이미지(Bitmap image)에서 특정 사이간격에 해당하는 픽셀(Pixel) 범위의 값을 평균화하여 추출하고, 영상적으로 나타나는 모세혈관에서 맥파의 이동을 파동으로 정량화하여 측정하였다.

2.3 스마트폰 앱

스마트폰 앱은 제안하는 시스템의 지정맥 인증 결과 및 헬스 케어 측정 결과를 사용자에게 통보해주고, 사용자의 누적된 헬스케어 정보 열람 요청을 서버컴퓨터에 전달하고 스마트폰 화면으로 결과를 표출한다. 뿐만 아니라 지정맥 측정 장치의 기기설정, 사용자 정보 등록 및 수정 등 여러 가지 사용자 인터페이스를 제공한다. 그림 6은 앱 설계 시 정의했던 와이어프레임(Wire-frame)으로서 앱의 페이지 요소의 구성방식과 인터페이스의 작동 방식, 기능, 흐름 등을 보여준다. 본 논문에서 구현한 스마트폰 앱의 상태는 메인(Main), 메인-로그인(Main-login), 메인-게스트(Main-guest)로 구성된다. 메인은 사용자가 자신의 지정맥 정보를 서버에 등록하고 측정기록을 지속적으로 누적하기 위해 사용자 인증 혹은 사용자 등록 메뉴를 제공한다. 하지만 사용자가 서버에 기록을 누적하지 않고 현재 상태 측정만 원할 경우 게스트(Guest) 메뉴를 사용할 수 있다. 또한 메인은 지정맥 측정 장치의 WiFi 설정을 비롯한 환경 설정 메뉴를 제공한다. 메인-로그인은 사용자가 본인 인증을 완료한 상태로서, 가장 최근 측정된 헬스케어 정보를 알 수 있고, 구성원(Member) 메뉴를 통해 자신 혹은 구성원으로 함께 등록되어 있는 사용자들의 누적된 헬스케어 정보를 열람할 수 있다. 메인-게스트는 현재 측정된 지정맥 정보를 서버에 전송하지 않고 사용자 앱을 통해 현재 상태만을 알려주며, 사용자가 개인 인증을 하지 않고 헬스케어 측정을 원할 때 사용할 수 있다.

Fig. 6.

A wire-frame for the smart-phone App of the proposed system


Ⅲ. 실 험

본 장에서는 제안하는 시스템의 구현 방법 및 결과, 그리고 지정맥 인식 정확도 및 헬스케어 정보의 정확도에 대해 설명한다.

3.1 실험 환경

본 논문에서 제안하는 시스템의 성능을 검증하기 위하여 지정맥 측정 장치, 서버컴퓨터, 스마트폰 앱을 설계하고 구현하였다. 지정맥 측정 장치의 지정맥 영상 촬영을 위한 하드웨어는 MIPI CSI 인터페이스 기반의 8M Pixels NoIR CCD 카메라, 카메라에 가스광선 대역은 제거하고 IR만 투영하기 위한 850nm 대역의 적외선 필터로 구성된다. 지정맥 촬영을 위한 조명 장치 및 센서는 적색 및 적외 광선을 투광하기 위한 적색 및 적외선 LED와 포토 센서를 사용한다. 카메라와 조명 장치 및 센서를 제어하기 위한 임베디드 보드는 라즈베리 파이3 모델 B+를 사용하였다.

라즈베리 파이의 운영체제(OS)는 Raspbian release 9.4를 기반으로 적외선 LED와 카메라를 제어하고 보드에 내장된 WiFi 기능으로 서버컴퓨터에 측정 데이터를 전송한다. 지정맥의 정교한 측정을 위하여 요구되는 기능은 그림 7과 같이 PCB로 제작하여 구현하였다.

Fig. 7.

LED and sensor PCBs

본 논문에서 제작한 PCB들을 고정하고 정교한 지정맥 측정을 위하여 앞 장에서 제시했던 지정맥 촬영 장치 케이스를 3D-프린터로 출력하였다. 출력된 케이스에 제작된 PCB를 조립하여 그림 8과 같이 지정책 측정 장치의 시작품이 완성되었다. 지정맥 측정 장치의 동작은 Raspbian release 9.4 환경에서 실행되는 응용 프로그램으로 구현하였다.

Fig. 8.

Prototype of the finger-vein scanning module

서버컴퓨터의 프로그램이 실행되는 환경은 표 1과 같다. 본 연구에서는 지정맥 모듈에서 자동으로 맥파전달속도를 획득하기 위하여 지정맥 파동의 획득점을 설정하였다. 맥파전달속도 측정은 총 3개의 단계로 라인프로파일 설정(Line-profile), 프로파일 상 혈관위치 추적, 맥파전달속도 계산으로 나누어 수행된다. 첫 번째로 라인프로파일 설정을 위해 본 연구에서 이용된 하드웨어의 관심영역(Region of interest) 특성을 고려하여 이미지의 관심영역에서 좌측 50개 픽셀 간격의 지점과, 우측 150개 픽셀 간격의 범위의 신호를 획득하고 맥파동 흐름의 위치를 추적하였다. 두 번째 과정으로 혈관위치 추적 시 b-scan상의 픽셀 데이터에서 4초간의 데이터를 수집하여 b-scan 그래프의 변화폭이 큰 지점을 혈관으로 추정하였다.

Specification of the server computer

그림 9는 맥파전달속도 측정을 위해 라인 프로파일이 설정되는 위치를 묘사한 그림으로서, 그림의 좌측에서 50개 픽셀 떨어진 지점에서 횡축 픽셀데이터를 취득하기 위해 프로파일라인(Blue)을 설정하고 우측에서 150개 픽셀 떨어진 지점에서 프로파일 라인(Green)을 설정하였다.

Fig. 9.

Setup the line profile of finger-vein

설정된 프로파일 라인은 횡축으로 그림 10과 같이 그레이 스케일의 픽셀 값에 대해 그래프를 그릴 수 있다. 그림 10의 이미지에서 픽셀 데이터의 변동폭이 가장 큰 지점(Red box)이 혈관으로 유추 될 수 있으며, 변화의 폭이 0~255의 값을 가지는 그레이스케일에서 최대 20개 픽셀 가량으로 변화의 폭을 보여주었다.

Fig. 10.

Line profile b-scan data

실제로 이미지 데이터인 그림 9와 비교 시 모세혈관의 위치임을 확인할 수 있었다. 최종단계로 라인프로파일 상 추적 된 두 지점을 혈관 상 맥파전달의 시작과 끝으로 설정한다. 해당 라인프로파일 간격은 실제 거리(d) 1.5cm 지점이며, 거리와 프레임시간을 계산하여 맥파의 전달속도 즉 혈류속도를 계산할 수 있었다.

3.2 실험 결과

본 논문에서 제안하는 지정맥 기반 인증 및 헬스케어 서비스 시스템의 성능 검증을 위하여 총 50명을 대상으로 실험을 진행하였다.

지정맥 인증 기능의 수행을 위해 자체적으로 학습데이터를 구성하였고 총 50명의 각기 다른 사람의 양손 10개의 지정맥을 2회 씩 중복촬영하고 총 1,000개의 데이터를 구성하여 학습을 진행하였다. 데이터 학습단계에서 손실 함수값(Loss value function)은 그림 11과 같으며, 최종적으로 0에 수렴됨을 알 수 있었다.

Fig. 11.

Loss value graph

본 연구에서는 전처리의 과정 없이 하드웨어에서 촬영한 이미지를 바로 학습(Training) 및 추론(Inference)에 이용하여 인식을 수행함으로써 연산 복잡도를 낮추었으며, 여러 차례의 재학습을 통해 인식률이 가장 높은 네트워크를 이용하였다. 학습은 GPU 1080Ti를 탑재한 데스크탑에서 진행하여 백본 네트워크(Backbone network)를 형성하였으며, 추론은 서버컴퓨터에서 수행하였다. 제안 하는 시스템의 추론 정확도(Accuracy) 비교를 위해 3개의 CNN모델과 정확도를 비교하였다. CNN-A 모델은 relu activation function 모델, CNN-B 모델은 softplus activation function 모델이다.

표 2는 추론 정확도 검증을 위해 mean average precision(mAP)를 평가지표로 제시한 표이다. 평가 결과, 본 논문에서 제안하는 네트워크(RMNet)의 mAP 수치가 가장 높은 값을 보였으며, 제안하는 시스템의 지정맥 인증 결과가 가장 높은 정확도를 가진 것을 알 수 있었다.

Inference verification by network labels

실험에 참가했던 50명의 산소포화도는 95~98% 사이의 값을 보였으며, 정상적인 생명활동을 하고 있는 성인들의 정상적인 산소포화도 지수에 들어맞는 결과를 보였다. 참가자들의 맥박 및 맥파전달속도 또한 66~95ppm, 5~7m/sec로 각각 측정되어 정상적인 측정 결과를 보였다. 다만, 본 연구의 맥파전달속도 측정 방법은 실제 m/sec 단위의 속도를 가지는 맥파전달속도를 1.5cm 거리를 이용하여 속도를 유추하였으므로 실제 의료기계로 통용되는 방식인 좌우 가슴에 ECG신호를 이용하여 맥파전달속도를 구하는 방식과 비교 시 오차율이 큰 것으로 나타났다. 하지만 도플러효과 및 LED 광원으로 혈류속도를 유추하는 방법과 비교하였을 시 비교적 차이가 적어 낮은 오차율을 가졌다. 하지만 사용자가 공간에 구애받지 않으며 시간과 편의성을 이점을 가지고 맥파전달속도의 정보를 얻을 수 있음에 큰 이점을 가질 수 있다.


Ⅳ. 결 론

본 논문은 헬스케어 서비스가 가능한 지정맥 인증 장치를 소형 임베디드 시스템과 서버컴퓨터, 사용자 앱으로 구성하고 구현하였다. 제안하는 시스템을 실제 구현하기 위하여 딥러닝 기술을 이용한 영상처리를 통해 맥파전달속도를 추산하는 방법을 제안하였으며, 연산복잡도가 높은 지정맥 형상 인증 처리를 경량 네트워크를 사용하여 처리하는 방법을 제안하였다. 구현에 있어, 지정맥 측정 모듈에 요구되는 PCB와 케이스를 제작하고 검증하였으며, 상용 임베디드 보드 기반의 소프트웨어로 지정맥 분석 기능을 구현하였다. 서버컴퓨터는 병렬처리 가속기를 하드웨어 적으로 지원하는 임베디드 목적의 컴퓨터를 서버로 구축하였으며, 서버컴퓨터와 스마트폰에서 요구되는 소프트웨어 또한 모두 구현하고 기능을 검증하였다. 본 논문에서 제안하는 지정맥 기반 인증 및 헬스케어 서비스 시스템은 종래의 지정맥 인증만을 위한 장치들과는 달리 직장인 및 학생들의 책상에 바로 적용하여 스트레스를 견디며 본업에 종사하는 사람들의 건강관리를 보조할 수 있을 것으로 기대된다. 추후, 더욱 정밀도 높은 정보를 제공할 수 있는 기술 고도화를 통해 제안하는 시스템이 모든 사람들의 건강관리에 이용되기를 기대한다.

Acknowledgments

이 연구는 2020년도 산업통산자원부 및 산업기술평가관리원(KEIT) 연구비 지원에 의한 연구임(‘20006835’, 모듈화 디자인이 적용된 프리미엄 스터디부스 개발)

References

  • E. Callaway, P. Gorday, L. Hester, J. A. Gutierrez, M. Naeve, B. Heile, and V. Bahl, "Home Networking with IEEE 802.15.4: A Developing Standard for Low-rate Wireless Personal Area Networks", IEEE Communications Magazine, Vol. 40, No. 8, pp. 70-77, Aug. 2002. [https://doi.org/10.1109/MCOM.2002.1024418]
  • C. S. Lee, C. W. Jeong, and J. S. Chong, "Construction of Healthcare Information for Home Network Services and Its Practical Uses", Proceedings of KSII Spring Conference 2006, Vol. 7, No. 1, pp. 41-44, Apr. 2006.
  • Y. R and Y. H. Kim, "A Holistic Energy Coordination System for Multiple Personal Sensors", Journal of Advanced Information Technology and Convergence, Vol. 7, No. 2, pp. 73-80, Dec. 2017 [https://doi.org/10.14801/jaitc.2017.7.2.73]
  • KH. Park and YH. Kim, "Skin Condition Analysis of Facial Image using Smart Device", Journal of Advanced Information Technology and Convergence, Vol. 8, No. 2, pp. 45-58, Dec. 2018 [https://doi.org/10.14801/JAITC.2018.8.2.47]
  • A. Berler, S. Pavlopoulos, and D. Koutsouris, "Design of an Interoperability Framework in a Regional Healthcare System", Proceedings of The 26th Annual International Conference of the IEEE Engineering in Medicine and Biology Society,San Francisco, CA, USA, pp. 3093-3096, Sep. 2004.
  • B. H. Kim and D. U. Cho, "Oriental Medicine Diagnosis Devices Trend and Proposal of Service Platform for Real Implementation of u-Healthcare", The Journal of Korean Institute of Communications and Information Sciences (J-KICS), Vol. 37, No. 3, pp. 115-121, Jun. 2012.
  • J. S. Cui, D. H. Shin, and C. G. Song, "Measurement of Blood Oxygen Saturation System and LabVIEW Program Using Broad-band Light Source", Journal of Korea Multimedia Society, Vol. 18, No. 2, pp. 128-137, Feb. 2015. [https://doi.org/10.9717/kmms.2015.18.2.128]
  • A. K, Jain and S. Prabhakar, "An Introduction to Biometric Recognition", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 14, No. 1, pp. 4-20, Jan. 2004. [https://doi.org/10.1109/TCSVT.2003.818349]
  • U. Uludag, S. Pankanti, S. Prabhakar, and A. K. Jain, "Biometric Cryptosystems: Issues and Challenges", Proceeding of the IEEE, Vol. 92, No. 6, pp. 948-960, Jun. 2004. [https://doi.org/10.1109/JPROC.2004.827372]
  • K. J. Noh, J. Choi, J. S. Hong, and K. R. Park, "Finger-Vein Recognition Based on Densely Connected Convolutional Network Using Score-Level Fusion With Shape and Texture Images", IEEE Access, Vol. 8, pp. 96748-96766. May 2020. [https://doi.org/10.1109/ACCESS.2020.2996646]
  • YO. Han, "The Development of Module for Measurement and Wireless Communication of SpO2/PPG Signals", Journal of the KIECS, Vol. 6, No. 6, pp. 981-986, Dec. 2011.
  • L. Yang, G. Yang, Y. Yin, and L. Zhou, "A Survey of Finger Vein Recognition", Chinese Conference on Biometric Recognition (CCBR), Shenyang, China, pp. 234-243, Nov. 2019. [https://doi.org/10.1007/978-3-319-12484-1_26]
  • R. Das, E. Piciucco, E. Maiorana, and P. Campisi, "Convolutional Neural Network for Finger-Vein-Based Biometric Identification", IEEE Transactions on Information Forensics and Security, Vol. 14, No. 2, pp. 360-373, Feb. 2019. [https://doi.org/10.1109/TIFS.2018.2850320]
  • C. Xie and A. Kumar, "Finger Vein Identification Using Convolutional Neural Network and Supervised Discrete Hashing", Deep Learning for Biometrics, pp. 109-132, Aug. 2017 (First Online). [https://doi.org/10.1007/978-3-319-61657-5_5]
  • B. A. Rosdi, C. W. Shing, and S. A. Suandi, "Finger Vein Recognition Using Local Line Binary Pattern", Sensors, Vol. 11, No. 12, pp. 11357-11371, Nov. 2011. [https://doi.org/10.3390/s111211357]
  • J. D. Rodriguez, A. Perez, and J. A. Lozano, "Sensitivity Analysis of k-Fold Cross Validation in Prediction Error Estimation", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32, No. 3, pp. 569-575, Mar. 2010. [https://doi.org/10.1109/TPAMI.2009.187]
  • S. J. Kim, d. Y. Hwang, K. J. Jeon, J. Y. Lee, S. G. Jung, and G. Yoon, “Signal Processing Method and Diagnostic Algorithm for Arterial Oxygen-saturation Measurement”, Journal of the Optical Society of Korea, Vol. 11, No. 6, pp. 452-456, Dec. 2000.
  • Y. Gil and J. Lee, “Design and Implementation of Real-time Blood Pressure Measuring System using Smartphone”, KIISE Transactions on Computing Practices, Vol. 21, No. 3, pp. 192-214, Mar. 2015.
  • NVIDIA Jetson AGX Xavier, https://developer.nvidia.com/embedded/jetson-agx-xavier-developer-kit, [accessed: Dec. 01, 2020]
  • APACHE HTTP SERVER PROJECT, https://httpd.apache.org, [Accessed: Dec. 01, 2020]
  • Apache Tomcat, https://tomcat.apache.org/download–90.cgi, [accessed: Dec. 01, 2020]
  • MariaDB Foundation, https://mariadb.org, . [accessed: Dec. 01, 2020]
  • E. Ahmed, M. Jones, and T. K. Marks, "An Improved Deep Learning Architecture for Person Re-Identification", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, Massachusetts, USA, pp. 3908-3916, Jun. 2015. [https://doi.org/10.1109/CVPR.2015.7299016]
  • L. Chen, X. Peng, and M. Ren, "Recurrent Metric Networks and Batch Multiple Hypothesis for Multi-Object Tracking", IEEE Access, Vol. 7, pp. 3093-3105, Dec. 2018. [https://doi.org/10.1109/ACCESS.2018.2889187]
저자소개
김 영 규 (Young-Kyu Kim)

2005년 2월 : 경주대학교 전자공학과(공학사)

2011년 2월 : 경북대학교 모바일통신공학과(공학석사)

2016년 8월 : 경북대학교 전자공학부(공학박사)

2021년 1월 현재 : (재)경북IT융합산업기술원 선임연구원

관심분야 : 컴퓨터 아키텍처, SoC, 병렬 컴퓨터

최 대 영 (Daeyoung Choi)

2014년 2월 : 영남대학교 생명공학부(공학사)

2018년 2월 : 경북대학교 전자공학부(공학석사)

2021년 1월 현재 : (재)경북IT융합산업기술원 연구원

관심분야 : 컴퓨터 비전, 머신러닝

백 승 현 (Seungh Hyun Paik)

2006년 2월 : 경북대학교 전자공학과(공학사)

2009년 8월 : 경북대학교 전자공학부(공학석사)

2016년 8월 : 경북대학교 전자공학부(공학박사)

2021년 1월 현재 : (재)경북IT융합산업기술원 선임연구원

관심분야 : 임베디드 시스템, 드론, 머신러닝

정 상 우 (SangWoo Jung)

2014년 2월 : 경일대학교 로봇응용학과(공학사)

2016년 8월 : 경북대학교 전자공학부(공학석사)

2021년 1월 현재 : (재)경북IT융합산업기술원 연구원

관심분야 : 임베디드 시스템, 머신러닝

김 도 훈 (Do Hun Kim)

2008년 2월 : 대구가톨릭대학교 영어영문학과(학사)

2021년 1월 현재 : (재)경북IT융합산업기술원 선임연구원

관심분야 : 비즈니스 모델링, 인공지능, 빅데이터,

김 대 년 (Dae-Nyeon Kim)

2001년 2월 : 울산대학교 제어계측(공학사)

2003년 2월 : 울산대학교 전기전자정보시스템공학(공학석사)

2010년 2월 : 울산대학교 전기전자정보시스템공학(공학박사)

2021년 1월 현재 : (재)경북IT융합산업기술원 책임연구원

관심분야 : 임베디드 시스템, 드론, 머신러닝

Fig. 1.

Fig. 1.
Hardware architecture of the proposed finger-vein scanning module

Fig. 2.

Fig. 2.
A scanning method of Finger-vein shape

Fig. 3.

Fig. 3.
SpO2 measurement of the finger-vein scanning module

Fig. 4.

Fig. 4.
A prototype design of the finger-vein scanning module

Fig. 5.

Fig. 5.
Feature extraction of RMNet

Fig. 6.

Fig. 6.
A wire-frame for the smart-phone App of the proposed system

Fig. 7.

Fig. 7.
LED and sensor PCBs

Fig. 8.

Fig. 8.
Prototype of the finger-vein scanning module

Fig. 9.

Fig. 9.
Setup the line profile of finger-vein

Fig. 10.

Fig. 10.
Line profile b-scan data

Fig. 11.

Fig. 11.
Loss value graph

Table 1.

Specification of the server computer

GPU 512-core Volta GPU with tensor cores
CPU 8-core ARM v8.2 64-bit CPU
Memory 32GB 256-Bit LPDDR4x | 137GB/s
Storage 32GB eMMC 5.1
DL accelerator (2x) NVDLA engines
Size 105 mm x 105 mm x 65 mm
Deployment Module (Jetson AGX Xavier)

Table 2.

Inference verification by network labels

Label RMnet CNN-A CNN-B
mAP 89.1 71.5 65.3