Home

NIRS는 빛을 조사한 뒤, 반사되는 빛의 세기를 측정하여 대뇌의 혈역학적 반응를 측정할 수 있는 비침습적 방법이다. 특히, 600 – 900 nm 대역의 근적외선은 산란 및 흡수율이 다른 대역보다 상대적으로 낮으므로 인체 조직에서 더 깊숙이 도달할 수 있다.

NIRS는 신경 생리학, 임상연구뿐만 아니라, 다양한 응용 분야에서 사용되고 있을 뿐만 아니라, 쥐 후각 뇌의 혈역학적 반응은 냄새 자극에 따라 다르며, 이 반응은 냄새 종류에 따라 시간적, 공간적으로 다른 특성을 갖는 것을 입증한 바 있다[9].

본 연구에서는 10mW 세기의 690nm와 830nm 파장의 빛을 방출하는 방출기(Emitter)와 조직에서 반사되는 빛을 검출하기 위한 검출기(Detector)로 구성된 NIRS 시스템(ImagentTM, ISS Inc.)과 400um 지름을 갖는 광파이버(FT-400EMT, Thorlabs)를 사용하여 헤모글로빈(Hemoglobin)과 디옥시헤모글로빈(Deoxy hemoglobin)의 파장별 빛의 흡수율 차이를 측정함으로써, 혈역학적 반응을 예측하고자 하였다.

시계열 특성을 갖는 생체신호를 이용하면 개인의 상태를 분석할 수 있다. 이러한 생체신호는 대표적으로 근전도, 심전도, 뇌전도 등이 있으며, 본 연구에서 사용하는 NIRS 신호도 1차원의 시계열 데이터에 해당된다.

시계열 신호는 데이터 사이에 시간적인 연관 관계를 가지며, 이러한 시계열 데이터를 처리하기 위해서 일반적으로 순환 신경망(Recurrent neural network)이 사용된다. 또한 푸리에 변환을 통해 1차원 시계열 데이터를 2차원의 시간-주파수 정보로 변환하고, 이를 합성곱 신경망을 통해 분석하는 방법도 널리 활용되고 있다[10][11]. 따라서 본 연구에서는 NIRS신호를 시간-주파수 변환하여 합성곱 신경망의 입력으로 사용하고, 혈역학적 반응을 분류하고자 하였다.

정확한 냄새 분별 성능을 검증하기 위해서는 각각의 냄새가 서로 혼합되지 않고 후각 감각 영역에 제시되는 것이 중요하다. 이를 위해 이전 연구들에서는 후각계가 널리 사용되어 왔다[9]. 모든 냄새는 광유(Thermo fisher scientific Inc.)를 이용하여 개별 냄새 증기압 기준으로 약 350PPM로 희석하였다[12].

공기는 실리카겔 층과 목탄 층으로 구성된 멀티 필터를 통해 여과하여 생성하고 증류수 용기를 통과시켜 가습한 뒤, 분당 500 ml의 속도로 지속적인 흐름이 발생하도록 제어함으로써 무취를 갖도록 하였다.

해당 공기를 절반은 그림 1(a)의 공기 통로로 주입하고, 반은 냄새 물질을 포함한 병으로 주입시킨 뒤, 병의 출구를 프로그램된 솔레노이드 밸브 컨트롤러를 거쳐 그림 1(a)의 냄새 물질(Odor) 통로로 연결된다. 그리고 코에 공기와 냄새 물질을 선택적으로 주입할 수 있는 통로와 배출 통로로 구성된다.

Fig. 1. 
Experiment environment

냄새 제시는 그림 1과 같이 (1) 무취 공기(Air), (2) 배향이 나는 isoamyl acetate (IAA), (3) 바나나향이 나는 2-heptanone(HEP)가 순으로 총 20회 반복되었다. 냄새 자극 시간은 그림 1(b)와 같은 프로토콜로 180초 간격으로 10초 동안 냄새 자극을 수행하였다.

모든 실험 및 수술 절차는 한림대학교 동물실험윤리위원회(IACUC) 지침에 따라 진행하였다(Hallym 2016-49). 설치류는 수컷 Sprague-Dawley rats(300–350g, n = 7)을 사용하였고, 마취는 Zoletil(40mg / kg)과 xylazine(5mg / kg)의 혼합물을 사용하여 근육 주사하였다.

실험 중에는 직장 탐침과 전기 열 담요를 사용하여 설치류의 체온을 생리적 범위(36–38 °C)로 유지하였다. 실험을 위해 쥐를 정위 프레임에 장치로 고정하고 두피를 절개하여 OB 위의 두개골을 노출시켰다. 이후, NIRS 기반 전자코의 실현 가능성을 알아보기 위해 그림 1(b)와 같이 쥐의 두개골 상에 Bregma 기준으로 11mm 앞에는 검출기를, 3mm 앞에는 방출기를 위치시키고, 냄새 자극 전 10초에서 자극 후 10초까지 5Hz로 OB의 혈역학적 반응을 기록하였다.

NIRS 데이터 분석은 모두 오프라인으로 분석되었다. 먼저, NIRS 데이터는 modified Beer-Lambert 법칙[13]에 적용하여, oxy-hemoglobin(HbO) 및 deoxy-hemoglobin(Hbr) 농도 변화를 계산하였다. 관련 수식은 다음과 같다.

여기서 λ는 690nm 또는 830nm의 파장이고, ΔOD^λ는 λ₁(690nm) 및 λ₂(830 nm)에서의 광학 밀도(Optical density), I는 입사광 강도 (mW), I_O는 측정광 강도이다. ϵHbO2λ 및 ϵHbrλ는 각 파장에서 HbO₂ 및 Hbr의 특정 흡광 계수 (mol^-1m^-1)이며, B는 차동 경로 길이 계수(Differential path-length factor), L은 방출기와 검출기 사이의 거리로 8mm로 고정되었다. ΔHbO₂ 및 ΔHbr은 식 (1)에서 파생되어 다음과 같이 유도된다[13].

상기 식을 통해 HbO₂와 Hbr은 하나의 값이 증가하면 다른 값이 감소하는 관계에 있으며, 이러한 특성을 통해 두 데이터가 서로 종속적임을 알 수 있다. 그리고 실험 결과 HbO₂ 변화량이 Hbr의 변화량 보다 크게 산출되었다. 따라서 특징 추출을 위한 데이터로 HbO₂를 활용하였다.

ΔHbO₂ 신호에서 호흡 및 심장 박동과 관련된 생리적 소음을 줄이기 위해 0.1Hz의 차단주파수를 갖는 4차 저역 통과 버터워스(Butterworth) 필터를 사용하였고, 저주파 드리프트(Drift)를 제거하기 위해 선형 추세 제거 기술(Linear de-trend method)을 적용하여 데이터 전처리를 수행하였다.

그림 2와 같이 멜-스펙트럼(Mel-spectrum)을 이용하여 전처리한 ΔHbO₂ 신호를 34×32 픽셀 이미지로 만들어 합성곱 신경망의 입력 신호로 사용하였다. 그림 2의 좌측 신호는 냄새 물질 Air, IAA, HEP에 대한 시간에 따른 ΔHbO₂이며, 우측 신호는 시간에 따른 주파수 성분을 나타낸다. 이 중 우측 신호는 피처 엔지니어링(Feature engineering) 없이 합성곱 신경망의 입력으로 사용하여 냄새 물질 분류를 수행하였다.

Fig. 2. 
NIRS signal for each odor and its Mel-spectrum

사용된 데이터는 총 420개로, 7마리의 쥐에 대해 3가지 종류의 냄새 물질을 주입하는 실험을 20회 반복하여 취득하였다. 즉, 한 마리당 60개의 데이터를 취득하였다. 해당 합성곱 신경망의 테스트를 위해 한 마리에 해당하는 데이터 60개는 테스트 데이터로, 나머지 데이터는 학습 데이터로 사용하였다. 예를 들어, 1~6번 쥐로부터 획득한 데이터는 학습 데이터로, 7번 쥐로부터 획득한 데이터는 테스트 데이터로 사용하였다. 1~6번 쥐로부터 획득한 데이터는 합성곱 신경망을 학습시키기 위해 K-겹 교차 검증(K-fold cross validation)을 사용하였다. 본 연구에서는 360개의 학습 데이터를 6개의 그룹으로 나누어 6-겹 교차 검증을 수행하였다.

표 1은 본 연구에서 사용한 합성곱 신경망의 구조를 나타낸다. 5개의 합성곱 계층(Convolution layer), 4번의 최대 풀링(Max pooling), 5번의 배치 정규화(Batch normalization) 그리고 하나의 완전연결계층(Fully connected layer)로 이루어진다. 합성곱 계층은 3×3 크기의 커널을 사용한다.

각 합성곱 연산 후에는 배치 정규화를 적용하여, 활성 함수로는 ReLU 함수를 사용한다. 특징맵의 크기 축소는 3×3 크기의 커널(Kernel)과 최대 풀링을 방법을 통하여 이루어진다. 이후 512개의 뉴런으로 구성된 1개의 은닉층(Hidden layer)과 최종적으로 3개의 클래스로 이루어진 출력층이 완전히 연결된 구조로 갖는다.

t-SNE는 비선형 차원 축소 기법으로 고차원 데이터를 2, 3차원 등으로 줄여 가시화하는데 유용하게 사용되며, 2002년 L. Van der Maaten와 G. Hinton에 의해 개발되었다[14].

그림 3은 3가지 냄새 물질에 대한 반응을 기록한 원본 ΔHbO₂ 데이터를 이용하여 t-SNE를 수행한 결과이다. 그 결과 3가지 냄새 물질에 대하여 그룹들을 인식할 수 있음을 확인할 수 있다. 하지만 그림에 나타나듯이 그룹의 경계가 다소 중첩되는 것을 확인할 수 있으며, 이러한 결과 분류기의 성능이 다소 떨어지게 될 것을 예상할 수 있다. 특히, IAA와 HEP의 데이터는 많이 중첩되어 있어 분류기의 성능 열화를 예상할 수 있다.

Fig. 3. 
t-SNE visualization of training data

본 연구는 7마리의 쥐를 대상으로 6마리는 학습에 1마리는 테스트에 사용하여 합성곱 신경망을 평가하였으며, 평가결과 3가지(Air, IAA, HEP) 냄새의 분류가 가능함을 확인하였다.

표 2는 학습된 합성곱 신경망을 테스트 데이터 60개로 평가한 결과를 보여주는 혼동행렬(Confusion matrix)이다. IAA와 HEP의 분류에 있어 서로 분류가 혼동되는 것을 볼 수 있다.

표 3은 혼동행렬로부터 도출한 성능 지표를 보여준다. 정밀도는 양성으로 판정한 것 중에서 실제로 참인 것의 비율을 나타내며, 재현율은 실제 참인 것 중에서 양성으로 판정한 것의 비율을 보여준다. 그리고 F1-score는 정밀도와 재현율의 조화평균이다. 냄새가 없는 경우에는 F1-score 기준으로 0.89의 성능으로 냄새의 유무를 판별할 수 있다.

F1-score 기준으로도 냄새 물질 IAA와 HEP의 분류 성능은 0.71, 0.78로 다소 떨어짐을 확인할 수 있으며, 이는 그림 3에서 볼 수 있듯이 IAA와 HEP에 대한 혈역학적 반응이 유사하여 분류기의 성능이 감소한 것으로 이해할 수 있다.

그림 4는 각각의 클래스별로 ROC(Receiver Operation Characteristic) 커브를 도시한 그래프이다. 이를 통해 각 클래스별로 AUC(Area Under Curve)를 산출하면 Air는 0.99, IAA는 0.90, HEP는 0.97이다.

Fig. 4. 
ROC curve