뇌 MRI를 이용한 LSTM 딥러닝 모델 기반의 산소추출률 예측

Ⅰ. 서 론

뇌 질환은 세계적으로 주요한 건강 문제로, 한국에서도 암과 심장 질환, 폐렴에 이어 네 번째로 흔한 사망 원인이다[1]. 뇌 조직의 활성화 상태와 건강 여부를 정확히 파악하는 것은 뇌 질환의 진단과 치료에서 중대한 역할을 하며, 이러한 질환의 조기 진단과 효과적 관리는 환자의 생존 가능성을 높이고, 후유증을 줄임으로써 삶의 질을 향상시킨다.

뇌 조직 내 혈액의 산소추출률(OEF, Oxygen Extraction Fraction) 측정은 뇌 질환 진단에 중요한 지표로서, 뇌의 대사 상태와 활성화 정도에 대한 정보를 제공한다. 산소추출률 예측을 위해 다양한 연구들이 수행되었고 QUIXOTIC(QUantitative Imaging of eXtraction of oxygen and TIssue consumption)[2], Calibrated fMRI[3], qBOLD(quantitative Blood Oxygenation Level Dependent)[4], qBOLD 및 QSM(Quantitative Susceptibility Mapping)을 결합한 QQ[5][6]와 같은 여러 모델이 제안되었다. 이들 중에서 특정한 가정없이 OEF를 예측할 수 있는 QQ 모델을 기반으로 하는 클러스터 분석이나 딥러닝 기술을 적용한 연구도 진행 중이다[7]-[10].

본 논문에서는 OEF 예측의 정확도와 안정성 개선을 위해서, 뇌 자기공명영상(MRI, Magnetic Resonance Imaging) 데이터를 활용하여 OEF를 보다 효과적으로 예측하는 방법을 제시한다. 이를 위해 QQ 모델을 기반으로 LSTM(Long Short-Term Memory) 딥러닝 모델을 구성하였다. 이 모델은 하나의 입력 계층, 네 개의 LSTM 계층, 세 개의 Dense 계층, 그리고 하나의 출력 계층으로 구성되어 있으며, 복잡한 시계열 데이터 처리에 탁월한 LSTM의 특성을 활용한다. 제안한 모델은 17명의 환자로부터 수집된 MRI 데이터를 사용하여 학습 및 검증을 진행하였고, 특히, 성능을 극대화하기 위한 최적화 과정을 거쳐, OEF 예측의 정확도를 높이고자 하였다.

DNN(Deep Neural Network) 기반의 기존 모델들과 다르게 데이터가 시간 정보를 포함할 수 있도록 시퀀스화 하고, 이 시퀀스 데이터에 특화된 인공지능 모델인 LSTM에 적용하였다. LSTM 딥러닝 모델의 활성화 함수로 tanh를 사용하여 GPU 기반 실험 환경에서 빠른 속도로 학습할 수 있게 하였다. 최종 출력값을 예측할 때는 Dense 계층을 사용함으로써 성능을 향상시켰다.

본 논문은 다음과 같이 구성되어 있다. 2장에서 관련 연구를 요약하고, 3장에서는 제안하는 LSTM 딥러닝 모델 기반의 OEF 예측 방법을 상세히 설명한다. 4장에서는 실험 결과와 분석을 제시하며, 5장에서는 연구 결과의 결론을 도출한다.

Ⅱ. 관련 연구

인간 뇌의 산소 소비량이 전체 소비량의 20%에 달하는 것은 뇌와 산소 사이의 중요한 연관성을 의미한다. 뇌의 산소 사용률은 혈류와 OEF를 통해 파악할 수 있으며, 이는 다양한 뇌 질환에서 중요한 바이오마커로 활용되고 있다. 특히, 진단에 사용되는 MRI 기술의 발전은 OEF 측정 방법론에 새로운 가능성을 열었다. 15O PET(15 Oxygen Positron Emission Tomography)이 OEF 측정의 표준으로 여겨지지만, MRI 기반의 OEF 측정 기술은 비침습적이며 방사선 노출이 없고, 더 넓은 범위에서 사용될 수 있다는 장점을 갖고 있다[11].

Ⅲ. 뇌 MRI의 QQ 모델에 대해 LSTM 딥러닝 모델 기반 OEF 예측 방법

본 절에서는 빠르고 정확한 OEF 계산을 위해, 뇌 MRI 데이터에 QQ 모델을 적용하고 이를 기반으로 LSTM(Long Short-Term Memory) 딥러닝 모델을 수립하고 사용하여 OEF를 예측하는 새로운 방법을 제안한다.

3.1 LSTM

LSTM은 주로 시퀀스 데이터를 처리하기 위해 설계된 딥러닝 모델의 요소로 그림 1과 같이 기본적으로 두 가지 주요 경로, 즉 장기 기억을 유지하는 경로와 단기 기억을 처리하는 경로로 구성된다[12][13]. 장기 기억 경로는 시퀀스의 중요한 정보를 장기간 유지하며, 이는 네트워크의 셀 상태(Cell state)를 통해 관리한다. 단기 기억 경로는 현재 입력과 과거의 단기 기억을 결합하여 현재의 출력을 생성하며 이 경로는 장기 기억과 함께 작동하여 필요한 정보를 단기적으로 활용하고, 불필요한 정보는 소거한다.

Fig. 1.

LSTM internal structure

3.3 LSTM 딥러닝 모델의 구조 설계

본 논문에서 제안한 LSTM 기반의 딥러닝 모델 구조는 에코 타임에서 측정된 8개의 MRI 신호 값과 1개의 자화율을 포함하는 총 9개의 입력에 대한 5개의 타임 스텝으로 구성된 시퀀스 데이터를 사용하는 입력 계층으로 시작한다. LSTM 모델은 짧은 시간 스텝에서도 데이터 내의 복잡한 관계와 동적 변화를 더 잘 학습하고 예측할 수 있는 능력이 있기 때문에 5개 타임 스텝으로 구성하였고, 이를 통해 학습 과정에서의 계산 부담을 줄이면서도 모델의 성능을 향상시킬 수 있다. 또한 기존 데이터를 시퀀스화 하여 사용하는 이유는 데이터에 시간 정보를 포함하고 LSTM에 입력값으로 사용하기 위함이다. 이후 모델은 총 4개의 LSTM 은닉 계층을 거친다. 이 은닉 계층들에서는 노드의 수를 512개에서 시작하여 점차 줄여나가는 구조로 되어 있다. 입력층 이후 3개의 LSTM 계층에서는 각 시간 단계에 대한 출력을 모두 반환한다. 즉, 시퀀스의 각 요소에 대해 출력 벡터를 생성하고 이를 통해 다음 레이어가 시퀀스 데이터를 처리할 수 있도록 한다. 마지막 LSTM 계층에서는 마지막 시간 단계의 출력만 반환함으로써 마지막 요소에 대한 출력 벡터만 생성하여 시퀀스 전체에 대한 하나의 결과만 나오게 한다. 이후 Dense 계층에서 적용하기 위해 다차원의 입력 데이터를 1차원으로 평탄화하는 기능을 수행하는 Flatten 계층을 거친다. 평탄화 후에는 3개의 Dense 계층을 거치고 최종적으로 QQ 모델의 입력 파라미터에 해당하는 정맥 산소포화도, 정맥 혈액량, 가로 이완, 에코 타임(TE) 0에서의 신호 강도, 비혈류 물질의 자화율을 예측하기 위한 5개 노드로 구성된 출력 계층을 생성하였다. 이와 같은 모델에 대한 전반적인 구조를 그림 2에 도시하였다.

Fig. 2.

Structure of LSTM deep learning model for OEF prediction

이러한 구조를 통해, LSTM 딥러닝 모델은 MRI 데이터를 바탕으로 QQ 모델의 중요한 변수들을 효과적으로 예측하고 OEF를 정확하게 계산할 수 있도록 설계되었다.

은닉 계층에서 노드의 수를 점차 줄이면서 여러 계층을 쌓는 방식으로 설계되었는데, 이러한 구조는 네트워크의 복잡성을 점진적으로 감소시키면서도, 필요한 정보를 효과적으로 전달하도록 돕는다.

가중치 업데이트를 위한 활성화 함수로는 LSTM 계층에서는 GPU 환경에서의 빠른 학습 및 최적의 성능을 위하여 하이퍼볼릭 탄젠트(tanh), Dense 계층에서는 LeakyReLU를 활성화 함수로 사용했다. LeakyReLU에서 음의 입력값에 대해서는 0.01로 스케일링하여 처리하였다. 이는 모델이 음수 입력에 대해서도 일정한 반응을 보일 수 있도록 하여, 활성화 함수가 완전히 0이 되는 것을 방지하고, 네트워크의 비선형 학습 능력을 향상시킨다.

Ⅳ. 실험 결과 및 분석

제안하는 방법은 Intel i9-11900 CPU, NVIDIA RTX 3090 GPU, 64GB RAM 하드웨어 및 Windows 10 Pro 운영체제에서 Tensorflow의 Keras로 구현하였다.

4.1 학습과 검증 정확도

코넬대학교 의과대학에서 구축한 데이터셋을 사용하여 LSTM 딥러닝 모델의 학습과 검증을 진행했다. 이 데이터셋에는 17명의 환자로부터 수집된 3차원 뇌 MRI 신호 값과 자화율 데이터가 포함되어 있으며, 이에 대응하는 QQ 모델의 정맥 산소포화도, 정맥 혈액량, 조직의 가로 이완, 에코 타임(TE) 0에서의 신호 강도, 비혈류 물질의 자화율에 대한 Ground Truth 값이 함께 제공된다[6][7].

먼저 3차원 구조의 데이터를 1차원으로 선형화하여 메모리에 적재한 후, 데이터를 학습, 검증 및 평가에 적합하게 분할하여 사용하였다. 이 과정에서 총 17명의 환자 데이터 중 6명(P1, P2, P10, P14, P15, P17)의 데이터를 학습과 검증에 Train : Validation = 8 : 2의 비율로 분할하여 활용하였다. 개별 신호로는 총 11,498,589개 데이터이며, 학습에 9,198,871개, 검증에 2,299,718개가 사용되었다. 나머지 11명의 환자 데이터는 모델의 성능 평가에 사용되었다.

모델 학습에는 학습률을 1e-4로 설정했으며, 손실 함수로 Huber, 최적화 함수로 Adam를 사용하였고, 평가지표로 평균 제곱근 오차(Root Mean Square Error, RMSE)를 사용하였다. 이러한 설정은 모델이 데이터를 효과적으로 학습하고, 결과의 정확도를 높이는 데 중요한 역할을 한다.

LSTM 딥러닝 모델의 학습 과정은 512개의 배치 크기를 가지고 최대 100 에포크(epoch) 동안 진행되었다. 학습 과정에서 중요한 점은 검증 데이터에 대한 손실값 변화를 모니터링하여, 이 값이 더 이상 개선되지 않으면 학습을 조기에 종료하도록 설정한 것이다. 이러한 조치는 학습 시간을 최적화하고 과적합을 방지하는 데 도움을 준다.

그림 3과 표 1에는 각 에포크에 따른 OEF 예측의 RMSE와 손실률이 나타나 있다.

Fig. 3.

Prediction and validation RMSE at each epoch

Table 1.

Prediction RMSE and loss rate at each epoch

이 데이터에서 RMSE와 손실률이 점진적으로 수렴하는 경향을 볼 수 있다. 특히, 10번째 에포크에서는 손실률이 0.0321로 가장 낮았으며, RMSE 또한 0.2655로 가장 높은 정확도를 보였다. 이는 기존 DNN 기반 딥러닝 모델과 비교했을 때 0.0014 더 낮은 손실률과 0.008 더 낮은 RMSE 값이다[10]. 수렴 이후에는 다른 에포크들과 RMSE 및 손실률의 차이가 크지 않았다. 이러한 경향은 학습 과정이 진행됨에 따라 학습 데이터가 변화하면서 발생하는 미세한 차이들을 반영하는 것으로 보인다.

4.2 평가 정확도

제안한 LSTM 딥러닝 모델의 성능 평가는 학습과 검증에 사용되지 않은 11명의 환자 데이터를 이용해 진행되었다. 이 평가에서는 모델이 예측한 OEF 값의 정확도를 평가하기 위해 평균 RMSE를 계산했다. LSTM 딥러닝 모델의 출력은 QQ 모델의 5개 매개변수, 즉 정맥 산소포화도를 포함한 OEF 예측에 필요한 변수들로 구성되어 있다. 따라서, 모델의 성능을 정확하게 평가하기 위해서는 모델의 출력과 Ground Truth 데이터를 비교할 필요가 있다.

표 2에는 본 논문에서 제안하는 LSTM 딥러닝 모델에 대해 Ground Truth 데이터 간의 RMSE 값이 제시되어 있다. 이를 통해 기존 DNN 모델[10]에 비하여 LSTM 딥러닝 모델이 TE 0에서 신호 강도(S0), BOLD 효과가 없는 조직의 가로 이완(R2), 정맥 산소포화도(Y)가 낮은 오차로 예측됨을 확인할 수 있다. 하지만 정맥 혈액량(v), 비혈류 물질의 자화율(χnb)에 대해서 상대적으로 큰 오차가 발생하는 단점이 있다. 일단 OEF 계산에 중요한 Y에 대한 정확도가 향상된 것에 큰 의미가 있으며, 상대적으로 오차가 큰 요소는 향후 모델 구성을 변경하거나 파라미터 조정을 통해 해결할 수 있을 것으로 보인다.

Table 2.

RMSE of LSTM deep learning model for evaluation data

그림 4에 Ground Truth 데이터와 DNN 모델, LSTM 모델을 이용하여 예측한 OEF의 비교 결과를 도시하였다. DNN 모델과 LSTM 모델 모두 Ground Truth와 거의 유사하지만 LSTM의 경우 DNN 모델보다 전체적으로 더 선명하게 예측하였다. 또한 Ground Truth와 비교한 OEF RMSE 값에서 LSTM이 DNN 모델보다 약 0.7 정도 높은 성능을 보였다. 따라서 예측된 OEF가 Ground Truth와 상당한 정도로 일치함을 볼 수 있다. 이러한 결과는 모델이 OEF 예측에서 높은 정확도를 보임을 의미한다.

Fig. 4.

Ground truth and OEF prediction result of proposed method

표 3에는 기존의 CCM 방법[7], DNN 기반 딥러닝 방법[10] 및 제안한 방법 간 OEF 예측에 대한 평균 RMSE를 비교하였다. 이 비교는 동일한 코넬대학교 의과대학의 데이터셋을 사용하여 수행되었으며, 비록 학습 및 평가에 사용된 환자의 번호에는 차이가 있지만, 제안된 방법이 OEF 예측에 대해 높은 수준의 RMSE를 달성한 것을 확인할 수 있다.

Table 3.

Comparison of OEF RMSE for CCM method, DNN method and proposed method

실험 결과를 통해 뇌 MRI 데이터에 대해 QQ 모델을 이용하고 이를 바탕으로 LSTM 기반의 딥러닝 모델을 적용하여 OEF를 효율적으로 계산할 수 있음을 알 수 있다. 또한, 제안된 방법은 기존의 CCM 및 DNN 방법에 비해 더 높은 정확도를 달성할 수 있음을 확인하였다. 이는 제안한 LSTM 딥러닝 모델이 뇌 MRI 신호 분석에 있어서 기존 방법들보다 우수한 성능을 제공할 수 있음을 시사한다.

V. 결론 및 향후 과제

뇌 질환을 진단하는 방법 중에는 뇌 내의 조직을 통해 혈액의 산소 사용량을 측정하는 기술이 있다. 이 기술을 이용해 뇌 조직이 얼마나 활성화되어 있는지를 확인하고, 그 상태가 정상인지를 판단할 수 있다. 이 과정에서 조직에서의 OEF을 계산하는 것이 중요하다.

여러 알고리즘이 OEF 계산을 위해 제안되었으나, 딥러닝을 활용한 방법은 아직 초기 단계에 머물러 있다. 본 연구에서는 QQ 모델을 바탕으로 한 LSTM 딥러닝 모델을 개발하여, 뇌 MRI에서 얻은 9가지 신호 데이터를 사용해 QQ 모델의 매개변수를 추정하고 OEF를 높은 정확도로 예측하는 새로운 방법을 제안했다.

이 방법은 17명의 환자 데이터를 사용해 모델을 학습시키고 평가했다. 본 연구의 차별점은 기존의 정적이거나 단일 차원적 데이터 처리 방식에서 벗어나, 시간에 따라 변화하는 뇌의 생리학적 신호를 다루기 위해 순환신경망을 사용하는 LSTM 딥러닝 모델을 수립하였고, 이에 대해 최적화를 수행한 것이다. 또한 실험을 통해 5.33 OEF RMSE를 달성함으로써 제안한 딥러닝 모델이 OEF 계산에 유의미한 기여를 할 수 있음을 입증하였다. 이 모델은 데이터를 시간 개념을 포함하는 시퀀스 형식으로 가공하여 모델이 시간에 따른 신호의 변화와 패턴을 더욱 정확하게 포착하고 이해할 수 있게 하여 기존보다 더욱 뛰어난 성능을 보였다.

향후 연구로는 정맥 혈액량(v), 비혈류 물질의 자화율(χnb)에 대해서도 더 낮은 RMSE 오차 값을 가지게 발전시킬 필요가 있으며, 더욱 정밀한 뇌 질환 진단을 위해 본 연구에서 제안한 LSTM 딥러닝 모델보다 더 우수한 성능이나 GRU와 같이 변형된 인공신경망을 도입하는 연구가 필요하다[14].

Acknowledgments

This work was supported by the National Research Foundation of Korea(NRF) grant funded by the Korea government(MSIT) (No. RS-2023-00242116)

References

• H. Noh, J. Seo, S. Lee, N. Yi, S. Park, Y.-J. Choi, and S. Huh, "Cause-of-death statistics in 2020 in the Republic of Korea", Journal of the Korean Medical Association, Vol. 66, No. 2, pp. 132-142, Feb. 2023. https://www.doi.org/10.5124/jkma.2023.66.2.132.
• D. S. Bolar, B. R. Rosen, A. Sorensen, and E. Adalsteinsson, "Quantitative imaging of extraction of oxygen and tissue consumption (QUIXOTIC) using venular-targeted velocity-selective spin labeling", Magnetic Resonance in Medicine, Vol. 66, No. 6, pp. 1550-1562, Jun. 2011. [https://doi.org/10.1002/mrm.22946]
• R. G. Wise, A. D. Harris, A. J. Stone, and K. Murphy, "Measurement of OEF and absolute CMRO2: MRI-based methods using interleaved and combined hypercapnia and hyperoxia", NeuroImage, Vol. 83, pp. 135-147, Dec. 2013. [https://doi.org/10.1016/j.neuroimage.2013.06.008]
• X. He and D. A. Yablonskiy, "Quantitative BOLD: mapping of human cerebral deoxygenated blood volume and oxygen extraction fraction: default state", Magnetic Resonance in Medicine, Vol. 57, No. 1, pp. 115-126, Dec. 2006. [https://doi.org/10.1002/mrm.21108]
• J. Cho, Y. Kee, P. Spincemaille, T. D. Nguyen, J. Zhang, A. Gupta, S. Zhang, and Y. Wang, "Cerebral metabolic rate of oxygen (CMRO2) mapping by combining quantitative susceptibility mapping (QSM) and quantitative blood oxygenation level-dependent imaging (qBOLD)", Magnetic Resonance in Medicine, Vol. 80, No. 4, pp. 1595-1604, Mar. 2018. [https://doi.org/10.1002/mrm.27135]
• J. Cho, S. Zhang, Y. Kee, P. Spincemaille, T. D. Nguyen, S. Hubertus, A. Gupta, and Y. Wang, "Cluster analysis of time evolution (CAT) for quantitative susceptibility mapping (QSM) and quantitative blood oxygen level‐dependent magnitude (qBOLD)‐based oxygen extraction fraction (OEF) and cerebral metabolic rate of oxygen (CMRO2) mapping", Magnetic Resonance in Medicine, Vol. 83, pp. 844-857, Sep. 2019. [https://doi.org/10.1002/mrm.27967]
• H. Y. Lee, "OEF Calculation Method through Cluster-based Classification and Matching of QQ Model on Brain MRI Images", Journal of KIIT, Vol. 18, No. 10, pp. 15-23, Oct. 2020. [https://doi.org/10.14801/jkiit.2020.18.10.15]
• J. Cho, J. Zhang, P. Spincemaille, H. Zhang, S. Hubertus, Y. Wen, R. Jafari, S. Zhang, T. D. Nguyen, A. V. Dimov, A. Gupta, and Y. Wang, "QQ-NET - using deep learning to solve quantitative susceptibility mapping and quantitative blood oxygen level dependent magnitude (QSM+qBOLD or QQ) based oxygen extraction fraction (OEF) mapping", Magnetic Resonance in Medicine, Vol. 87, No. 3, pp. 1583-1594, Oct. 2021. [https://doi.org/10.1002/mrm.29057]
• S. Hubertus, S. Thomas, J. Cho, S. Zhang, Y. Wang, and L. R. Schad, "Using an artificial neural network for fast mapping of the oxygen extraction fraction with combined QSM and quantitative BOLD", Magnetic resonance in medicine, Vol. 82, No. 6, pp. 2199-2211, Jul. 2019. [https://doi.org/10.1002/mrm.27882]
• H. S. Kim and H.-Y. Lee, "DNN-based Oxygen Extraction Fraction Prediction Method for QQ Model of Brain MRI", The Journal of Korean Institute of Information Technology, Vol. 21, No. 6, pp. 35-41, Jun. 2023. [https://doi.org/10.14801/jkiit.2023.21.6.35]
• D. Jiang and H. Lu, "Cerebral oxygen extraction fraction MRI: Techniques and applications", Magnetic Resonance in Medicine, Vol. 88, No. 2, pp. 575-600, May 2022. [https://doi.org/10.1002/mrm.29272]
• S. Hochreiter and J. Schmidhuber, "Long Short-Term Memory", Neural Computation, Vol. 9, No. 8, pp. 1735-1780, Nov. 1997. [https://doi.org/10.1162/neco.1997.9.8.1735]
• J. Oh and S. Kum, "A Study on Estimating Geomagnetic Azimuth using LSTM", The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 22, No. 6, pp. 137-141, Dec. 2022. [https://doi.org/10.7236/JIIBC.2022.22.6.137]
• S.-M. Lee, Y.-G. Sun, J. Lee, D. Lee, E.-I. Cho, D.-H. Park, Y.-B. Kim, I. Sim, and J.-Y. Kim, "Short-term Power Consumption Forecasting Based on IoT Power Meter with LSTM and GRU Deep Learning", The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 19, No. 5, pp. 79-85, Oct. 2019. [https://doi.org/10.7236/JIIBC.2019.19.5.79]