ICA가 청각 상상 뇌파 분류에 미치는 영향

Ⅰ. 서 론

뇌-컴퓨터 인터페이스(BCI, Brain-Computer Interface) 는 척수 손상 및 기타 신경 근육 질환으로 고통받는 환자들에게 의사소통 및 제어를 가능하게 하는 기술로 최근 몇십 년 동안 큰 진전을 이루었다. 전통적인 접근 방식은 운동 상상 방식으로 실제로 신체를 움직이지 않고 특정 운동을 상상하여 뇌의 운동 피질에서 발생하는 신경 신호를 활용하는 방식이다[1]. 그 밖에 시각 자극을 활용한 방법도 널리 사용되고 있다[2][3]. 반면, 청각 자극에 대한 상상 발화의 경우 상대적으로 넓은 영역의 피질이 활성화되어 특정 신호를 해석하기 어렵지만, 음성 언어가 가장 일반적인 의사소통 방식이기 때문에 가장 자연스럽고 직관적인 과정으로 작용할 수 있다[4]-[6].

EEG는 두피에 전극을 부착하여 비침습적으로 뇌의 전기 활동을 기록하는 기법으로, 자기공명영상 등 다른 뇌 이미징 기법에 비해 높은 시간적 해상도를 제공한다[7]. 이러한 특성 덕분에 EEG는 다양한 자극과 인지 과제에 대한 실시간 반응을 측정하는 데 유용하다. 또한, ERP(Event-Related Potential)는 EEG 데이터를 활용하여 전체 데이터를 평균함으로써 아티팩트로 인한 데이터 간 차이를 제거하고, 특정 자극에 대한 신경 반응을 확인하는 방법이다[8]. 근래, 딥러닝 기법을 사용한 뇌 신호처리의 눈부신 발전으로 청각 자극에 대한 상상 발화 시 생성되는 EEG 신호 패턴을 분석하고 해석하여 BCI 시스템에 활용하려는 연구가 진행되고 있으나 여전히 상대적으로 낮은 분류 정확도가 관찰되고 있다[4]-[6]. 최근 이러한 분류는 기계 학습 및 딥러닝 기법으로 시행되고 있으며 신호에 대한 전처리 과정을 포함하고 있다.

EEG 데이터는 신경 신호를 측정하는 대표적인 방법으로, 측정 과정에서 발생하는 눈 깜빡임, 근육 움직임, 전기적 간섭 등 다양한 아티팩트가 신호에 포함될 수 있다[9]. 이러한 아티팩트를 제거하고 신호의 품질을 향상하기 위해 독립성분분석(ICA, Independent Component Analysis), high-pass filtering, referencing 등의 전처리 기법이 널리 사용된다. 최근 Delorme 연구팀[9]은 청각적으로 평범한 자극과 특이한 자극을 제시한 후 EEG 데이터를 통해 통계적으로 유의미한 채널의 비율을 계산하여 전처리가 데이터에 미치는 영향을 평가했다. 또한, 전처리를 최소화하는 것이 유의미한 채널의 비율을 높이는 데 도움이 된다고 주장했다. Bomatter 연구팀[10]은 눈을 뜬 상태와 감은 상태에서 EEG 신호에 전처리를 적용한 경우와 적용하지 않은 경우를 비교하여, 전처리가 기계 학습 성능에 미치는 영향을 분석하였다. 이처럼 최근 EEG 신호에서 전처리의 영향에 대한 다양한 분석이 이루어졌지만, 이는 제한된 데이터 유형에 관해서만 연구되었다. 청각 자극과 이에 따른 발화는 가장 일반적이고 직관적인 의사소통 방식으로 작용한다. 이러한 점에서, 청각 자극 기반의 실제 발화와 상상 발화는 BCI 시스템 설계에 있어 중요한 과제로 고려되며, 이에 대한 분석이 필요하다.

다양한 전처리 기법 중 ICA는 EEG 신호에서 아티팩트를 효과적으로 제거하는 데 널리 사용되기 때문에 본 연구에서는 ICA에 집중한다. 기존 연구에서 전처리가 기계 학습 모델의 성능에 미치는 영향을 평가하며, 기본적인 잡음 제거는 성능 향상을 보였지만 ICA는 성능 감소했다[10]. 본 연구에서는 이러한 결과를 바탕으로 ICA가 청각 자극 신호 데이터에서 정보 손실을 초래하는지 평가하기 위해 딥러닝 모델의 성능에 미치는 영향을 확인하고자 한다.

본 연구에서는 청각 자극 기반 실제 발화(AS, Auditory Speech)와 상상 발화(IS, Inner Speech) 데이터를 활용하여 ICA 적용 전후의 ERP를 생성하고 아티팩트 제거 효과를 분석한다. 다음으로, EEG 신호에서 자주 사용하는 딥러닝 모델에 ICA 적용 전후의 신호를 학습시켜, 그 결과가 분류 정확도에 미치는 영향을 평가한다.

Ⅱ. 연구 방법

2.1 ICA 분석

전체 실험은 그림 1 같이 진행되었으며, 총 5명의 피실험자 데이터를 사용했다. EEG 데이터는 BioSemi ActiveTwo 시스템과 Ag/AgCI 습식 전극을 사용하여 기록되었으며, 국제 10-20시스템에 따라 총 32개의 채널을 측정하였다.

Fig. 1.

Experimental time line

해당 시스템은 국제적으로 표준화된 전극배치법으로 코뿌리점(Nasion)에서 뒤통수점(Inion) 사이의 머리를 1/10으로 나눈 뒤, 10%와 20%로 나눈 구역에 전극을 배치하는 방식이다[11]. 측정 패러다임은 소리 자극에 대한 실제 발화와 상상 발화로 인지 과제를 나눠, 피실험자별로 실제 발화 90개, 상상 발화 90개를 얻어 총 900개의 데이터를 사용하여 분석을 진행하였다.

분석에 앞서, MATLAB과 EEGLAB toolbox[12] 를 활용하여 데이터 전처리와 ICA를 수행하였다. 전처리 단계에서는 전체 데이터를 average reference를 통해 재참조하고, 1-55Hz 대역의 band pass 필터와 59-61Hz 대역의 notch 필터를 적용하여 전선 잡신호를 제거하였다. 이후, EEGLAB의 IClabel을 사용하여 눈 깜빡임, 심장 박동으로 판단되는 아티팩트를 분리하고 제거하였다[13].

EEG 분석에서 많이 사용하는 중앙에 있는 Cz 채널을 기준으로 실험을 진행하였다[14][15]. ERP는 각 인지 과제당 하나만 계산하고, ERP 분석에 사용되는 수식을 식 (1)~(4)와 같이 정의했다.

$\[ V_{erP}=\text{max}\left(\frac{1}{N}\sum _{i=1}^N{V}_i\left(t\right)\right) \]$

(1)

$\[ V_{Perk}=\text{max}\left(\text{max}\left(V_1\right),\text{max}\left(V_2\right),\dots ,\text{max}\left(V_N\right)\right) \]$

(2)

$\[ T_{er}=\text{arg}\underset{t}{\text{max}}\left(\frac{1}{N}\sum _{i=1}^N{V}_i\left(t\right)\right) \]$

(3)

$\[ T_{Peak}=\text{arg}\underset{t}{\text{max}}\left(\underset{t}{\text{max}}\left(V_1\right),\underset{t}{\text{max}}\left(V_2\right),\dots ,\underset{t}{\text{max}}\left(V_N\right)\right) \]$

(4)

여기서 V는 신호의 amplitude, t는 신호의 시간, N은 trial의 개수이다. 각 식을 활용해 ERP amplitude의 최댓값(V_erp)과 시점(T_erp), 그리고 EEG 신호에서의 최댓값(V_peak)과 최댓값이 관측된 시점(T_peak)을 분석하였다.

Ⅲ. 실험 결과

첫 번째 결과로 ERP 분석에서, ICA 적용 전(Before)과 후(After)의 ERP(그림 2)를 비교한 결과, ICA 적용 후 실제 발화와 상상 발화 데이터 모두에서 1초까지의 amplitude가 많이 감소하는 경향이 관찰되었다.

Fig. 2.

Comparison of ERP before and after ICA application

ICA 적용 전/후에 따른 V_erp와 V_peak 간의 차이와 T_erp와 T_peak의 차이를 분석하였다(그림 3). ICA가 효과적으로 아티팩트를 제거하고 일관된 신호 특징을 유지하는지 지표로서 ERP의 최댓값(V_erp)과 EEG의 최댓값(V_peak)의 차이를 비교했을 때, 모든 실험자에게서 일관되게 ICA 이후 V_erp와 V_peak 간의 차이가 감소 된 것을 확인하였다. 또한, 일부 피실험자(특히 4번)에서는 큰 편차가 관찰되었으며 이는 해당 피실험자가 실험 중 특정 신체 움직임으로 인한 아티팩트가 더 컸을 가능성을 시사한다.

Fig. 3.

Subject-wise comparison of ERP amplitude and peak timing before and after ICA application

본 연구팀은 아티팩트의 감소로 인해 데이터의 V_peak가 ERP 특성을 잘 나타낼 수 있도록 이동했다면, 기존의 V_erp와 V_peak의 시간 차이도 줄어들 것이라고 가정했다. 그러나 시간적 간격에서 일관된 경향을 확인하기 어려웠으며, 일부 피실험자의 경우 시간 간격의 편차가 증가하였다. 이러한 결과는 ICA가 ERP 분석에서 아티팩트 제거에 일정한 효과를 보이지만, 시간적 특징의 유지와 신호의 패턴에서 놓치는 정보가 있음을 시사한다.

다음으로, ICA 적용 전/후 데이터에서 딥러닝 모델의 성능 차이를 분석하고, ICA가 모델의 분류 정확도에 미치는 영향을 확인하였다. 표 1은 EEGNet, ShallowConvNet, DeepConvNet 세 모델에 대해 ICA 적용 여부에 따른 5-fold 교차 검증 정확도를 비교한 결과를 나타낸다.

Table 1.

Comparison of 5-Fold cross-validation accuracy by ICA application for each deep learning model

분석 결과, 전체적으로 ICA 적용 전후 성능 차이는 모델에 따라 다른 양상을 보였으며, ICA 적용이 항상 성능 개선으로 이어지지는 않았다. EEGNet은 ICA 적용 전 평균 정확도가 85.33%였으나, 적용 후 86.39%로 미미한 향상을 보였다. DeepConvNet의 경우, ICA 적용 전 평균 정확도는 81.06%였으나, ICA 적용 후 80.00%로 소폭 감소하였다. ShallowConvNet은 ICA 적용 전 85.83%, 적용 후 82.39%로 성능이 오히려 감소하였다. 각 fold에서도 일관되지 않은 경향이 관찰되었다. 예를 들어, EEGNet의 경우 fold 1과 fold 2에서 정확도가 증가했지만, fold 4와 fold 5에서는 감소하는 결과를 보였다. ShallowConvNet은 일부 fold에서 성능이 개선되었지만, fold 5에서 많이 감소하며 전반적인 평균 정확도를 낮추었다.

Ⅳ. 고찰 및 결론

본 연구에서는 ICA 적용 전후의 ERP를 비교하여 아티팩트 제거 효과와 신경 신호 변화를 분석하였다. 실험 결과, ICA는 amplitude 감소와 더불어 아티팩트 제거에 일정 부분 효과적임을 보여주었으며, 특히 상상 발화와 같은 민감한 인지 과제에서도 전반적인 아티팩트 감소가 관찰되었다. 그러나 T_erp와 T_peak간의 시간적 간격에서 일관된 변화를 확인하기 어려웠고, 일부 피실험자에서는 신경 신호의 변동성으로 인해 시간 간격의 편차가 증가하는 양상이 나타났다. 이는 ICA 적용이 ERP 신호의 peak와 잠복기의 변화를 유발할 수 있음을 보여주며, 이러한 점에서 ICA의 사용은 신중하게 고려되어야 할 것이다. 특히 상상 발화와 같은 복잡한 과제에서는 피실험자 간 신경 신호의 개인차가 크게 작용할 수 있음을 고려해야 한다. 또한, 딥러닝 모델을 활용한 분석 결과, ICA 적용이 딥러닝 모델의 분류 성능을 전반적으로 개선하지 못하는 경향이 관찰되었다. EEGNet, ShallowConvNet, DeepConvNet 세 가지 모델 모두에서 ICA 적용 전후 성능 차이는 모델별로 다른 양상을 보였으며, 일부 모델에서는 성능이 오히려 감소하는 결과가 나타났다. 이는 ICA가 아티팩트를 제거함으로써 신호의 일부 특징을 강조했을 가능성이 있지만, 동시에 딥러닝 모델의 학습에 필요한 중요한 신호 패턴을 약화하거나 손실시켰을 가능성을 시사한다.

향후 연구에서는 ICA 외의 EEG 데이터 전처리 기법들이 아티팩트를 제거하는 과정에서 생체 신호를 얼마나 보존하는지 평가해야 하며, 이를 통해 얻은 결과를 다양한 과제에 적용하여 일반화 가능성을 확인하고자 한다.

Acknowledgments

본 논문은 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원(No. 2019-0-01842, 인공지능대학원지원(광주과학기술원))과 한국연구재단의 지원(2018R1A2B2005687, RS-2023-00280241)을 받아 연구함

References

• H. Cho, M. Ahn, S. Ahn, M. Kwon, and S. C. Jun, "EEG datasets for motor imagery brain–computer interface", GigaScience, Vol. 6, No. 7, Jul. 2017. [https://doi.org/10.1093/gigascience/gix034]
• Y. Chen, A. D. Atnafu, I. Schlattner, W. T. Weldtsadik, M.-C. Roh, H. J. Kim, S.-W. Lee, B. Blankertz, and S. Fazli, "A High-Security EEG-Based Login System with RSVP Stimuli and Dry Electrodes", IEEE Transactions on Information Forensics and Security, Vol. 11, No. 12, pp. 2635-2647, Dec. 2016. [https://doi.org/10.1109/TIFS.2016.2577551]
• S. Lee, S. Jang, and S. C. Jun, "Exploring the ability to classify visual perception and visual imagery EEG data: toward an Intuitive BCI System", Electronics, Vol. 11, No. 17, pp. 2706, Aug. 2022. [https://doi.org/10.3390/electronics11172706]
• S. H. Lee, M. Lee, and S. W. Lee, "Neural decoding of imagined speech and visual imagery as intuitive paradigms for BCI communication", IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 28, No. 12, pp. 2647-2659, Dec. 2020. [https://doi.org/10.1109/TNSRE.2020.3040289]
• S. H. Yu, H. Y. Park, S. J. Lee, and J. H. Jeong, "Sentence-Level Neural Language Decoding based on Speech Imagery from EEG Signals", Journal of KIIT, Vol. 21, No. 8, pp. 153-164, Aug. 2023. [https://doi.org/10.14801/jkiit.2023.21.8.153]
• A. R. Sereshkeh, R. Trott, A. Bricout, and T. Chau, "EEG classification of covert speech using regularized neural networks", IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 25, No. 12, pp. 2292-2300, Dec. 2017. [https://doi.org/10.1109/TASLP.2017.2758164]
• M. Teplan, "Fundamentals of EEG measurement", Measurement Science Review, Vol. 2, No. 2, pp. 1-11, 2002.
• A. Delorme, "EEG is better left alone", Scientific Reports, Vol. 13, No. 1, pp. 2372, Feb. 2023. [https://doi.org/10.1038/s41598-023-27528-0]
• S. Sanei and J. A. Chambers, "EEG Signal Processing", John Wiley & Sons, 2013.
• P. Bomatter, J. Paillard, P. Garces, J. Hipp, and D. A. Engemann, "Machine learning of brain-specific biomarkers from EEG", eBioMedicine, Vol. 106, Aug. 2024. [https://doi.org/10.1016/j.ebiom.2024.105259]
• R. W. Homan, J. Herman and P. Purdy, "Cerebral location of international 10-20 system electrode placement", Electroencephalography and Clinical Neurophysiology, Vol. 66, No. 4, pp. 376-382, Apr. 1987. [https://doi.org/10.1016/0013-4694(87)90206-9]
• A. Delorme and S. Makeig, "EEGLAB: an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis", Journal of Neuroscience Methods, Vol. 134, No. 1, pp. 9-21, Mar. 2004. [https://doi.org/10.1016/j.jneumeth.2003.10.009]
• L. Pion-Tonachini, K. Kreutz-Delgado, and S. Makeig, "ICLabel: An automated electroencephalographic independent component classifier, dataset, and website", NeuroImage, Vol. 198, pp. 181-197, Sep. 2019. [https://doi.org/10.1016/j.neuroimage.2019.05.026]
• S. Sur and V. K. Sinha, "Event-related potential: An overview", Industrial Psychiatry Journal, Vol. 18, No. 1, pp. 70-73, Jan 2009. [https://doi.org/10.4103/0972-6748.57865]
• M. Bachmann, J. Lass, and H. Hinrikus, "Single channel EEG analysis for detection of depression", Biomedical Signal Processing and Control, Vol. 31, pp. 391-397, Jan. 2017. [https://doi.org/10.1016/j.bspc.2016.09.010]
• V. J. Lawhern, A. J. Solon, N. R. Waytowich, S. M. Gordon, C. P. Hung, and B. J. Lance, "EEGNet: a compact convolutional neural network for EEG-based brain–computer interfaces", Journal of Neural Engineering, Vol. 15, No. 5, pp. 056013, Jul. 2018. [https://doi.org/10.1088/1741-2552/aace8c]
• S. T. Schirrmeister, J. T. Springenberg, L. D. J. Fiederer, M. Glasstetter, K. Eggensperger, M. Tangermann, F. Hutter, W. Burgard, and T. Ball, "Deep learning with convolutional neural networks for EEG decoding and visualization", Human Brain Mapping, Vol. 38, No. 11, pp. 5391-5420, Aug. 2017. [https://doi.org/10.1002/hbm.23730]