Home

U-Net 딥러닝 모델 이전에도 외국에서는 MS Lesion의 자동 분할을 위한 전통적인 알고리즘과 기본적인 딥러닝을 이용한 연구가 진행되었다.

Cárdenes 등은 뇌 MRI 영상에서 k-NN 분류기를 이용하여 회백질, 백질, 뇌척수액 및 MS Lesion을 분류하고, 거리 변환을 이용해 문제가 될 패턴을 분류한 뒤 구성 요소 필터링 알고리즘을 이용해 실제 병변에 연결되지 않은 병변 복셀을 제거하는 연구를 진행하였다[3].

Geremia 등은 T1, T2, FLAIR와 같이 다채널 영상에 대하여 Random Decision Forest를 이용하여 공간 사전과 장거리 비교를 3D 영역에서 사용하여 병변을 구별하는 연구를 진행하였다[4].

Subbanna 등은 Markov Random Fields를 이용해 병변을 포함한 모든 뇌 조직을 별도의 클래스로 모델링하고, Simulated Annealing 기법을 이용해 해당 모델을 전역 수렴시켜 확률 추정치를 구하는 방법으로 병변을 검출하는 연구를 진행하였다[5].

Zhang 등은 RSANet을 설계하여 FLAIR 뇌 영상을 각 층의 시퀀스로 모델링하고 연속적으로 사용하여 장거리 의존성을 탐색한 뒤 해당 특성을 이용해 병변을 탐지하는 연구를 진행하였다[6].

Brosch 등은 Deep Convolutional Encoder Network라는 디컨볼루션 신경망과 컨볼루션 신경망이 결합된 딥러닝 모델을 이용하여 MS Lesion을 자동 검출하는 연구를 진행하였다[7].

Salem 등은 T2-Weight MRI 뇌 영상에서 MS Lesion을 감지하기 위한 새로운 전연결 컨볼루션 신경망을 제안하였다[8].

Lee 등은 T2-Weight MRI 뇌 영상을 이용하여 2D U-Net 기반의 딥러닝 모델을 활용하여 MS Lesion에 대한 검출 연구를 진행하였다[9].

U-Net은 Ronneberger 등이 2015년에 제안한 의료 영상 분할을 위한 신경망이다[10]. 그림 1과 같이 신경망의 형태가 알파벳 U와 비슷하게 생겨 U-Net이라는 이름이 붙은 이 신경망은 이전까지 우수한 성능을 보이던 Fully-Convolutional Neural Network에 비해 적은 양의 학습 데이터로 여러 의료 영상 분할 분야에서 우수한 성능을 보여주고 있다.

Fig. 1. 
Structure of 2D U-Net model[10]

U-Net에서 U 형태의 왼쪽 절반에 해당하는 부분이 contracting path이고 오른쪽 절반에 해당하는 부분이 expanding path이다. Contracting path에서는 컨볼루션 연산을 반복하며 영상의 context를 포착하고, expanding path에서는 특징 맵을 업샘플링 후 이를 contracting path의 context와 결합하여 더욱 정확한 지역화를 실시한다. 이 때 skip connection을 이용해 업샘플링 과정에서 사라지는 정교한 픽셀 정보를 복원하여 더 정확한 예측을 가능하게 한다.

이러한 U-Net은 여러 영상 분할 문제에서 좋은 성능을 보여주었지만 U-Net의 입력은 2차원 형태의 영상으로 한정되는 단점이 있었다. 따라서, 3차원으로 촬영되는 의료 영상의 경우에는 3차원적인 특성을 충분히 고려하지 못하는 문제점이 있다. 이러한 문제를 해결하기 위해 Çiçek et. al은 2016년 3D U-Net을 제안하였다[11]. 3D U-Net은 기존 2D U-Net의 입력 데이터를 3차원으로 확장하기 위해 컨볼루션이나 업샘플링 등의 연산을 기존의 2차원 연산에서 3차원 연산으로 바꿔 구성한 신경망이다.

특히, 3차원 데이터로 바뀜으로써 발생할 수 있는 병목 현상을 해결하기 위해 max pooling 이전에 채널의 수를 2배로 늘리는 방법으로 병목을 해결하였으며, 배치 정규화 등의 적용으로 성능을 향상하였다. 이를 통해 Xenopus kidney 데이터 셋을 기준으로 기존 2D U-Net보다 완전 자동 분할 시 약 0.157 정도 IoU(Intersection over Union) 성능 향상을 보였다.

제안하는 방법에서 사용한 3D 영상을 처리하기 위한 U-Net 모델의 구조를 그림 3에 구체적으로 도시하였다. 전체적인 구조는 유사하지만, 영상의 차원 차이에 따른 차이점이 일부 존재한다.

Fig. 3. 
Structure of 3D U-Net in the proposed method

그림 4는 그림 3에 나타난 ConvolutionBlock 계층의 구조를 자세히 나타낸 그림이다. 전체적인 구조는 contracting path와 expanding path로 나뉜다. contracting path에서 영상의 특징들을 추출한 뒤 expanding path에서 특징들의 해상도를 올려주고 지역성을 복원한다.

Fig. 4. 
Structure of ConvolutionBlock

제안하는 방법에서 사용한 모델의 각 path별 구조는 다음과 같다.

Contracting path는 5개 ConvolutionBlock (encodeA~encodeE)와 4개 MaxPooling3D (poolA~poolE) 계층으로 구성된다. 각 ConvolutionBlock에서는 3차원 3*3*3 크기의 커널을 사용한 3차원 컨볼루션, 배치 정규화, ReLU 함수를 사용한 활성화 계층 순서대로 두 번씩 반복하도록 구성되어 있다.

Expanding path는 4개 전치 컨볼루션 계층(transconvA~transconvD)과 4개 ConvolutionBlock (decodeA~decodeC, convOut)로 구성된다. 또한 contracting path의 각 ConvolutionBlock과 expanding path의 각 전치 컨볼루션 계층을 이어주는 skip 구조의 구현을 위한 concatenate 계층이 4개(concatA~concatD) 존재한다. 이후 예측(Prediction)을 위한 3차원 1*1*1 컨볼루션 계층을 통해 결과를 예측한다.

표 1은 제안하는 방법에서 사용한 모델의 각 계층별 상세 파라미터의 값을 나타낸 표이다. filter는 컨볼루션 블럭에 사용한 filter의 갯수, kernel은 컨볼루션 커널의 크기, padding은 가장자리 패딩의 유형, pooling_size는 MaxPooling 연산에 사용하는 커널의 크기, activation은 마지막 컨볼루션 연산에 사용한 활성 함수이다.

일반적으로 의료 영상 분야의 데이터들은 딥러닝 모델의 충분한 학습을 하기에 데이터의 개수나 다양성이 부족하다는 문제가 있다. MRI 뇌 영상에 대하여 MS Lesion 검출을 위한 경우에도 데이터의 개수나 다양성 문제가 발생하여 이의 해결을 위하여 학습 데이터에 데이터 증강을 적용해 데이터의 개수와 다양성을 향상하였다.

밝기를 0.9배, 1.1배로 조작한 데이터와 좌우를 반전한 데이터를 함께 사용하여 학습 데이터의 개수를 기존의 4배로 늘려서 모델 학습에 적용되도록 하였다.

제안한 MS Lesion 검출 방법의 성능을 평가하기 위해 dice coefficient를 사용하였다. Dice coefficient는 컴퓨터 비전이나 영상 처리 분야에서 널리 사용되는 성능 평가 방법 중 하나로, 보통 두 영상이 얼마나 일치하는지를 나타내는 수치이며 다음과 같은 식에 의해 계산된다.

S_g는 분할 영역의 ground truth, 즉 검출해야 할 원본을 의미하고, S_p는 분할 영역의 prediction, 즉 모델이 예측한 예측값을 의미한다. Dice 값이 높을수록 성능이 우수하다는 뜻이며, 두 값이 완전히 같으면 1, 완전히 다르면 0이 나오게 된다.

U-Net 모델의 학습 및 검증 데이터로는 미국 Weill 코넬 의과 대학에서 제안한 RSANet[6]에서 실험한 데이터 셋을 사용하였다. 이 데이터 셋은 MS Lesion 환자 42명에 대하여 그림 5와 같이 T1, T2, FLAIR 강조 기법으로 촬영한 MRI 뇌 영상과 각각의 영상에 대하여 전문가가 수작업으로 검출한 MS Lesion 영역의 마스크 정보가 담긴 3차원 영상이 포함되어 있다.

Fig. 5. 
Sample of T1, T2, FLAIR and mask input dataset

이전에 서술한 것과 같이, 2D U-Net 기반의 모델과 3D U-Net 기반의 모델로 분할할 때의 성능 차이를 알아보기 위해 해당 데이터를 Z축 기반으로 2D 평면 영상으로 변환하여 2D U-Net 모델의 학습 및 검증 데이터로 사용하였다.

제안하는 데이터 증강 기법과 3D U-Net 모델에 기반하는 MS Lesion 검출 방법에 대한 성능을 T1, T2, FLAIR 기법으로 촬영된 각각의 영상을 활용하여 분석하였다.

또한, 2D U-Net 모델을 적용했을 때와의 성능 차이를 비교 분석하였다. T1, T2, FLAIR 기법으로 촬영된 각각의 영상의 크기가 다양하고 제한된 딥러닝 하드웨어 성능으로 인하여 128*128 크기로 리사이즈하여 학습 및 평가 데이터로 사용하였다.

데이터 셋은 촬영 기법 별로 각각 42개의 영상과 MS Lesion 마스크의 쌍으로 이루어져 있다. 2D U-Net 모델을 실험할 때는 이를 총 2,355개의 2D 영상으로 변환하여 모델의 입력으로 사용하였고, 3D U-Net 모델을 실험할 땐 3차원 영상을 그대로 사용하였다. 이 중 학습 데이터로 75%를 사용하였고, 나머지 25%를 검증 데이터로 활용하였다.

2D U-Net 모델의 학습 데이터에 데이터 증강을 적용하여 촬영 기법 별로 각각 14,128개의 영상을 생성한 후 학습을 수행하였다. 검증에 사용된 영상은 총 589개이며, T1, T2, FLAIR 촬영 기법의 영상 각각에 대하여 학습 및 검증 시 dice coefficient 정확도를 측정하였다. 그림 6은 각 촬영 기법 별로 50 epoch 학습 과정에서 검증 영상 기준으로 정확도의 추세를 나타낸 그래프이다.

Fig. 6. 
Accuracy trends of 2D U-Net model by each imaging modality

전체적으로 비슷한 정확도 추세를 보여주고 있으나, FLAIR 영상을 활용한 결과가 조금 더 높은 성능을 나타내고 있는 것을 알 수 있다. 50 epoch 학습한 경우 최종적인 성능은 dice coefficient 기준으로 T1 기법 48.89%, T2 기법 49.23%, FLAIR 기법 58.31%를 달성하였다.

그림 7은 각 촬영 기법 별로 2D U-Net 모델을 학습하여 2차원 영상에서 MS Lesion을 검출한 결과를 나타냈다. Dice coefficient 값이 매우 높지 않기 때문에 큰 차이를 확인하기 어렵지만 FLAIR 영상이 상대적으로 원본 마스크 영상과 가장 유사한 것을 확인할 수 있다.

Fig. 7. 
Detection results of 2D U-Net model for each imaging modality

제안하는 데이터 증강 및 3D U-Net 기반의 MS Lesion 검출 방법에 대한 성능을 분석하기 위하여 T1, T2, FLAIR 기법으로 촬영된 각각의 3차원 영상을 128*128*48 크기로 리사이즈하여 각각 학습 및 평가 데이터로 사용을 하였다.

3D U-Net의 경우 2D U-Net과 다르게 3차원 데이터를 그대로 사용하므로 층별로 나누는 작업 없이 학습 데이터와 검증 데이터로만 나누어 사용하였다. 총 42개의 환자 데이터 중에서 31개의 데이터를 학습 데이터로 선정하였고, 이를 데이터 증강을 적용하여 총 248개의 3차원 영상으로 변환하여 모델에 대한 학습을 수행하였다.

검증에 사용된 영상은 T1, T2, FLAIR 촬영 기법 별로 11개로서 기법을 구분하여 학습 및 검증을 통하여 dice coefficient 정확도를 측정하였다. 그림 8은 각 촬영 기법 별로 50 epoch 학습 과정에서 검증 데이터 기준으로 정확도 추세를 나타낸 그래프이다.

Fig. 8. 
Accuracy trends of 3D U-Net model by each imaging modality

FLAIR 영상으로 모델에 대한 학습 및 검증을 실시하였을 때의 정확도가 높고, 학습이 빠르게 진행됨을 알 수 있다. 50 epoch 학습한 경우 최종적인 성능은 dice coefficient 기준으로 T1 기법 49.77%, T2 기법 41.51%, FLAIR 기법 64.50%를 달성하였다.

그림 9는 각 촬영 기법 별로 3D U-Net 모델을 학습하고 MS Lesion을 검출한 결과를 나타냈다. T2 영상으로 학습한 모델의 경우 정확도가 낮으며 검출이 거의 되지 않았고, T1 영상과 FLAIR 영상으로 학습한 모델의 경우엔 검출이 이루어졌지만, 크기나 지역성 측면에서 FLAIR 영상을 활용한 모델의 검출 성능이 더 우수함을 확인할 수 있다.

Fig. 9. 
Detection results of 3D U-Net model for each imaging modality

2D U-Net 모델과 제안하는 3D U-Net 모델을 이용하여 각각의 촬영 기법 별로 분석한 정확도 성능은 표 2와 같다.

표에서 확인할 수 있는 것과 같이 2D U-Net 및 3D U-Net 모델에서 모두 최고 성능을 보인 FLAIR 기법 영상을 기준으로 2D U-Net 모델에 비해 3D U-Net 모델이 dice coefficient 정확도 기준으로 약 6.51% 성능 향상이 있었으며, 이를 통해 FLAIR 영상을 활용한 3D U-Net 모델이 MS Lesion 검출에 있어서 좋은 성능을 보이고 있는 것을 알 수 있다. T1 기법 영상을 이용하는 경우 3D 영상을 사용하는 3D U-Net 모델이 근소하지만 높은 성능을 보였다.

하지만 T2 기법 영상의 경우엔 오히려 2D 영상으로 변환하여 2D U-Net 모델을 사용하였을 때 성능이 더 높게 나오는 것을 확인할 수 있으며, 실제 검출 이미지 분석 결과도 T2 영상으로 학습한 3D U-Net 모델의 경우에는 작은 병변은 거의 검출을 하지 못하는 모습을 보였으며, 성능이 저하되는 원인에 대해서는 추가적인 분석이 필요할 것으로 판단된다.

그림 10은 2D U-Net 모델 및 3D U-Net 모델에서 모두 높은 성능을 보인 FLAIR 기법 영상을 기준으로 하여 동일한 영상에 대하여 MS Lesion을 검출 한 결과를 도시하였다. 정성적으로 보기에도 3D U-Net 모델에 대하여 FLAIR 영상을 활용하여 검출한 결과가 훨씬 원본 마스크 영상과 유사한 결과물을 도출한 것을 확인할 수 있다. 그에 비해 2D U-Net 모델에 대하여 FLAIR 영상을 활용하여 검출한 결과의 경우에는 비교적 과한 영역을 검출하거나, 틀린 위치가 함께 검출되는 모습을 볼 수 있다.

Fig. 10. 
MS Lesion detection results of 2D U-Net model and 3D U-Net model for FLAIR images

제안하는 방법과 국외의 딥러닝을 사용한 MS Lesion 자동 검출 방법의 정확도를 비교하였다.

Brosch et. al은 T1, T2 및 FLAIR 영상을 모두 이용하여 특징을 추출하는 컨볼루셔널 신경망과 병변 마스크를 예측하는 디컨볼루셔널 신경망을 동시에 학습시키고 결과를 예측하였으나 dice score 기준으로 57.38% 정확도를 보였다[7].

Salem et. al은 U-Net을 채택한 후에 일부 수정한 전연결 컨볼루셔널 신경망을 이용하여 T2-Weight 이미지를 대상으로 dice score 기준으로 55.0% 정확도를 보였다[8].

그러나 이들 연구와 다르게 제안하는 방법에서는 MS Lesion 데이터를 학습에 충분할 정도로 확보하는 것이 어렵기에 해당 연구에는 적용되지 않았던 데이터 증강을 활용하였다. 또한, 가장 높은 정확도를 보일 수 있는 영상을 찾기 위해 다양한 방법으로 실험을 하였고, 모델을 변경하고 최적화하였다.

이러한 개선을 통해 제안한 방법은 64.50% 정확도를 달성하였고, Brosch et. al나 Salem et. al에 비하여 높은 정확도를 달성하였다. 다만 Salem et. al 연구와 비교했을때 T2-Weight 이미지에서 성능이 낮은 것을 분석해 연구를 개선할 여지가 있는 것으로 보인다.