딥러닝을 활용한 당뇨성 족부궤양 진단 연구
; 이세형*
; 반윤지*
; 민기현*
; 김정은*
; Seihyoung Lee*
; Yun-Ji Ban*
; Gihyeon Min*
; Jeongeun Kim*
초록
당뇨성 족부궤양 질환의 자동 진단을 위해 딥러닝 전이학습을 이용한 질환 분류 모델을 개발하였다. 본 연구에서는 당뇨성 족부궤양의 공개된 이미지 데이터셋(DFU challenge 2021)을 활용하여 당뇨성 족부궤양을 정상과 질환을 분류할 수 있는 모델과 감염 및 허혈, 복합성 궤양 및 기타 궤양과 분류할 수 있는 자동화된 의료 이미지 질환 진단 모델을 구현하였다. 이를 위해 6가지 심층 신경망 모델을 사용하여 학습하였고 모델의 정확도, 민감도, 정밀도, f1-score 성능을 모델별로 비교 평가하여 당뇨성 족부궤양 분류에 적합한 성능의 모델을 제시하였다. 모델의 성능을 개선하기 위해 데이터 증강 및 불균형 데이터 처리를 활용하였고, 그 중 EfficientNetB3 모델을 활용하여 당뇨성 족부궤양 데이터에 대해 정확도 89%, 민감도 89%를 달성하였다.
Abstract
A classification model using deep learning was developed for automatic diagnosis of diabetic foot ulcer disease. In this study, we implemented an automated medical image disease diagnosis model that can classify diabetic foot ulcers into normal and diseased, and classify them into infection and ischemia, complex ulcers, and other ulcers by using a publicly available image dataset of diabetic foot ulcers(DFU challenge 2021). For this purpose, six deep neural network models were used to train, and the accuracy, recall, precision, and f1-score performance of the models were compared and evaluated for each model to present a model with performance suitable for diabetic foot ulcer classification. To improve the performance of model, data augmentation and imbalanced data processing were used, and among them, the EfficientNetB3 model achieved 89% accuracy and 89% recall for diabetic foot ulcer data.
Keywords:
diabetic foot ulcer, image classification, deep learning, efficientnetⅠ. 서 론
당뇨성 족부질환은 당뇨로 인해 자주 발생하는 질환으로 당뇨병이 세계적인 질병으로 유병률이 높아 추가적으로 발생하기 쉬운 족부질환의 정확한 진단과 치료 방법이 요구되고 있다. 당뇨성 족부질환은 감염성, 허혈성 궤양으로 이어져 절단 및 사망위험이 있으므로 질환의 상태를 정확히 판별하고 이에 대한 처치와 치료가 조기에 적절하게 이뤄져야 한다[1]. 인공지능 기술을 활용한 의료 진단은 진단 시간을 단축하여 의료진이 더욱 빠르고 정확하게 환자의 상태를 평가하고 치료계획을 수립할 수 있도록 도와준다. 또한, 의료 인프라가 부족한 지역이나 환자 이동이 불편한 상황에서도 원격으로 사진이나 영상으로도 적절한 진단 서비스를 제공할 수 있어 의료 서비스를 보다 쉽게 접할 수 있게 한다. 이를 위해 본 연구에서는 환자 치료를 개선하고 의료 인력의 진단 보조 도구로 활용하여 의료시스템의 부담을 줄이기 위해 인공지능을 활용한 족부궤양 자동 진단 방법에 대해 연구하였다. 맨체스터 매트로 폴리탄 대학교, 랭커셔 병원, 맨체스터 대학에서 DFU(Diabetic Foot Ulcer) 연구를 위해 구축한 DFUC 2021 라는 공개된 의료 데이터를 인공지능 연구에 활용하였으며 감염성 및 허혈성 족부궤양 이미지 데이터 분류 및 질환 감별에 활용하였다[2]-[6].
Ⅱ. 본 론
2.1 관련 연구 및 연구 방향
의료현장에서 족부궤양 진단은 전문가가 상태를 보고 분석하여 진단을 내리기 때문에 노동력이 소요되고 오류가 발생하기도 한다. 데이터를 활용한 인공지능 진단 기술은 족부궤양 진단 분야에서도 다양하게 연구되고 있다. S. K. Das et al. (2021)은 족부궤양 데이터를 분류하기 위해 특수 네트워크인 Dfu_SPNet을 제안했다[7]. P. N. Thotad et al.는 EfficientNet 네트워크를 활용하여 족부질환의 정상/비정상을 감별하는 연구를 진행했다[8]. M. S Prabhu et al.는 딥러닝 알고리즘을 사용하여 발바닥 체온 측정으로 정상, 족부궤양을 자동으로 구별할 수 있는 모델을 제안했다[9].
본 연구에서는 당뇨성 족부궤양 이미지를 이용하여 정상과 질환을 분류할 수 있는 모델과 당뇨성 족부궤양을 감염성 궤양, 허혈에 의한 궤양, 복합성 궤양 및 기타 당뇨성 족부궤양으로 분류하는 모델을 개발하였다. 이를 위해 딥러닝을 사용하여 모델 별 성능 비교, 전이학습 적용, 이미지 증강 전처리, 클래스 균형 조정, 학습데이터 2진분류, 다중분류 성능 비교의 방법을 사용하여 연구하였다.
2.2 데이터셋
학습 데이터셋은 DFU 2021 challenge 에 공개된 데이터셋으로 주요 질환 발병부위 중심으로 크롭된 RGB 일반 카메라 사진들로 구성되어 있다. 데이터셋은 세 그룹으로 구분하여 활용하였는데 첫 번째 그룹의 데이터셋(DFUC-A)은 4가지 진단 범주 both, ischaemia, infection, none 으로 라벨링 되어 있고 224 × 224 크기로 정리되어 있다. 2번째 데이터셋(DFUC-B)은 nomal과 abnormal으로 라벨링하여 구성되어 있다. 그리고 DFUC-A-1 데이터셋은 DFUC-A 클래스 4종을 2종으로 재구성한 데이터로 4종 모델의 과적합 여부 확인 및 모델의 안정성과 성능의 신뢰성을 평가해보고자 하였다.
DFUC-A, B는 제공된 데이터셋의 중복되거나 비슷한 이미지를 제외하고자 ‘4DDiG Duplicate File Detector’ 라는 프로그램을 사용하여 전체 이미지에서 65%의 유사도를 가진 이미지를 찾아 검색 후 유사 이미지 그룹에서는 1개의 이미지만 남기고 나머지는 삭제 후 사용하였다[10]. 중복성 검토 후 사용한 전체 데이터 수량은 제공된 DFUC2021_trainset 데이터 총 5,955장 중에서 3,813장을 학습과 검증, 테스트용 데이터로 활용하였다. 족부궤양 감별에 사용한 DFUC-B데이터도 제공된 PartA_DFU_dataset에서 유사 이미지를 검색 후 제외하여 총 2,573장을 활용하였다.
Use of DFUC2021 dataset
데이터셋 DFUC-A는 당뇨성 족부궤양의 허혈성, 감염성, 복합성 궤양 및 당뇨성 족부궤양이 아닌 기타 궤양 분류 모델 개발에 활용하였고, 데이터셋 DFUC-B는 당뇨성 족부궤양의 세부적인 종류를 진단하기 이전 정상과 당뇨성 족부궤양 여부를 감별하기 위한 모델 학습에 활용하였다.
데이터를 인공지능에 활용하는 과정에서 모델 학습을 위한 학습용 데이터와 학습에 사용되지 않은 데이터는 모델 학습과정 중 성능검증 및 테스트 용으로 사용하는데 테스트에 사용되는 데이터의 성격에 따라서 모델의 결과가 달라질 수 있고 데이터 전체 양이 적은 경우이거나 불균형한 경우 충분한 검증이 되지 않을 수도 있다. 이에 학습 및 검증용 데이터 분할시 각 클래스의 비율을 유지하면서 분할하는 계층적 분할방법을 사용하였으며 학습, 검증, 테스트 데이터의 분할 비율은 80%, 10%, 10%으로 샘플링하여 사용하였다. 모델에 입력되는 이미지 크기는 사용하고자 하는 모델에 따라 최적화된 크기로 일괄 조정하였고, 정규화된 입력 전처리를 모델의 일부로 포함하였다. EfficientNetB3 모델의 경우는 이미지 크기를 300 × 300 으로 픽셀 조정하였다. 모델의 일반화 성능을 향상시키기 위해 데이터 증강기법을 적용하여 최대 20도 회전, 좌우 20% 이동, 상하 20% 이동, 좌우 반전, 상하 반전 기법을 적용하였다.
2.3 전이학습
본 논문에서는 6개의 CNN(Convolutional Neural Networks) 심층 신경망 모델을 사용하여 당뇨성 족부궤양 데이터를 학습하였고, 테스트 데이터셋으로 모델 성능을 평가하여 족부궤양 진단에 가장 최적인 모델을 선정하였다. 표 2 실험 요약의 6가지 모델들은 모두 ImageNet 이라는 대량의 데이터셋에서 특징추출기로 학습된 사전학습 모델이다. 학습된 가중치로 새로운 데이터를 재학습하는 전이학습을 사용하였고 성능 향상을 위해 모델을 미세조정하여 학습하였다. 전이학습은 적은 데이터셋에서 효과를 보이고 전이학습을 수행하지 않는 모델들보다 비교적 빠르고 정확도가 높다[11]. 본 연구에 적용한 모델의 개발환경은 OS: Ubuntu 22.04 LTS, GPU: RTX3090, CUDA: 11.3에서 진행하였다.
Experiment summary
2.4. 모델 학습
표 3은 사용한 모델 중 하나인 EfficientNet의 주요 구성요소 및 세부적인 아키덱쳐를 정리한 것이다.
Model configuration
실험은 모두 Tensorflow.keras 프레임워크에서 실행하였다. 네트워크 모델의 레이어에 배치 정규화가 적용되어 있고, 학습 중 발생할 수 있는 과대적합을 방지하고자 Drop-out을 사용하여 모델을 일반화시켰다. DFUC 데이터셋은 질환 구별의 경우 4가지 클래스이므로 4개의 뉴런이 있는 출력 레이어가 이어지고 소프트맥스 활성화 유닛으로 구성되었다.
데이터 증강을 적용 후에도 클래스 간 분산이 낮은 이미지 데이터셋의 클래스 불균형 문제는 딥러닝 성능을 제한하게 된다. 각 클래스 별 데이터의 불균형에 의한 성능 저하를 개선하기 위해 전체 학습 데이터에 대한 각 클래스별 가중치를 계산하여 학습에 반영하는 클래스 가중치 조정을 적용하였다. 이는 데이터의 주요 특성과 수량이 적은 클래스에 더 집중해서 학습을 하도록 클래스별 가중치를 부여하는 방법이다. 족부궤양 데이터셋의 경우 both, infection, ischaemia, none는 모두 질환이 있는 경우이므로 질환 특성에 대한 가중치는 동일하다. 그러나 각 데이터 수량의 분포가 균일하지 않으므로 가중치 밸런싱은 데이터셋 비율의 계산값에서 가중치를 적용했다.
본 연구는 족부궤양 종류를 감별하기 위한 4개 클래스를 분류하는 작업이므로 손실 함수는 다중분류에서 사용되는 범주형 교차 엔트로피 함수를 사용하여 최적화하였다[12]. 이 손실 함수는 소프트맥스 활성화 뒤에 교차 엔트로피 손실을 붙인 형태로 주로 사용하기 때문에 소프트맥스 손실 함수라고도 불린다. 이 함수는 클래스에 대해 모델이 높은 확률로 예측하면 손실이 감소하고, 낮은 확률로 예측하면 손실이 증가한다.
| (1) |
- - C : 클래스 개수
- - t : ground truth, 실제값
- - y : output, 예측값
학습 조건은 학습률 0.001, 최적화 함수는 Adam을 사용하였다. 각 모델의 성능을 비교하기 위해 6개의 모델(DenseNet201, InceptionResNetV2, EfficientNetB1~B4)의 학습 네트워크는 효율적인 시간과 자원 활용 및 모델의 과적합 방지를 위한 조기 중단을 적용하여 학습 횟수는 150 회 이내로 학습하였고 동일하게 전처리 및 학습조건 등을 적용하였다.
2.5 성능 평가
본 논문에서 모델 평가는 학습 및 검증 곡선, 정확도, 민감도, 정밀도, f1-score, weighted ROC, Confusion matrix 및 사용 파라미터 수 결과를 정리하여 비교하였다. 각 클래스 별 성능에 대한 값은 가중 평균값을 적용하였다. 실험에 사용한 모든 모델에 대한 테스트 성능지표는 표 4과 같다.
Model performance comparison (@DFUC-A)
이미지 증강 및 클래스 가중치 조정 등 동일한 조건을 적용한 방법으로 학습한 전이학습 모델들의 성능은 대략적으로 비슷하지만 성능 대비 연산량이 작은 EfficientNet 모델이 실제 족부궤양 진단 활용에 가장 효율적인 모델로 판단된다. 각 버전별 모델의 성능지표 비교에서는 정확도, 민감도 항목을 고려하여 EfficientNetB3 모델이 가장 우수하다.
본 연구에 사용한 6가지 모델들 중 EfficientNetB3은 당뇨성 족부궤양 감별 및 질환 종류 분류에 가장 적합한 성능을 나타냈다. EfficientNet은 2019년 Google에서 발표한 이미지 분류를 위한 딥러닝 모델로 B0부터 B7까지 8개의 모델이 있으며, 후속 번호의 모델로 갈수록 더 높은 정확도를 나타내고 더 많은 매개변수를 사용한다. 네트워크의 depth, width, resolution을 최적의 효율로 동시 조절하는 compound scaling 방법으로 모델의 성능을 개선하였고, 대부분의 기존에 등장한 다른 모델(ResNet, InseptionNet, DenseNet)들 보다 적은 매개변수를 가짐에도 성능이 뛰어나고 빠른 추론이 가능하다[13]. DFUC2021 데이터셋을 학습한 족부궤양 진단에서는 B0기본 모델보다 B3까지 정확도가 높아졌지만 B4에서는 오히려 성능이 저하되었다. 이는 여러 요인들이 있지만 학습에 사용한 데이터셋의 크기와 다양성에 따른 특성과 모델의 개발환경이 더 큰 모델을 사용하기에 충분한 환경을 제공하기 어려워 성능 저하가 발생하는 것으로 판단된다. 각 후속 모델들의 파라미터 수는 6M~16M 사이의 매개변수를 가지며, 6가지 모델별 성능 평가 결과를 비교하여 실험에 가장 적합한 최적의 모델은 EfficientNetB3 모델로 선정하였다. 또한 모델 성능의 과적합 발생 여부 확인을 위해 4개 클래스(both, infection, ischaemia, none)를 2개 클래스(DFU, none)로 재구성하여 정리한 DFUC-A-1 데이터셋를 사용하여 비교 평가하였고, 모델의 안정성과 일반화된 성능을 검증하였다.
다음의 표 5는 당뇨성 족부궤양 진단 모델 비교에서 가장 적합한 성능을 보인 EfficientNetB3 모델을 레이어 수 (–2) 추가 조정, dropout (0.3) 비율 재조정, 학습 횟수는 150회 설정으로 하이퍼파라미터를 추가 조정하여 다시 학습 후 평가한 모델 성능이다.
Performace results by classification label
그림 1은 EfficientNetB3를 활용하여 족부궤양 데이터(DFUC-A)를 학습하는 과정을 나타내는 학습 및 검증 곡선으로 학습 과정 중 정확도 변화를 나타낸 그래프이다. 그림 2의 ROC 곡선은 그래프 곡선의 아래 면적이 1.0에 가까울수록 모델의 정확도가 높다는 것을 의미하므로 평균적으로 0.95 이상의 값은 전반적으로 모델이 클래스별로 우수하게 분류한다는 것으로 볼 수 있다.
Training and validation curve (@DFUC-A)
ROC curve (@DFUC-A)
그림 3의 혼동 행렬은 각 클래스별 실제값에 대한 예측값을 맞춘 결과를 데이터 수량으로 확인할 수 있다. infection 결과를 none 으로 잘못 예측하여 맞추지 못하는 오류가 상대적으로 일부 드러나 보인다. infection과 none은 다른 클래스에 비해 데이터 수량이 많아 예측 오류 발생한 경우가 드러나 보이는 것으로 각 클래스의 분류성능은 가중 평균한 전체 클래스 분류성능과 유사하다.
Confusion matrix (@DFUC-A)
표 6은 DFUC-A-1 데이터셋의 성능평가 결과는 DFUC-A 데이터셋의 4종을 2종으로 학습했을 때의 결과이다. 클래스 수가 적을수록 모델의 학습이 더 쉬워지고, 과적합 발생확률이 낮아진다. 감염과 허혈에 의한 당뇨성 족부궤양(DFU)인 것과 기타 당뇨성 족부궤양(none)인 것을 분류한 결과로 모델의 정확도는 93%로 2진 분류시 클래스 간 경계가 더 명확해져 분류 모델의 정확도가 더 높아졌다.
Comparision result of binary/multiple classification of DFU
표 7은 DFUC-B 데이터셋의 경우 정상(normal), 당뇨성 족부궤양(abnormal)을 분류하기 위한 모델이고, 정확도는 94%이다. 당뇨성 족부궤양 유무를 감별하는 단계에서는 DFUC-B에서 학습한 모델을 활용하여 질환 여부를 진단하고, 당뇨성 족부궤양의 세부적인 종류를 진단하기 위해서는 DFUC-A에서 학습한 모델로 감염성, 허열성, 복합성 궤양 및 기타 궤양인지 구분하는데 활용하면 정확한 당뇨성 족부궤양의 진단명 판별에 도움이 될 것이다.
Normal and abnormal classification performance results
Ⅲ. 결 론
당뇨성 족부궤양의 공개된 이미지 데이터셋을 활용하여 6가지 모델을 활용하여 학습 및 성능 평가를 진행하여 모델 성능에 대한 비교를 실험하였다. EfficientNetB3 모델을 사용한 당뇨성 족부궤양의 진단 성능은 다중분류 시 정확도, 민감도 89%, 이진분류 시 정확도, 민감도 각각 93%를 달성하였다. 또한, 정상과 당뇨성 족부궤양 분류에서는 정확도, 민감도 각각 94%를 달성하였다. 본 데이터를 오픈한 챌린지 대회에서는 별도의 테스트용 이미지 데이터를 제공하여 온라인에서 학습된 모델의 성능을 평가한다. 본 연구에서는 테스트용 이미지 데이터의 라벨이 별도로 제공되지 않기에 챌린지에서 제공한 학습용 데이터를 이미지 유사도 검사 후 선별하여 학습과 검증, 테스트에 사용하였기에 데이터 수량이 클래스별로 충분하지 않았다. 향후에는 더 많은 당뇨성 족부궤양 데이터를 추가적으로 확보 후 인공지능 모델을 학습하여 모델 성능을 검토해 보고자 한다.
당뇨성 족부궤양의 인공지능을 활용한 자동 진단은 인공지능 모델이 이미지를 보고 족부궤양 질환을 빠르고 정확하게 분류하여 결과를 보여줌으로써 의료 전문가의 결정을 보조하여 빠른 질환 판별에 도움을 준다. 당뇨성 족부궤양 질환에 대해 인공지능을 이용한 빠르고 정확한 판별은 진단에 따라 치료와 처치를 다르게 적용해야 하는 족부궤양 관리에 도움이 되고 추가적인 전이 과정을 예방할 수 있으며, 늘어나는 당뇨성 족부 질환자의 수요에 대한 의료현장의 인력 부족에 보조 도구로 활용할 수 있을 것으로 기대된다.
Acknowledgments
이 논문은 2023년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(No. 2022-0-00682, 노인 만성 피부 질환 관리를 위한 XR 트윈 기술개발)
References
- K. J. Ahn, "Epidemiology of Diabetic Foot Disease", Journal of Korean Diabetes, pp. 72-75, Dec 2011. https://www.e-jkd.org/upload/pdf/jkd-12-72.pdf, .
-
M. Goyal, N. D. Reeves, A. K. Davison, S. Rajbhandari, J. Spragg, and M. H. Yap, "DFUNet: Convolutional neural networks for diabetic foot ulcer classification", IEEE Transactions on Emerging Topics in Computational Intelligence, Vol. 4, No. 5, Oct. 2018.
[https://doi.org/10.1109/TETCI.2018.2866254]
-
M. Goyal, N. D. Reeves, S. Rajbhandari, and M. H. Yap, "Robust methods for real-time diabetic foot ulcer detection and localization on mobile devices", IEEE journal of biomedical and health informatics, Vol. 23, No. 4, pp. 1730-1741, Jul. 2019.
[https://doi.org/10.1109/JBHI.2018.2868656]
-
M. Goyal, N. D. Reeves, S. Rajbhandari, N. Ahmad, C. Wang, and M. H. Yap, "Recognition of Ischaemia and Infection in Diabetic Foot Ulcers: Dataset and Techniques", Computers in Biology and Medicine, Vol. 117, pp. 103616, Feb. 2020.
[https://doi.org/10.1016/j.compbiomed.2020.103616]
-
B. Cassidy, et al., "The DFUC 2020: Analysis Towards Diabetic Foot Ulcers Detection", touchREVIEWS in Endocrinology, Vol. 17, No. 1, pp. 5-11, Apr. 2021.
[https://doi.org/10.17925/EE.2021.17.1.5]
-
M. H. Yap, et al., "Analysis Towards Classification of Infection and Ischaemia of Diabetic Foot Ulcers", 2021 IEEE EMBS International Conference on Biomedical and Health Informatics (BHI), Jul. 2021.
[https://doi.org/10.1109/BHI50953.2021.9508563]
-
S. K. Das, P. Roy, and A. K. Mishra, "DFU_SPNet: a stacked parallel convolution layers based CNN to improve Diabetic Foot Ulcer classification", ICT Express, Vol. 8, No. 2, pp. 271-275, Jun. 2022.
[https://doi.org/10.1016/j.icte.2021.08.022]
-
P. N. Thotad, G. R. Bharamagoudar, and B. S. Anami, "Diabetic foot ulcer detection using deep learning approaches", Sensors International, Vol. 4, pp. 100210, 2023.
[https://doi.org/10.1016/j.sintl.2022.100210]
-
M. S Prabhu and S. Verma, "A Deep Learning framework and its Implementation for Diabetic Foot Ulcer Classification", 9th International Conference on Reliability(ICRITO), Noida, India, pp. 1-5, Sep. 2021.
[https://doi.org/10.1109/ICRITO51393.2021.9596380]
- 4DDiG Duplicate File Detector, https://4ddig.tenorshare.com/duplicate-file-deleter.html, [accessed: Jan. 02, 2024]
- Deep Leaning Bible, https://wikidocs.net/164331, [accessed: Jan. 02, 2024]
- Deep Leaning Bible, https://wikidocs.net/181783, [accessed: Jan. 02, 2024]
- M. Tan and Q. V. Le, "EfficientNet: Rethinking Model Scaling for Convolutional Neural Network", Proc. of the 36th International Conference on Machine Learning, PMLR, Long Beach, California, USA, Vol. 97, pp. 6105-6114, Jun. 2019. https://proceedings.mlr.press/v97/tan19a/tan19a.pdf, .
2010년 : 전남대학교 물리학(이학석사)
2010년 ~ 현재 : 한국전자통신연구원 선임기술원
관심분야 : 데이터 분석, 머신러닝, 딥러닝
2004년 : 광주과학기술원 정보통신공학과(박사)
2004년 ~ 현재 : 한국전자통신연구원 책임연구원
관심분야 : 머신러닝, 딥러닝, AI의료융합
2003년 2월 : 경북대학교 전자전기공학부(학사)
2005년 2월 : 한국과학기술원 전기전자공학부(석사)
2005년 2월 ~ 현재 : 한국전자통신연구원 책임연구원
관심분야 : 컴퓨터 그래픽스/비전, 3D복원, 인공지능
2014년 : 광주과학기술원 광공학(공학박사)
2014년 ~ 현재 : 한국전자통신연구원 선임연구원
관심분야 : 의료진단, 광학문자인식
2011년 5월 : Technische Universität, Berlin 대학원(이학박사)
2012년 9월 ~ 현재 : 한국전자통신연구원 책임연구원
관심분야 : 인공지능, 빅데이터, IoT Device