Current Issue

학습 데이터셋은 DFU 2021 challenge 에 공개된 데이터셋으로 주요 질환 발병부위 중심으로 크롭된 RGB 일반 카메라 사진들로 구성되어 있다. 데이터셋은 세 그룹으로 구분하여 활용하였는데 첫 번째 그룹의 데이터셋(DFUC-A)은 4가지 진단 범주 both, ischaemia, infection, none 으로 라벨링 되어 있고 224 × 224 크기로 정리되어 있다. 2번째 데이터셋(DFUC-B)은 nomal과 abnormal으로 라벨링하여 구성되어 있다. 그리고 DFUC-A-1 데이터셋은 DFUC-A 클래스 4종을 2종으로 재구성한 데이터로 4종 모델의 과적합 여부 확인 및 모델의 안정성과 성능의 신뢰성을 평가해보고자 하였다.

DFUC-A, B는 제공된 데이터셋의 중복되거나 비슷한 이미지를 제외하고자 ‘4DDiG Duplicate File Detector’ 라는 프로그램을 사용하여 전체 이미지에서 65%의 유사도를 가진 이미지를 찾아 검색 후 유사 이미지 그룹에서는 1개의 이미지만 남기고 나머지는 삭제 후 사용하였다[10]. 중복성 검토 후 사용한 전체 데이터 수량은 제공된 DFUC2021_trainset 데이터 총 5,955장 중에서 3,813장을 학습과 검증, 테스트용 데이터로 활용하였다. 족부궤양 감별에 사용한 DFUC-B데이터도 제공된 PartA_DFU_dataset에서 유사 이미지를 검색 후 제외하여 총 2,573장을 활용하였다.

데이터셋 DFUC-A는 당뇨성 족부궤양의 허혈성, 감염성, 복합성 궤양 및 당뇨성 족부궤양이 아닌 기타 궤양 분류 모델 개발에 활용하였고, 데이터셋 DFUC-B는 당뇨성 족부궤양의 세부적인 종류를 진단하기 이전 정상과 당뇨성 족부궤양 여부를 감별하기 위한 모델 학습에 활용하였다.

데이터를 인공지능에 활용하는 과정에서 모델 학습을 위한 학습용 데이터와 학습에 사용되지 않은 데이터는 모델 학습과정 중 성능검증 및 테스트 용으로 사용하는데 테스트에 사용되는 데이터의 성격에 따라서 모델의 결과가 달라질 수 있고 데이터 전체 양이 적은 경우이거나 불균형한 경우 충분한 검증이 되지 않을 수도 있다. 이에 학습 및 검증용 데이터 분할시 각 클래스의 비율을 유지하면서 분할하는 계층적 분할방법을 사용하였으며 학습, 검증, 테스트 데이터의 분할 비율은 80%, 10%, 10%으로 샘플링하여 사용하였다. 모델에 입력되는 이미지 크기는 사용하고자 하는 모델에 따라 최적화된 크기로 일괄 조정하였고, 정규화된 입력 전처리를 모델의 일부로 포함하였다. EfficientNetB3 모델의 경우는 이미지 크기를 300 × 300 으로 픽셀 조정하였다. 모델의 일반화 성능을 향상시키기 위해 데이터 증강기법을 적용하여 최대 20도 회전, 좌우 20% 이동, 상하 20% 이동, 좌우 반전, 상하 반전 기법을 적용하였다.

표 3은 사용한 모델 중 하나인 EfficientNet의 주요 구성요소 및 세부적인 아키덱쳐를 정리한 것이다.

실험은 모두 Tensorflow.keras 프레임워크에서 실행하였다. 네트워크 모델의 레이어에 배치 정규화가 적용되어 있고, 학습 중 발생할 수 있는 과대적합을 방지하고자 Drop-out을 사용하여 모델을 일반화시켰다. DFUC 데이터셋은 질환 구별의 경우 4가지 클래스이므로 4개의 뉴런이 있는 출력 레이어가 이어지고 소프트맥스 활성화 유닛으로 구성되었다.

데이터 증강을 적용 후에도 클래스 간 분산이 낮은 이미지 데이터셋의 클래스 불균형 문제는 딥러닝 성능을 제한하게 된다. 각 클래스 별 데이터의 불균형에 의한 성능 저하를 개선하기 위해 전체 학습 데이터에 대한 각 클래스별 가중치를 계산하여 학습에 반영하는 클래스 가중치 조정을 적용하였다. 이는 데이터의 주요 특성과 수량이 적은 클래스에 더 집중해서 학습을 하도록 클래스별 가중치를 부여하는 방법이다. 족부궤양 데이터셋의 경우 both, infection, ischaemia, none는 모두 질환이 있는 경우이므로 질환 특성에 대한 가중치는 동일하다. 그러나 각 데이터 수량의 분포가 균일하지 않으므로 가중치 밸런싱은 데이터셋 비율의 계산값에서 가중치를 적용했다.

본 연구는 족부궤양 종류를 감별하기 위한 4개 클래스를 분류하는 작업이므로 손실 함수는 다중분류에서 사용되는 범주형 교차 엔트로피 함수를 사용하여 최적화하였다[12]. 이 손실 함수는 소프트맥스 활성화 뒤에 교차 엔트로피 손실을 붙인 형태로 주로 사용하기 때문에 소프트맥스 손실 함수라고도 불린다. 이 함수는 클래스에 대해 모델이 높은 확률로 예측하면 손실이 감소하고, 낮은 확률로 예측하면 손실이 증가한다.

• - C : 클래스 개수
• - t : ground truth, 실제값
• - y : output, 예측값

학습 조건은 학습률 0.001, 최적화 함수는 Adam을 사용하였다. 각 모델의 성능을 비교하기 위해 6개의 모델(DenseNet201, InceptionResNetV2, EfficientNetB1~B4)의 학습 네트워크는 효율적인 시간과 자원 활용 및 모델의 과적합 방지를 위한 조기 중단을 적용하여 학습 횟수는 150 회 이내로 학습하였고 동일하게 전처리 및 학습조건 등을 적용하였다.

본 연구에 사용한 6가지 모델들 중 EfficientNetB3은 당뇨성 족부궤양 감별 및 질환 종류 분류에 가장 적합한 성능을 나타냈다. EfficientNet은 2019년 Google에서 발표한 이미지 분류를 위한 딥러닝 모델로 B0부터 B7까지 8개의 모델이 있으며, 후속 번호의 모델로 갈수록 더 높은 정확도를 나타내고 더 많은 매개변수를 사용한다. 네트워크의 depth, width, resolution을 최적의 효율로 동시 조절하는 compound scaling 방법으로 모델의 성능을 개선하였고, 대부분의 기존에 등장한 다른 모델(ResNet, InseptionNet, DenseNet)들 보다 적은 매개변수를 가짐에도 성능이 뛰어나고 빠른 추론이 가능하다[13]. DFUC2021 데이터셋을 학습한 족부궤양 진단에서는 B0기본 모델보다 B3까지 정확도가 높아졌지만 B4에서는 오히려 성능이 저하되었다. 이는 여러 요인들이 있지만 학습에 사용한 데이터셋의 크기와 다양성에 따른 특성과 모델의 개발환경이 더 큰 모델을 사용하기에 충분한 환경을 제공하기 어려워 성능 저하가 발생하는 것으로 판단된다. 각 후속 모델들의 파라미터 수는 6M~16M 사이의 매개변수를 가지며, 6가지 모델별 성능 평가 결과를 비교하여 실험에 가장 적합한 최적의 모델은 EfficientNetB3 모델로 선정하였다. 또한 모델 성능의 과적합 발생 여부 확인을 위해 4개 클래스(both, infection, ischaemia, none)를 2개 클래스(DFU, none)로 재구성하여 정리한 DFUC-A-1 데이터셋를 사용하여 비교 평가하였고, 모델의 안정성과 일반화된 성능을 검증하였다.

다음의 표 5는 당뇨성 족부궤양 진단 모델 비교에서 가장 적합한 성능을 보인 EfficientNetB3 모델을 레이어 수 (–2) 추가 조정, dropout (0.3) 비율 재조정, 학습 횟수는 150회 설정으로 하이퍼파라미터를 추가 조정하여 다시 학습 후 평가한 모델 성능이다.

그림 1은 EfficientNetB3를 활용하여 족부궤양 데이터(DFUC-A)를 학습하는 과정을 나타내는 학습 및 검증 곡선으로 학습 과정 중 정확도 변화를 나타낸 그래프이다. 그림 2의 ROC 곡선은 그래프 곡선의 아래 면적이 1.0에 가까울수록 모델의 정확도가 높다는 것을 의미하므로 평균적으로 0.95 이상의 값은 전반적으로 모델이 클래스별로 우수하게 분류한다는 것으로 볼 수 있다.

Fig. 1. 
Training and validation curve (@DFUC-A)

Fig. 2. 
ROC curve (@DFUC-A)

그림 3의 혼동 행렬은 각 클래스별 실제값에 대한 예측값을 맞춘 결과를 데이터 수량으로 확인할 수 있다. infection 결과를 none 으로 잘못 예측하여 맞추지 못하는 오류가 상대적으로 일부 드러나 보인다. infection과 none은 다른 클래스에 비해 데이터 수량이 많아 예측 오류 발생한 경우가 드러나 보이는 것으로 각 클래스의 분류성능은 가중 평균한 전체 클래스 분류성능과 유사하다.

Fig. 3. 
Confusion matrix (@DFUC-A)

표 6은 DFUC-A-1 데이터셋의 성능평가 결과는 DFUC-A 데이터셋의 4종을 2종으로 학습했을 때의 결과이다. 클래스 수가 적을수록 모델의 학습이 더 쉬워지고, 과적합 발생확률이 낮아진다. 감염과 허혈에 의한 당뇨성 족부궤양(DFU)인 것과 기타 당뇨성 족부궤양(none)인 것을 분류한 결과로 모델의 정확도는 93%로 2진 분류시 클래스 간 경계가 더 명확해져 분류 모델의 정확도가 더 높아졌다.

표 7은 DFUC-B 데이터셋의 경우 정상(normal), 당뇨성 족부궤양(abnormal)을 분류하기 위한 모델이고, 정확도는 94%이다. 당뇨성 족부궤양 유무를 감별하는 단계에서는 DFUC-B에서 학습한 모델을 활용하여 질환 여부를 진단하고, 당뇨성 족부궤양의 세부적인 종류를 진단하기 위해서는 DFUC-A에서 학습한 모델로 감염성, 허열성, 복합성 궤양 및 기타 궤양인지 구분하는데 활용하면 정확한 당뇨성 족부궤양의 진단명 판별에 도움이 될 것이다.