[ Article ]

The Journal of Korean Institute of Information Technology - Vol. 21, No. 8, pp.133-141

ISSN: 1598-8619 (Print) 2093-7571 (Online)

Print publication date 31 Aug 2023

Received 10 Jun 2023 Revised 20 Jul 2023 Accepted 23 Jul 2023

DOI: https://doi.org/10.14801/jkiit.2023.21.8.133

AI를 활용한 무릎 K-L grade 분류 및 설명 가능한 모델 연구

최준희^*

; 이화규^*

; 조현숙^**

*대전대학교 대학원 방재학과 박사과정
**대전대학교 소방방재학과 교수(교신저자)

Research of Knee K-L Grade Classification using AI and Explainable Model

Junhee Choi^*

; Hwa-Kyu Lee^*

; Hyun-Sug Cho^**

Correspondence to: Hyun-Sug Cho Dept. of Fire & Disaster Prevention, Daejeon University, 62, Daehak-ro, Dong-gu, Daejeon, 34520, Korea Tel.: +82-42-280-2594, Email: chojo@dju.kr

초록

퇴행성 관절염은 관절 연골이 닳게 되면서 퇴행적인 변화가 나타나는 질환이다. 무릎 퇴행성 관절염의 K-L grade 단계를 진단하기 위해서 일반적으로 X-ray 영상을 활용하며, 무릎 관절의 간격, 연골의 소실 정도, 골극의 형성으로 K-L grade를 판단한다. 정상 및 K-L grade 1~4단계로 구분된 데이터셋을 활용하였으며, CNN 알고리즘은 DarkNet-53 모델을 활용하였다. K-L grade 단계 구분과 골관절염 발생 여부에 대한 실험을 통해 Top-1, Top-2의 성능지표 결과를 확인하였다. K-L grade 단계의 근거가 되는 관절 간격을 측정하였고 뼈의 각도를 측정하는 알고리즘을 제안하였다. 실험 결과로 Top-2의 경우 K-L grade 단계 분류 정확도가 0.828의 결과를 보였으며, 향후 무릎 관절의 이상 징후 탐지 보조와 학습 데이터 가공 과정에 활용될 것으로 기대된다.

Abstract

Osteoarthritis, also known as degenerative joint disease, is a condition characterized by progressive changes that occur as the joint cartilage wears away. To diagnose the K-L grade stages of knee osteoarthritis, X-ray images are generally used. The K-L grade is determined based on the joint space, degree of cartilage loss, and the formation of osteophytes. A dataset classified into normal and K-L grade 1-4 levels was used, and the CNN algorithm employed the DarkNet-53 model. The performance results for the Top-1 and Top-2 accuracy metrics were obtained through experiments on classifying K-L grades and predicting the occurrence of osteoarthritis. The joint spacing, which serves as the foundation for determining the K-L grade level, was measured, and an algorithm for measuring the bone angle was proposed. As a result of the experiment, the Top-2 accuracy for classifying K-L grade levels showed a result of 0.828. In the future, it is expected to be utilized in assisting the detection of anomalies in the knee joint and in the preprocessing of learning data.

Keywords:

CNN, K-L grade, auto labeling, knee X-ray, knee osteoarthritis

Ⅰ. 서 론

퇴행성 관절염은 뼈와 뼈 사이에 위치한 관절에서 발생하며, 관절 연골이 닳게 되면서 퇴행적인 변화가 나타나는 질환이다. 일반적으로 45세 이상의 나이에서 증상이 나타나기 시작하지만, 다양한 원인에 의해 연골과 관절의 손상이 발생할 수 있다.

관절의 손상 여부와 퇴행성 관절염을 진단하기 위한 방법으로 X-ray, CT(Computed Tomography), MRI(Magnetic Resonance Imaging) 등의 영상을 통해 진단하는 방법이 있다. X-ray와 CT는 X선을 인체에 방사할 때 조직과 뼈에 투과되고 반사되는 X선의 차이를 이미지로 변환하는 방식이고, MRI는 자기장을 활용해 인체 내 수소원자핵의 공명 현상에 대한 신호 차이를 이미지로 변환하는 방식이다.

방사선을 통해 촬영된 2D 이미지는 영상 판독 및 진단에 활용하며, 보다 다양한 정보를 얻기 위해 CT는 12bit 혹은 16bit 흑백으로 된 이미지를 저장하기도 한다. 일반적으로 사용되는 모니터는 32bit 컬러 체계(RGBA)로 이미지를 출력하고, 흑백의 경우 8bit 이미지를 출력한다. 따라서 12bit 이상의 이미지를 모니터에 출력하기 위해서는 Window Width와 Center를 기준으로 흑백 값의 중심과 범위를 지정하여, 관찰하고자하는 이미지를 8비트 흑백 이미지로 변환한다.

본 논문의 목표인 무릎 퇴행성 관절염의 K-L grade 단계를 판단하기 위해서는 일반적으로 X-ray 영상을 활용하며, 무릎 관절의 간격, 연골의 소실 정도, 골극의 형성으로 K-L grade를 판단한다[1].

본 논문의 구성을 다음과 같다. 2장에서는 K-L grade에 대한 설명과 관련 연구들에 대해 기술하고, 의료 분야에서 진단을 보조하기 위한 방법으로 활용되었던 인공지능에 대한 관련 연구를 살펴본다. 또한 본 연구에서 활용되는 인공지능 알고리즘의 배경과 영상처리에 대한 부분을 설명한다. 3장에서는 무릎 관절 이미지를 활용하여 K-L grade를 진단하는 과정과 학습에 사용된 데이터셋에 대한 소개를 하고, 진단 결과에 대한 근거 설명을 위해 활용할 수 있는 알고리즘을 제안한다. 4장에서는 실험에 활용한 인공지능 알고리즘과 학습 과정에 대한 설명, 그리고 실험에 전제가 되는 내용과 결과를 제시한다. 5장에서는 본 연구의 한계점과 연구 결과를 바탕으로 활용 가능한 요소에 대해 살펴보고, 향후 연구에 대한 내용을 기술한다.

Ⅱ. 관련 연구 및 배경

2.1 관절염 K-L grade 및 인공지능을 활용한 질병 진단

무릎 관절염을 진단하기 위한 임상적 방법으로 K-L grade가 있으며, 환자의 무릎 관절 X-ray 영상을 활용하여 K-L grade 단계를 진단한다. 필요 시 환자의 성별, 연령, 체중 등의 정보와 함께 활용하는 방법[2][3]을 비롯하여 진단 정확도를 높이기 위한 다양한 방법에 대한 연구들이 있다[4][5]. 또한 무릎 관절과 관련된 다양한 X-ray 영상 획득 방법과 진단 방법들이 연구되고 있으며, 인공지능과 통계적 기법들을 적용하여 정밀도 향상과 근거를 도출하기 위한 많은 연구들이 진행되고 있다.

관절의 간격을 측정할 수 있는 기반이 되는 연구로, 통계적 형상 밀도 모델(SSIM, Statistical Shape and Intensity Model)을 활용하여 두 방향에서 촬영한 X-ray 영상으로부터 3차원 이미지를 생성하고, CT 영상의 결과와 비교하는 연구를 진행하였다[6].

무릎의 X-ray 영상을 촬영하는 과정에서 무릎뼈의 각도를 조절하여, 진단적 가치가 높은 영상을 얻기 위한 연구 사례가 있으며[7], 검사 방법의 정확성을 향상시키기 위한 여러 방법들이 연구되었다[8].

무릎의 골 관절염의 K-L grade 분류를 위해 총 24종류의 특징들을 활용하였고, 머신러닝을 기반으로 분류에 영향을 미치는 중요도를 분석하였으며, 결과적으로 임상정보보다는 X-ray 이미지를 통해 얻을 수 있는 정보가 주요하였다. 가장 높은 중요도는 관절 간격 감소였으며, 대퇴골, 경골 안쪽의 경화증이 다음 중요도로 나타났다[9].

의료분야에서 인공지능을 활용한 연구분야의 동향을 분석한 논문으로, 질병에 대한 진단뿐만 아니라 설명 가능한 인공지능에 대한 연구와 특허를 기반으로 동향을 분석한 사례가 있다[10][11].

의료영상데이터를 활용하여 유방암을 진단하거나[12], 췌장 영역을 분할 탐지한 연구사례가 있으며[13], 또한 관절의 세그먼트 영역을 통해 관절 간격을 구하거나[14], Edge Detection을 활용하여 관절 간격을 탐지한 연구사례가 있다[15].

관절에서 이상이 있는 영역을 탐지하거나[16] 관절의 2D 이미지를 3D로 복원하여 진단하는 연구가 있었으며[17], 다양한 수학적 기법을 적용하여 관절염의 K-L grade를 판단하거나[18]-[20], CNN(Convolutional Neural Network) 알고리즘을 적용하여 구분한 사례도 있다[21].

2.2 영상처리 및 인공지능 알고리즘

2012년 ILSVRC에서 이미지 인식에 있어서 AlexNet이 CNN 모델로 우수한 성적을 거둔 후, VGGNet[22], GoogLeNet[23], ResNet[24] 등으로 다양한 알고리즘이 연구되어왔다. CNN 모델의 성능에 있어서 기본적으로 네트워크의 깊이가 깊을수록 성능이 향상되나, 부가적으로 성능을 저해하는 요소들이 있었다. 이러한 문제점들에 대해 skip connection을 활용하거나 모델의 구조를 간소화하여 연산량을 줄였고, 다양한 학습데이터 증강 기법을 적용하거나 multi-scale 등의 기법을 적용하였다. 동일한 알고리즘 계열에서도 네트워크를 더 깊게 하거나, 성능과 연산속도의 trade-off로 목표를 달성하는 연구도 진행되었다[25].

DarkNet-53은 객체 탐지 알고리즘인 YOLOv3에서 적용된 backbone 모델이다[26]. 이전 버전인 YOLO v2에서 적용된 DarkNet-19는 VGG 모델의 복잡한 점을 간소화하였고, 이에 ResNet에서 제안된 Skip connection 개념을 적용하여 더 깊은 레이어를 쌓아 DarkNet-53 아키텍쳐를 구성하였다.

DarkNet-53은 ResNet-101과 ResNet-105와 유사한 정밀도 성능을 보여주면서, 객체탐지에서 ResNet-152보다 약 2배(FPS 기준) 빠른 속도로 이미지를 처리하였다.

Ⅲ. 무릎 관절염 학습 데이터셋 및 제안 알고리즘

무릎 X-ray 이미지는 환자의 개인정보에 해당되므로, 연구 목적으로 활용하기 위해서 별도의 비식별화 처리와 환자의 개인정보 동의가 필요하다. 무릎의 경우 일반적으로 1~2장의 X-ray 이미지만 활용하여 진단하므로, 대량의 인공지능 학습용 데이터를 수집 및 정제하는 과정에서 다양한 어려움이 있다. Kaggle에서는 무릎 X-ray 데이터로, K-L grade 진단에 대한 인공지능 학습용 데이터로 가공된 데이터셋들이 있으며, 본 논문의 K-L grade 진단을 위해 Knee X-ray 데이터셋을 활용하였다.

Table 1.

Knee X-ray dataset image

해당 데이터셋 이미지는 0(정상)과 K-L grade 1~4단계의 이미지를 학습, 검증, 테스트셋으로 나누었고, 각각 데이터 수는 표 2와 같다.

Table 2.

Dataset distribution

각 이미지의 해상도는 224x224 혹은 299x299로 되어있으며, CNN 알고리즘의 입력 이미지의 사이즈에 맞게 정제되어있다. 이미지의 색상은 8bit(0~255)의 흑백값을 갖고 있다. 사용되는 X-ray 기기에 따라 12bit 이상의 흑백 이미지로 촬영되는 경우도 많으며, 8bit로 변환하는 과정에서 일반적으로는 히스토그램 평활화가 기본적으로 적용된다. 그러나 본 데이터셋은 X-ray 별도의 영상처리 기법은 적용되어있지 않았다.

Table 3.

Histogram equalization, before and after image

이미지별로 인공지능 학습과 테스트에 적합한 수준으로 올바르게 촬영된 이미지가 있으나, 노출 시간이 길어서 전체적으로 이미지가 하얗게 번지거나, 전체적으로 명암비가 낮게 촬영된 이미지 등 학습을 저해하는 요소가 포함된 이미지들도 많았다. 따라서 히스토그램 평활화를 일괄적으로 모든 이미지에 적용하여 학습에 활용하였으며, 모델 성능에 영향을 주는 요소로 작용하였다.

무릎 관절의 이미지를 입력하여 인공지능 모델을 통해 판단한 후, K-L grade 결과를 설명하기 위한 요소로 관절 간격에 대한 정보와 추가적으로 각도를 제시하고자 한다. 해당 알고리즘을 적용하기 위해선 사전에 세그먼테이션이 된 대퇴골과 경골의 영역이 필요하며, 대퇴골과 경골의 생김새가 다르므로 각각 다른 알고리즘을 적용하여 관절의 간격을 산출한다.

관절 간격을 측정하기 위해 먼저 대퇴골의 영역에서 관절 간격으로 잡기 위한 기준점이 필요하다. 통상적으로 중간에 위치한 관절의 간격보다 좌우 관절의 간격이 좁으므로, 양쪽을 나누어 관절 간격을 측정하기 위한 y좌표를 식 (1)과 같이 계산한다.

y = m i n y x m i n - x m a x f o r 1 < y < y m a x

(1)

x min ≠ x c e n t e r or x m a x ≠ x c e n t e r

(2)

x n - x n - 1 = 1 for 1 < n < x max

(3)

대퇴골의 각 좌우측 영역에서 y좌표를 1부터 최대 픽셀값까지 증가시키면서 진행하며, 세그먼테이션 영역에서 y값에 해당되는 x픽셀들의 최소 최대 값 차이의 절대값를 구하여 시작 픽셀로 지정한다. 시작 픽셀로 지정하기 위한 조건으로 식 (2),(3)을 만족해야하며, 식 (2)의 경우 x좌표가 중앙 기준선(파선)과 일치할 경우는 제외한다. 식 (3)의 경우 y좌표에 대한 세그먼트 내 x픽셀이 2개 이상일 경우 각각의 좌표가 모두 연결되어있는 형태를 만족해야한다. 퇴행성 관절염으로 인해 관절에 손상이 온 경우, 세그먼트의 최하단 픽셀로 위치를 잡을 경우와 달리 식 (3)을 통해서 이상 여부를 판단할 수 있다.

Fig. 1.

Scanning the start point of the joint gap of the femur

그림 2와 같이 경골의 경우 중앙 부분의 y좌표가 가장 높으며, 바깥부분과 중앙 부분에 오목하게 들어간 구간들이 있다. 따라서 좌우 영역에서 오목한 부분으로 x좌표를 제한하고, 세그먼트 윤곽선의 기울기를 활용하여 도착 픽셀의 좌표를 결정한다.

Fig. 2.

Scanning the end point of the joint gap of tibia

경골은 y좌표를 감소시키는 방향으로 진행하면서 확인하고, 세그먼트의 윤곽선과 y좌표를 기준으로 도착 픽셀의 x좌표를 제한한다.

s e g o u t l i n e x, y = y x for 1 < y < y max

(4)

s e g o u t l i n e x, y ≠ x c e n t e r

(5)

식 (4)를 통해서 경골 세그먼트 영역의 윤곽선 좌표와 y좌표가 일치하는 경우가 2개에서 1개로 변하는 지점의 y좌표와 이에 대한 두 x픽셀을 탐지 영역으로 제한한다. 2개의 x좌표에 대해 식 (5)의 조건을 만족해야하고, 좌측과 같이 오목하지 않은 경우에는 식 (4)의 과정을 생략한다.

Δ s e g o u t l i n e x, y for s e g x = x ± n

(6)

이후 관절 간격의 도착 픽셀을 결정하기 위해 식 6을 계산하며, x좌표의 제한된 범위 안쪽 혹은 전체 x좌표에서 세그먼트의 윤곽선을 따라 x좌표를 증가시키는 방향으로 계산을 수행하고, x좌표에서 좌우로 n값인 2픽셀, 4픽셀, 6픽셀 떨어져있는 지점의 윤곽선 좌표를 활용하여 기울기를 구한다. 세 기울기의 합이 가장 작은 경우의 x좌표를 도착점으로 결정한다. 시작점에서 수직하강 위치와 도착점의 길이를 비교하여 더 짧은 길이를 관절 간격으로 정의한다.

그림 3에서 대퇴골과 경골의 각도를 측정하기 위해 각각의 세그먼트 영역을 활용한다. 대퇴골의 경우 식 (1)을 통해 도출한 두 좌표와 이에 대한 중심 좌표를 활용하고, 대퇴골 세그먼트의 y좌표가 시작되는 위치에서 x픽셀의 최소값과 최대값의 중간 좌표를 기준으로 한다. 두 좌표를 선으로 이은 직선과 이미지의 중심선(파선)을 기준으로 각도를 측정하여 대퇴골이 기울어져있는 각도를 측정한다.

Fig. 3.

Femur angle measurement

경골은 그림 4와 같이 세그먼트 영역의 x픽셀이 최소인 위치의 y픽셀과 최대인 위치의 y픽셀을 활용하여 중간좌표를 구하고, y좌표가 최대인 위치에서 x픽셀의 최소값과 최대값의 중간을 기준으로 한다. 마찬가지로 두 좌표를 선으로 이은 직선과 이미지의 중심선을 기준으로 각도를 측정하여 경골이 기울어져있는 각도를 측정한다.

Fig. 4.

Tibia angle measurement

측정한 각도는 K-L grade의 단계를 진단하는데 직접적으로 활용되지는 않지만, 한쪽으로 치우쳐져 관절이 손상되었는지를 설명하거나 관절간격이 좁은 정도에 대한 설명과 혹은 향후 발생 가능한 질환의 징후를 판단하는데 활용될 수 있다.

IV. 실험 및 결과

실험에 활용한 CNN 알고리즘은 DarkNet-53을 활용하였으며, 히스토그램 평활화를 적용한 이미지들을 활용하여 학습하였다. 학습모델은 정상의 경우와 K-L grade의 4단계를 구분하는 5개의 클래스 모델과 정상/질환을 구분하는 2개의 클래스 모델을 학습하였다.

학습을 하는 과정으로 epoch을 각각 500회씩 수행했으나, 검증 성능을 기준으로 epoch이 200회 이상으로는 큰 성능 향상이 없었으며, 검증 성능이 가장 높았던 학습결과를 테스트에 활용하였다.

데이터셋은 총 3가지 기준으로 나누어 학습을 수행하였으며, 히스토그램 평활화를 수행한 경우와 그렇지 않은 경우, K-L grade를 단계별로 구분하는 경우와 정상 및 관절염을 진단하는 경우로 구분하였다. X-ray 이미지를 활용한 K-L grade 진단 시 영상을 판독하는 사람마다 일부 견해 차이가 있을 수 있으며, 1단계 정도는 달라질 수 있다.

학습 데이터셋으로 히스토그램 평활화 적용/미적용, K-L grade 4단계 혹은 관절염 여부, 테스트 데이터셋에 히스토그램 평활화 적용/미적용에 대한 8가지 경우의 실험 결과와 전체 ACC(Accuracy)는 표 4와 같다.

Table 4.

Experiment result (1-top)

학습 데이터셋으로 히스토그램 평활화를 적용한 이미지를 학습하였음에도, 히스토그램이 적용되지 않은 테스트 이미지를 구분할 경우 모델의 성능이 상당히 감소한 결과를 보였으며, 실제 모델을 활용할 때에도 입력 데이터는 동일한 영상 전처리 과정을 거쳐야함을 확인할 수 있다.

인공지능으로 구분한 K-L grade 결과에 대해 식 (7)과 같이 1단계 범위로 오차가 발생하였을 때 정답으로 인정할 경우의 결과는 표 5이며, 오차 행렬은 표 6과 같다.

G T - P r e d ≤ 1, c o r r e c t

(7)

Table 5.

Experiment result (2-top)

Table 6.

Confusion matrix (2-top)

Ⅴ. 결론 및 향후 연구

무릎 관절염의 경우 X-ray를 통해 촬영된 무릎 이미지를 활용하여 판독하며, 추가적인 진단이 필요할 경우 CT 혹은 MRI를 추가로 확인한다. 비교적 간단하게 무릎 관절염을 판단하는 방법으로 K-L grade가 있으며, 무릎 관절의 간격, 연골 소실 정도, 골극 형성에 따라 4단계로 구분한다. 영상으로 판독하는 작업에 인공지능 알고리즘을 적용하였고, 관절염의 발생 여부를 판단과 K-L grade의 단계를 진단하는 실험을 수행하였다.

Kaggle에서 K-L grade 분류를 위한 학습 데이터를 수집하였고, DarkNet-53을 활용하여 인공지능 모델을 구축하였다. 다양한 학습데이터로 인한 성능 저하를 감소시키기 위해 영상처리 알고리즘을 적용하였고, 실험을 통해 모델 성능에 미치는 영향을 확인하였다. 실험 결과로 1단계 오차까지 인정할 경우, ACC 성능이 0.828의 값을 보였으며, 관절염이 발생한 여부만 판단할 경우 ACC 성능이 0.716의 값을 보여주었다. 또한 예측한 K-L grade에 해당되는 원인을 설명하기 위한 알고리즘을 제시하였고, 질환에 대한 이상 징후를 탐지하는데 보조용도로 활용될 수 있을 것으로 기대된다.

향후 활용 및 연구 분야로, 대용량의 학습 데이터를 제작하는 과정에서 구축하는 데이터의 일부 라벨링 내용을 오토라벨링하는 용도로 알고리즘을 활용할 수 있을 것으로 기대되며, 추가적으로 엣지 디텍팅 알고리즘과 연계하여 세그먼테이션 오토라벨링의 보조나 알고리즘 성능 향상에 기여하기 위한 연구를 수행할 예정이다. 또한 K-L grade의 단계를 구분하기 위한 요소 중 골극이 있으며, X-ray 이미지에서 골극이 발생한 영역을 객체 탐지 알고리즘으로 발생 여부를 판단하여 보다 정확한 K-L grade 구분과 해당 내용을 설명할 수 있는 모델을 구축할 수 있다. 다만, 골극 여부에 대한 데이터셋을 직접 구축하게 될 경우 관련 전문가들의 확인이 반드시 필요한 전제요소가 있다.

Acknowledgments

이 논문은 2021학년도 대전대학교 교내학술연구비 지원에 의해 연구되었음

References

S. Uhm, Y. Cho, and S. Kang, "A Study on the Accuracy and Convenience of Imaging Method Using Support Device in Knee Joint Lateral Radiography", J. Korean Soc. Radiol., Vol. 11, No. 4, pp. 253-262, Aug. 2017. [https://doi.org/10.7742/jksr.2017.11.4.253]
L. Shamir, et al., "Knee X-ray image analysis method for automated detection of Osteoarthritis", IEEE Transactions on Biomedical Engineering, Vol. 56, No. 2, pp. 407-415, Feb. 2009. [https://doi.org/10.1109/TBME.2008.2006025]
J. Abedin, J. Antony, K. McGuinness, K. Moran, N. E. O’Connor, D. Rebholz-Schuhmann, and J. Newell, "Predicting knee osteoarthritis severity: comparative modeling based on patient’s data and plain X-ray images", Scientific Reports, Apr. 2019. [https://doi.org/10.1038/s41598-019-42215-9]
Y. C. Shin, S. W. Kim, D. S. Chae, and S. K. Yoo, "Analysis of Feature Importance for Knee Osteoarthritis Severity Classification Using Machine Learning", Journal of The Institute of Electronics and Information Engineers, Vol. 57, No. 2, pp. 99-106, Feb. 2020. [https://doi.org/10.5573/ieie.2020.57.2.99]
J. Kim, Y. Kim, S. Lee, S. Ahn, J. Noh, J. Kim, and S. Cho, "A Survey on Artificial Intelligence based Explainable Artificial Intelligence", The Institute of Electronics and Information Engineers, pp. 2403-2406, Jun. 2021.
J. H. aKellgren and J. S. Lawrence, "Radiological assessment of osteo-arthrosis", Ann Rheum Dis., Vol. 16, No. 4, pp. 494-502, Dec. 1957. [https://doi.org/10.1136/ard.16.4.494]
G. W. Stachowiak, M. Wolski, T. Woloszynski, and P. Podsiadlo, "Detection and prediction of osteoarthritis in knee and hand joints based on the X-ray image analysis", Biosurface and Biotribology, Vol. 2, No. 4, pp. 162-172, Dec. 2016. [https://doi.org/10.1016/j.bsbt.2016.11.004]
M. Hall, et al., "The knee adduction moment and knee osteoarthritis symptoms: relationships according to radiographic disease severity", Osteoarthritis and Cartilage, Vol. 25, No. 1, pp. 34-41, Jan. 2017. [https://doi.org/10.1016/j.joca.2016.08.014]
M. D. Kohn BA, A. A. Sassoon MD, and N. D. Fernando MD, "Classifications in Brief Kellgren-Lawrence Classification of Osteoarthritis", Clinical Orthopaedics and Related Research, Vol. 474, No. 8, pp. 1886-1893, Feb. 2016. [https://doi.org/10.1007/s11999-016-4732-4]
M. Takahashi, K. Naito, M. Abe, T. Sawada, and A. Nagano, "Relationship between radiographic grading of osteoarthritis and the biochemical markers for arthritis in knee osteoarthritis", Arthritis Research & Therapy, Vol. 6, No. 3, pp. 208-212, Mar. 2004. [https://doi.org/10.1186/ar1166]
J. Oh, S. Yoon, and S. Koo, "Predicting shape and intensity of the femur from multiple bi-plane X-ray images", 2022 The Korean Society of Mechanical Engineers, pp. 686-689, Nov. 2022.
W.-K. Oh and S.-H. Kim, "A Study on the Optimal Angle as Modified Tangential Projection of Knee Bones", J. Korean Soc. Radiol., Vol. 15, No. 6, pp. 919-926, Nov. 2021.
S.-M. Lee, S.-Y. Lee, and N. Kim, "Improved Pancreas Segmentation using Multiple Concatenated U-Net Model for Medical Image Systems", Journal of KIIT, Vol. 20, No. 5, pp. 81-87, May 2022. [https://doi.org/10.14801/jkiit.2022.20.5.81]
S.-J. Kim, "Study of AI-based diagnostic method patents", Legal Research Institute KMU Seoul Korea, Vol. 35, No. 3, pp. 59-104, Feb. 2023. [https://doi.org/10.17251/legal.2023.35.3.59]
D. Kwak, J. Choi, and S. Lee, "A Method of the Breast Cancer Image Diagnosis Using Artificial Intelligence Medical Images Recognition Technology Network", The Journal of Korean Institute of Communications and Information Sciences, Vol. 48, No. 2, pp. 216-226, Feb. 2023. [https://doi.org/10.7840/kics.2023.48.2.216]
S. S. Gornale, P. U. Patravali, and R. R. Manza, "Detection of Osteoarthritis using Knee X-Ray Image Analyses: A Machine Vision based Approach", International Journal of Computer Applications, Vol. 145, No. 1, pp. 20-26, Jul. 2016. [https://doi.org/10.5120/ijca2016910544]
R. Bindushree, S. Kubakaddi, and N. Urs, "Detection of Knee Osteoarthritis by Measuring the Joint Space Width in Knee X-ray Images", IPASJ International Journal of Electronics & Communication (IIJEC), Vol. 3, No. 4, pp. 18-21, Apr. 2015.
N.-T. Do, S.-T. Jung, H.-J. Yang, and S.-H. Kim, "End-to-end Bone Tumor Segmentation and Classification from X-ray Images by Using Multi-level Seg-Unet Model", Journal of KIISE, Vol. 47, No. 2, pp. 170-179, Feb. 2020. [https://doi.org/10.5626/JOK.2020.47.2.170]
Y. Kasten, D. Doktofsky, and I. Kovler, "End-To-End Convolutional Neural Network for 3D Reconstruction of Knee Bones From Bi-Planar X-Ray Images", MLMIR 2020: Machine Learning for Medical Image Reconstruction, Vol. 12450, pp. 123-133, Oct. 2020. [https://doi.org/10.1007/978-3-030-61598-7_12]
M. Saleem, M. S. Farid, S. Saleem, and M. H. Khan, "X-ray image analysis for automated knee osteoarthritis detection", Signal, Image and Video Processing, Vol. 14, pp. 1079-1087, Feb. 2020. [https://doi.org/10.1007/s11760-020-01645-z]
S. Olsson, E. Akbarian, A. Lind, A. S. Razavian, and M. Gordon, "Automating classification of osteoarthritis according to Kellgren-Lawrence in the knee using deep learning in an unfiltered adult population", BMC Musculoskelet Disord, Vol. 22, No. 1, Oct. 2021. [https://doi.org/10.1186/s12891-021-04722-7]
K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, pp. 770-778, Jun. 2015. [https://doi.org/10.48550/arXiv.1512.03385]
C. Szegedy, et al., "Going Deeper with Convolutions", arXiv:1409.4842, , Sep. 2014. [https://doi.org/10.48550/arXiv.1409.4842]
K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition", arXiv:1409.1556, , Apr. 2015. [https://doi.org/10.48550/arXiv.1409.1556]
M. Tan and Q. V. Le, "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks", arXiv:1905.11946, , Sep. 2020. [https://doi.org/10.48550/arXiv.1905.11946]
J. Redmon and A. Farhadi, "YOLOv3: An Incremental Improvement", arXiv:1804.02767, , Apr. 2018. [https://doi.org/10.48550/arXiv.1804.02767]

저자소개

최 준 희 (Junhee Choi)

2016년 2월 : 대전대학교 컴퓨터공학과 졸업(공학사)

2019년 2월 : 중앙대학교 컴퓨터공학과 졸업(공학석사)

2019년 3월 ~ 현재 : 대전대학교 방재학과 박사과정

관심분야 : 소방ICT, 객체 탐지, 생성형 AI

이 화 규 (Hwa-Kyu Lee)

2017년 2월 : 대전대학교 컴퓨터공학과(공학사)

2021년 2월 : 대전대학교 소방방재학과(공학석사)

2021년 3월 ~ 2022년 12월 : 제주특별자치도 ITS 교통정보센터 유지관리

2023년 3월 ~ 현재 : 대전대학교 방재학과 박사과정

관심분야 : 소방, 인공지능, 객체인식

조 현 숙(Hyun-Sug Cho)

1995년 2월 : 대전대학교 수학과(이학사)

2001년 8월 : 대전대학교 정보통신공학과(공학석사)

2008년 2월 : 대전대학교 정보통신공학과(공학박사)

2017년 3월 ~ 2019년 4월 : 소방산업기술원 비상임이사

2017년 3월 ~ 2021년 12월 : 소방청 규제심사위원

2006년 3월 ~ 현재 : 대전대학교 소방방재학과 교수

2014년 3월 ~ 현재 : 대전대학교 소프트웨어공학과 학과장

관심분야 : 소방ICT, 인공지능, 네트워크 보안, 빅데이터

K-L grade	Training	Valid	Test
0(Normal)	2,286	328	639
1	1,046	153	296
2	1,516	212	447
3	757	106	223
4	173	27	51

Train data	Test data	0 (Normal)	1	2	3	4	ACC
K-L grade(4) / no hist	no hist	0.993	0.006	0.0	0.0	0.0	0.384
K-L grade(4) / no hist	hist	1.0	0.0	0.0	0.0	0.0	0.385
K-L grade(4) / hist	no hist	0.048	0.027	0.398	0.394	0.490	0.199
K-L grade(4) / hist	hist	0.737	0.104	0.501	0.578	0.313	0.525
osteoarthritis / no hist	no hist	0.159	0.9016				0.615
osteoarthritis / no hist	hist	0.5383	0.600				0.576
osteoarthritis / hist	no hist	0.455	0.586				0.535
osteoarthritis / hist	hist	0.610	0.7836				0.716

Train data	Test data	0 (Normal)	1	2	3	4	ACC
K-L grade(4) / no hist	no hist	1.0	1.0	0.013	0.0	0.0	0.568
K-L grade(4) / no hist	hist	1.0	1.0	0.0	0.0	0.0	0.564
K-L grade(4) / hist	no hist	0.076	0.513	0.729	0.982	0.803	0.475
K-L grade(4) / hist	hist	0.827	0.969	0.671	0.932	0.941	0.828

Before
After

Pred	0	1	2	3	4
GT	0	1	2	3	4
0	471	58	103	7	0
1	172	31	84	9	0
2	147	43	224	33	0
3	6	9	61	129	18
4	1	0	2	32	16