Home

퇴행성 관절염은 뼈와 뼈 사이에 위치한 관절에서 발생하며, 관절 연골이 닳게 되면서 퇴행적인 변화가 나타나는 질환이다. 일반적으로 45세 이상의 나이에서 증상이 나타나기 시작하지만, 다양한 원인에 의해 연골과 관절의 손상이 발생할 수 있다.

관절의 손상 여부와 퇴행성 관절염을 진단하기 위한 방법으로 X-ray, CT(Computed Tomography), MRI(Magnetic Resonance Imaging) 등의 영상을 통해 진단하는 방법이 있다. X-ray와 CT는 X선을 인체에 방사할 때 조직과 뼈에 투과되고 반사되는 X선의 차이를 이미지로 변환하는 방식이고, MRI는 자기장을 활용해 인체 내 수소원자핵의 공명 현상에 대한 신호 차이를 이미지로 변환하는 방식이다.

방사선을 통해 촬영된 2D 이미지는 영상 판독 및 진단에 활용하며, 보다 다양한 정보를 얻기 위해 CT는 12bit 혹은 16bit 흑백으로 된 이미지를 저장하기도 한다. 일반적으로 사용되는 모니터는 32bit 컬러 체계(RGBA)로 이미지를 출력하고, 흑백의 경우 8bit 이미지를 출력한다. 따라서 12bit 이상의 이미지를 모니터에 출력하기 위해서는 Window Width와 Center를 기준으로 흑백 값의 중심과 범위를 지정하여, 관찰하고자하는 이미지를 8비트 흑백 이미지로 변환한다.

본 논문의 목표인 무릎 퇴행성 관절염의 K-L grade 단계를 판단하기 위해서는 일반적으로 X-ray 영상을 활용하며, 무릎 관절의 간격, 연골의 소실 정도, 골극의 형성으로 K-L grade를 판단한다[1].

본 논문의 구성을 다음과 같다. 2장에서는 K-L grade에 대한 설명과 관련 연구들에 대해 기술하고, 의료 분야에서 진단을 보조하기 위한 방법으로 활용되었던 인공지능에 대한 관련 연구를 살펴본다. 또한 본 연구에서 활용되는 인공지능 알고리즘의 배경과 영상처리에 대한 부분을 설명한다. 3장에서는 무릎 관절 이미지를 활용하여 K-L grade를 진단하는 과정과 학습에 사용된 데이터셋에 대한 소개를 하고, 진단 결과에 대한 근거 설명을 위해 활용할 수 있는 알고리즘을 제안한다. 4장에서는 실험에 활용한 인공지능 알고리즘과 학습 과정에 대한 설명, 그리고 실험에 전제가 되는 내용과 결과를 제시한다. 5장에서는 본 연구의 한계점과 연구 결과를 바탕으로 활용 가능한 요소에 대해 살펴보고, 향후 연구에 대한 내용을 기술한다.

무릎 X-ray 이미지는 환자의 개인정보에 해당되므로, 연구 목적으로 활용하기 위해서 별도의 비식별화 처리와 환자의 개인정보 동의가 필요하다. 무릎의 경우 일반적으로 1~2장의 X-ray 이미지만 활용하여 진단하므로, 대량의 인공지능 학습용 데이터를 수집 및 정제하는 과정에서 다양한 어려움이 있다. Kaggle에서는 무릎 X-ray 데이터로, K-L grade 진단에 대한 인공지능 학습용 데이터로 가공된 데이터셋들이 있으며, 본 논문의 K-L grade 진단을 위해 Knee X-ray 데이터셋을 활용하였다.

K-L grade	Dataset image
0
1
2
3
4

해당 데이터셋 이미지는 0(정상)과 K-L grade 1~4단계의 이미지를 학습, 검증, 테스트셋으로 나누었고, 각각 데이터 수는 표 2와 같다.

각 이미지의 해상도는 224x224 혹은 299x299로 되어있으며, CNN 알고리즘의 입력 이미지의 사이즈에 맞게 정제되어있다. 이미지의 색상은 8bit(0~255)의 흑백값을 갖고 있다. 사용되는 X-ray 기기에 따라 12bit 이상의 흑백 이미지로 촬영되는 경우도 많으며, 8bit로 변환하는 과정에서 일반적으로는 히스토그램 평활화가 기본적으로 적용된다. 그러나 본 데이터셋은 X-ray 별도의 영상처리 기법은 적용되어있지 않았다.

Before
After

이미지별로 인공지능 학습과 테스트에 적합한 수준으로 올바르게 촬영된 이미지가 있으나, 노출 시간이 길어서 전체적으로 이미지가 하얗게 번지거나, 전체적으로 명암비가 낮게 촬영된 이미지 등 학습을 저해하는 요소가 포함된 이미지들도 많았다. 따라서 히스토그램 평활화를 일괄적으로 모든 이미지에 적용하여 학습에 활용하였으며, 모델 성능에 영향을 주는 요소로 작용하였다.

무릎 관절의 이미지를 입력하여 인공지능 모델을 통해 판단한 후, K-L grade 결과를 설명하기 위한 요소로 관절 간격에 대한 정보와 추가적으로 각도를 제시하고자 한다. 해당 알고리즘을 적용하기 위해선 사전에 세그먼테이션이 된 대퇴골과 경골의 영역이 필요하며, 대퇴골과 경골의 생김새가 다르므로 각각 다른 알고리즘을 적용하여 관절의 간격을 산출한다.

관절 간격을 측정하기 위해 먼저 대퇴골의 영역에서 관절 간격으로 잡기 위한 기준점이 필요하다. 통상적으로 중간에 위치한 관절의 간격보다 좌우 관절의 간격이 좁으므로, 양쪽을 나누어 관절 간격을 측정하기 위한 y좌표를 식 (1)과 같이 계산한다.

대퇴골의 각 좌우측 영역에서 y좌표를 1부터 최대 픽셀값까지 증가시키면서 진행하며, 세그먼테이션 영역에서 y값에 해당되는 x픽셀들의 최소 최대 값 차이의 절대값를 구하여 시작 픽셀로 지정한다. 시작 픽셀로 지정하기 위한 조건으로 식 (2),(3)을 만족해야하며, 식 (2)의 경우 x좌표가 중앙 기준선(파선)과 일치할 경우는 제외한다. 식 (3)의 경우 y좌표에 대한 세그먼트 내 x픽셀이 2개 이상일 경우 각각의 좌표가 모두 연결되어있는 형태를 만족해야한다. 퇴행성 관절염으로 인해 관절에 손상이 온 경우, 세그먼트의 최하단 픽셀로 위치를 잡을 경우와 달리 식 (3)을 통해서 이상 여부를 판단할 수 있다.

Fig. 1. 
Scanning the start point of the joint gap of the femur

그림 2와 같이 경골의 경우 중앙 부분의 y좌표가 가장 높으며, 바깥부분과 중앙 부분에 오목하게 들어간 구간들이 있다. 따라서 좌우 영역에서 오목한 부분으로 x좌표를 제한하고, 세그먼트 윤곽선의 기울기를 활용하여 도착 픽셀의 좌표를 결정한다.

Fig. 2. 
Scanning the end point of the joint gap of tibia

경골은 y좌표를 감소시키는 방향으로 진행하면서 확인하고, 세그먼트의 윤곽선과 y좌표를 기준으로 도착 픽셀의 x좌표를 제한한다.

식 (4)를 통해서 경골 세그먼트 영역의 윤곽선 좌표와 y좌표가 일치하는 경우가 2개에서 1개로 변하는 지점의 y좌표와 이에 대한 두 x픽셀을 탐지 영역으로 제한한다. 2개의 x좌표에 대해 식 (5)의 조건을 만족해야하고, 좌측과 같이 오목하지 않은 경우에는 식 (4)의 과정을 생략한다.

이후 관절 간격의 도착 픽셀을 결정하기 위해 식 6을 계산하며, x좌표의 제한된 범위 안쪽 혹은 전체 x좌표에서 세그먼트의 윤곽선을 따라 x좌표를 증가시키는 방향으로 계산을 수행하고, x좌표에서 좌우로 n값인 2픽셀, 4픽셀, 6픽셀 떨어져있는 지점의 윤곽선 좌표를 활용하여 기울기를 구한다. 세 기울기의 합이 가장 작은 경우의 x좌표를 도착점으로 결정한다. 시작점에서 수직하강 위치와 도착점의 길이를 비교하여 더 짧은 길이를 관절 간격으로 정의한다.

그림 3에서 대퇴골과 경골의 각도를 측정하기 위해 각각의 세그먼트 영역을 활용한다. 대퇴골의 경우 식 (1)을 통해 도출한 두 좌표와 이에 대한 중심 좌표를 활용하고, 대퇴골 세그먼트의 y좌표가 시작되는 위치에서 x픽셀의 최소값과 최대값의 중간 좌표를 기준으로 한다. 두 좌표를 선으로 이은 직선과 이미지의 중심선(파선)을 기준으로 각도를 측정하여 대퇴골이 기울어져있는 각도를 측정한다.

Fig. 3. 
Femur angle measurement

경골은 그림 4와 같이 세그먼트 영역의 x픽셀이 최소인 위치의 y픽셀과 최대인 위치의 y픽셀을 활용하여 중간좌표를 구하고, y좌표가 최대인 위치에서 x픽셀의 최소값과 최대값의 중간을 기준으로 한다. 마찬가지로 두 좌표를 선으로 이은 직선과 이미지의 중심선을 기준으로 각도를 측정하여 경골이 기울어져있는 각도를 측정한다.

Fig. 4. 
Tibia angle measurement

측정한 각도는 K-L grade의 단계를 진단하는데 직접적으로 활용되지는 않지만, 한쪽으로 치우쳐져 관절이 손상되었는지를 설명하거나 관절간격이 좁은 정도에 대한 설명과 혹은 향후 발생 가능한 질환의 징후를 판단하는데 활용될 수 있다.

실험에 활용한 CNN 알고리즘은 DarkNet-53을 활용하였으며, 히스토그램 평활화를 적용한 이미지들을 활용하여 학습하였다. 학습모델은 정상의 경우와 K-L grade의 4단계를 구분하는 5개의 클래스 모델과 정상/질환을 구분하는 2개의 클래스 모델을 학습하였다.

학습을 하는 과정으로 epoch을 각각 500회씩 수행했으나, 검증 성능을 기준으로 epoch이 200회 이상으로는 큰 성능 향상이 없었으며, 검증 성능이 가장 높았던 학습결과를 테스트에 활용하였다.

데이터셋은 총 3가지 기준으로 나누어 학습을 수행하였으며, 히스토그램 평활화를 수행한 경우와 그렇지 않은 경우, K-L grade를 단계별로 구분하는 경우와 정상 및 관절염을 진단하는 경우로 구분하였다. X-ray 이미지를 활용한 K-L grade 진단 시 영상을 판독하는 사람마다 일부 견해 차이가 있을 수 있으며, 1단계 정도는 달라질 수 있다.

학습 데이터셋으로 히스토그램 평활화 적용/미적용, K-L grade 4단계 혹은 관절염 여부, 테스트 데이터셋에 히스토그램 평활화 적용/미적용에 대한 8가지 경우의 실험 결과와 전체 ACC(Accuracy)는 표 4와 같다.

학습 데이터셋으로 히스토그램 평활화를 적용한 이미지를 학습하였음에도, 히스토그램이 적용되지 않은 테스트 이미지를 구분할 경우 모델의 성능이 상당히 감소한 결과를 보였으며, 실제 모델을 활용할 때에도 입력 데이터는 동일한 영상 전처리 과정을 거쳐야함을 확인할 수 있다.

인공지능으로 구분한 K-L grade 결과에 대해 식 (7)과 같이 1단계 범위로 오차가 발생하였을 때 정답으로 인정할 경우의 결과는 표 5이며, 오차 행렬은 표 6과 같다.

무릎 관절염의 경우 X-ray를 통해 촬영된 무릎 이미지를 활용하여 판독하며, 추가적인 진단이 필요할 경우 CT 혹은 MRI를 추가로 확인한다. 비교적 간단하게 무릎 관절염을 판단하는 방법으로 K-L grade가 있으며, 무릎 관절의 간격, 연골 소실 정도, 골극 형성에 따라 4단계로 구분한다. 영상으로 판독하는 작업에 인공지능 알고리즘을 적용하였고, 관절염의 발생 여부를 판단과 K-L grade의 단계를 진단하는 실험을 수행하였다.

Kaggle에서 K-L grade 분류를 위한 학습 데이터를 수집하였고, DarkNet-53을 활용하여 인공지능 모델을 구축하였다. 다양한 학습데이터로 인한 성능 저하를 감소시키기 위해 영상처리 알고리즘을 적용하였고, 실험을 통해 모델 성능에 미치는 영향을 확인하였다. 실험 결과로 1단계 오차까지 인정할 경우, ACC 성능이 0.828의 값을 보였으며, 관절염이 발생한 여부만 판단할 경우 ACC 성능이 0.716의 값을 보여주었다. 또한 예측한 K-L grade에 해당되는 원인을 설명하기 위한 알고리즘을 제시하였고, 질환에 대한 이상 징후를 탐지하는데 보조용도로 활용될 수 있을 것으로 기대된다.

향후 활용 및 연구 분야로, 대용량의 학습 데이터를 제작하는 과정에서 구축하는 데이터의 일부 라벨링 내용을 오토라벨링하는 용도로 알고리즘을 활용할 수 있을 것으로 기대되며, 추가적으로 엣지 디텍팅 알고리즘과 연계하여 세그먼테이션 오토라벨링의 보조나 알고리즘 성능 향상에 기여하기 위한 연구를 수행할 예정이다. 또한 K-L grade의 단계를 구분하기 위한 요소 중 골극이 있으며, X-ray 이미지에서 골극이 발생한 영역을 객체 탐지 알고리즘으로 발생 여부를 판단하여 보다 정확한 K-L grade 구분과 해당 내용을 설명할 수 있는 모델을 구축할 수 있다. 다만, 골극 여부에 대한 데이터셋을 직접 구축하게 될 경우 관련 전문가들의 확인이 반드시 필요한 전제요소가 있다.