Home

지상에서 활주로 표면의 식별을 위한 방법으로는 육안으로 확인하는 방법이 많이 사용되고 있으며, 민간 공항에서는 차량을 이용하여 영상을 확보하여 균열을 식별하는 방법이 사용되고 있다. 그림 3과 같은 자동포장상태 조사장비[5]를 사용한다.

Fig. 3. 
Crack investigation vehicle[5]

하지만, 좌우 3.5m 정도의 폭을 조사할 수 있기에 표준규격 활주로를 8회 왕복 조사를 수행하여야 활주로 표면의 영상을 확보할 수 있으며, 균열의 중복 식별 및 균열의 위치 오차에 따른 애로사항이 있다. 이 방법은 군에서는 사용하지 않으며, 민간 공항에서 주로 사용하고 있다.

최근 딥러닝 모델 중 CNN(Convolutional Neural Networks)[6] 기반 모델들이 객체 식별의 정확도를 획기적으로 향상시키고 있다[7]. CNN은 영상 인식에서 기존 신경망이 가지는 문제점을 개선하기 위해 합성곱 계층을 이용한다[8]. CNN 기반 모델 중에 Mask R-CNN[9]은 그림 4와 같이 검출된 객체에 마스킹을 통해서 객체들의 특징을 구분하는 것이 가능하다.

Fig. 4. 
Mask R-CNN framework[9]

딥러닝을 이용한 방법으로 [10]에서는 고해상도 항공 영상에서의 도로 균열을 검출하는 연구를 수행하였다. 다양한 도로 균열의 형태에서 평균 73.5%의 정확도로 검출하였으며 특정 형태의 균열 영역도 예측하는 것을 확인할 수 있었다.

항공자산은 아주 미세한 활주로 균열이라도 이착륙시의 속도로 인해서 중사고로 이어질 수 있다. 또한, 수십 톤에 달하는 항공자산의 이착륙 충격에 의해서 균열이 쉽게 발생할 수 있으며, 이를 방치하게 된다면 이어서 착륙하는 항공기는 위험한 상황에 노출되게 된다. 따라서, 본 논문에서는 도로 균열과 다른 군 활주로 균열의 차별점에 착안하여 연구를 진행하였다. 미세한 균열을 검출하기 위하여 드론의 촬영 높이 및 영상의 크기의 변화를 통해서 정확도를 분석하였으며, 드론의 위치정보를 활용하여 waypoint 경로 설정을 통한 신속한 비행 및 균열의 위치와 크기 예측에 초점을 두고 진행하였다.

활주로 균열 데이터 수집을 위해서 비상활주로인 제천비행장을 사용하였으며 제원은 표 1과 같다. 모산동과 고암동에 걸쳐 있는 18만여 m²규모의 제천비행장은 1950년대 비행 훈련장으로 건설되었으며, 이후 1975년 재포장 공사를 실시하였다.

Name	Jecheon airfield
ICAO	RK 60
Location	Jecheon city, hungcheongbuk-do
Direction	10L / 28R
Length	1129 × 24.5m
Material	asphalt, concrete

항공 영상 촬영은 표 2와 같이 상업용 드론인 DJI 사의 MAVIC MINI 2[12] 드론을 이용하였다. 촬영은 다양한 환경에서의 데이터를 확보하기 위해서 표 3과 같이 5회에 걸쳐서 다른 시간대에 촬영하였다.

Name	DJI MAVIC MINI 2
Size	245 × 289 × 56mm
Camera	1/2.3" CMOS
Resolution	4000 × 3000

촬영 방법은 그림 5와 같이 2가지로 진행하였다. 첫 번째 촬영 방법은 그림 5(a)와 같이 드론의 waypoint mode를 이용하여 활주로 중앙선을 따라서 30m 높이에서 10km/h의 속력으로 활주로 좌우 전체폭에 대하여 촬영을 진행하였다. 그림 6과 같이 4초 간격 연속촬영으로 활주로 지면을 50% 중복 촬영하였으며, 촬영 사이의 간격은 10m이다. 1회 촬영에 약 6분의 시간이 소요되었으며, 120장의 사진 데이터를 확보하였다. 총 5회의 촬영으로 600장의 사진데이터를 확보하였다.

Fig. 5. 
Runway data collection

Fig. 6. 
Data collection interval

두 번째 촬영 방법은 그림 5(b)과 같이 드론의 waypoint mode를 이용하여 활주로 좌우폭 1/4 지점을 따라서 15m 높이에서 10km/h의 속력으로 활주로 좌우 반폭에 대하여 촬영을 진행하였다. 1회 왕복으로 촬영 진행하여 첫 번째 촬영방법의 2배인 12분에 걸쳐서 240장의 사진을 확보하였다. 총 5회의 촬영으로 1200장의 사진 데이터를 확보하였다.

이렇게 구성된 2종류의 촬영 데이터에서 그림 7과 같이 활주로의 5/6에 해당하는 부분은 학습 및 검증 데이터 셋으로 사용하였으며, 나머지 활주로 1/6에 해당하는 부분은 테스트 데이터 셋으로 구성하였다. 최종적으로 훈련에 사용될 활주로 전체폭에 대한 데이터 1과 활주로 좌우 반폭에 대한 데이터 2에서 각각 학습 데이터 세트 크기 400, 검증 데이터 세트 크기 100, 테스트 데이터 세트 크기 100으로 구성하였다.

Fig. 7. 
Data configuration

활주로 균열의 위치를 정확하게 식별하고자 드론의 카메라 각도는 직하방(-90°)을 유지한 채로 촬영하였으며, GNSS(GPS+GLONASS+GALILEO)를 사용하여 16개 이상의 위성에서 정보를 수신받는 상태에서 촬영하였다. 촬영 영상마다 위도, 경도의 소수점 아래 16자리까지 구분되어 GNSS 정보를 이용하여 cm정도의 활주로 균열 위치 식별 및 균열 크기 파악이 가능하다.

본 논문에서 VGG Image Annotator Tool[13]을 통해 각각의 이미지에 대한 라벨링 작업을 하였다. 그림 8은 활주로 촬영 데이터에 VGG Image Annotator Tool을 사용하여 활주로 균열을 ‘crack’으로 라벨링하는 과정을 나타낸 화면이다. 그림 8(a)와 그림 8(c)의 활주로 원본 영상에서 각 균열에 ‘crack’으로 라벨링 과정을 진행하여 그림 8(b) 및 그림 8(d)와 같이 완성된다.

Fig. 8. 
Labeling data

본 논문은 Mask R-CNN 모델을 이용하여 활주로 균열을 식별하였는데, GitHub에서 제공하는 python용 Mask R-CNN 모델 코드[14]를 이용하여 수행하였다.

학습 횟수는 50회를 적용하였으며, 학습 환경은 표 4와 같이 구글에서 제공하는 코랩을 사용하였다. 총 학습시간은 활주로 전체폭에 대한 데이터 1은 약 16.45시간, 활주로 좌우 반폭에 대한 데이터 2는 약 18.32시간이 소요되었다.

본 연구의 테스트 데이터 셋은 학습 및 검증 데이터 셋으로 사용되지 않은 활주로의 1/6부분에 해당되는 100개의 사진 데이터로 구성하였다. 모델의 평가 방법은 객체 탐지 평가 지표로 주로 사용되는 mAP(mean Average Precision)를 사용하였으며, IoU(Intersection Over Union)은 0.5(50%)를 적용하였다. 활주로 전체폭과 활주로 좌우 반폭으로 학습시킨 2개의 모델의 학습데이터 셋에 대한 정확도는 표 5와 그림 9과 같다.

Fig. 9. 
Learning outcomes

그림 9(a)에서 반복횟수(epoch)가 적은 구간에서는 2개 모델의 손실(Loss)값이 편차가 컸지만, 반복횟수가 진행되면서 손실값이 일정하게 0.2로 수렴되는 점을 확인하였다. 최종적으로 모델의 손실값은 활주로 전체폭인 Data 1은 0.2132였으며, 활주로 좌우 반폭인 Data 2는 0.1982였다.

반복횟수별 정확도 변화를 나타낸 그림 9(b)에서 초기에는 두 개의 모델이 비슷한 양상의 정확도 상승을 보여주는데, 반복횟수가 증가하면서 Data 1 모델과 Data 2 모델의 정확도는 각각 92%와 95%에 수렴하는 것으로 나타났다. 결론적으로 정확도 측면에서 활주로 좌우 반폭에 대한 데이터로 학습한 Data 2 모델이 다소 높은 성능을 나타냈는데, 이는 Data 1과 Data 2의 촬영 고도 차이에 따른 균열 사진 데이터의 질적 차이와 이와 관련한 라벨링 작업 처리 방법 기인한 것으로 판단된다.

100개의 테스트 데이터 셋에서 군공항의 균열 분류 기준을 근거로 다음과 같이 3가지로 분류하였다. 균열의 크기로 30cm 이하, 약 30cm 초과 100cm 이하, 100cm 초과로 분류하였다. 육안으로 식별된 균열은 30cm 이하 307개, 약 30cm 초과 100cm 이하 132개, 100cm 초과 58개이며 테스트 데이터 셋에 대한 정확도는 표 6과 같이 분석하였다.

Data 1 모델과 Data 2 모델의 식별 정확도 차이가 확연한 부분은 30cm 이하 균열과 약 30cm 초과 100cm 이하로 10% 이상의 차이를 보였다. Data 1 모델의 균열 크기 30cm 이하 정확도는 72.31%로 측정한 정확도 중에서 제일 낮은 식별 정확도를 보였으며, 제일 높은 식별 정확도 수치는 Data 2 모델의 균열 크기 100cm 초과로 94.82%를 보였다.

Data 1 모델이 현저하게 식별정확도가 낮은 것은 두 모델의 드론 사진 촬영에 의한 데이터의 질적 차이로 기인한 것으로 판단된다. 따라서, 높은 균열 식별 정확도를 얻기 위해서는 균열과 근접한 거리에서의 데이터 확보가 필요하다.

항공영상에서의 도로 균열 검출 연구[10]에서는 평균 73.5% 균열 식별 정확도를 보인 반면 본 연구에서 Data 2 model의 균열 식별 정확도는 평균 85.7%를 보였다. 그러나 [10]에서는 본 연구와 달리 100m 상공에서의 영상 데이터를 활용하였기 때문에 식별 정확도 차이는 데이터의 질적 차이에 기인한 것으로 판단된다. 또한, [10]에서는 학습 및 검증 데이터 셋 200장, 테스트 데이터 셋 60장으로 본 연구의 학습 및 검증 데이터 셋 500장, 테스트 데이터 셋 100장으로 데이터의 양적 측면에서도 차이를 보인다. 따라서, 데이터의 질적 및 양적 차이로 인한 균열 식별 정확도의 변화로 판단된다.

학습 모델에 적용한 테스트 데이터 결과는 그림 10과 같다.

Fig. 10. 
Runway crack verification results

그림 10(a)에서 균열에 대해서는 ‘crack’으로 인지하며 식별 정확도는 94.9% ~ 97.0%로 확인되었다. 학습 모델이 시공이음부의 직선 형태를 균열로 인식하지는 않았으며, 미세한 균열을 제외하고 육안으로도 확인 가능한 크기에 대해서는 균열로 인식함을 확인하였다. 비정상적인 균열 형태는 그림 10(b), (c), (d)와 같다.

첫 번째, 그림 10(b)에서 학습 모델은 원형의 균열에 대해서는 여러 가지 직선 형태의 균열로 인식함을 알 수 있다. 두 번째, 그림 10(c)에서 면 형태의 대형 균열에 대해서는 비정상적으로 인식하였는데, 이는 학습 라벨링 과정에서 선을 기준으로 실시하였기 때문인 것으로 판단된다. 세 번째, 그림 10(d)에서 활주로 표면의 명암이 바뀌는 부분에서 각각 다른 균열로 인식하였다.

이렇게 찾아낸 균열의 실제 활주로에서의 위치 검증을 위하여 드론으로 획득한 GNSS 정보를 그림 11처럼 매칭하였다. 또한, 드론이 일정한 높이에서 촬영한다는 점을 활용하여 학습 모델이 식별한 균열 크기를 예측하고 실제 활주로에서의 균열과 비교하였다. 10개의 균열에 대해서 검증한 결과 위치는 정확하게 확인 가능하였으며, 균열의 크기도 ± 5cm 오차범위 내에서 확인되었다.

Fig. 11. 
GNSS data by runway point

결과적으로 영상 한 장의 균열을 찾아내는데는 약 8~10초 정도가 필요하였으며, 활주로 좌우 반폭으로 촬영되는 Data 2 학습모델은 1회 비행 시에 활주로의 균열을 찾아내는데는 평균 18분이 소요되었다.

본 논문의 학습 모델을 실제 항공 작전을 수행하는 공군 활주로에서 적용한다면 드론의 촬영자료를실시간으로 전송받아서 약 18분만에 균열 식별 및 크기 예측이 가능하다. 또한, 드론의 속도를 높이고 활주로 중복 촬영 부분을 최소화한다면, 약 9분으로 활주로 균열 점검이 가능하다. 이는 현재 공군 비행장에서 육안으로 점검 시에 1회 약 60분 정도가 소모되는 것과 비교하여 1회 약 9분으로 활주로 점검이 가능하여 1회 활주로 점검 시간이 85% 감소하는 효과를 보인다. 또한, 공군 비행장에서 1일 3회 점검을 실시하므로 1일에 약 153분의 점검 시간을 감소시킬 수 있다. 점검 시간 감소를 통해 추가적인 비행 소티를 창출할 수 있으며 항공기 이착륙 간 여유 시간을 확보함으로써 비행 안전에도 기여할 수 있다. 무엇보다 전시 또는 평시 공군의 전력 운용 간 신속한 균열 식별 및 보수를 통해서 전비 태세를 확립하고 작전 수행 능력을 향상시킬 수 있을 것이다.