교량 안전점검을 위한 딥러닝 균열 검출분석 SW 탑재 드론 구현

Ⅰ. 서 론

교량에 대한 안전점검은 현장조사 및 각종 시험에 의해 위험요소를 발견하고 유지보수를 하게 되며 교량의 안전점검에는 정기점검, 정밀점검 및 긴급점검이 있고 외관점검이 공통적으로 수행된다. 기존의 점검은 인력이 육안으로 직접 점검을 하는 방식으로 위험성과 인력 및 시간소모가 커서 현재 급격히 노후화되고 있는 교량 안전점검과 유지보수에 효율성이 떨어진다. 교량의 안전진단에서 외관점검은 숙련된 전문인력이 사다리 특수차량 및 장비를 이용하여 교량의 외관적 문제점을 파악하므로 교통혼잡, 조사자 안전장비 설치 등의 문제가 있으며, 구형교량은 안전장치가 미흡하여 점검이 어려운 경우가 많다. 교고가 높은 교량의 점검은 대형 크레인 및 바지선 등의 고가의 장비가 필요하거나 접근이 불가한 경우가 많다. 이러한 문제점을 극복하기 위한 교량 안전점검 드론은 투입인력과 장비 비용을 최소화하고 조사자의 안전성을 확보할 수 있는 방안으로 주목받고 있다[1][2]. 현재 드론은 물류수송, 농업, 촬영, 레저 등 다양한 분야에서 활용되고 있으며 각 분야에서 활용되기 위해 임무별로 적합한 드론으로 개발하고 있다.

본 연구에서는 교량 안전검사 임무에 적합한 균열검출이 가능한 드론을 연구개발 한다. 균열검사는 외관점검에서 중요한 검사로 6천만화소 이상의 고해상도 카메라를 탑재하고, 짐벌을 통해 상하 90⚬ 촬영을 수행할 수 있어야 한다. 기존의 드론 기체는 대칭적인 구조로 카메라를 하부 또는 상부에 장착하는 구조가 일반적이다. 이는 무게중심과 기체중심을 일체시켜 안정성을 높일 수 있지만 본 연구에 적합하지 않다. 따라서 교량 안전검사를 위한 구조를 가지는 기체를 설계ㆍ구현하고, 실제 비행을 통해 교량 영상촬영이 가능함을 보인다.

촬영된 영상은 BIM(Building Information Model)과 결합하여 전문가가 육안으로 분석할 수 있다. 하지만 인력조사의 객관성 미흡과 고비용으로 인해 최근에는 안전검사와 균열검출 부분에서 자동화 균열점검 기법에 대한 다양한 연구가 수행되고 있으며, 주로 영상처리 알고리즘으로 필터링과 마스킹을 통한 영상사전처리기법, 중첩인식 및 형상검지기법에 대한 연구가 주를 이룬다[3][4]. 본 연구에서는 구현한 드론으로 촬영한 영상을 바탕으로 딥러닝을 이용한 균열검출을 연구한다.

Ⅱ. 기체 구현

2.1 기체설계 및 제작

기체 프레임은 짐벌 카메라가 상하 90^⚬ 촬영이 가능한 구조로 설계하기 위해 기존 전후좌우 대칭적인 기체구조를 탈피하여 그림 1과 같이 전후가 비대칭인 기체를 고안하였다. 이러한 기체구조는 전방에 짐벌 카메라를 탑재하여 상하부 촬영이 가능하다. 카메라 임무장비가 전방에 위치하여 센터플레이트 상하부에 미션컴퓨터 배터리 등의 장비들을 탑재할 수 있는 공간을 확보할 수 있는 장점이 있다. 하지만 기체자체 무게중심이 후방에 위치하게 되므로 임무장비의 배치를 통해 무게중심을 기체 중심부에 일치시켰다. 비행 안정성 확보를 위해 비행테스트를 통해 FC(Flight Controller) 펌웨어 파라메터를 실험적으로 개선하였다. 그리고 교량 하부에서 발생하는 강풍 또는 돌풍에 견딜 수 있도록 더블 로터 구조를 채택하여 출력을 높이고 내풍성 기준 12 m/s에서 비행가능 하도록 설계하였다. 로터암은 팔각봉 구조로 뒤틀림에 강인하고 강성을 높일 수 있도록 설계하였으며, 접이식 구조를 채택하여 이동성을 고려하였다.

Fig. 1.

Design of drone body

기체 제작은 센터플레이트 상부에 FC 보드, 센서부, ESC를 탑재하고 하부에 배터리팩이 장착된다. 센서부는 교량과의 충돌방지를 위해 전방카메라와 3개의 라이다를 연결하여 360^⚬ 범위를 감지한다. 드론 기체는 표 1과 같은 제원으로 그림 2와 같이 구현하였다.

Table 1.

Specification of the drone

Fig. 2.

Prototype of drone

Ⅲ. 균열검출

3.1 교량 촬영 데이터 수집

2장에서 개발한 드론을 활용하여 그림 3과 같이 교량 촬영 데이터를 수집하였다. 교량 하부(그림 4)와 교량 측면(그림 5)을 연속적으로 촬영하였으며 기체는 안정적으로 위치를 유지하여 촬영범위 80%를 겹쳐 연속적 데이터를 확보함을 보였다.

Fig. 3.

Photographing of bridge using drone

Fig. 4.

Picture of bridge(under parts)

Fig. 5.

Picture of bridge(substructure)

3.4 교량 균열학습

교량 콘크리트 균열측정을 위해 Özgenel(2019)의 공용 콘크리트 균열 데이터셋을 이용하였다[11]. 해당 데이터의 이미지 크기는 227x227 픽셀이며, 약 600개의 실제 이미지(RGB image), 흑백 실측정보 이미지(B/W ground truth image)로 구성되어있다. 해당 데이터는 METU 대학교의 건물 외벽 이미지를 촬영하여 분할을 위해 라벨링한 데이터이다. 본 연구의 분할 초기학습 수행을 위하여 500개의 이미지 학습을 수행하였다. 하이퍼 파라미터(Hyper parameter) 환경은 반복학습을 통하여 최적의 결과를 보여준 값을 사용하였고 웨이트 디케이는 1e-5, 드롭아웃 비율은 0.8, 최대 에포크 사이즈는 100으로 연구를 수행하였다. NVIDIA 3080기반 GPU 환경에서 균열측정을 위한 학습 네트워크 모델을 구성하였으며, 실시간 교량 균열측정 추론을 위해 드론에 NVIDIA의 임베디드용 보드 JETSON AGX XAVIER를 탑재하여 운용하였다. 해당 시스템은 100×87 mm 크기로 딥러닝 실시간 영상 분석을 위해 최적화된 시스템을 가지고 있으며, 성능은 표 2와 같다. JETSON 보드는 NVIDIA JetPack 및 DeepStream SDK와 CUDA, cuDNN, TensorRT 소프트웨어 라이브러리를 기본적으로 제공하여 인공지능 환경 구축에 편의성을 가지고 있으며 딥러닝 연산에 높은 효용성을 가진다.

Table 2.

Specification of NVIDIA JETSON AGX XAVIER

Ⅳ. 균열검출 결과

4.1 교량 균열검출 결과

평가는 비교적 적은 데이터셋의 크기이므로 신뢰성을 높이기 위해 K겹 교차 검증(K-fold cross validation)을 수행하였다. 콘크리트 균열의 600개의 데이터를 120개 씩 5개 군으로 성능평가지표 대상 데이터셋을 나누고 평균치를 이용하여 검증을 수행하였다.

그림 6과 같이 비학습 데이터 셋의 학습된 네트워크 균열 추론결과(Prediction)와 각 데이터별 실제 실측정보(Ground truth)를 나눌 수 있다. 추론결과와 실측정보의 교차영역의 넓이를 합영역 값으로 나눈 IoU(Intersection Over Union)값으로 성능을 평가할 수 있다[12]. 본 연구에서 개발된 U-Net의 성능검증을 위해 인식모델 평가지표인 IoU 평가를 수행하였다.

Fig. 6.

Comparison of prediction and ground truth of crack

세멘틱 이미지 분할 네트워크인 FCN-8, FCN-16의 IoU 평가 비교를 수행하였고 표 3과 같은 결과데이터를 보였다. 현재 연구에 사용된 U-Net에서 0.9125로 가장 높은 IoU값을 가지며 교량 균열 탐지의 정확성을 확인할 수 있다.

Table 3.

Deep-learning network verification from IoU comparison

4.2 교량 균열형상 분석

앞의 딥러닝 과정에서 이미지 분할을 통해 이진화된 이미지로 교량의 균열을 추출하였고 자체 개발한 룰 기반 기법을 통해 균열의 형상분석을 수행한다. 기본적인 알고리즘은 각 균열점 사이를 연결하여 거리가 일정한계가 되는 임계치를 초과하면 다른 균열의 가닥으로 인지하는 방식이며, 임계치는 반복 실험의 최적화로 얻어진 수치로 2 픽셀로 설정하였다. 균열인식 알고리즘은 이진화된 이미지에서 일련적으로 방향성을 가지는 모든 픽셀들이 단방향으로 인접할 경우 단일균열로 인식한다. 하지만 균열이 분열될 경우 방향성이 다른 균열들이 발생함에 따라 균열픽셀들 사이에서 공백이 발생하게 된다. 균열과 균열사이는 일정한 임계치를 사용한 조건알고리즘을 통해 같은 균열들을 연결할 수 있다.

그림 7과 같이 균열들을 연결하여 카메라 화소의 개수와 각 픽셀의 크기로 실제 비율을 고려하여 길이 단위(mm)로 변환이 가능하다. 균열길이는 단일프레임의 영상처리과정 시 균열의 시작점과 종료점을 계산하여 습득하였다.

Fig. 7.

Algorithm of crack pattern analysis

분기점의 습득을 통해 관심영역 상의 이미지의 균열도를 생성할 수 있으며, 균열가닥의 개수, 균열분기점의 개수, 균열의 길이, 각도, 균열의 폭에 대한 정보를 정량화하여 그림 8과 같이 자동으로 습득할 수 있다. 습득 된 이미지는 비행 중 촬영 된 모든 이미지에서 이미지 정합(Image reconstruction), 특징점 정합(Feature matching) 등을 통해 구조물의 전체 균열도를 형성할 수 있다.

Fig. 8.

Automated crack analysis of bridge

Ⅴ. 결론 및 향후 과제

국내 시설물 중 30년 이상 노후화 비율이 급격히 증가하여 30%에 이르고 있는 상황에서 현재 조사자가 직접 안전점검을 수행하는 방식으로는 안전을 보장하기 어려운 실정으로 본 연구에서 제안하는 드론을 활용한 안전점검이 인력과 시간 비용을 절감하고 효율성을 향상시킬 수 있는 방안으로 사료된다. 본 연구에서 교량 안전점검에 최적화된 드론 기체를 설계 구현 그리고 드론을 통한 안전점검 가능성을 확인하였다. 드론으로 촬영한 영상에 대한 딥러닝 기반의 교량분석을 실시하여 기체에 탑재되는 미션컴퓨터 환경에서 경량화 된 이미지 분할 네트워크인 U-Net을 사용하여, 시간의 저하 없이 빠르고 정확하게 균열을 추출할 수 있음을 확인하였다. IoU 평가를 통해 0.9125 값으로 우수한 균열검출 성능을 확인하였다. 또한 추가적으로 픽셀단위로 균열을 추출하여 균열의 위치 파악 후 룰 기반의 균열 형상분석을 통해 균열의 길이, 균열각도, 분기점 균열 개수, 방향, 형태 정보를 확인할 수 있으며 전문가들이 추가적인 균열발생 여부 등을 쉽게 파악할 수 있는 기반이 되었다. 균열 추출 및 분석 자동화의 실현 가능성을 확인하였으며, 이를 통해 필요한 전문가 노동력과 시간을 절감시키고 교량의 안정성 평가방법의 한계를 극복할 수 있을 것으로 기대한다. 본 논문의 결과를 BIM 소프트웨어와 결합한다면 교량 시설물 전체의 안전성 검사에 크게 기여할 것으로 예측한다.

Acknowledgments

본 논문은 산업통상자원부와 한국산업기술진흥원의 “지역혁신클러스터 육성사업 (R&D, P0002073)”으로 수행된 연구결과입니다.

본 연구는 국토교통부 ‘공공혁신조달 연계 무인이동체 및 SW플랫폼 개발사업’의 연구비지원(19DPIW-C153675-01#)에 의해 수행되었습니다.

References

• J. O. Kang and Y. C. Lee, "Preliminary Research for Drone based Visual-safety Inspection of Bridge", Proc. of Korea Spatial Information Society Conference, Jeju, S. Korea, pp. 207-210, Oct. 2016(in Korean).
• O. H. Kwon, D. N. Kim, and W. H. Jung, "A Study on Mission Flight Using Pixhawk-based Drones", Proc. of IEMEK Conference, Jeju, S. Korea, Vol. 1, pp. 349-351, 2019(in Korean).
• S. Murao, Y. Nomura, H, Furuta, and C. W. Kim, "Concrete Crack Detection Using UAV and Deep Learning", Proc. of ICASP13, Seoul, S. Korea, pp. 26-30, May 2019.
• C. X. Xu, J. P. Lim, M. Y. Park, and H. C. Yun, "A Proposal of Bridge Maintenance System Using Drone Image", Proc. of KSCE 2017 CONVENTION, Busan, S. Korea, pp. 694-695, 2017(in Korean).
• H. Kim, E. Ahn, S. Cho, and S. H. Sim, "Comparative analysis of image binarization methods for crack identification in concrete structures", Cement and Concrete Reserch, Vol. 99, pp. 53-61, Sep. 2017. [https://doi.org/10.1016/j.cemconres.2017.04.018]
• A. Krizhevsky, I. Sutskever, and G. E. Hinton, "Imagenet classification with deep convolutional neural networks", Communications of the ACM, Vol. 60, No. 6, pp. 84-90, May 2017. [https://doi.org/10.1145/3065386]
• J. Long, E. Shelhamer, and T. Darrell, "Fully convolutional networks for semantic segmentation",  Proc. of the IEEE conference on computer vision and pattern recognition, Boston, USA, pp. 3431-3440, Mar. 2015. [https://doi.org/10.1109/CVPR.2015.7298965]
• X. Weng, Y. Huang, and W. Wang, "Segment-based pavement crack quantification",  Automation in Construction, Vol. 105, pp. 3431-3440, Sep. 2019. [https://doi.org/10.1016/j.autcon.2019.04.014]
• O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation",  In International Conference on Medical image computing and computer-assisted intervention, Munich, Germany, pp. 234-241, May 2015. [https://doi.org/10.1007/978-3-319-24574-4_28]
• K. H. Choi and J. E Ha,  "Edge Detection based-on U-Net using Edge Classification CNN",  Journal of ICROS, Vol. 25, No. 8, pp. 684-689, Aug. 2019. [https://doi.org/10.5302/J.ICROS.2019.19.0119]
• Çağlar Fırat Özgenel,  "Concrete Crack Segmentation Dataset",  Mendeley Data,  Vol. 1,  Mar. 2019.
• H. Rezatofighi, N. Tsoi, J. Gwak, A. Sadeghian, I. Reid, and S. Savarese,  "Generalized intersection over union: A metric and a loss for bounding box regression", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, USA, pp. 658-666, Apr. 2019. [https://doi.org/10.1109/CVPR.2019.00075]