Korean Institute of Information Technology

Current Issue

The Journal of Korean Institute of Information Technology - Vol. 22 , No. 2

[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 19, No. 3, pp. 45-52
Abbreviation: Journal of KIIT
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Mar 2021
Received 17 Dec 2020 Revised 24 Mar 2021 Accepted 27 Mar 2021
DOI: https://doi.org/10.14801/jkiit.2021.19.3.45

교량 안전점검을 위한 딥러닝 균열 검출분석 SW 탑재 드론 구현
백승현* ; 최대영* ; 김영규* ; 정상우* ; 김대년*
*경북IT융합산업기술원 융합연구팀
*경북IT융합산업기술원 융합연구팀 (교신저자)

Implementation of the Drones with Deep-Learning Crack Detection Analysis for Inspection of Bridge
Seung Hyun Paik* ; Daeyoung Choi* ; Young-Kyu Kim* ; SangWoo Jung* ; Dae-Nyeon Kim*
Correspondence to : Dae-Nyeon Kim Gyeongbuk Institute of IT Convergence Industry Technology, 106-ho, 25, 12-gil, Gongdan 9-ro, Jinrang-eup, Gyeongsan-si, Gyeongbuk, 38463, S. Korea Tel:+82-53-245-5071, Email: dnkim@gitc.or.kr

Funding Information ▼

초록

균열은 콘크리트에서 부득이하게 발생되는 현상으로서, 구조물의 안전을 위해 점검 및 관리가 필요하다. 기존 교량 균열점검은 특수 안전장비 및 숙련된 전문가 육안에 의존하는데, 비용과 위험성에 비해 신뢰성이 낮다. 이에 본 논문은 드론 기술과 영상처리 기술을 융합한 자동 교량 균열 점검 방법을 제안하고 구현한다. 드론 기체는 교량 하부의 돌풍을 고려하여 내풍성 기준 12 m/s에서 비행 가능하게 설계하였고, 드론의 전방 및 상부방향 촬영을 위해 특수 카메라 짐벌을 제작하였다. 영상처리는 드론에 탑재된 소형 미션컴퓨터에서 수행하며, U-Net으로 구현한 교량 균열검출은 인식모델평가지표 0.9125를 기록하였고, 검출된 균열형상을 룰 베이스(rule-based)로 분석하여 각도, 길이, 분기점, 균열개수를 자동으로 측정할 수 있게 하였다.

Abstract

Since cracks inevitably occur in concrete structures, those must be inspected and managed for structure safety. The existing crack inspection method for bridges depends on special safety equipment and the naked eye of professionals, but the reliability of the method is low given cost and risk. Therefore, this paper proposes and implements a bridge-crack automatic inspection method combined with a drone and image-processing technology. The drone body is designed to be able to fly at 12m/s based on wind resistance in consideration of the gusts under bridges, and a special camera gimbal is manufactured for shooting the front and top of the drone. Image processing is performed on a small mission computer mounted on the drone, and the performance of bridge crack detection based on U-Net gets an IoU value of 0.9125, and the devised method based on rule-based automatically measures the degree, length, branching point and the number of cracks to analyze the crack shape.


Keywords: industrial drone, deep-learning, bridge management, visual-safety inspection, bridge brack

Ⅰ. 서 론

교량에 대한 안전점검은 현장조사 및 각종 시험에 의해 위험요소를 발견하고 유지보수를 하게 되며 교량의 안전점검에는 정기점검, 정밀점검 및 긴급점검이 있고 외관점검이 공통적으로 수행된다. 기존의 점검은 인력이 육안으로 직접 점검을 하는 방식으로 위험성과 인력 및 시간소모가 커서 현재 급격히 노후화되고 있는 교량 안전점검과 유지보수에 효율성이 떨어진다. 교량의 안전진단에서 외관점검은 숙련된 전문인력이 사다리 특수차량 및 장비를 이용하여 교량의 외관적 문제점을 파악하므로 교통혼잡, 조사자 안전장비 설치 등의 문제가 있으며, 구형교량은 안전장치가 미흡하여 점검이 어려운 경우가 많다. 교고가 높은 교량의 점검은 대형 크레인 및 바지선 등의 고가의 장비가 필요하거나 접근이 불가한 경우가 많다. 이러한 문제점을 극복하기 위한 교량 안전점검 드론은 투입인력과 장비 비용을 최소화하고 조사자의 안전성을 확보할 수 있는 방안으로 주목받고 있다[1][2]. 현재 드론은 물류수송, 농업, 촬영, 레저 등 다양한 분야에서 활용되고 있으며 각 분야에서 활용되기 위해 임무별로 적합한 드론으로 개발하고 있다.

본 연구에서는 교량 안전검사 임무에 적합한 균열검출이 가능한 드론을 연구개발 한다. 균열검사는 외관점검에서 중요한 검사로 6천만화소 이상의 고해상도 카메라를 탑재하고, 짐벌을 통해 상하 90⚬ 촬영을 수행할 수 있어야 한다. 기존의 드론 기체는 대칭적인 구조로 카메라를 하부 또는 상부에 장착하는 구조가 일반적이다. 이는 무게중심과 기체중심을 일체시켜 안정성을 높일 수 있지만 본 연구에 적합하지 않다. 따라서 교량 안전검사를 위한 구조를 가지는 기체를 설계ㆍ구현하고, 실제 비행을 통해 교량 영상촬영이 가능함을 보인다.

촬영된 영상은 BIM(Building Information Model)과 결합하여 전문가가 육안으로 분석할 수 있다. 하지만 인력조사의 객관성 미흡과 고비용으로 인해 최근에는 안전검사와 균열검출 부분에서 자동화 균열점검 기법에 대한 다양한 연구가 수행되고 있으며, 주로 영상처리 알고리즘으로 필터링과 마스킹을 통한 영상사전처리기법, 중첩인식 및 형상검지기법에 대한 연구가 주를 이룬다[3][4]. 본 연구에서는 구현한 드론으로 촬영한 영상을 바탕으로 딥러닝을 이용한 균열검출을 연구한다.


Ⅱ. 기체 구현
2.1 기체설계 및 제작

기체 프레임은 짐벌 카메라가 상하 90 촬영이 가능한 구조로 설계하기 위해 기존 전후좌우 대칭적인 기체구조를 탈피하여 그림 1과 같이 전후가 비대칭인 기체를 고안하였다. 이러한 기체구조는 전방에 짐벌 카메라를 탑재하여 상하부 촬영이 가능하다. 카메라 임무장비가 전방에 위치하여 센터플레이트 상하부에 미션컴퓨터 배터리 등의 장비들을 탑재할 수 있는 공간을 확보할 수 있는 장점이 있다. 하지만 기체자체 무게중심이 후방에 위치하게 되므로 임무장비의 배치를 통해 무게중심을 기체 중심부에 일치시켰다. 비행 안정성 확보를 위해 비행테스트를 통해 FC(Flight Controller) 펌웨어 파라메터를 실험적으로 개선하였다. 그리고 교량 하부에서 발생하는 강풍 또는 돌풍에 견딜 수 있도록 더블 로터 구조를 채택하여 출력을 높이고 내풍성 기준 12 m/s에서 비행가능 하도록 설계하였다. 로터암은 팔각봉 구조로 뒤틀림에 강인하고 강성을 높일 수 있도록 설계하였으며, 접이식 구조를 채택하여 이동성을 고려하였다.


Fig. 1. 
Design of drone body

기체 제작은 센터플레이트 상부에 FC 보드, 센서부, ESC를 탑재하고 하부에 배터리팩이 장착된다. 센서부는 교량과의 충돌방지를 위해 전방카메라와 3개의 라이다를 연결하여 360 범위를 감지한다. 드론 기체는 표 1과 같은 제원으로 그림 2와 같이 구현하였다.

Table 1. 
Specification of the drone
Dimensions 1000 × 1000 × 410 mm
Weight 13 kg()
Max speed 60 km/h
Max flight distance 3 km
Max ascent/Max descent speed 4 m/s / 3 m/s
GNSS GPS + GLONASS
Battery capacity 32,000 mAh(22.2 V)
Max flight time 20 min
Flight controller Pixhawk2 CUBE
Gimbal 2 axis
Motor 1300 W
Mission computer JETSON AGX XAVIER


Fig. 2. 
Prototype of drone


Ⅲ. 균열검출
3.1 교량 촬영 데이터 수집

2장에서 개발한 드론을 활용하여 그림 3과 같이 교량 촬영 데이터를 수집하였다. 교량 하부(그림 4)와 교량 측면(그림 5)을 연속적으로 촬영하였으며 기체는 안정적으로 위치를 유지하여 촬영범위 80%를 겹쳐 연속적 데이터를 확보함을 보였다.


Fig. 3. 
Photographing of bridge using drone


Fig. 4. 
Picture of bridge(under parts)


Fig. 5. 
Picture of bridge(substructure)

3.2 교량 균열검출 방법

교량의 균열검출을 위해 룰 기반 기법 또는 딥러닝 기반과 같은 영상처리기법들이 요구된다. 영상처리를 통해 드론 기체로 획득한 이미지로 균열의 검출, 측정 및 진단분야까지 활용 될 수 있다. 룰 기반(Rule-based method) 영상처리기법은 사용자가 효과적으로 이미지의 균열을 검출하기 위하여 이진화, 히스토그램 스트래치, 패턴인식 등의 복합 필터 연산을 통해 이미지의 노이즈를 제거하고 필터를 모델링하는 기법들이 있으며[5], 딥러닝 기법들에서는 습득한 교량의 이미지의 균열 유무를 파악하는 이미지분류(Image classification)[6], 습득한 교량의 이미지의 균열의 형태를 검출하는 이미지 분할(Image segmentation) 등이 포함된다[7]. 하지만 두 가지 모두 촬영환경의 영향(명암, 조도, 색조 등), 촬영 해상도 등에 따라 결과가 달라 질 수 있으며 특히 룰 기반 기법은 필수적으로 환경에 변화에 따른 필터 모델링의 교체가 필요하다.

최근 각 분야에서 딥러닝을 활용한 연구들이 크게 성과들을 나타나고 있으며, 구조물의 결함탐지 및 분석에서도 많은 연구들이 진행되고 있다. 딥러닝을 이용한 교량의 균열분석은 룰 기반 기법과 달리 필터링 또는 모델링 방법의 교체 없이, 학습단계에서 원하는 교량의 균열을 보다 빠르고 정확하게 검출할 수 있다. 안전성 검사에서 균열의 종류에 따른 형태, 크기, 번짐 경향 등이 주요 판별요소로 이러한 균열의 세부적인 특징추출에 딥러닝 기법이 더 적합하다. 딥러닝의 이미지 분할은 개별의 균열로 인식된 균열을 각각의 균열로 분류하여 균열의 특징인 길이와 각도, 폭 등을 얻을 수 있다[8]. 또한 균열의 시작점이 되는 균열점(Branching point)를 획득함으로써 보다 정확한 균열형상 획득이 가능하다. 균열점은 교량의 균열검사에서 시작점과 종료점을 의미함으로 형태적인 요소가 중요하게 여겨져 높은 성능으로 정확한 균열점의 위치를 얻는 것이 중요하다. 본 논문에서는 우선적으로 딥러닝으로 균열을 추출하고, 각 균열들의 형태적 특징들을 획득함으로써 균열점 및 형태들의 자동 정량화를 통해 딥러닝의 활용을 연구하고자 한다.

3.3 교량 균열검출 네트워크

본 연구에서 교량의 균열검출을 위해 이미지 분할 기술을 사용하였다. 이미지 분할은 이미지를 픽셀단위로 구분하여 각 픽셀이 어떤 물체인지 구분해주는 기술이다. 대표적인 네트워크로는 FCN, DeepLab, U-Net, ReSeg 등이 있으며 이미지 분할은 객체의 구분에 따라 세멘틱 이미지 분할과 인스턴스(Instance) 이미지 분할로 나누어진다[9]. 본 연구에서는 균열과 비균열 형상을 단일적으로 나누기 위해 세멘틱 이미지 분할 기술을 사용하고 임베디드 환경에서 네트워크의 성능과 연산의 속도가 높은 U-Net을 이용하여 교량의 균열검출을 수행하였다.

U-Net은 바이오메디컬 이미지 분할 네트워크로 개발되었으며, 자동검사/로봇공학 등 다양한 산업군에서 활용성이 높다[10]. U-net은 분할의 기능향상을 위해 FCN(Fully Convolution Net)에서 2가지 사항을 핵심적으로 개선하였다. 첫 번째는 업-샘플링 과정에서 특성채널(Feature channel) 수가 많다. 두 번째는 각 컨벌루션의 유효 부분(Valid part)만 이용한다. 이를 통해 겹치는 비율을 낮춰 속도를 개선하였고 인식과 위치정보를 모두 만족시키는 네트워크를 형성하였다.

3.4 교량 균열학습

교량 콘크리트 균열측정을 위해 Özgenel(2019)의 공용 콘크리트 균열 데이터셋을 이용하였다[11]. 해당 데이터의 이미지 크기는 227x227 픽셀이며, 약 600개의 실제 이미지(RGB image), 흑백 실측정보 이미지(B/W ground truth image)로 구성되어있다. 해당 데이터는 METU 대학교의 건물 외벽 이미지를 촬영하여 분할을 위해 라벨링한 데이터이다. 본 연구의 분할 초기학습 수행을 위하여 500개의 이미지 학습을 수행하였다. 하이퍼 파라미터(Hyper parameter) 환경은 반복학습을 통하여 최적의 결과를 보여준 값을 사용하였고 웨이트 디케이는 1e-5, 드롭아웃 비율은 0.8, 최대 에포크 사이즈는 100으로 연구를 수행하였다. NVIDIA 3080기반 GPU 환경에서 균열측정을 위한 학습 네트워크 모델을 구성하였으며, 실시간 교량 균열측정 추론을 위해 드론에 NVIDIA의 임베디드용 보드 JETSON AGX XAVIER를 탑재하여 운용하였다. 해당 시스템은 100×87 mm 크기로 딥러닝 실시간 영상 분석을 위해 최적화된 시스템을 가지고 있으며, 성능은 표 2와 같다. JETSON 보드는 NVIDIA JetPack 및 DeepStream SDK와 CUDA, cuDNN, TensorRT 소프트웨어 라이브러리를 기본적으로 제공하여 인공지능 환경 구축에 편의성을 가지고 있으며 딥러닝 연산에 높은 효용성을 가진다.

Table 2. 
Specification of NVIDIA JETSON AGX XAVIER
GPU 384-core volta GPU with 48 tensor cores
CPU 6-core ARM v8.2 64-bit CPU, 6MB L2+4MB L3
Memory 8GB 256-bit LPDDR4x – 85GB/s
Storage 16 GB eMMC 5.1


Ⅳ. 균열검출 결과
4.1 교량 균열검출 결과

평가는 비교적 적은 데이터셋의 크기이므로 신뢰성을 높이기 위해 K겹 교차 검증(K-fold cross validation)을 수행하였다. 콘크리트 균열의 600개의 데이터를 120개 씩 5개 군으로 성능평가지표 대상 데이터셋을 나누고 평균치를 이용하여 검증을 수행하였다.

그림 6과 같이 비학습 데이터 셋의 학습된 네트워크 균열 추론결과(Prediction)와 각 데이터별 실제 실측정보(Ground truth)를 나눌 수 있다. 추론결과와 실측정보의 교차영역의 넓이를 합영역 값으로 나눈 IoU(Intersection Over Union)값으로 성능을 평가할 수 있다[12]. 본 연구에서 개발된 U-Net의 성능검증을 위해 인식모델 평가지표인 IoU 평가를 수행하였다.


Fig. 6. 
Comparison of prediction and ground truth of crack

세멘틱 이미지 분할 네트워크인 FCN-8, FCN-16의 IoU 평가 비교를 수행하였고 표 3과 같은 결과데이터를 보였다. 현재 연구에 사용된 U-Net에서 0.9125로 가장 높은 IoU값을 가지며 교량 균열 탐지의 정확성을 확인할 수 있다.

Table 3. 
Deep-learning network verification from IoU comparison
Network IoU
FCN-16 0.7123
FCN-8 0.8424
U-Net 0.9125

4.2 교량 균열형상 분석

앞의 딥러닝 과정에서 이미지 분할을 통해 이진화된 이미지로 교량의 균열을 추출하였고 자체 개발한 룰 기반 기법을 통해 균열의 형상분석을 수행한다. 기본적인 알고리즘은 각 균열점 사이를 연결하여 거리가 일정한계가 되는 임계치를 초과하면 다른 균열의 가닥으로 인지하는 방식이며, 임계치는 반복 실험의 최적화로 얻어진 수치로 2 픽셀로 설정하였다. 균열인식 알고리즘은 이진화된 이미지에서 일련적으로 방향성을 가지는 모든 픽셀들이 단방향으로 인접할 경우 단일균열로 인식한다. 하지만 균열이 분열될 경우 방향성이 다른 균열들이 발생함에 따라 균열픽셀들 사이에서 공백이 발생하게 된다. 균열과 균열사이는 일정한 임계치를 사용한 조건알고리즘을 통해 같은 균열들을 연결할 수 있다.

그림 7과 같이 균열들을 연결하여 카메라 화소의 개수와 각 픽셀의 크기로 실제 비율을 고려하여 길이 단위(mm)로 변환이 가능하다. 균열길이는 단일프레임의 영상처리과정 시 균열의 시작점과 종료점을 계산하여 습득하였다.


Fig. 7. 
Algorithm of crack pattern analysis

분기점의 습득을 통해 관심영역 상의 이미지의 균열도를 생성할 수 있으며, 균열가닥의 개수, 균열분기점의 개수, 균열의 길이, 각도, 균열의 폭에 대한 정보를 정량화하여 그림 8과 같이 자동으로 습득할 수 있다. 습득 된 이미지는 비행 중 촬영 된 모든 이미지에서 이미지 정합(Image reconstruction), 특징점 정합(Feature matching) 등을 통해 구조물의 전체 균열도를 형성할 수 있다.


Fig. 8. 
Automated crack analysis of bridge


Ⅴ. 결론 및 향후 과제

국내 시설물 중 30년 이상 노후화 비율이 급격히 증가하여 30%에 이르고 있는 상황에서 현재 조사자가 직접 안전점검을 수행하는 방식으로는 안전을 보장하기 어려운 실정으로 본 연구에서 제안하는 드론을 활용한 안전점검이 인력과 시간 비용을 절감하고 효율성을 향상시킬 수 있는 방안으로 사료된다. 본 연구에서 교량 안전점검에 최적화된 드론 기체를 설계 구현 그리고 드론을 통한 안전점검 가능성을 확인하였다. 드론으로 촬영한 영상에 대한 딥러닝 기반의 교량분석을 실시하여 기체에 탑재되는 미션컴퓨터 환경에서 경량화 된 이미지 분할 네트워크인 U-Net을 사용하여, 시간의 저하 없이 빠르고 정확하게 균열을 추출할 수 있음을 확인하였다. IoU 평가를 통해 0.9125 값으로 우수한 균열검출 성능을 확인하였다. 또한 추가적으로 픽셀단위로 균열을 추출하여 균열의 위치 파악 후 룰 기반의 균열 형상분석을 통해 균열의 길이, 균열각도, 분기점 균열 개수, 방향, 형태 정보를 확인할 수 있으며 전문가들이 추가적인 균열발생 여부 등을 쉽게 파악할 수 있는 기반이 되었다. 균열 추출 및 분석 자동화의 실현 가능성을 확인하였으며, 이를 통해 필요한 전문가 노동력과 시간을 절감시키고 교량의 안정성 평가방법의 한계를 극복할 수 있을 것으로 기대한다. 본 논문의 결과를 BIM 소프트웨어와 결합한다면 교량 시설물 전체의 안전성 검사에 크게 기여할 것으로 예측한다.


Acknowledgments

본 논문은 산업통상자원부와 한국산업기술진흥원의 “지역혁신클러스터 육성사업 (R&D, P0002073)”으로 수행된 연구결과입니다.

본 연구는 국토교통부 ‘공공혁신조달 연계 무인이동체 및 SW플랫폼 개발사업’의 연구비지원(19DPIW-C153675-01#)에 의해 수행되었습니다.


References
1. J. O. Kang and Y. C. Lee, "Preliminary Research for Drone based Visual-safety Inspection of Bridge", Proc. of Korea Spatial Information Society Conference, Jeju, S. Korea, pp. 207-210, Oct. 2016(in Korean).
2. O. H. Kwon, D. N. Kim, and W. H. Jung, "A Study on Mission Flight Using Pixhawk-based Drones", Proc. of IEMEK Conference, Jeju, S. Korea, Vol. 1, pp. 349-351, 2019(in Korean).
3. S. Murao, Y. Nomura, H, Furuta, and C. W. Kim, "Concrete Crack Detection Using UAV and Deep Learning", Proc. of ICASP13, Seoul, S. Korea, pp. 26-30, May 2019.
4. C. X. Xu, J. P. Lim, M. Y. Park, and H. C. Yun, "A Proposal of Bridge Maintenance System Using Drone Image", Proc. of KSCE 2017 CONVENTION, Busan, S. Korea, pp. 694-695, 2017(in Korean).
5. H. Kim, E. Ahn, S. Cho, and S. H. Sim, "Comparative analysis of image binarization methods for crack identification in concrete structures", Cement and Concrete Reserch, Vol. 99, pp. 53-61, Sep. 2017.
6. A. Krizhevsky, I. Sutskever, and G. E. Hinton, "Imagenet classification with deep convolutional neural networks", Communications of the ACM, Vol. 60, No. 6, pp. 84-90, May 2017.
7. J. Long, E. Shelhamer, and T. Darrell, "Fully convolutional networks for semantic segmentation",  Proc. of the IEEE conference on computer vision and pattern recognition, Boston, USA, pp. 3431-3440, Mar. 2015.
8. X. Weng, Y. Huang, and W. Wang, "Segment-based pavement crack quantification",  Automation in Construction, Vol. 105, pp. 3431-3440, Sep. 2019.
9. O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation",  In International Conference on Medical image computing and computer-assisted intervention, Munich, Germany, pp. 234-241, May 2015.
10. K. H. Choi and J. E Ha,  "Edge Detection based-on U-Net using Edge Classification CNN",  Journal of ICROS, Vol. 25, No. 8, pp. 684-689, Aug. 2019.
11. Çağlar Fırat Özgenel,  "Concrete Crack Segmentation Dataset",  Mendeley Data,  Vol. 1,  Mar. 2019.
12. H. Rezatofighi, N. Tsoi, J. Gwak, A. Sadeghian, I. Reid, and S. Savarese,  "Generalized intersection over union: A metric and a loss for bounding box regression", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, USA, pp. 658-666, Apr. 2019.

저자소개
백 승 현 (Seungh Hyun Paik)

2006년 2월 : 경북대학교 전자공학과(공학사)

2009년 8월 : 경북대학교 전자공학부(공학석사)

2016년 8월 : 경북대학교 전자공학부(공학박사) (재)경북IT융합산업기술원 선임연구원

관심분야 : 임베디드 시스템, 드론, 머신러닝

최 대 영 (Daeyoung Choi)

2014년 2월 : 영남대학교 생명공학부(공학사)

2018년 2월 : 경북대학교 전자공학부(공학석사) (재)경북IT융합산업기술원 연구원

관심분야 : 컴퓨터 비전, 머신러닝

김 영 규 (Young-Kyu Kim)

2005년 2월 : 경주대학교 전자공학과(공학사)

2011년 2월 : 경북대학교 모바일통신공학과(공학석사)

2016년 8월 : 경북대학교 전자공학부(공학박사) (재)경북IT융합산업기술원 선임연구원

관심분야 : 컴퓨터 아키텍처, SoC, 드론

정 상 우 (SangWoo Jung)

2014년 2월 : 경일대학교 로봇응용학과(공학사)

2016년 8월 : 경북대학교 전자공학부(공학석사) (재)경북IT융합산업기술원 연구원

관심분야 : 임베디드 시스템, 드론, 머신러닝

김 대 년 (Dae-Nyeon Kim)

2001년 2월 : 울산대학교 제어계측(공학사)

2003년 2월 : 울산대학교 전기전자 정보시스템공학(공학석사)

2010년 2월 : 울산대학교 전기전자 정보시스템공학 (공학박사) (재)경북IT융합산업기술원 책임연구원

관심분야 : 임베디드 시스템, 드론, 머신러닝