Home

콘크리트 균열은 교량에서 부득이하게 발생되며, 예상치 못한 주변 특성, 시공 부주의와 노후화 같은 여러 원인에 의해 균열이 발생할 수 있으며, 자연적인 이유로도 균열이 쉽사리 발생할 수 있다. 이런 균열에 대한 문제점으로부터 구조물을 보호하기 위해 콘크리트 표준시방서에서는 균열폭이 외부 조건에 따라 허용 균열폭을 넘지 않도록 규정하고 관리하고 있다.

균열은 구조적 균열(Structural crack)과 비구조적인 균열(Nonstructural crack) 두 가지로 분류할 수 있다. 구조적인 균열은 구조적 기능을 발휘할 수 없는 단계로 진행되거나 도달한 균열을 의미하며, 설계 오류, 설계하중을 초과한 외부하중, 불량 시공, 물리손상(폭발, 충격), 부식으로 인한 성능저하를 포함한다. 이를 제외한 다른 원인으로 야기되는 균열은 비구조적인 균열로 포함된다.

이와 같이 콘크리트 구조물에 발생한 균열은 내구성과 사용성에서 문제가 발생할 수 있기 때문에 정기적인 검사가 필요하다. 균열 현미경과 게이지와 같은 장비를 이용한 실측 균열방법이 있으며, 이미지프로세싱을 이용한 균열 검출, 균열 분석, 균열 패턴인식 등의 연구들이 진행되고 있다[3]. 또한 인공지능의 발달로 콘크리트의 구획화(Segmentation)을 통한 정보 습득, 기반구획화(Convolution-based segmentation) 딥러닝 기법과 오토인코더 기반 구획(Autoencoder-based segmentation) 딥러닝 기법이 연구되었다.

딥러닝 기법을 통해 균열 영상의 데이터베이스를 구축하여 균열을 빠르게 파악하는 연구들도 수행되었다[3]. 본 연구에서는 콘크리트 구획화를 위하여 U-NET을 사용하였다. U-Net은 FCN(Fully Convolution Network)을 기반으로 하여, 적은 데이터를 가지고도 더욱 정확한 구획을 내기 위해 FCN 구조를 수정한 네트워크 모델이다[4]. 생체 이미지 분할을 위한 컨볼루션 네트워크로 개발되었으나, 현재 다양한 분야에서 이용되고 있다. 특히 컨볼루션의 유효 부분만 이미지를 타일로 나뉘어 입력으로 사용하여 이미지입력간의 일부분이 포함되는 오버타일(Overlap-Tile) 기술을 구성하였다. 모델의 출력은 소프트맥스(Softmax)로 추론되고 손실함수는 크로스 엔트로피(Cross-Entropy)함수가 사용된다. 또한 교량의 데이터가 작을 수 있어 균열의 본질적인 형태에 어긋나지 않는 탄성 변형(Elastic deformation) 기법을 주로 사용하여 데이터 증가(Data augmentation)를 선행하였다. 이를 통해 메모리 사용에 많은 이점을 가져 제한적인 연산 자원을 가지는 임베디드 시스템(Embedded system)에서도 효율적인 학습 및 추론할 수 있으며, 또한 경우에 따라 콘크리트 균열의 상황에 적합하도록 데이터 증가를 선택적으로 사용하여 드론에서 실시간으로 균열 추론이 필요한 균열검사 시나리오에서 적합한 딥러닝 연산 수행을 할 수 있다.

교량 촬영을 위한 기체 프레임 구조는 짐벌 카메라가 상하 90^⚬ 촬영이 가능한 구조로 설계하기 위해 기존 전후좌우 대칭적인 기체구조를 탈피하여 그림 1과 같이 전후가 비대칭인 기체를 고안하였다. 이러한 구조는 전방에 짐벌 카메라를 탑재하여 교량 상하부 촬영이 가능하다. 촬영시 비행 안정성 확보를 위해 테스트를 통해 FC 펌웨어 파라메터를 실험적으로 개선하였다. 또한 교량 하부에서 발생하는 강풍 또는 돌풍에 견딜 수 있도록 더블 로터 구조를 채택하여 출력을 높이고 내풍성 기준 12m/s에서 비행가능 하도록 설계하였다[5].

Fig. 1. 
Design of drone body

기체의 구조는 센터플레이트 상부에 센서부, FC 보드, ESC를 탑재하고 하부에 배터리팩이 장착되어 있으며, 전방카메라와 3개의 라이다를 연결하여 360^⚬ 범위의 교량의 충돌 범위를 감지한다. 드론 기체는 표 1과 같은 제원으로 그림 1과 같이 구현하였다.

교량 콘크리트 균열검사를 위해 Özgenel(2019)의 공용 콘크리트 균열 데이터셋을 학습에 이용하였다[6]. METU 대학교의 외벽 콘크리트 이미지를 촬영하여 분할 학습을 위해 구성된 데이터이며, 이미지 크기는 227 px (h) x 227 px (w), 약 600개의 촬영 데이터(RGB), 흑백 정보 데이터(B/W ground truth)로 구성되어있다. 해당 데이터는 본 연구의 분할 모델 생성을 위하여 약 500개 이미지를 바탕으로 학습을 수행하였다. 모델 하이퍼 파라미터(Hyper parameter) 환경은 반복을 통하여 최적의 결과를 보여준 값을 사용하였고 웨이트 디케이 1e-5, 드롭아웃 비율 0.8, 최대 에포크 사이즈 100으로 설정하였다.

NVIDIA GTX 3080기반 GPU 환경에서 tensorflow2 기반 학습 모델 메타데이터를 생성하였으며, 실시간 교량 균열측정 추론을 위해 드론기체상에 임베디드용 보드 JETSON AGX XAVIER를 탑재하여 운용하였다. 해당 보드는 100×87mm 크기로 소형화되어 임베디드 기반으로 딥러닝 실시간 영상 분석을 위해 최적화된 시스템을 가지고 있으며, 성능은 표 2와 같다. JETSON 보드는 NVIDIA JetPack, CUDA, cuDNN 및 TensorRT 소프트웨어 라이브러리를 기본적으로 제공하여 본 연구의 인공지능 환경 구축의 기본이 되었다.

평가는 신뢰성을 높이기 위해 K겹 교차 검증(K-fold cross validation)을 수행하였다. 콘크리트 균열의 600개의 데이터를 120개씩 5개 군으로 성능평가지표 대상 데이터를 나누고 평균치를 이용하여 검증을 수행하였다.

그림 2와 같이 균열 추론결과(Prediction)와 각 데이터별 실제 정보(Ground truth)를 나눌 수 있다. 성능 검증을 위해 기존의 기본 FCN과의 비교를 위하여 추론결과와 실제 정보의 교차영역의 넓이를 합영역 값으로 나눈 인식모델 평가지표인 IoU(Intersection Over Union)평가를 수행하였다[7].

Fig. 2. 
Comparison of prediction and ground truth of crack

본 연구에서 수행된 최적화된 U-Net의 성능검증을 위해 이미지 분할 네트워크 FCN-8, FCN-16 네트워크와 비교를 수행하였고 표 3과 같은 결과데이터를 보여주었으며 현재 연구에 사용된 U-Net에서 0.9125로 가장 높은 IoU값을 가져 교량 균열 탐지의 정확성을 보여주었다.

앞서 추출된 U-Net을 통한 균열 추출 후 자동 균열 분석을 위해 소프트웨어 상에서 수행될 시나리오를 설정하였다.

객관적이고 다양한 형태의 콘크리트 균열에 대한 연구를 수행하기 위해 콘크리트 구조물의 균열 영상 데이터[8]를 이용하여 선행 조사되었으며. 균열 추출 후 분석의 시나리오는 그림 3과 같다.

Fig. 3. 
Scenarios of bridge crack analysis

균열분석은 추출된 균열의 분기점 탐지를 기반으로 수행하였다[9]. 균열 분석된 결과 데이터는 그레이스케일(Grayscale) 이미지로 나타난다. 첫 번째 분석 단계로 그레이스케일 이미지 데이터를 0과 1로 이진화(Binarization) 하고 형태학적 골격 추출을 위해 뼈대추출(Skeletonization)을 수행한다. 뼈대추출은 모양의 위상을 보존하여 이진 이미지의 골격을 표현하였다. 뼈대추출이 완료된 데이터에서 분기 여부를 판단하기 위해, 픽셀단위로 표현 가능한 모든 분기점 형태를 정의하였다. 이렇게 정의된 총 40개의 분기점 형태는 그림 4와 같으며, 모든 형태의 분기점 마스크를 통해 2차원 메트릭을 대입하여 분기점을 탐색(Branch point detection)하였으며[10]. 수행결과의 결과 이미지는 그림 5와 같다.

Fig. 4. 
40 branch point types for branch point search

Fig. 5. 
Detection of bridge crack branch point

그림 6과 같이 탐색된 분기점 기반 각 종점을 통해 유클리드 거리 측정이 가능하고 세부 균열 크기, 거리, 인접 균열간의 형태 별 정렬(Crack sort)을 통해 1차적인 균열 직선의 수학적 정보를 구할 수 있었으며, 실제 이미지 실측이미지와 비율을 설정하여 균열의 실제 길이와 각도를 구하였다. 구해진 정보를 육안으로 나타내기 위하여 소프트웨어 이미지 상 2D 라벨링되어 표시되며, 그림 4에서 기존 컬러(RGB) 이미지와의 비교를 통해 추출된 균열을 확인하고 분석된 분기점 및 각종 수치 정보들을 확인할 수 있다.

Fig. 6. 
Comparison of bridge crack