포장도로 및 콘크리트의 균열 유무 감지 : 블러링과 균열 증강을 적용한 재구성 모델

Ⅰ. 서 론

포장도로 및 콘크리트 구조물의 안전과 내구성은 공공 인프라와 교통 시스템의 효율성에 있어 필수적인 요소이다. 시간이 지남에 따라, 이러한 구조물들은 환경적 요인과 외부 하중 등에 의해 다양한 형태의 손상이 발생할 수 있다. 그 중에서 균열의 형성은 가장 흔하고 심각한 문제 중 하나이다. 균열이 적시에 감지되고 적절히 처리되지 않을 경우, 소규모 손상이 큰 구조적 결함으로 발전할 수 있다. 이러한 문제는 인명 피해와 서비스 중단의 원인이 될 수도 있다. 따라서 포장도로와 콘크리트 구조물에서 발생하는 균열을 정확하고 신속하게 검출하는 것은 인프라 유지관리의 핵심 과제이다.

본 논문은 포장도로와 콘크리트 표면에서 발생하는 균열을 검출하기 위해 재구성 모델을 사용하는 방법을 제안한다. 현재 널리 사용되는 재구성 모델 중 하나인 DRAEM[1]은 주로 제조업 분야의 데이터에 초점을 맞추었기 때문에, 본 연구에서 다루는 포장도로와 콘크리트의 균열 데이터와는 다른 특성을 가지며 이로 인해 최적의 성능을 발휘하기 어렵다. 따라서, 본 논문에서는 DRAEM[1]의 네트워크 구조를 수정하고, 균열 증강 및 영상 블러링 기법을 적용한다. 이를 통해 한계를 극복하고 우수한 성능을 달성하는 것을 목표로 한다.

2장에서는 관련 연구에 대해 소개하며 제안 방법과 비교 분석한다. 3장에서는 제안하는 방법에 대해 소개하고 4장에서는 관련한 실험을 진행한다. 마지막으로 5장에서는 결론 및 추후 연구로 마무리한다.

Ⅱ. 관련 연구

DRAEM[1]은 이상과 정상 데이터의 불균형을 해결할 수 있도록 정상 데이터를 통해 이상 데이터를 증강하고 이를 복원하여 결함을 감지하는 딥러닝 네트워크를 제안하였다. 이 연구는 본 논문의 베이스가 되는 연구로써, 이상 패턴을 효과적으로 구별할 수 있는 능력을 가지고 있다. Rahmawati 연구팀[2]는 콘크리트 크랙이 포함된 영상에서 크랙을 검출하기 위하여 오토인코더 형식의 딥러닝 구조를 제안하였다. 이러한 구조의 네트워크를 통해 노이즈를 제거하여 복원하는 것에 초점을 맞춘 프레임워크를 나타낸다. Y. Kim 연구팀[3]은 콘크리트 구조물에서의 결함 검출을 위해 영상처리 기술을 이용한 자동 감시 시스템을 제안하였다. 해당 기술은 Gray Scale 영상으로 변환 후 Sobel 연산자를 통해 엣지를 감지한다. 이어서 제안하는 알고리즘을 통해 노이즈를 제거하고 결함을 검출하는 과정을 보였다. 본 논문과의 목적은 같지만 오직 픽셀 위주의 영상처리 알고리즘을 제안한 것이 큰 차이점이다. H. Lee et al. 연구팀[4]은 포장도로의 결함을 나타내는 포트홀을 감지하기 위한 전처리 기술을 제안하였다. 이 기술은 포트홀의 질감 및 형태를 강조하고 Superpixel와 Sobel 연산자를 이용해 특징을 검출하는 과정을 제안하였다. 제안하는 방법과는 다르게 해당 연구에서는 포트홀이라는 하나의 주제에만 초점을 맞춘 것이 큰 차이점이다. J. Huyan et al. 연구팀[5]은 포장도로의 크랙을 검출하기 위해 CrackU-Net이라는 딥러닝 구조를 제안하였다. 해당 연구에서는 픽셀 단위의 크랙을 감지하는 것을 목표로 하였으며, 제안 모델이 정확한 균열에 대한 정보를 추출할 수 있음을 보였다. J. Liu et al. 연구팀[6]은 포장도로에서 다양한 크랙에 대하여 객체 검출 기술을 통해 감지하는 기술을 제안하였다. 이 연구는 제안 방법과는 달리 크랙의 종류에 따라 다양하게 분류한다는 차이점이 있다. V. P. Golding et al. 연구팀[7]은 콘크리트 구조물의 크랙을 감지하기 위한 CNN 모델을 제안하였으며, 색상에 의존하지 않는다는 결과를 보였다. J. Si et al. 연구팀[8]은 태양전지의 열화상 영상에 대하여 결함을 검출하기 위한 차영상 정렬 기법을 제안하였다. 결함을 감지하는 대상에는 차이가 있지만 재구성 방법을 사용하는 것과 이상 유무를 판별한다는 점에서 공통점이 있다고 할 수 있다. 그리고, S. Jeong et al.연구팀[9]은 태양광 인버터의 DC 커패시터 열화로 인한 고장 위험을 줄이고 시스템 효율과 안전성을 향상시키기 위해, 열화 상태를 실시간으로 진단하는 센서 기술과 고장 발생 시 효율을 유지할 수 있는 우회 보상 커패시터 모듈 개발의 필요성을 제시하였다.

Ⅲ. 균열 유무 감지를 위한 제안 방법

본 논문은 재구성 방식의 대표적인 결함 감지 모델인 DRAEM[1]을 개선하여 포장 도로와 콘크리트 표면의 균열 유무를 효과적으로 감지하는 방법을 제안하며, 전체적인 과정은 그림 1과 같다.

Fig. 1.

Overall system architecture of the proposed method

DRAEM[1]은 (256,256) 크기의 입력 영상을 사용하며, 재구성 네트워크(Reconstructive network)와 판별 네트워크(Discriminative network) 두 부분으로 구성된다. 본 논문에서는 균열 영상이 국부적인 결함뿐 아니라 넓은 영역에 걸쳐 불규칙한 패턴이 나타나는 경우가 많다는 점을 고려하여, 입력 크기를 (128,128)로 조정해 모델의 학습 부담을 줄이면서도 결함의 구조적 정보를 충분히 반영하도록 설계하였다. 또한, 재구성 네트워크를 5개 층에서 4개 층으로, 모든 층의 깊이를 기존의 50%로 단순화함으로써 학습할 파라미터의 수를 감소시킨다. 활성화 함수로는 기존의 ReLU 대신, 0 이하의 값에서도 미분 가능한 ELU(Exponential Linear Unit)를 채택하여 모델이 더 빠르게 글로벌 최솟값에 도달하도록 한다. ELU 활성화 함수는 식 (1)과 같이 정의되며, α는 음수 영역의 포화 수준을 결정하는 하이퍼파라미터로서 미분 연속성과 학습 안정성을 확보하기 위해 1로 설정한다.

판별 네트워크의 경우 활성화 함수와 모델의 구조는 그대로 유지한 채 모든 층의 깊이만 기존의 25%로 변경하여 모델을 최적화한다.

기존에는 Perlin Noise를 사용하여 이상이 있는 영역의 마스크 이미지를 생성하고, 이를 통해 다른 일반 이미지와 픽셀별로 비교하는 방식을 채택한다. 그러나 제조업 데이터와 달리, 균열 데이터의 경우 이상 패턴이 크게 다르지 않아 자연스러운 균열 영상의 증강을 어렵게 만든다. 균열은 주로 명확한 선형 패턴과 어두운 톤을 가지기 때문에, 이를 모사하기 위해 단순하고 대비가 뚜렷한 검정 패턴을 활용하는 것이 증강의 자연스러움을 확보하는 데 효과적이다. 이에 대한 해결책으로, 본 논문에서 제안하는 균열 증강 방법은 다른 영상의 복잡한 패턴을 제거하여 단순화된 검정색 패턴으로 크랙을 생성하는 것이며, 이는 그림 2에서 설명된 바와 같다.

Fig. 2.

Generation process of crack augmented images

균열 증강의 생성 과정은 초기에 Perlin Noise를 활용해 생성된 마스크 영상을 무작위 각도로 회전시키는 P로부터 시작한다. 다음 단계에서는 Inverse Binary Thresholding을 적용해 최종 마스크 영상 M_a를 생성한다. 이 마스크를 무작위 각도로 회전시킨 원본 영상 I와 Pixel-Wise 하면, 흰색 영역은 원본 영상에서 보존되고 검정색 영역은 마스크에서 검정색 영역으로 주입되어 최종적으로 균열이 증강된 영상 I_a을 얻게 된다. 이 증강된 영상은 재구성 네트워크를 통과하여 정상 원본 영상 I와 유사한 재구성 영상 I_r을 생성하는 데 사용된다.

학습 과정에 사용되는 손실 함수는 DRAEM[1]에서 도입된 L2 Loss, SSIM Loss, 그리고 Focal Loss를 유지하며, 균열 검출의 정확성을 높이기 위한 Median Loss를 추가한다. L2 Loss는 I와 I_r사이의 평균 제곱 오차(MSE)를 계산하여 최소화한다.

SSIM(Structural Similarity Index Measure)은 영상 간의 유사성을 측정하기 위한 지표로, 밝기, 대비 및 구조적 요소를 종합적으로 고려해 두 영상이 얼마나 비슷한지 평가한다. 이 방식은 사람의 시각적 인식과 유사한 방법으로 영상을 분석하는 것이 특징이다. 따라서 재구성된 이미지 I_r과 원본 이미지 I 간의 차이를 줄임으로써 보다 정확한 유사성 평가를 가능하게 한다. SSIM 값이 [0, 1] 범위 내에서 1에 가까울수록 두 이미지는 더 유사하다고 판단할 수 있다. 이러한 특성을 손실 함수에 적용함으로써, 재구성 네트워크가 원본 이미지와 더 유사한 이미지를 생성하도록 유도할 수 있다. SSIM 손실 함수는 식 (2)와 같이 나타내며 최소화해야 한다. C₁과 C₂의 값은 일반적으로 사용하는 (0.01 × 255)²과 (0.03 × 255)²을 사용하며 μ와 σ는 각 영상에 대한 평균과 표준편차를 의미한다.

학습 단계에서는 I_a와 I_r를 결합하여 6개의 채널을 갖는 영상을 생성한다. 이 결합된 영상을 사용하여 판별 네트워크는 마스크 M_r를 생성하며, 실제로 증강된 영상에 적용된 마스크 M_a와의 차이를 Focal Loss를 사용하여 계산한다. 이를 통해 균열 영역만을 정밀하게 Segmentation하는 과정을 수행할 수 있다. Focal Loss는 Cross-Entropy와 비교하여 확률값이 높을 때는 Loss를 크게 감소시키고, 낮을 때는 감소폭을 줄임으로써 클래스 간 불균형 문제에 대응하는 개선된 방식이다.

전처리 과정 없이 그대로 사용할 경우, 균열뿐만 아니라 기타 노이즈(자갈 등)도 균열 후보 영역으로 간주될 위험이 있다. 특히, 균열이 증강된 이미지에서 정상 상태로 재구성하는 과정에서 노이즈가 학습에 부정적인 영향을 끼칠 가능성이 있다. 이를 해결하기 위해 본 논문에서는 영상처리 기법을 손실 함수에 직접 적용함으로써, 이와 같은 문제 영역을 효과적으로 제거하는 방법을 제안한다. 학습 과정에서 I와 I_r에 영상 블러링을 적용함으로써, 이미지에서 주요 형태는 유지되면서 배경의 노이즈를 제거하고 단조로운 패턴만을 남기도록 한다.

중간값 필터는 주어진 커널 안의 픽셀 값을 정렬하여 중앙값을 선택하고, 이 값을 커널과 동일한 영역에 해당 값으로 채우는 비선형 필터이다. 이 필터는 주변 잡음이나 작은 자갈·질감 패턴과 같은 비균열 요소를 효과적으로 약화시켜, 균열의 구조적 특징이 상대적으로 더욱 두드러지도록 한다. 이를 통해, I와 I_a에 대하여 같은 크기의 커널로 중간값 필터링을 적용한 결과를 L1 Loss를 사용한 손실 함수를 제안한다.

기존의 L₂, L_ssim, L_seg와 제안하는 L_med를 모두 학습을 위한 손실 함수 L_total로 사용하며, 이를 최소화하는 것을 목적으로 학습을 진행한다. 이 과정을 식 (3)와 같이 나타낼 수 있다.

테스트 단계에서 균열의 존재 여부는 균열 점수 η를 계산함으로써 결정된다. I에 대해 중간값 필터를 적용한 후, Concatenation 영상을 생성한다. 이를 판별 네트워크를 통해 M_r을 생성하며, 로컬 평균 풀링과 글로벌 맥스 풀링을 차례로 적용한다. 이어서상황에서 최댓값을 갖는 픽셀의 값을 균열 점수로 활용한다. 이 점수를 통해 영상 내에서 균열의 유무를 판별하는 기준으로 사용하며 1에 가까울수록 결함이 있을 확률이 높다는 의미이다. 반대로 0에 가까우면 결함이 없을 확률이 높다는 의미이다.

그림 3은 정상 이미지와 실제 균열 영상의 중간값 필터를 적용한 결과를 나타낸다. 좌측의 경우 원본 영상이며 균열로 오해하기 쉬운 자갈들이 우측 중간값 필터링을 적용한 영상에서는 모두 제거되고 균열 부분이 더욱 강조된 것을 볼 수 있다.

Fig. 3.

Examples of median-filtered images

Ⅳ. 실험 및 분석

4.2 데이터 세트

본 논문에서는 포장도로와 콘크리트의 정상인 경우와 균열이 있는 경우를 모두 포함하는 Concrete & Pavement Crack Dataset[10]를 사용한다. 이 데이터 세트는 드론과 스마트폰을 통해 수집되었으며 기본적인 영상의 크기는 227x227이다. 균열의 유무에 따라 Crack과 Non-Crack으로 분류하여 각각 15,000장씩, 총 30,000장의 영상을 제공하고 있다.

사용하는 입력 영상의 크기는 (128, 128)이므로 모델의 입력 층에서 크기 조정하는 과정이 포함된다. 또한, 제안 방법의 모델은 정상 영상에 대하여 증강하여 재구성하는 과정을 거치기 때문에 학습에는 정상 영상만 포함되어야 한다. 따라서, 제공하는 정상 영상의 50%만 학습에 사용하고 나머지 정상 영상과 균열이 포함된 영상을 모두 테스트 데이터로 사용한다. 이에 대한 내용은 표 1과 같다.

Table 1.

Dividing of datasets for training and testing

4.3 성능 평가

모델의 성능을 평가하기 위해 AUC, EER, AP, Macro-F1과 같은 여러 지표를 사용한다. AUC는 TPR(True Positive Rate)과 FPR(False Positive Rate)을 기반으로 ROC 곡선 아래의 면적을 측정하는 지표로, 높은 값은 모델이 다양한 임계값에 걸쳐 우수한 성능을 보임을 의미한다. EER은 전체 데이터 중 오류로 분류된 데이터의 비율을 나타내며, 낮은 값은 모델의 높은 정확도를 의미한다. AP는 Precision-Recall 곡선 아래의 면적을 측정한 값으로, 모델이 임계값의 변화에 따라 얼마나 정밀하게 예측하는지를 나타낸다. Macro-F1은 클래스 간 불균형을 고려한 모델의 성능을 평가하는 지표이다. Crack과 Non-crack 두 범주에 대해 각각 계산된 정밀도(Precision)와 재현율(Recall)의 평균값을 통해 각각의 F1 Score를 계산하고, 이 F1 Score의 평균값을 이용한다.

위에서 언급한 4가지 지표에 따라 기존의 DRAEM과 개선한 제안 방법에 대해 비교한다. 이에 대한 내용은 표 2와 같다. DRAEM 모델은 깊은 채널 구조와 이상 증강 과정에서 발생하는 분포의 차이, 그리고 영상의 노이즈를 고려하지 않는 등의 문제로 인해 포장도로 및 콘크리트 데이터에서 AUC가 0.734로 상대적으로 낮게 나타났다. 이러한 결과는 EER이 0.324, AP가 0.845, 그리고 Macro-F1이 0.652로, 제조 데이터 세트에 비해 현저히 낮은 성능을 보여준다. 반면, 본 논문에서 제안한 방법을 적용한 결과, AUC는 0.963으로 약 23% 향상되는 등 포장도로와 콘크리트 데이터에 대해 현저히 높은 성능을 나타냈다. 제안하는 방법에서 Median Filter의 사용만 제외하였을 때의 결과는 AUC 기준 0.917로 Median Filter의 활용은 긍정적인 영향이 있음을 알 수 있다. 이러한 성능 향상은 유사한 분포의 균열 증강과 손실 함수로 중간값 필터의 적용, 모델 깊이의 최적화, 그리고 테스트 단계에서의 노이즈 제거가 크게 기여한 것으로 분석된다.

Table 2.

Performance comparison of DRAEM and the proposed method according to performance measures

표 3은 테스트 데이터에 대해 제안 방법을 적용한 결과의 혼동 행렬을 나타낸다. 혼동 행렬을 분석한 결과, 제안하는 방법은 테스트 데이터 세트에서 높은 성능을 나타내는 것을 알 수 있다. 균열이 없는 경우(Non-Crack)의 총 7,500개 샘플 중 6,903개를 정확하게 식별하여 올바른 'Non-Crack' 예측의 정확도가 92.04%로 나타났다. 균열이 있는 경우(Crack)에는 총 15,000개의 샘플 중 13,048개를 올바르게 분류하여, 정확도는 86.99%로 나타났다. 이러한 결과는 균열 유무의 감지 모델이 높은 TPR을 유지하면서도 비교적 낮은 FNR(False Negative Rate)을 달성했음을 시사한다. 그러나, 'Non-Crack'을 잘못 'Crack'으로 분류한 개수는 597개로, 이는 균열이 없는 영역을 균열이 있는 것으로 오진하는 경우를 의미한다. 반면에, 'Crack'을 'Non-Crack'으로 잘못 분류한 개수는 1,959개로, 이는 균열이 있는 영역을 놓치는 경우를 나타낸다. 전반적으로, 이 혼동 행렬은 제안된 방법이 기존 방법에 비해 균열의 탐지에 있어 향상된 결과를 보이지만, 특히 FP(False Positive)와 FN(False Negative)에 대한 개선이 필요하다.

Table 3.

Confusion matrix of the proposed method

Ⅴ. 결론 및 향후 과제

본 논문은 포장도로 및 콘크리트 표면의 균열 유무 감지를 위한 기존의 DRAEM 모델을 개선하는 방안을 제시하였다. 개선된 방법론은 균열의 증강과 노이즈 제거에 집중하여, 여러 성능 평가 지표를 통해 기존 모델 대비 우수한 결과를 달성했다.

본 연구의 주요 공헌은 다음과 같다. 기존 Perlin Noise 방식의 한계를 극복하기 위해 균열의 형태적 단순성과 명확한 대비 특성을 반영한 검정 패턴 기반 균열 증강 기법을 새롭게 제안하여 재구성 모델의 학습 효율을 크게 향상시켰다. 또한, 도로·콘크리트 영상의 특성상 존재하는 자갈 등 다양한 노이즈 문제를 해결하기 위해 중간값 필터 기반의 노이즈 제거 손실 함수를 설계함으로써 균열 영역을 더욱 선명하게 강조하고 배경 노이즈를 효과적으로 억제하였다. 마지막으로, 본 연구는 제조 분야에 국한되었던 기존 재구성 기반 이상 감지 모델이 인프라·건설 환경에서도 높은 성능을 발휘할 수 있음을 제시함으로써, 다양한 비정형 표면에서의 균열 및 결함 감지를 위한 확장 가능성을 보여주었다.

하지만, 모델의 범용성을 다양한 환경과 조건에서 실험하여 더욱 검증할 필요가 있다. 이를 통해 성능과 안정성을 더욱 확립해야 하며, 실시간 감지 시스템을 위한 딥러닝 모델의 추론 속도 개선이 필요하다.

Acknowledgments

이 연구는 국립금오공과대학교 대학 연구과제비로 지원되었음(2024~2026)

References

• V. Zavrtanik, M. Kristan, and D. Skočaj, "Draem-a discriminatively trained reconstruction embedding for surface anomaly detection", Proc. of the IEEE/CVF International Conference on Computer Vision, pp. 8330-8339, Oct. 2021. [https://doi.org/10.1109/ICCV48922.2021.00822]
• Rahmawa and H. Lee, "Denoised Concrete Crack Detection Framework using Deep Auto Encoder", Journal of Korean Institute of Intelligent Systems, Vol. 31, No. 6, pp. 518-525, Dec. 2021. [https://doi.org/10.5391/JKIIS.2021.31.6.518]
• Y. Kim, "Development of Crack Recognition System for Concrete Structure Using Image Processing Method", Journal of Korean Institute of Information Technology, Vol. 14, No. 10, pp. 163-168, Oct. 2016. [https://doi.org/10.14801/jkiit.2016.14.10.163]
• H. Lee, J. Yang, and H. Jeong, "Proposed Pre-Processing Method for Improving Pothole Dataset Performance in Deep Learning Model and Verification by YOLO Model", The Journal of Korea Institute of Convergence Signal Processing, Vol. 23, No. 4, pp. 249-255, Dec. 2022. [https://doi.org/10.23087/jkicsp.2022.23.4.010]
• J. Huyan, W. Li, S. Tighe, Z. Xu, and J. Zhai, "CrackU-net: A novel deep convolutional neural network for pixelwise pavement crack detection. Structural Control and Health Monitoring", Vol. 27, No. 8, e2551, 2020. [https://doi.org/10.1002/stc.2551]
• J. Liu, et al., "Automated pavement crack detection and segmentation based on two‐step convolutional neural network", Computer‐Aided Civil and Infrastructure Engineering, Vol. 35, No. 11, pp. 1291-1305, Mar. 2020. [https://doi.org/10.1111/mice.12622]
• V. P. Golding, et al. "Crack detection in concrete structures using deep learning", Sustainability, Vol. 14, No. 13, pp. 8117. Jul. 2020. [https://doi.org/10.3390/su14138117]
• J. Si and S. Kim, "Difference Image Alignment Technique of Reconstruction Method for Detecting Defects in Thermal Image of Solar Cells", Journal of Korean Institute of Information Technology, Vol. 21, No. 5, pp. 11-19, May 2023. [https://doi.org/10.14801/jkiit.2023.21.5.11]
• S. Jeong and Y. Yoon, "Deterioration and Abnormality Condition Diagnosis through Measuring the DC Capacitor Capacity of PV Inverter", The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 24, No. 5, pp. 135-140, Oct. 2024. [https://doi.org/10.7236/JIIBC.2024.24.5.135]
• Concrete & Pavement Crack Dataset, https://data.mendeley.com/datasets/429vzbgmbx/1, . [accessed: Oct. 11, 2025]