열화상이미지와 딥 러닝을 활용한 자동 누수탐사기술 연구

2.1 캐나다

2010년 Mohamed Fahmy 등은 캐나다에서 수도관의 기존 누수탐사 방법에 대하여 한계를 극복하기 위해 열화상 카메라를 활용한 누수탐사 가능성을 조사하였다. 봄과 가을에 발생한 누수는 누수지점과 비누수지점 도로지면의 온도 차이를 탐지하여 누수지점을 찾을 수 있는 가능성을 확인하였다[4].

2009년 Mohamed Fahmy 등은 그림 4와 같이 계절별로 수도관 온도, 주변온도, 도로노면 온도가 시간에 따라 어떻게 변하는지를 조사하였다. 겨울에는 수도관 온도가 주변온도, 도로노면 온도보다 높은 것을 확인할 수 있는데, 이것은 계절적 영향으로 겨울에는 수도관 온도가 주변과 도로노면의 온도보다 뚜렷하게 높은 것을 알 수 있다. 봄과 여름의 경우는 주변온도와 도로노면 온도가 올라가서 세 종류의 온도가 동일한 수준으로 조사되어 온도차를 활용하기가 쉽지 않음을 알 수 있었다[5]. 가을에는 다시 추워지면서 수도관 온도가 주변온도, 도로노면 온도보다 높은 것을 확인할 수 있는데, 이때 온도차를 활용할 수 있음을 보여준다. 세 종류의 온도차만을 고려할 때, 봄과 여름을 제외한 겨울과 가을에 누수탐사가 가능한 것으로 보이지만 캐나다의 겨울은 눈이 많이 내려서 적용하기가 어려웠다[5].

Fig. 4.

Comparison between temp in four season[4]

또한, 누수지점과 비누수지점의 도로노면 온도 차를 활용한 누수탐사의 적용가능성 여부를 검증하기 위해서 현장에서 전문가가 단순 청음봉을 이용하여 직접 누수여부를 확인하는 작업도 진행되었다[5]. 열화상 이미지를 활용한 누수탐사 방법과 전문가의 단순 청음봉을 활용한 누수탐사 방법을 통해 확인한 누수탐사 지점을 그림 5와 같이 비교하였으며, 누수지점의 오차는 1.01~2.30m로 비교적 정확한 것으로 조사되었다[5].

Fig. 5.

Leak location using thermography and acoustic detection[5]

2.2 영국

2015년 Bubaker Shakmak 등은 영국에서 비교적 건조한 지역의 누수탐사를 위해 고해상도와 저해상도 적외선시스템의 적용가능성을 실험하였다. 실험은 리비아의 “The Great Man-Made River Project”에서 누수를 모의하기 위해 노면의 온도변화를 감지하여 누수를 탐지하였다. 실험조건은 그림 6과 같이 11cm 깊이의 지면에 직경 20mm 관로를 통해 지속적으로 물을 흘려보내면서 누수가 없을 때와 있을 때의 고·저해상도 촬영이미지를 비교하였다[6].

Fig. 6.

The experimental test with the high and low-resolution cameras[6]

그림 7은 누수가 없는 관로를 고·저해상도 열화상 카메라로 촬영한 이미지이다. 세로의 가운데 파란색 선이 물이 흐르는 관이며, 주변보다 온도가 낮음을 알 수 있다[6]. 3개 지점(A, B, C)의 횡단면 온도를 분석했을 때 지점별 온도가 유사하여 누수는 없는 것으로 조사되었다[6].

Fig. 7.

Water no-leak condition for both camera[6]

그림 8은 누수가 발생한 관로를 고·저해상도 열화상 카메라로 촬영한 이미지이다. 누수가 발생했을 경우 횡단면 온도가 전체적으로 상승(고해상도 22℃→30℃)하였으며, 누수지점의 노면온도가 다른 지점보다 낮음(고해상도 30℃→27℃)을 알 수 있다[6]. 그리고 저해상도와 고해상도 이미지를 동시에 관찰하였으나 동일한 실험결과를 보여서 해상도에 관계없이 열화상이미지를 활용한 누수탐사가 가능함을 검증하였다[6]. 고해상도 카메라를 활용할 경우 헬륨 풍선, 드론을 이용하여 높은 고도에서 원거리 누수탐사도 가능한 것으로 연구되었다.

Fig. 8.

Water leak condition for both camera[6]

2.3 한국

2016년 한국전자통신연구원은 딥 러닝 기반의 화재영상 인식기술을 개발하여 무인기에 탑재하였고, 국지적 재난감시 및 위기상황 대응을 위한 스마트아이(Smart Eye) 사업을 진행하였다[7].

한국전자통신연구원이 제시한 연구모형은 그림 9와 같으며, 원시 데이터(Raw Data)를 정제(Cleaned)하고 범위설정(Scaled)하여 학습용(Training) 데이터와 검증용(Validation) 데이터로 분류한다[7]. 학습용 데이터를 활용하여 1차 모델(Model Creation)을 만들고, 튜닝과정을 반복하여 검증용 데이터를 만족하면 최종 모델(Final Model)을 확정한다[7]. 이렇게 확정된 최종 모델에 새로운 데이터를 입력(Incoming)하면 학습된 결과에 따라 원하는 성과를 도출하며, 이 최종 모델도 지속적으로 학습을 반복하여 업데이트하게 된다[7].

Fig. 9.

Supervised learning workflow[7]

이미지 데이터를 분류하기 위한 딥 러닝 기법은 조합신경망(CNN, Convolution Neural Network)을 이용하였으며, 그림 10과 같이 여러 이미지를 형상화하여 조합(Convolution)하고, 데이터의 크기를 축소(Pooling)하는 과정을 2회 반복하여 최적의 알고리즘을 생성하게 된다.

Fig. 10.

Convolution neural network[7]

무인기에서 취득한 화재영상 이미지와 지상에서 취득한 기후, 기상, 계절 데이터를 딥 러닝 기반의 실시간 처리·분석을 통해 재난을 감지·예측하고, 통합경보시스템과 연동하여 재난상황 대응을 지원함으로써 대국민 재난정보 서비스를 향상할 수 있게 되었다[7].

Mohamed Fahmy 등은 다양한 계절의 환경에서 열화상이미지를 이용한 누수탐사 가능성을 연구하였고, Bubaker Shakmak 등은 고·저해상도 카메라를 활용하여 지면의 온도변화를 통해 누수의 진행방향을 검증하였다. 이것은 열화상이미지와 노면 온도변화를 활용하여 누수탐사가 가능한지에 대한 연구이고, 사용 중인 수도관에 직접 적용한 사례는 없다.

한국전자통신연구원은 화재영상과 조합신경망을 활용한 영상인식시스템 기술을 개발하여 화재여부를 자동으로 판별하게 되었는데, 누수탐지 열화상이미지를 확보한다면 자동 누수탐사 기술의 개발도 가능해 보인다.

본 연구에서는 국외의 열화상이미지를 활용한 노면 누수탐사 연구와 국내의 조합신경망을 활용한 영상인식시스템 연구를 기반으로 열화상이미지와 딥 러닝을 활용한 자동 누수탐사기술을 연구하였다.

3.1 연구모형

본 연구는 열화상이미지와 지능정보기술을 결합하여 지중에 매설되어 있는 수도관의 누수를 탐사하는 기술을 개발하기 위하여 그림 11과 같은 연구모형을 설계하였다.

Fig. 11.

Study model of water leak detection

연구모형은 첫째, 누수가 의심되는 지역을 대상으로 열화상이미지를 취득하여 데이터를 구성하고, 열화상이미지는 기계학습을 위해서 누수 이미지와 비누수 이미지를 적정한 비율로 확보하여야 한다. 이때, 지중의 수도관에 대한 구경, 종류, 매설년도, 매설깊이, 도로 포장형태, 과거 사고이력, 평균수압 등의 누수와 관련된 정보를 동시에 입력한다.

둘째, 열화상이미지 데이터를 영상인식에 특화된 DCNN(Deep Convolution Neural Network) 기법을 활용하여 누수이미지와 비누수 이미지를 반복하여 기계학습하고, 누수지점의 열화상이미지 특징을 추출하여 누수구간을 확정한다. 열화상이미지 데이터를 전처리하고 변환, 저장하는 기술은 특징을 추출하는 신경망과 영상을 분류하는 신경망으로 구성하였다.

셋째, 확정된 누수구간을 대상으로 수도관이 매설된 위치를 따라 이동하면서 도로노면 열화상이미지를 추가적으로 반복수집하여 판단모델에 입력하면 온도변화가 심한 지점의 열화상이미지가 최종 누수지점으로 선정된다[8].

넷째, 누수탐지 판단모델을 통해 누수로 판단되는 의심지역은 현장에서 굴착작업을 통해서 최종적으로 누수여부를 확정하고, 판단모델의 정확성을 검증하고 오류를 보완한다[9].

딥 러닝 기반의 지능정보기술은 한국전자통신연구원의 CNN 모델을 응용하여 조합신경망을 적용하였다. 연구모형을 통해 우선 실험실에서 물 이동 변화를 모의 실험하여 가설을 검증하였고, 한국수자원공사에서 운영 중인 청주정수장 2단계의 원수계통 수도관에 현장 적용하여 실증적으로 검증하였다.

3.2 가설설정

그림 12, 13에서 계절별로 수돗물의 수온과 지면·지중 온도 차이가 발생하고 있음을 알 수 있다. 만약, 수도관에 누수가 발생한다면 수돗물의 수온이 지중에서 지면으로 전달되어 누수가 없는 지점의 지면과 다른 온도분포를 보일 것이며, 누수에 따른 지면의 온도변화는 시간이 지남에 따라 물의 흐름 방향으로 확산될 것으로 예상된다.

Fig. 12.

Temperature change of 1~6 months in 2016(℃)

Fig. 13.

Temperature change of 7~12 months in 2016(℃)

지중에 매설되어 있는 수도관에 누수가 없을 경우 4~8월은 지면 온도가 지중 온도보다 높게 나타나며, 지중에서 누수가 발생할 경우 새는 물이 지표면으로 전달되어 지면의 온도는 하강할 것이다. 이때 지면을 촬영한 열화상이미지를 활용하여 누수여부를 자동으로 판별할 수 있게 된다.

연구모형과 수돗물의 계절별 온도변화를 기초로 두 가지 가설을 설정하였다.

가설1은 지중에 매설된 수도관에 누수가 발생하면 수돗물이 도로표면으로 흡수되어 도로표면의 온도가 변화하는가에 대한 가설이고, 가설2는 도로표면의 온도변화는 물의 흐름방향으로 확산되어 누수지점의 정확한 확인이 가능한가에 대한 가설이다.

[가설1] 수도관 누수가 발생하면 수돗물이 도로표면으로 전달되어 도로표면 온도가 변화할 것이다.

[가설2] 누수가 발생되는 지점의 도로표면 온도변화는 물의 흐름방향으로 확산될 것이다.

4.1 가설검증

수도관의 누수 시 지중의 물 이동 변화를 모의하기 위하여 1㎏/㎠ 압력으로 4ℓ/h의 수돗물을 주입했을 때, 시간경과에 따라 지중으로 점차 확대되는 그림 14와 같은 결과를 얻었다. 지중 수도관의 누수발생 시 수돗물이 도로표면으로 전달되고, 온도가 변화되어 가설1은 유효한 것으로 채택하였다.

Fig. 14.

Water moving change of ground surface

누수에 따른 도로표면의 온도변화를 모의하기 위하여 그림 15와 같이 실험하였고, 지하 1m 깊이의 누수 시 도로표면 온도를 관찰하면, 물의 흐름 방향으로 온도가 상승하는 것을 확인하였다. 누수는 누수지점에서 물의 흐름 방향으로 계속 확산되어 가설2는 유효한 것으로 채택하였다.

Fig. 15.

Temperature change of ground surface

4.2 연구성과

연구모형 대상지역에서 수집된 열화상이미지를 활용한 조합신경망의 적용성과 누수판단 모델의 정확성을 검증하기 위해 연구를 수행하였으며, 열화상이미지 중에서 누수가 발생한 경우와 발생하지 않은 경우에 대해 기계학습 및 검증을 위해 자료를 표 1과 같이 분류하였다.

Table 1.

Thermography data

열화상이미지는 누수인 경우 80장, 비누수인 경우 30장으로 모두 110장을 수집하였으며, DCNN 연구모형의 정확도를 향상하기 위하여 학습용 72.7% (학습 80, 전체 110), 검증용 27.3%(학습 30, 전체 110) 분류하였다.

DCNN 학습을 위해서 그림 16과 같은 열화상이미지 전처리를 “RGB → Gray → BW” 단계로 수행하였다.

Fig. 16.

Pre-processing thermography

열화상이미지 데이터를 분석하기 위한 DCNN은 그림 17과 같이 구성하였다. 전단의 특징 추출 신경망의 구성에서 입력이미지는 크기가 28×28 픽셀인 흑백이미지로 입력노드를 784개로 구성하였다. 컨벌루션 계층(W₁)은 9×9크기의 컨벌루션 필터를 20개 포함한다.

Fig. 17.

DCNN construction

컨벌루션 계층의 출력은 ReLu 함수를 통과해 출력되고, 그 다음에 풀링 계층을 통과한다. 이어서 영상 분류 신경망은 은닉층(W₅)과 출력층(W₀)으로 구성하였으며, 활성함수로 ReLu를 사용하였다. DCNN 구조와 1,000회 반복학습을 통해 가중치 행렬을 아래와 같이 도출하였다.

W₁:9×9×20, W₅:100×361,920, W₀:2×100 matrix

학습 열화상이미지와 검증 열화상이미지는 모두 누수여부에 관한 정보를 가지고 있었고, 누수는 “1”, 비누수는 “0”으로 표시하였다. 학습 열화상이미지를 DCNN을 통하여 반복학습을 한 다음에 검증 열화상이미지를 판독한 결과, 정확도는 66.7%(누수 20개, 전체 30개) 수준으로 도출되었다.