Home

싱크 홀은 지표면의 일부가 붕괴된 형태로 지반이 함몰되거나 구멍이 만들어진 것이다. 자연적으로 발생하는 싱크 홀 대부분은 카르스트 프로세스에 의해 발생한다[1]. 그러나 최근 지하 탐사 기술이 발달하면서 다양한 원인에 의해서 싱크 홀이 발생하는 것이 발견되고 있으며, 그 가운데 네 가지 주요 발생 원인은 용해(Dissolution), 표면 침하(Cover-subsidence), 표면붕괴(Cover-collapse) 및 인공적인 원인에 의한 것으로 알려져 있다. 이러한 원인 중 도시 지역의 건설 활동이 많아짐에 따라 사람에 의해 유발된 싱크 홀이 급속히 증가하고 있다. 이와 같이 사람에 의해 발생되는 싱크 홀은 인명 피해뿐만 아니라 심각한 경제적 손실을 주기 때문에 이러한 손실을 막기 위해서 사전에 탐지되어야 하는 많은 재난중의 하나이다. 경우에 따라 싱크 홀은 폐기물을 처리 할 장소로 사용되기도 하였으며, 그 결과 지하수가 오염되어 심각한 문제를 발생시켰다. 따라서 싱크 홀을 조기에 발견하는 것은 삶의 질을 향상시키기 위해서 정부와 사회단체가 해야 하는 매우 심각한 문제이며, 특히 거주 지역에서 발생하는 싱크 홀을 조기에 발견하는 것은 매우 중요하다.

이와 같이 싱크 홀은 인간의 삶의 질, 그리고 경제에 크게 영향을 미치지만 싱크 홀 추적하고 관리하는 방법에 대한 연구는 크게 진행되지 않았다. 싱크 홀을 식별하는 가장 일반적인 방법은 싱크 홀이 나타나는 영역에서 드릴을 사용하여 탐사하는 것이다. 그러나 이와 같은 방법은 매우 비효율적이며, 시설을 파괴하고 싱크 홀을 악화시킬 위험이 있다[2]. 싱크 홀을 확인하는 또 다른 방법은 콘 침투 탐상 검사(CPT, Cone Penetrometer Test)를 사용하는 것이다. CPT는 토양의 지질 공학적 성질을 규명하고 지질층을 표현하기 위해 활용되며, 이 CPT 방법에 의해서 전반적으로 싱크 홀일 확률이 결정된다. CPT는 비교적 신속하고 간단하게 싱크 홀을 탐지할 수 있으나 접촉식 검사방법으로 인해 싱크 홀을 악화시킬 수 있다.

현재 GPR(Ground Penetrating Radar)은 싱크 홀을 탐지할 때 가장 일반적으로 사용되는 방법이다. GPR은 지상에서 지하로 레이더 신호를 보내고 수신 신호를 분석한다. 그러나 이 방법의 단점은 지하층에 존재하는 매우 다른 조건에 의해 신호가 분산 될 수 있다는 것이다. GPR 방법과 유사하게 지진파를 이용하여 특정 지역에 싱크 홀이 나타날 확률을 분석하는데 사용될 수 있다[3]. 이 외에도 특정지역에 싱크 홀이 명백하게 없다는 것을 확인하기 위해서 ERT(Electrical Resistivity Tomography)와 DPSH(Dynamic Penetration Super Highway) 등의 방법이 사용된다[3].

대형 싱크 홀을 감시하고 추정하기 위해서는 지상 기반 간섭계 합성 개구 레이더(Ground-based Interferometric Synthetic Aperture Radar)가 활용된다. 일반적으로 이런 종류의 시스템은 넓은 지역을 관찰하기 위해 높은 위치에 설치된다. 그러나 이 방법의 한계는 설치 위치가 감시 결과에 영향을 미칠 수 있다는 것이다.

공수 레이저 스캐닝 기술(Airborne Laser Scanning Technology)[4]은 공중 레이저 스캐닝 데이터를 사용하여 싱크 홀 위험을 감지 기술로써, 일반적으로 표면 및 물체에 대한 상세한 3D 정보를 수집하는 방법으로 활용된다. 3D 데이터에는 일반적으로 지형 내에 포함되는 표면 형상 및 싱크 홀에 대한 정보가 포함되어 있지만, 싱크 홀은 주변 환경과 크게 다른 모양을 형성하지 않는다. 따라서 이 방법으로 싱크 홀을 탐지하는 것은 쉽지 않다. 공수 레이저(Airborne Laser) 방법은 일반적인 사진으로는 구분할 수 없는 초목, 토양 색상 및 표면 온도를 사용하여 침하 지역을 나타낼 수 있다. 그러나 데이터를 수집하기 위해서는 시간과 비용이 많이 들며, 또한 주변 환경에 의해 결과가 많은 영향을 받는다.

최근에 많은 양의 학습 데이터를 사용할 수 있고, 고성능 GPU이 개발됨에 따라 싱크홀과 같은 유사한 집단의 객체를 탐지하기 위한 기술을 향상시킬 수 있는 다양한 딥러닝 기반 방법이 제안되었다. RCNN(Regional based CNN)은 S. Ren[5]에 의해 빠른 처리를 위해서 제안되었지만 실시간 시스템에서 구현하기에는 충분히 빠르지 않다. YOLO(You Only Look Once) framework[6]에서는 실시간 성능을 얻기 위해 region proposal을 regression 문제로 공식화했다. YOLO의 고유한 기능은 객체 감지의 개별 구성 요소를 단일 컨볼루션 네트워크로 통합하여 여러 경계 상자(Regions)와 해당 상자에 대한 클래스 확률을 동시에 예측한다는 것이다. 그러나 여전히 YOLO 프레임 워크의 정확성은 처리 된 이미지에 나타나는 작은 객체의 영향을 받기 때문에 싱크홀을 탐지하는데 고속 RCNN과 YOLO를 적용하는 것은 어렵다. 싱크홀을 탐지하는데 있어 필요한 것은 실시간으로 처리하는 것이며, 또한 싱크홀 이미지는 먼 거리에서 캡처되므로 어떤 싱크홀들은 작게 나타날 수가 있다.

싱크 홀을 탐지하기 위해 설명한 앞의 방법과는 달리 열 형상(Thermal Imagery)은 싱크 홀 영역의 표면 온도가 주변 영역의 표면 온도와 크게 다르다는 사실을 사용한다. 공수 레이저 방식의 고비용을 줄이기 위해 [7]는 넓은 영역을 감시하기 위해 원적외선(FIR) 카메라를 장착한 무인 항공기를 사용한다. 또한 이 방법에서는 시간의 경과에 따른 온도 차이를 관찰함으로써 싱크 홀을 기록하기 위한 최적의 시간을 알아냈다. 그리고 녹화된 영상에서 싱크 홀 영역의 후보를 적응 이진화 방법(Adaptive Binarization)을 사용하여 분할하였다. 그 다음 경량 컨볼루션 신경망(Light CNN)[8]과 BRF(Boosted Random Forest)를 사용하여 잠재적 인 싱크 홀을 실제의 싱크 홀로 분류한다. 그러나 열화상 카메라로 싱크 홀을 감지하는 방법은 조기에 싱크 홀에 대한 경고 메시지를 줄 수 있지만, 열화상 카메라의 출력 이미지에 노이즈가 포함되어 있어 결과가 안정적이지 않다. 또한 싱크 홀의 정확한 위치를 추적하여 경고를 할 수 없다.

본 논문에서는 [7]에서 제공되는 데이터 세트를 사용하여 싱크 홀의 조기 발견 및 경고를 하는 자동 싱크 홀 추적 시스템을 소개한다. 데이터 세트는 드론에 탑재 된 열화상 카메라에서 수집된 데이터를 사용한다. 본 논문에서 제안된 시스템은 크게 세 부분으로 구성된다. 우선, 이진 영상에서 후보 싱크 홀 영역을 추출한 후, 싱크 홀 후보를 실제 싱크 홀로 분류하기 위해 CNN 전달 학습(Transfer Learning)을 적용한다. 마지막으로 싱크 홀을 추적(Sinkhole Tracking)하기 위해서 데이터 연결(Data Association) 방법이 구현된다.

본 논문의 나머지 부분은 다음과 같이 구성된다. 2 장에서는 제안 된 알고리즘과 시스템에 대해 설명한다. 3 장에서는 실험 결과를 보여주며, 4장에서는 추후 연구내용과 결과에 대한 검토를 한다.

본 논문에서 제안된 방안은 그림 1과 같이 후보 싱크 홀 분할(Candidate Sinkhole Segmentation), 싱크 홀 분류(Sinkhole Classification) 그리고 싱크 홀 추적(Sinkhole Tracking)의 세 단계로 구성되어 있다. 제안된 방안의 첫 번째 단계인 싱크 홀 분류는 온도 편차에 의한 이진 분류(Binary Segmentation)하는 것이다. 이 단계에서는 열화상 이미지를 수신한 후 주어진 비디오 프레임에서 후보 싱크 홀 위치를 출력한다. 이진 분할은 싱크 홀 위치의 온도가 주변 지역의 온도보다 낮다는 현상에 의해 이루어진다. 두 번째 단계는 후보 싱크 홀을 실제 싱크 홀로 분류하기 위해 전송 학습(Transfer Learning) 방법을 사용하는 싱크 홀 분류기이다.

Fig. 1. 
Flowchart of proposed method

마지막 단계인 실시간 싱크 홀 추적에서는 데이터 연관 문제를 처리하기 위해 헝가리언 알고리즘(Hungarian Algorithm)[9]을 사용하며, 싱크 홀 분류기에서 수집 된 데이터는 현재 프레임 및 이전 프레임의 데이터 분포를 기반으로 온라인으로 트랙릿(Tracklet)에 할당된다. 또한, 분류 단계에서 불안정한 결과를 출력 할 수 있는 문제점은 본 연구에서 개발 된 방향 투표 기법(Direction Voting Technique)으로 해결할 수 있다.

2.1 후보 싱크 홀 분할

영화상 카메라 영상의 회색 음영 이미지는 첫 번째 단계의 입력이다. 분할(Segmentation) 알고리즘은 열 영상에서 차가운 영역을 찾아 후보 싱크 홀을 감지한다. 이를 위하여, 주변 환경이 싱크 홀보다 어두운 회색을 가질 수 있기 때문에 이중 임계(Dual-thresholding) 방법을 적용한다. 이중 임계 프로세스는 다음과 같다. I는 입력 이미지이고, (x,y)는 특정 픽셀의 위치이며, T_l과 T_h는 임계값을 나타낸다.

Ix,y=0,ifIx,y≤Tl or Ix,y≥Th255,if Tl≤Ix,y≤Th

(1)

T_l는 Otsu 알고리즘을 적용하여 정하였다[11]. 데이터 세트에 대해서 적용한 결과 T_h=T_l+20에서 최상의 성능을 제공한다는 것을 알 수 있었다.

2진 세그먼테이션 단계 후에도 2진 이미지에 여전히 잡음이 남아 있으며, 세그먼트 된 영역의 가장자리 잡음을 제거하기 위해 개방(Opening), 폐쇄(Closing), 팽창(Dilate), 침식(Erode)과 같은 형태학적 동작(Morphological Operation)이 적용된다.

형태학적 잡음 제거 후, 나무, 건물, 자동차과 같은 싱크 홀과 유사한 형태를 것들을 제거하기 위해 연결 요소 분석(Connected Component Analysis)를 적용한다. 세그먼트된 이미지에서 흰색 픽셀의 각 블록은 휴리스틱 필터(Heuristic Filter)를 통과하는 연결 된 구성 요소로 간주된다. CC_i는 이미지에서 i번째 연결 구성요소이며, w_i는 CC_i의 넓이, h_i는 CC_i의 높이, 그리고 s_i는 CC_i의 영역으로써 i번째 연결 구성요소의 흰색 필셀 수이다. 휴리스틱 필터의 알고리즘은 Algorithm 1에서 설명되며, 그리고 플리커 에너지 분류[10]는 세그먼트된 이미지에서 노이즈를 제거하기 위해서 고려된다.

Algorithm 1 
Cell Examination

procedure while CCi ∈ Connected Component Set do    if wi or hi ≤ t1 then 　　 remove CCi    if wi or hi ≥ t2 then 　　 remove CCi    if wihi≤ t3 then 　　 remove CCi    if wihi≥ t4 then 　　 remove CCi    if shape of CCi is not convex hull then 　　 remove CCi    if si ≤ t5 then 　　 remove CCi    if si ≥ t6 then 　　 remove CCi    if the variance of pixel value in ith           connected component is larger than      t7 then 　　 remove CCi end

휴리스틱 필터에서 사용 된 임계 값들은 경험적으로 선택된다. 선택된 임계 값들은 (t₁, t₂, t₃, t₄, t₅, t₆, t₇) = (5, 100, 0, 2, 5, 75, 1000, 15) 이다. 그림 2의 (a)는 열화상 이미지를 보여주며, (b)는 이진 분류 결과 이진 영상을 보여준다.

Fig. 2. 
Binary segmented result

2.2 CNN 전달 학습에 의한 싱크 홀 분류

최근 컴퓨터 기술의 발달로, 딥 러닝은 이미지를 분류하는데 가장 향상된 성능을 보여주었다. 본 논문에서는 실제 싱크 홀과 다른 물체를 구분하기 위해 CNN 분류기를 구현하였다. CNN 전달 학습을 이용한 영상 분류는 훈련(Training)과 예측(Prediction)의 두 단계로 구성된다. 훈련 단계에서 CNN 모델은 해당 유형으로 레이블이 지정된 알려진 데이터 이미지 세트를 사용하여 학습된다. 모델이 학습되면 새 이미지의 객체 유형을 예측하는 데 사용된다.

CNN 모델을 학습하기 위해서는 엄청난 수의 매개 변수 때문에 큰 데이터 집합과 많은 양의 계산량, 그리고 성능이 뛰어난 컴퓨터가 필요하다. 따라서 데이터 세트가 부족하면 CNN을 학습시키는데 많은 어려움이 있다. 대신 사전에 훈련 된 모델을 원래 데이터 집합에 속하지 않는 범주에서 작업하도록 전송될 수 있다. 본 논문에서는 CNN 싱크 홀 분류 모델을 학습하기 위해 전달 학습 방법을 사용하였다.

Alexnet[12]이 LSVRC2012 유형 분류 컨테스트에서 성공을 거둔 이후에 ResNet(Residual Network)은 최근 컴퓨터 비전과 딥 러닝에서 가장 효율적으로 사용되는 훈련된 모델이다[13]. ResNet 모델은 수백만 개의 이미지와 1000개의 객체 유형이 포함 된 Image Net Dataset[14]에서 학습되었다. ResNet에는 다양한 버전이 있으며, 본 논문에서는 ResNet-50을 선택했다. ResNet-50은 49개의 컨벌루션 레이어(Convolution Layer), 1개의 완전 연결된 레이어(Fully Connected Layer) 및 1000 개의 객체 유형에 대한 각 이미지의 분류 점수를 계산하는 1개의 분류 레이어(Classification Layer)를 포함한다. 싱크 홀 영역을 분류하기 위해 최종 레이어를 싱크 홀과 싱크 홀이 아닌 두 가지 객체 유형 만 있는 새 레이어로 대체했다. 이 레이어는 데이터 집합에서 역 전파 미세 조정 접근 방식(Back-propatation Fine-tune Approach)을 사용하여 처음부터 훈련되어진다.

비디오 프레임에서 싱크 홀 이미지 분류하기 위해 CNN을 훈련시키기 위해서는 훈련을 위한 하나의 데이터 세트와 평가를 위한 또 다른 데이터 세트를 준비해야 한다. 본 논문에서 교육을 위한 데이터 세트 7000개의 싱크 홀 이미지와 7000개의 싱크 홀이 아닌 이미지가 있으며, 평가 데이터 세트는 각 클래스에 대해서 1000개의 이미지가 있다.

전달 학습 방식을 사용하여 CNN을 훈련 할 때, 사전에 훈련된 CNN의 가중치가 상대적으로 좋았기 때문에 초기에 작은 학습 율을 사용했으며 빨리 수정할 필요가 없었다. 최적화 프로세스는 최대 50,000 반복 실행되었으며, 훈련 된 CNN 분류기의 결과 정확도는 99% 이상이었다. 그림 3은 학습에 사용된 싱크홀과 싱크홀이 아닌 열화상 영상이며, 윗줄의 영상은 싱크홀 영상을 보여주며, 아랫줄은 싱크홀이 아닌 영상을 보여준다.

Fig. 3. 
Images from sinkhole dataset and non-sinkhole dataset

본 논문에서는 실시간 싱크 홀을 효율적으로 수행하기 위해 Intel Core i7, GPU : GTX 1070, Ram : 16Gb의 하드웨어를 사용하였다. 제안 된 싱크 홀 추적 시스템을 평가하기 위해 무인 항공기에서 캡처 한 수집 된 비디오가 사용되었다. 먼저 입력 비디오를 학습용 데이터 세트와 테스트용 데이터 세트로 세분화 한 후에 성능을 평가하기 위해 식 (6), (7)을 사용하여 평균 탐지 정확도(AP, Average detection Precision)와 평균 재현(AR, Average Recall)을 추정하였다.

TP : True Positive, FP : False Positive,FN : False Negative

중첩 임계 값(Overlapping Threshold)에 의해서 검출 된 싱크 홀이 FP 인지 또는 TP 인지를 알 수 있다. FP는 실제 싱크 홀의 중첩 임계값 이하로 중첩되는 모든 테스트 데이터를 테스트함으로써 결정되며, TP는 실제 싱크홀의 중첩 임계값 이상으로 중첩되는 모든 테스트 데이터를 테스트함으로써 결정된다.

표 1에 제안된 방법의 AR과 AP를 보여준다. 중첩 임계 값이 증가하면 제안 된 방법의 AP와 AR 점수가 감소한다는 것을 알 수 있다. 일반적으로 문헌에서 추적 방법의 성능을 평가하기 위해서 중첩 임계 값을 0.5로 사용한다.

본 논문에서는 실시간 싱크 홀 추적을 효율적으로 수행하기 위해 CNN 객체 분류기와 HA 데이터 연관을 결합한 접근 방식을 제안했다. 실험 결과 제안 된 방법은 중첩 임계 값 0.5에서 각각 AP와 AR에 대해 89%와 88.7%를 달성하였다. 그러나 본 논문에서 제안 된 방법은 입력 비디오가 안정적이지 않을 때 분할 단계에서 잠재 싱크 홀 후보를 감지하지 못하는 경우가 있으며, 또한, 훈련 세트에서 입력 잠재 후보가 누락 된 경우 분류기 성능이 좋지 않은 경우도 있다. 그러나 이러한 단점에도 불구하고 제안 된 방법은 적외선 카메라를 이용한 싱크 홀 검색과 같은 실용적인 분야에 유용하게 사용될 수 있음을 보여준다. 추후 연구 과제로는 현재 싱크 홀에 대한 데이터 세트가 부족하기 때문에 많은 데이터 세트를 확보를 하는 방법에 대한 연구를 진행할 예정이다.