Korean Institute of Information Technology
[ Article ]
The Journal of Korean Institute of Information Technology - Vol. 18, No. 1, pp.143-156
ISSN: 1598-8619 (Print) 2093-7571 (Online)
Print publication date 31 Jan 2020
Received 11 Dec 2019 Revised 11 Jan 2020 Accepted 14 Jan 2020
DOI: https://doi.org/10.14801/jkiit.2020.18.1.143

도시 시설물 안전을 위한 지능형 무선 센싱 시스템 구축

임준성* ; 유세복* ; 조수진** ; 박병호*** ; 김양수**** ; 장진웅*****
*㈜오파스넷 (*2 교신저자)
**서울시립대학교 토목공학과 조교수
***서울시설공단 기술혁신센터 차장
****㈜아와소프트 대표
*****㈜카이언스 대표/성공회대학교 겸임교수
Based on Intelligent Wireless Sensing System for Safety of Urban Facilities
Lim, Joonsung* ; You, Sebok* ; Cho, Soojin** ; Park, Byungho*** ; Kim, Yangsoo**** ; Jang, Jinwoong*****

Correspondence to: You Sebok Dept. of Business Strategy, 10F Shinan Building 512. Teheran-ro, Gangnam-gu, Seoul, Korea. 06179 Tel.: +82-2-2193-8600, Email; ljsung2014@gmail.com

초록

본 연구는 효과적인 도시 시설물의 실시간 안전진단을 위하여 지능형 무센센싱 시스템에 기반한 모델 개발을 통하여 관리자 신속한 의사결정을 지원하기 위한 방법을 제안한다. 이를 위해, 우선적으로 지능형 무선 센싱 시스템의 기술 동향을 조사·분석하였다. 이후 지능형 센싱 시스템 모델 개발에 필요한 기술을 정의 하였으며, 다양한 정보를 수집, 저장, 분석, 표현의 전 단계를 효과적으로 지원 할 수 있는 모델을 제안하였다. 본 연구를 통한 모델을 사용할 경우, 도시 시설물 관리를 위한 지능형 위험 인지 정보 체계를 구축 할 수 있으며, 관리 시스템을 이용한 사전 시설물 위험 관리 체계를 구축 할 수 있다. 또한, 연구결과는 향후 도시시설물 안전을 위한 지능형 의사결정 서비스 플랫폼 구축의 개발 및 관리에 필요한 의사결정을 위한 도구로 활용될 수 있을 것이다.

Abstract

This study proposes ways to support system managers' rapid decision making through the development of models based on intelligent wireless sensoring systems for real-time safety diagnosis of effective urban facilities. First, The technology trends of intelligent wireless sensing systems were investigated and analyzed. The technology needed for the development of intelligent sensing system models was then defined. A model is proposed to effectively support the shear meter of various information collection, storage, analysis and expression. Using the model through this R&D, an intelligent risk-aware information system can be built and a pre-facility risk management system can be constructed using the management system. Also, The findings could be used as a tool for making decisions necessary for the development and management of an intelligent decision service platform for the safety of urban facilities in the future.

Keywords:

EMS, adaptive, potable, wireless

Ⅰ. 서 론

1.1 연구의 배경 및 목적

재난관리에 의한 특별법에 따라 일반 교량(인천대교, 서해대교 등) 및 초고층 복합 건축물은 시설물의 변위상태 측정을 위해 정밀 센서와 관련 시스템 등을 구축하여 개별 시설물 단위의 모니터링 시스템을 구축하고 있으나, 전국의 건축 시설물에 대해서는 기상, 측정방법, 비용, 상시관측의 어려움으로 실시간 통합 모니터링체계가 미흡한 실정이다[1].

본 연구에서는 신정부 국정운영 20개 전략의 하나인 국민의 안전과 생명을 지키는 안심사회 구현 및 재난안전관리의 국가책임체제 구축의 목표아래, 지속적으로 증가세를 보이는 지진, 건물 노후화 등으로 인한 시설안전 불감증에 대하여 대처가 가능 하도록 설계되고 운영관리의 효과 극대화를 위한 정보 체계 운용에 대한 수집과 분석의 필요성이 증가 되고 있다[2]. 이러한 측면에서 ICT를 중심으로 초연결시대의 등장이 본격화됨에 따라 SW, 지능형반도체, IoT, 네트워크 빅데이터 등 각 분야의 기술개발이 급속히 발전함에 따라 선제적 사고예방을 위한 스마트 다중센서, 지능형 인지시스템 등 예측, 자동화, 시뮬레이션 기술과 신속하고 안전한 사후처리를 위한 로봇 등 ICT 융복합형 안전 대비기술의 중요성이 지속적으로 증대되고 있다. 이에 따라 기존 안전관리 단계에서 단순 계측 정보 수집, 인력에 의한 시설물 외관 조사, 인력에 의한 CCTV감시 및 사고감시를 지능정보 기술 중심으로 전환한 인공지능 기반시설물 지능형 무선 센싱 모니터링 시스템을 필요로 한다. 특히, 본 센싱 시스템 시스템을 통하여 수집된 센싱 정보는 초기 설계부터 운영관리 에서 발생 되는 다양한 도시안전을 위한 시뮬레이션에 적용할 수 있다. 지능형 무선 센싱 시스템 기반 시스템은 기술적 적용 측면은 공간적, 업무적, 시간적 범위 환경에서 발생 될 수 있는 시설 안전 모니터링을 위하여 적용될 수 있는 지능형 센싱 시스템, 인공지능을 이용한 지능형 시설물 감시, 스마트 모니터링 체계 개발에 필요한 기술을 도출하였다.

연구의 활용적 측면에서 적용 목적에 따라서는 시설물 안전 사전 인지, 예측, 분류, 군집, 연관성에 대한 의사결정 모델을 도출 할 수 있으며, 도시 단위 건물, 시설물 안전과 운영 관리를 위한 의사결정을 수행 할 수 있다.

시설물 안전을 위한 시스템으로 연구되는 BIM (Building Information Modeling)은 3차원 기반 건설정보 데이터베이스 모델링 방법으로, 최근 건설 분야에서 크게 확산되고 있다. 이와 관련하여 조달청은 2016년까지 공공건물 발주에 BIM 모델링 적용을 의무화 하였다. 해외의 경우, 영국, 미국과 같은 선진국은 설계 단계에서 시설물 운영 관리에 필요한 정보를 사전에 정의함으로써, 건설 전생애주기 차원에서 정보의 상호운용 비용을 낮추기 위한 방안 중 하나로 BIM 발주 제도를 정립해가고 있다[3]. 해외에서는 효과적인 에너지 관리 및 운용을 위한 데이터마이닝 연구가 있었다[7]. 시스템 유지관리와 관련된 의사결정 지원 시스템에 관한 연구는 건물 유지보수를 위한 의사결정 지원도구를 시스템적인 접근 방법으로 개발하였으며, 현장에 관련 정보 제공을 위해, 모바일 기반 인터페이스를 제안하고 있다[8].

도시 건물적 관점에서 사물인터넷 및 인공지능을 이용하여 데이터 기반 예측 모델의 접근 움직임은 도시의 특수한 환경에서 발생 되는 안전 예방에서 보다 높은 수준의 연구를 필요로 한다. 본 연구에서는 이러한 시설물 안전에서도 파급력이 높은 분야인 교량과 터널의 안전 예방을 위한 지능형 무선 센싱 시스템을 제시 하도록 한다.

1.2 연구의 필요성

최근 재난의 대형화, 복합화 등으로 재난안전관리 환경이 크게 변화함에 따라 더욱더 고도화된 기술 지원에 의한 문제 해결 요구가 증대 있으며, 과학기술의 고도화와 사회구조의 다각화 및 복합화로 대표되는 현대사회에 있어서 재난 안전에 대한 예측가능성이 극히 낮아지고 있다[4]. 본 연구는 기술적인 측면에서 도시 안전의 경우 재난에 따라 다양한 형태와 적용 대상물에 대한 특별한 안전 관리 방식이 제기 되어 왔다. 특히, 교량계측 시스템은 1995년 김포대교에 처음 설치된 후 2000년도부터 본격적으로 설치가 되었으나, 주로 사장교, 현수교 등 특수교량에만 구축하였고, 유선방식 데이터 수집으로 설치 및 이동이 어려우며 계측시스템 또한 서로 다르게 구축되었기 때문에 통합분석 및 확장성이 불가능한 상태이다. 또한, 현재 구조물 점검방식은 현장접근의 어려움과 지나치게 인력에 의존한 점검으로 인명사고 발생 및 점검비용 및 점검시간이 과다하게 발생하고 있다. 매년 600여 건의 크고 작은 교통사고가 고속도로 터널 내에서 발생하지만, 신속하게 사고를 검지하여 후방차량에게 정보를 제공하는 등 방법으로 2차 사고를 예방하는 터널교통관리시스템의 부재는 도시 안전의 취약점을 드러 내고 있다. 지능형 무선 센싱 시스템 구축을 통하여 개별화되거나, 수작업으로 처리 되는 도시 시설물의 안전관리의 통합화된 플랫폼 구축으로 시설물 사전예측을 위한 의사결정 시스템으로 적용 할 수 있다.

1.3 연구의 방법 및 범위

도시 시설물 안전을 위한 지능형 무선 센싱 시스템 구축을 위하여 그림 1과 같은 스마트 시설물 모니터링 시스템의 구성안을 기준으로 연구를 진행 하였다. 본 논문은 지능형 무선 센싱 시스템 개발에 필요한 지능형 센싱 장비 기반 시설물 현장 데이터를 수집할 수 있는 센싱 모듈과 수집된 데이터를 인공지능 프로세스기반으로 데이터를 분석하여 자동으로 상황인지판단 기술 , 분석된 정보를 시설물 모니터링 시스템에서 시설물 관리자에게 실시간 상황전파를 하는 스마트 모니터링시스템 구축에 필요한 기술을 제시 하여, 본 시스템은 향후, 도시 시설물 안전을 위한 지능형 무선 센싱 시스템 기반 시스템 결합을 통한 도시 시설물 안전 의사결정 도구로써 활용될 예정이다.

Fig. 1.

Smart facility monitoring system configuration


Ⅱ. 연구 동향

건축물 실시간 안전진단을 위한 ICT기반 핵심기술개발의 동향은 주로 안전진단 기술 분야에서 센서와 비파괴 검사를 이용한 건물 구조 분석으로 이루어 졌으며, 특히, 비파괴 검사의 경우 영상처리 기술의 발전으로 인한 구조물 모니터링 분야의 적용 사례가 증가 하고 있었다[3]. 국내의 경우 주로 센싱, 비파괴 검사 위주의 모니터링 시스템에서 센서 네트워크를 이용한 빅데이터 기반 관리 기술의 개발이 연구되기 시작 하였으며, 최근 BIM 기반의 안전관리 및 의사결정을 위한 플랫폼 구축 연구가 빠르게 증가 하고 있다. 해외의 경우 BIM 기반 유지관리 기술은 상대적으로 연구가 미진함. 하지만 이 분야의 연구는 최근 연구가 과거에 비하여 증가하고 있는 추세이다. 특히, 시설물 유지 관리 분야의 기술을 선도하고 있는 북미, 유럽, 아시아 주요 국가는 정부 차원에서 정책적, 제도적으로 BIM 도입을 추진하고 있으며 ISO는 시설물 유지관리를 위한 가이드(ISO 13822)를 제시하였다[5].

도시 시설물 안전을 위한 지능형 기반 시스템 연구는 스마트 시티 분야에서 스마트 안전이라는 측면에서 연구 되고 있으며, 에너지, 빌딩, 기반시설에 대하여 사물인터넷 기술 및 빅데이터를 이용한 센싱 정보 기반의 도시 시설물 안전을 위한 중요한 기술 분야로 연구 되고 있다.

앞서 조사된 국내외 연구를 분석해 보면, 본 연구에서 대상을 삼고 있는 도시 시설물 안전을 위한 지능형 무선 센싱 시스템 기반 시스템과는 센싱적 접근과 정보 분석을 통한 연구에서는 부분적 또는 모니터링을 위한 개념적인 유사성을 가질 수 있으나 실제 현장 활용에 필요한 플랫폼 기반 구성은 차이가 있다.

본 연구에서는 도시 시설물 안전을 위한 지능형 기반 시스템으로 정의되는 주요 핵심 적용 기술과 지능형 센싱 장비 기반 데이터 수집 모델, 센싱 장비, 국제 표준 기반의 데이터 처리기술 ,시설물 스마트 모니터링 시스템을 도출해 보도록 한다.


Ⅲ. 지능형 무선 센싱 시스템 적용 기술

3.1 딥러닝 기술을 적용한 균열탐지

딥 러닝(Deep learning)을 주로 사용하는 분야는 음성인식 및 이미지 인식이다. 방대한 데이터양의 처리와 정확성이 상대적으로 높기 때문에 딥러닝 기술을 활용하여 많은 기업에서 서비스 제공에 활용 하고 있다. 페이스북, 구글이 대표적인 기업이며, 본 연구에서도 지능형 균열 감지를 위하여 적용될 수 있는 기술이다.

도시 시설물에서의 정보수집은 웹 스크레이핑이나 구조물 관리 DB(FMS, BMS 등)로부터 딥러닝 학습을 위한 다양한 손상 및 비손상 이미지를 수집하고 이를 DB로 1차적으로 구축한다. 이미지의 촬영 조건(조도, 블러링, 촬영각도 등)을 고려한 학습을 통해 딥러닝 모델의 정확성을 향상시키기 위하여, 다양한 학습데이터를 생성하는 이미지 증강 기술(Image augmentation)을 함께 사용할 수 있다. 구축된 기술을 통하여 영상에서 자동으로 물체를 탐지할 수 있는 CNN(Convolutional Neural Network)을 기반으로 하는 딥 러닝 모델을 사용하여 교량 손상탐지를 수행 하도록 하는데 이는 사람이 물체를 인식하는 과정을 디지털 영상에서 수학적으로 모사한 방법이 적용된 기술을 적용한다.

현재 다양한 형태의 CNN 모델이 개발되었으며, 최근에는 영상에서 물체를 탐지하고 동시에 형상을 추출해주는 Instance Segmentation 모델이 많이 개발되고 있다.

학습용 이미지 DB와 이미지 증강기술을 활용하여, Instance Segmentation 모델중 하나인 Mask R-CNN(Region-based CNN) 모델을 각 손상에 대해 학습시킴으로써, 이미지로부터 손상을 탐지하고 형상을 대략적으로 추출해 줄 수 있다. 2017년 페이스북연구진에 의해 개발된 딥 러닝 모델이다.

이 모델은 가장 성능이 높은 Instance Segmentation 모델 중 하나이며, 이는 손상의 존재/비존재 영역만을 구분하여 학습 가능하여 학습데이터가 많이 필요하지 않으며, 손상의 형상을 미리 근접하게 추출할 수 있어 추후 정량화 시 오차 발생을 최소화할 수 있다는 장점을 지니고 있다.

3.2 균일 정량화 기술

본 기술은 시설물에 대하여 회색조 변환, Filtering, Blob Detection, Morphological Operation, 이진화(Binarization) 등의 이미지 프로세싱(Image processing) 기법 조합을 통해, 손상 형상의 추출을 수행 하는 것으로 손상의 특징(Feature)에 대한 이해를 통해, 각 손상을 최적으로 정량화할 수 있는 이미지 프로세싱 조합 기술이다. 최종 균열 형상 검출을 위해 텍스트 탐지를 위해 개발된 적응형 이미지 이진화 방법을 이용 할 수 있으며 이 기술은 텍스트와 균열이 구별 가능한 선과 곡선으로 구성되는 점이 유사하여, 텍스트 탐지용 이진화 기법이 균열 식별에 적합하다는 장점을 가지고 있다.

딥러닝 모델에 의해 탐지된 손상 부위의 이미지에만 추가적인 이미지 프로세싱 기술을 적용함으로써, 손상 정량화 시 오차를 최소화 할 수 있다. [그림 2] 참조.

Fig. 2.

Uniform quantification technique[6]

본 기술은 이미지를 Gray scale로 변환한 후, 균열 너비 측정이 요구되는 특정 위치에서 균열 픽셀의 수를 계산하는 방법으로 픽셀의 실제 너비를 계산하는 것으로 카메라의 초점거리를 기준거리로 사용하는 카메라 핀홀 모델을 사용하여 밀리미터 단위의 균열까지 측정 할 수 있다.

3.3 딥러닝 기술을 이용한 유고감지

도시 시설물 중 터널음향은 다양한 원인에 의해 발생하고 있으며 각 원인별 음향에는 고유한 주파수 특성이 있다는 사실을 이용한 사고감지시스템이 사고음과 비사고음을 각각 주파수 변환하여 분석하여 보면 사고음이 가지는 특정 주파수 대역의 특징을 찾을 수 있다.

그림 3은 분석을 위하여 터널사고음을 수집한 다음 다양한 사고음으로부터 사고음에 나타나는 주파수 특성들을 추출하고 이를 딥 러닝 과정을 통해 학습시켜 사고음 판별 시스템으로 이용하는 기술인데 이때, 사고음향은 다음과 같이 표현할 수 있다.

Fig. 3.

Examples of accident detection technology

Tunne lSound = α × Accident + Noise
단 사고일 때 α = 1 정상인 경우 α = 0

분석용 수집 데이터인 사고음향의 주파수 분석을 통해 찾아진 많은 특성중 주요 특성 F1,F2,…,Fk이러고 할 때 터널음향은 다음과 같은 수학적 모델로 표현할 수 있다.

(사고음 모델 1)
Tunne lSound = α × (α1F1 + αkFk + … + αkFk) + Noise

이 모델을 활용하여 기존 사고음향과 정상상태의 음향을 이용하여 딥 러닝을 통해 α1,α2,…,αk을 학습시켜 임의의 터널음에 대해 사고 여부를 판별할 수 있다. 사고음 모델 1의 판별 성능이 충분하지 않은 경우 특정 Noise(머플러음, 바람소리, 경적소리, 사이렌소리)등에 대해 같은 방법으로 Noise들을 학습시킴으로써 개선된 사고음 판별 모델을 추가적으로 만들어 낼 수 있으므로 이를 이용한 보다 상세한 학습 데이터를 구축 할 수 있다. 전체 시스템 모델은 수집된 터널 음향을 전처리하는 단계, 사고음으로부터 특징을 분리하는 단계, 사고음 특징을 학습하는 단계와 최종 학습결과를 기반으로 사고음 여부를 판별하는 판별기로 구성하며 전처리 단계는 FFT를 통해 주파수영역의 특징을 추출하고, 다채널의 입력으로 들어오는 음원에 대하여 터널 잡음으로부터 사고음을 분리하는 비음수 텐서 분해 기반의 머신러닝 알고리즘을 사용하며, 모델 훈련은 WFST 기반 Kaldi speech recognition toolkit을 활용하여 가우시안 혼합모델 및 은닉 마코프 모델 등 특징기반 알고리즘을 이용한 인공지능 딥러닝 모델을 적용한다.

3.4 교량 변위 상관분석 알고리즘

시설물 중 교량의 안전도 및 사용성에 영향을 미치는 변위는 온도환경에 큰 영향을 받으며, 교량의 온도 분포(구배), 재료 특성, 부재의 연결속성, 구속조건 등 다양한 인자의 영향을 받기 때문에 안전도 평가에 활용하기 위해서는 온도와의 상관관계를 우선적으로 유도해야 한다.

적응형 주성분 분석법(APCA, Adaptive Principal Component Analysis)을 이용하여 실시간으로 계측되고 있는 변위로부터 온도에 대한 상관성을 지속적으로 얻어낸 뒤, 이를 고려하여 교량의 안전도를 평가할 수 있는 모델을 도출 할 수 있다. 이때 사용되는 APCA(Initial Phase)는 초기 변위값에 PCA를 적용하여 온도변화에 의해 나타날 수 있는 변위의 허용범위를 만들어준 뒤 (Updating Phase), 새로운 계측값에 대해 반복적으로 PCA를 적용하면서 변위가 온도변화에 의한 것인지 구조물 변화(손상)에 의한 것인지 판단하는 기술이다. 그림 4는 온도와 교량 변위 사이의 상관관계를 데이터 기반으로 유도하여, 교량 변위로부터 온도의 영향을 배제한 값을 교량의 안전도 평가에 사용할 수 있는 알고리즘으로 이를 이용함으로써 안전도 평가의 정확도 향상이 가능 하다.

Fig. 4.

Algorithm forb bridge displacement correlation analysis

3.5 신축이음부 음파분석 알고리즘

본 기술은 신축이음부에 손상이 발생할 경우 교량을 주행하고 있는 차량과의 직접적 접촉으로 인하여 소음이 발생될 수 있으므로, 소음의 음파를 측정하고 그 특징을 분석함으로써 신축이음부의 이상상태를 미리 진단할 수 있는 기술로 주변 소음을 배제하고 신축이음부의 손상으로 발생하는 음파의 특징만을 추출하기 위하여, 음파의 시간이력곡선과 FFT(Fast Fourier Transform)를 통해 획득한 주파수스펙트럼에 대해 CNN기반 딥러닝 모델을 적용한다.

신축이음부의 손상에 의해 발생하는 음파의 특징을 추출하기 위해, 다양한 상태(정상, 유간 폐쇄, 유간 넓음, 강판 유동, 고무판노화, 후타재 파손 및 탈락 등)의 신축이음에 음파센서를 설치 후 음파데이터를 취득하여 딥러닝 학습데이터 구성되는 특징을 가지고 있으며 신축이음부 주변의 음파는 손상 유형에 따라서 다른 주파수적 특징을 보일 것으로 보이나, 교량 주변부에서는 통행하는 차량에 의한 소음의 크기가 매우 크므로 주파수영역 데이터만을 이용할 경우 명확한 손상의 판별이 어려울 것으로 예상된다.

그러므로 그림 5와 같이 신축이음부 주변의 음파를 탐지하여 시간영역과 주파수영역의 데이터를 함께 이용한 학습데이터를 생성하고 딥러닝 모델을 학습시킴으로써 주변 환경소음에 대해 강건(Robust)하고 신축이음부 손상탐지에 최적화된 형태로 딥러닝 모델을 구성한다.

Fig. 5.

Sound wave analysis algorithm for expansion joints

3.6 지능형 센싱 모듈

지능형 시설물 관리를 목적하는 현장에서 사용되는 센서는 그림 6과 같이 기본적인 설정값에 따라 데이터를 1차적으로 필터링하여 오류데이터 및 의미 없는 데이터를 배제하고 FFT처리, 변위 데이터 분석기능 등 1차적인 분석기능을 센싱 장비에 프로그래밍 하여 변위 분석에 필요한 데이터만 송신하도록 하는 기술을 내장하도록 한다. 다양한 센싱 장비 수용 및 장비제어, 설정, 분석기능을 적용하여 센싱 장비에서 수집한 데이터 저장 기능, 경보 및 장애처리기능, 센싱 장비 설정 및 제어기능, 데이터 분석기능 등을 수행 할 수 있는 메커니즘을 적용한다.

Fig. 6.

Intelligent sensing module functions


Ⅳ. 세부 지능형 무선 센싱 시스템

4.1 지능형 무센 센싱 장비 기반 데이터 수집

기존 계측장비는 센서로부터 모든 정보를 수집하여 오류 데이터나 의미가 없는 데이터도 실시간으로 전송하는 등 방대한 전송 데이터로 인하여 데이터 요금 등의 문제가 발생한다. 불필요한 데이터의 전송으로 인한 분석환경 방해와 데이터 요금의 낭비를 막도록 현장에서 설정값에 따라 데이터를 1차적으로 필터링하여 오류데이터 및 의미 없는 데이터를 배제하고 FFT처리, 변위데이터 분석기능 등 1차적인 분석기능을 센싱 장비에 프로그래밍 하여 분석에 필요한 데이터만 송신하는 기능을 구성한다.

또한 Wireless기반으로 설치 및 이동을 쉽게하여 다양한 교량에 적용이 가능하도록 하며 통신방식은 BLE등 다양한 무선 프로토콜을 수용할 수 있고, 상시전원이 아닌 태양광으로 전원을 공급하여 설치 및 이동이 용이하게 하여 여러 부위에서도 변위정보를 수집하여 활용 할 수 있는 그림 7과 같은 데이터 수집 모델을 적용한다.

Fig. 7.

Data collection flow configuration

4.2 이미지 센싱

이미지 센싱 장비는 카메라모듈, 보드모듈, 펌웨어, SW로 구성되며 교량받침 주변에 설치되어 교량의 변위를 측정하는 용도로 사용되며, 물체에 반사되어 되돌아오는 빛을 렌즈로 모아 상을 맺히게 하는 소자인 CCD 또는 CMOS에 비치게 하고 이 값을 R.G.B의 삼원색의 8비트 원소값으로 조합(255,255,255)으로 이미지 데이터를 생성하며, 부하공급전압 감시 및 경보 발생기능, 비상시 리셋 제어 기능, 센서부, CPU부, 통신부의 이상발생시 분석할 수 있는 기능 등 지능형 분석에 용이한 정보를 수집 할 수 있다.

이미지 센싱을 이용하여 교량 등의 하부 등에 적용하여 변위를 측정 할 수 있으며, 이때 변위 알고리즘을 이용하여 안전유무를 판별 할 수 있다. 그림 8과 같이 변위 측정 알고리즘을 적용 할 수 있다.

Fig. 8.

Example of displacement measurement algorithm

4.3 온도 센싱

온도 센싱 장비는 온도센서모듈, 보드모듈, 펌웨어, SW로 구성되며 교량의 교각 부문에 설치되어 교량의 온도를 측정하는 용도로 사용할 수 있으며, 반도체 센서를 이용한 센서로서 하나의 통신선에 여러개의 온도센서 연결이 가능한 Multi Drop 기능의 Onewire 통신이 가능한 센서를 사용한다.

수집되는 데이터는 교량변위 거동분석 시스템의 기초자료로 사용되며, 지능형 알고리즘을 이용하여 부하공급전압 감시 및 경보 발생기능, 비상시 리셋 제어 기능, 센서부, CPU부, 통신부의 이상발생시 분석할 수 있는 기능을 적용 할 수 있다.

온도센서는 상용망과 연결된 게이트웨이와 직간접적으로 연결하여 데이터 송신이 가능하도록 구성 하며, 센싱 정보의 정확성을 기하기 위하여 자체 저장공간을 할당 할 수 있는 구조로 구성 할 수 있다.

4.4 음파 센싱

음파 센싱 장비는 교량의 신축 이음부에 설치되어 신축 이음부의 상태를 판단하는 기초자료를 제공하며 음파 분석 알고리즘을 적용하여 교량의 상태를 판단하도록 구성하며, PZT 등의 압전 재료는 힘을 가하면 전하를 발생하는 특성을 가지고 있어 금속 등의 표면을 통해 전파된 AE파가 AE 센서 내부의 PZT에 전달된다.

또한 PZT의 변형에 의해 전기 신호로 변환하며, AD변환시 샘플링 주파수, 샘플링 수 설정 기능, FFT처리 기능 및 특정 영역만 전송할 수 있는 필터링 기능(Bandpass, 멀티설정) 등 지능형 정보 수집에 용이 하도록 구성 할 수 있다.

4.5 게이트웨이

게이트웨이는 각종 센싱 장비에서 수집되는 데이터는 센서의 정보 수집 프로토콜에 준하여 전송된다. 그림 9는 게이트웨이의 데이터 전송 운용을 위한 펌웨어 기술 체계를 제시 하였으며 이때, IoT 플랫폼의 중간노드에서 정보를 수집하고 다양한 센싱 장비와 통신규약을 수용할 수 있는 어댑터형식의 센싱 클라이언트 모듈제공, 서버통신규약 수용, 센싱 장비에서 수집한 데이터 저장 기능, 경보 및 장애처리기능, 센싱 장비 설정 및 제어기능, 데이터 분석기능 등 지능형 센싱 장비와 서버 플랫폼과의 중계역할을 다양한 기능으로 처리할 수 있는 게이트웨이의 기능은 데이터 수집을 용이하게 하며, 센싱 장비 및 노드에서 발생 되는 이상 징후, 데이터 중간 수집, 필터링, 데이터 트래픽 관리를 통하여 실시간 안전 감시에 장점을 제공하여 준다.

Fig. 9.

Apply gateway firmware technology

4.6 IoT 플랫폼 구성

지능현 알고리즘이 탑재된 무선 센싱 시스템은 다양한 시스템 환경 및 N개의 트래픽을 실시간 또는 대량의 조정보를 전송한다.

그림 10은 산재되어 있는 다양한 데이터 소스와 시스템, 어플리케이션(Application) 등으로부터 데이터를 수집하고, 그 수집된 데이터에 의미를 부여하여 재사용 가능한 정보(Reused information)’, “지능적인 정보”가 되도록 만들어 주는 통합 IoT플랫폼의 구성을 도식화 하였으며, 시스템은 IoT 표준프로토콜 및 플랫폼 구성을 통한 장비별 연계 및 중앙 집중관리 용이하도록 하며 센서/기기 추가 확장성 용이 및 유지관리비용 절감될 수 있도록 구성 한다.

Fig. 10.

IoT platform based on sensing equipment (ex)

플랫폼의 주요 구성으로는 게이트웨이 연계, DB연계, 설비수집정보 분석기능으로 정의 할 수 있으며, 특히 분석적 관점에서는 경보처리, 이벤트처리, 정주기 데이터로 분류하여 업무별로 프로세스를 진행하는 기능을 부여 할 수 있다.

각 센싱 장비 또는 게이트웨이 간 통신 메시지 구조는 TCP/IP 기반 MODBUS 통신형식을 적용하여 Poll-Response 구조로 구성하도록 한다.

플랫폼 구성에서 인증 및 보안은 도시 시설물 안전과 직결 되므로, G/W플랫폼과 정보 교환 시 이기종간 정보교환의 효율성과 정보보호 및 시스템 침입방지를 위하여 ASN.1 정보체계와 SEED 암호화 알고리즘을 적용하여 보완성 강화 및 신뢰성이 향상된 원격통합 관리 시스템의 구축 방안 적용이 필요하며, 이상징후적인 측면과 침입, 보안취약의 측면을 고려한 지능형 인증 보안체계를 구축 하여야 한다.

4.7 스마트 모니터링 서비스 표현

도시 시설물 안전을 위한 지능형 기반 시스템은 지능형 알고리즘을 탑재한 센싱 시스템과 정보의 수집, 전송을 지원하는 게이트웨이의 노드 구성을 기준으로 IoT 플랫폼에 구축된 분석 알고리즘 및 딥러닝 기술을 이용한 지능형 학습 시스템의 결과를 이용하여 다양한 시설물 안전 및 이상 징후, 안전관리 프로세스를 지원 할 수 있는 시각화 서비스로 도출 할 수 있다.

그림 11의 시설물 모니터링을 위한 정보 표현 카테고리를 구성할 수 있다. 시설물 모니터링은 모니터링, 계측정보, 계측분석, 사용자 관리의 구성으로 하는 안전도 모니터링, 모니터링, 균열상태, 의사결정을 구성하는 외관상태 모니터링, 교량, 터널 등에서 발생 되는 유고 감지 모니터링 등의 지능현 센싱 기반의 다양한 모니터링 서비스를 구성할 수 있다.

Fig. 11.

Config of facility monitoring information representation

그림 12는 안전도 모니터링 중 변위알고리즘이 적용된 센싱 데이터를 기반으로 한 변위측정 모니터링 사례로 이외 교각의 변위측정, 음파정보, 가속도, 변위변화 등에 따른 다양한 안전도 모니터링을 시각화된 정보 표현 방식으로 제공할 수 있다.

Fig. 12.

Safety monitoring (displacement measurement)

또한, 그림 13처럼 시설의 안전도뿐만 아니라 시설물의 외관 및 망도 등 수치적인 데이터 표현이 아닌 이미지화된 정보 표현 방법으로 구성하여 사용자의 시설물 안전관리를 위한 실시간적이며, 직관적으로 관리가 가능한 시스템으로 구축 할 수 있다. 싱 기반의 다양한 모니터링 서비스를 구성할 수 있다.

Fig. 13.

Correlation monitoring (exterior network plot)

스마트 모니터링 시스템은 개인, 시설 관리자, 응급 대응팀 등과 같은 다양한 대상을 중심으로 기능할 수 있으며 지리적 제약을 넘어 사용할 수 있도록 지원한다.


Ⅴ. 연구 시스템을 이용한 적용 사례 검증

본 장에서는 그림 14~16처럼 상기 제시된 지능형 센싱 장비와 서비스 시스템을 기준으로 실제현장에 설치 및 운용을 통하여 현장 적용 시 활용 될 수 있도록 테스트 베드를 구성 하였다. 테스트 베드는각 시설물의 기능과 위험 내용을 기준으로 구조물의 변위 등의 데이터를 수집·분석, 이상 징후와 잔존수명을 예측해 노후시설 운영 수명 연장을 할 수 있는 대상 시설물로 선정 하였으며, 영상·이미지·음향 등을 인공지능 학습을 통해 자동으로 상황인지·판단하여 효율화하고, 안전사고를 예방하는 기술개발에 적합한 시설물을 선정하였다. 시설물에는 상기 소개된 연구 센싱 장비를 설치하여 데이터를 수집하고 해당 시설에 대한 분석 및 모니터링을 위한 HW, SW를 설치한 후 센싱 장비의 운용, 정보 수집, 실제 정보 전송에 따른 센싱 데이터의 분석, 안전도 모니터링, 외관 모니터링 등의 정보 수집, 저장, 분석, 표현의 전단계의 프로세스를 구성 하였다. 테스트를 위한 도시 시설물은 터널 안전 모니터링을 위한 홍지문터널, 교량 안전을 위하여 청담 대교, 탄천2교를 선택한 후 시스템을 구성하였다.

Fig. 14.

Test bed (Hongjimon tunnel)

Fig. 15.

Test bed (Cheongdam bridge)

Fig. 16.

Test bed (Tancheon 2 bridge)

테스트베드로 선정된 지역 중 홍지문 터널의 경우 터널 내부사고 감시를 위한 음향수집 장치를 설치하여 사고와 비사고의 음향 결과 내용을 학습 할 수 있도록 구성하고 이를 통하여 사고 유고 사황을 모니터링 하도록 구성 하였다. 교량 구조물의 경우 이음부에 음파, 이미지, 온도 센서 장비를 포함하고, 전송에 필요한 게이트웨이를 설치 한 후 상용망을 이용한 정보 전송 체계를 구성 하였다. 이를 통하여 실시간으로 변화하는 교량 이음부의 데이터를 수집하여 교량 안전이상을 분석 할 수 있는 모니터링 체계를 구축 하였다.

그림 17은 상기의 내용을 기반으로 본 연구를 통하여 제시된 시스템 모델을 테스트베드용 실시간 데이터 수집체계를 구성하였으며 실제 구현 목표 시스템의 구성과 도시 시설물 안전을 위한 지능형 무선 센싱 시스템의 활용성을 평가 할 수 있는 테스트 베드로 구축하여 실제 정보관리 체계에 대한 결과물로 도출 하였다.

Fig. 17.

Test bed (data collection)


Ⅵ. 결 론

본 연구에서 제시한 지능형 센싱 시스템은 일반적인 도시 시설물인 건물이나 도로의 상황보다 난이도가 높으며 사고 시 인명피해 및 손실이 막대한 구조물을 대상으로 실시간 센싱 정보를 활용하여 사고 후 대응방식이 아닌 인공지능 기반의 딥러닝 체계를 이용하여 다양한 사고예방을 위한 통합형 사전 예측 서비스 시스템으로 제시 하였다.

현행 대부분의 도시 시설물은 특정한 건물 또는 단순 모니터링, 일반적 수준의 정보 모니터링 센싱 수준과 개별 시설물을 관리하는 수준에서 시설물 안전에 대한 통합적 관점이 부족한 서비스의 한계에 머물러 있는 점을 감안할 때, 도시 시설물의 안전을 위한 지능형 센싱 시스템을 활용한 스마트 도시 안전 체계를 활용 할 경우, 보다 다양하고 실시간성 센싱 정보 분석을 통한 의사결정 지원 모델을 구축 할 수 있을 것으로 판단한다.

또한, 도시의 시설물적 관점에서 보면 대량의 시계열 데이터 및 로그 데이터들이 축적되는 것을 감안할 경우 도시 안전에 동반하는 예측, 연관성 분석을 통한 다양한 안전 시뮬레이션 분석 체계로 활용이 될 수 있을 것으로 판단되어 이에 대한 많은 연구가 필요 할 것으로 보인다.

향후, 무선 센싱 시스템 관점에서의 분석 방법, 기술, 적용 모델에 대한 연구와 더불어 도시 시설물, 건물 기획, 설계 시점에서 적용될 수 있는 지능형 빅데이터 기반 의사결정 지원 기술 연구가 필요하며, 분석 방법의 실효성을 올리기 위한 기술별 기법연구가 동반될 필요가 있다. 이러한 연구가 보다 정확한 의사결정 모델로 성장하기 위해서는 도시 시설물 안전 시뮬레이션을 뒷받침 할 수 있는 빅데이터 셋의 축적 및 학습 데이터 셋이 반드시 필요하며, 이렇게 축적된 데이터를 활용한다면 보다 정확하고 다양한 결과를 얻을 수 있을 것이다.

Acknowledgments

본 연구는 2019년도 과학기술정보통신부의 재원으로 한국정보화진흥원의 지원을 받아 수행된 국가인프라 지능정보화사업 중 인공지능 기반 시설물 스마트 모니터링 체계 구축 과제의 결과물입니다

References

  • SpaceN, "Research on the Application of Intelligent Facility Monitoring System Based on Spatial Information", 2017.
  • Korea State Affairs Planning Advisory Committee, "5-year plan for state affairs", 2017.
  • Tae-Wook Kang, Ji-Eun Kim, Jin-Woong Jang, and Chang-Hee Hong, "BIM-based Data Mining Model for Effective Energy Management", Journal of the Korea Academia-Industrial Cooperation Society, Vol. 16, No. 8, pp. 5591-5599, Aug. 2015. [https://doi.org/10.5762/KAIS.2015.16.8.5591]
  • KISTI, "Expanding the Public Safety Service Based on the Fourth Industrial Revolution", 2017.
  • Road Transport Research Planning, "Research on the ICT-based Core Technology Development for Real-Time Safety Diagnosis of Buildings", 2016.
  • H. Kim, E Ahn, S. Cho, M. Shin, and S. H. Sim, "Comparative analysis of image binarization methods for crack identification in concrete structures", Cement and Concrete Research, Vol. 99, pp. 53-61. Sep. 2017. [https://doi.org/10.1016/j.cemconres.2017.04.018]
  • Ammar Ahmed, Nicholas E. Korres, Joern Ploennigs, Haithum Elhadi, and Karsten Menzela, "Mining building performance data for energy-efficient operation", Advanced Engineering Informatics, Vol. 25, No 2, pp. 341-354, Apr. 2011. [https://doi.org/10.1016/j.aei.2010.10.002]
  • Qi Hao, Yunjiao Xue, Weiming Shen, Brian Jones, and Jie Zhu, "A Decision Support System for Integrating Corrective Maintenance, Preventive Maintenance, and Condition-Based Maintenance", In Proceedings of Construction Research Congress, Banff, Alberta, Canada, pp. 8-11, May 2010. [https://doi.org/10.1061/41109(373)47]
저자소개
임 준 성 (Lim Joonsung)

1990년 2월 : 성균관대학교 행정학과(행정학사)

2019년 7월 ~ 현재 : ㈜ 오파스넷 부장

관심분야 : 인공지능/빅데이터, IoT, Cloud

유 세 복 (You Sebok)

1992년 2월 : 광운대학교 전자공학과(공학사)

2019년 7월 ~ 현재 : ㈜ 오파스넷 상무

관심분야 : 네트워크, 클라우드, IoT, 빅데이터

조 수 진 (Cho Soojin)

2004년 2월 : 한국과학기술원 건설및환경공학과(공학사)

2005년 8월 : 한국과학기술원 건설및환경공학과(공학석사)

2011년 2월 : 한국과학기술원 건설및환경공학과(공학박사)

2016년 3월 ~ 현재 : 서울시립대학교 토목공학과 조교수

관심분야 : 시설물 안전진단, 딥러닝, 컴퓨터비전, 신호처리, 스마트센서

박 병 호 (Park Byungho)

2005년 2월 : 중앙대학교 건설환경공학과(공학사)

2005년 6월 ~ 현재 : 서울시설공단 기술혁신센터 차장

관심분야 : 시설물 유지보수, 안전진단 및 점검 등

김 양 수 (Kim Yangsoo)

1998년 2월 : 서울과학기술대학교 토목공학과(공학사)

2003년 8월 ~ 현재 : ㈜아와소프트 대표

관심분야 : 인공지능, IoT, 국가인프라관리, 디지털트윈,

장 진 웅 (Jang Jinwoong)

2013년 3월 : 서강대학교 정보통신공학과 (공학석사)

2012년 12월 ~ 현재 : ㈜카이언스 대표이사

2014년 8월 ~ 현재 : 성공회대학교 겸임교수

관심분야 : IOT & BigData, WSN/USN, Database, BIM, GIS, Computer Graphics, SW공학

Fig. 1.

Fig. 1.
Smart facility monitoring system configuration

Fig. 2.

Fig. 2.
Uniform quantification technique[6]

Fig. 3.

Fig. 3.
Examples of accident detection technology

Fig. 4.

Fig. 4.
Algorithm forb bridge displacement correlation analysis

Fig. 5.

Fig. 5.
Sound wave analysis algorithm for expansion joints

Fig. 6.

Fig. 6.
Intelligent sensing module functions

Fig. 7.

Fig. 7.
Data collection flow configuration

Fig. 8.

Fig. 8.
Example of displacement measurement algorithm

Fig. 9.

Fig. 9.
Apply gateway firmware technology

Fig. 10.

Fig. 10.
IoT platform based on sensing equipment (ex)

Fig. 11.

Fig. 11.
Config of facility monitoring information representation

Fig. 12.

Fig. 12.
Safety monitoring (displacement measurement)

Fig. 13.

Fig. 13.
Correlation monitoring (exterior network plot)

Fig. 14.

Fig. 14.
Test bed (Hongjimon tunnel)

Fig. 15.

Fig. 15.
Test bed (Cheongdam bridge)

Fig. 16.

Fig. 16.
Test bed (Tancheon 2 bridge)

Fig. 17.

Fig. 17.
Test bed (data collection)