AR 기반 원격 교각시공 모니터링 시스템 개발
초록
AR 기반 원격 교각시공 모니터링 시스템은 작업자의 안전 확보와 고도화된 모니터링 시각화를 목적으로 개발되었다. AR 기반 원격 모니터링 시스템 구성을 위해 Depth카메라와 IP카메라를 활용하였다. 특히, AR 이미지 정합 기능 구현을 위해 Depth 카메라를 활용하였다. AI 학습을 기반으로 철근 커플러에 대한 인식률을 높였고, 모니터링 상에서 AR 이미지에 대한 영상을 정합하였다. 특히, 외부 시공현장에 맞추어 AR 이미지 영상 정합에 대한 기능 고도화를 위해 켈리브레이션 교정 기능을 추가 개발하였다. AR 기반 원격 교각시공 모니터링 시스템은 원격 교각시공 작업자에게 정확한 철근의 방향 및 거리 정보를 모니터링 상에서 제공함으로서 편리하고 안전하게 원격으로 교각시공 작업이 가능하다.
Abstract
The AR-based remote pier construction monitoring system was developed for the purpose of ensuring worker safety and advanced monitoring visualization. Depth cameras and IP cameras were used to configure the monitoring system. In particular, a depth camera was utilized to implement the AR image alignment function. Based on AI Deep learning, the recognition rate for rebar couplers was increased, and the picture was matched to the AR image on monitoring. In particular, a calibration control function was additionally developed to enhance the function for AR image matching according to external construction sites. The AR-based remote pier construction monitoring system enables convenient and safe construction work by providing workers with accurate direction and distance information of rebar.
Keywords:
pier construction, augmented reality, AR, remote, monitoring, artificial intelligence, AIⅠ. 서 론
한국산업안전보건공단 자료에 따르면, 2020년부터 전체 산업재해 중 42% 이상이 건설 시공 중에 일어난 추락 사고라고 한다[1].
고소 고위험의 건설 시공 환경 노출과 함께 숙련공의 노령화 및 인력 부족, 인건비 상승 등 건설산업 환경은 더욱 악화하고 있는 상황이다[2]. 따라서, 미래 건설 시공환경에서 보다 안전하고 효율적인 건설 공법을 위해서는 무인 원격 건설 시스템에 대한 환경 조성은 반드시 필요하다.
본 연구는 AR 기술을 활용하여 고소 고위험 현장이 아닌 현장과 떨어진 컨트롤룸에 있는 작업자가 교각 시공을 모니터링하면서 안전하게 원격 조정할 수 있는 시스템을 제시한다.
AR 기반 원격 교각 시공 모니터링 시스템 개발을 위한 기본 하드웨어 구성은 카메라와 작업자용 모니터로 구성되어 있다. 특히, 로봇의 눈 역할을 담당하는 카메라는 고화질의 IP 카메라 6대와 위치 센서가 부착된 Depth 카메라 3대를 활용하였다. 구성된 카메라를 통해, 작업자는 시각으로 물체의 위치를 확인하고 로봇 컨트롤러로 원격 제어를 할 수 있다.
특히, AR 기술을 적용하기 위해서 본 연구에서 AR 이미지 정합기술과 AI 딥러닝 기술을 활용하여 교각 시공에 활용하는 철근에 대한 검출 기능을 개발하였다. 개발된 AR 이미지에 대한 정합 영상은 관제 모니터링 기능을 통해 원격 작업자가 제어실에서 모니터링이 가능하도록 개발하였다.
본 연구의 구성은 다음과 같다. 2장은 관련 연구를 통해 AR 기반 원격 교각 시공 모니터링 시스템의 중요성을 제시한다. 3장은 시스템 개발에 있어 AR 기능 및 프로그램, 하드웨어 구성에 대해서 논의한다. 마지막으로 4장은 결론을 통해 시스템의 한계와 전체 요약으로 마친다.
Ⅱ. 관련 연구
2.1 AR 기술
AR(Augmented Reality), 즉 증강현실 기술은 실제 공간 속에 실시간으로 가상의 시각적 데이터를 정합하는 기술이다. 이러한 기술을 통해 사용자는 정합된 가상 데이터를 확인하고 이를 기반으로 상호작용이 가능하기 때문에 다양한 산업에서 활용되고 있다. 특히, 최근에는 AR 기술이 단일 형태의 기술에서 제한되지 않고 로봇과 같은 다양한 기술과의 융복합을 통해 진화하고 있다.
AR 기술을 활용한 로봇 협업에 관한 주요 연구에 따르면, 모바일 로봇과 AR 기술을 활용하여 사용자에게 확장할 수 있는 이동형 스마트 공간을 제공할 수 있는 이동형 프로젝션 시스템을 개발하였다[3]. 이 시스템은 팬-틸트 기능을 활용하여 360도 제어가 가능한 프로젝터와 Depth 카메라를 활용하여 다양한 환경에서 사용자에게 시각화된 정보를 제공할 것으로 예상된다. 이러한 시스템을 통해 이동 환경에 제한 없이 사용자의 행동 중심의 AR 기반 데이터를 받아볼 수 있을 것이다.
AR 기술을 기반으로, UI로 구현된 기능을 통해 작업자는 기존 작업 대비 24% 감소하는데 기여를 하고 있다고 한다. 또한, 작업자가 로봇과의 협업에 있어 AR 기반 UI 구현 기능을 사용할 경우, 로봇의 대기시간을 기존 대비 64% 감소하는 효과를 얻을 수 있다고 한다[4].
제조업 현장에서 AR을 활용하여 작업자가 로봇과 협업하는 데 많은 장점이 있는 것을 알 수 있다. 우선, 제조업 현장에서 작업자는 AR 기술을 활용하여 로봇 상태에 대하여 실시간 영상 정합 데이터를 통해 인지하고 사전에 빠른 대응을 취할 수 있다. 또한, 작업자는 AR 기술을 통해 업무 환경을 빠르게 파악할 수 있다. 또한, 로봇과 협업하는 데 작업자는 편의성을 느끼게 되며, 이를 통해 작업의 효율성이 높아지게 된다[5].
이를 통해, 원격 교각 시공을 진행하는 데 AR 기술을 활용하여 작업자와 로봇 간의 효율적인 상호작용을 촉진하고 작업 프로세스를 최적화함으로써 생산성 향상에 이바지할 것으로 예상한다.
2.2 원격 제어 모니터링 시스템
원격 제어 모니터링 시스템은 사용자에게 물체의 상태 및 현황을 구축된 시스템을 통해 지속적으로 원격 제어가 가능한 감시 시스템을 말한다.
이를 통해, 사용자는 확인된 물체를 인지하고 향후 사용자의 원격 제어에 대한 의사결정에 도움을 준다. 특히, 원격 제어 모니터링 시스템은 유무선 통신을 통해 실내와 실외 환경에서 다양하게 활용되고 있다.
Y. S. Moon et al.[6] 연구에 따르면, 로봇의 실외 환경에서 원격 제어를 위해 GPS 데이터를 기반으로 머신러닝 알고리즘을 적용하여 로봇의 위치를 추적하였다. 로봇의 원격 제어 모니터링을 위해 openRTM을 적용하여 관리자가 서버를 통해 로봇 제어 및 상태를 확인할 수 있다.
T. Y. Uhm et al.[7] 연구에 따르면, Wifi 및 블루투스, LTE, LoRa 등 다중 무선 통신 시스템을 활용하여 실외 환경에서 이동식 로봇을 제어한다. 해당 원격 제어 모니터링 시스템은 로봇 상태(배터리, 로봇 가용 대수, 작업시간, 로봇 고장 여부 등) 및 구글 API 기반의 위치 정보, 그리고 로봇에 부착된 카메라를 통해 들어오는 영상 정보에 대한 모니터링이 가능하다. 특히, 원격 경비 임무를 수행하기 위해 사용자는 순찰, 감시, 안내, 복귀에 대한 명령을 인터페이스에 입력할 경우, 로봇 위치가 지도 GUI를 통해 모니터링이 가능하다.
D. W. Kim et al.[8] 연구에 따르면, 디젤 엔진의 원격모니터링 시스템을 제안하였다. 포켓용 원격 장비와 무선 네트워크 기반 지그비 모듈을 활용하여 웹 기반 원격 모니터링 시스템을 구축하였다. 특히, 선박에서의 엔진 상태를 지속적으로 확인하기 위해서 기존의 작업자가 일일이 체크 및 관리하는 불편함을 없애고자 선박 엔진의 원격 모니터링 시스템을 적용하였다.
이러한 사례 연구를 기반으로 원격 제어 모니터링을 개발함으로써 향후 작업자의 안전성 및 작업의 편의성을 확보 할 수 있을 것으로 기대한다.
2.3 스마트건설 시공
스마트건설은 전통적인 건설 방식에서 IT 기술과 융합하여 한층 업그레이드된 새로운 건설프로세스라고 할 수 있다. AR/VR, 로봇, 인공지능, 드론 등 미래 신산업에서 활용되고 있는 새로운 기술은 건설산업에 다양하게 적용하고 있다[9][10]. 특히, 인력 중심의 건설 현장에서 장소와 시간에 제한받지 않는 무인 건설 자동화 방식이 가능하고 이를 통해 건설의 생산성 향상과 작업자의 안전성 확보가 가능하다.
H. J. Park et al.[11] 논문에 따르면, 스마트 모터 그레이더를 활용하여 도로 건설 시공 자동화를 제시하였다. 센서 및 제어와 계측 시스템을 기반으로 경로 패턴에 대한 예측이 가능한 스마트 모터 그레이더는 다양한 도로 작업을 원격으로 제어할 수 있다. 특히, 도로 작업 조건에 따라 블레이드 제어가 가능한 자율 작업 제어 알고리즘을 개발하였다. 이를 통해, 향후 노면 평탄화 작업을 위해 안전성이 확보된 무인 원격 주행이 가능할 것으로 예상된다.
D. H. Kim et al.[12] 연구에 따르면, 토목공사에서 다짐 측정은 시공의 품질과 생산성을 결정하는 주요 요인으로 실시간 데이터 측정이 가능한 센서 기반 사물인터넷(IoT)을 활용하여 측정하였다. 특히, 기존 다짐 측정 장비와 대비하여 IoT를 활용하여 다짐 데이터를 확인할 경우, 실시간 다짐 데이터 확인 및 오차 수정 등에 소요되는 시간 및 투입 인력 등을 간소화하였다.
이처럼 스마트건설 시공 기술은 더욱 건설 현장의 무인화를 기반으로 작업자의 안전성 확보가 가능하다. 또한, 선제적으로 건설 시공 프로세스를 예측하고 대응이 가능함으로써 보다 높은 생산성을 실현하고 시공 시간 단축을 예상할 수 있다.
Ⅲ. AR 기반 원격 교각 시공 모니터링 시스템 개발
AR 기반 원격 교각 시공 모니터링 시스템은 작업자가 로봇을 활용하여 교각 시공을 원격으로 컨트롤하는 시스템이다.
본 연구에서는 AR 기반 원격 교각 시공 모니터링 시스템을 개발하기에 앞서, 다양한 모니터링 시스템의 구성 사례를 통해 주요 구성요소를 확인한다.
클라우드 환경에서 통합 보안관제 모델에 대한 연구 자료를 보면, 관제의 주요 H/W 환경으로 네트워크 기반 시스템에 설치된 에이전트, 정보수집 서버, 그리고 관제용 카메라로 구성한다[13].
더불어, 개인 맞춤형 모니터링 서비스를 위해서 모니터링의 주요 S/W 환경으로 모니터링 객체, 분석 기법, 표현 양식, 이벤트로 구성한다[14].
모니터링 시스템 관련 주요 연구 사례를 기반으로, 시스템의 주요 구성 요소를 AI 기반 철근 커플러 AR 기능 개발, 그리고 AR 기반 원격 교각 시공 모니터링 시스템을 활용할 수 있는 프로그램, 마지막으로 카메라와 모니터링에 관한 주요 하드웨어 구축 환경으로 구성한다.
3.1 AR 기능 개발
AR 기반 원격 교각 시공 모니터링 시스템을 구축하기 위해서는 AR 기능 개발이 우선 필요하다.
시스템 구축에 있어 AR 기능의 목적은 원격 작업자가 교각 시공을 진행하면서 철근과 철근을 이어주는 커플러의 결합 작업을 도와주는 것이다.
특히, 원격 작업자가 교각 철근망에 부착된 42개의 철근 커플러 작업을 진행하면서 정확한 위치와 거리 정보를 식별하기 어려운 상황이다. 이러한 문제의 해결을 위해 원격 작업자에게 철근 커플러의 거리 및 방향 등을 AR을 활용하여 시각적 정보를 제시하는 것이다.
카메라를 통해 확인된 객체 데이터는 AI 딥러닝을 통해 객체 검출(Detection)하는 기능이 필요하다. 특히, 객체 검출을 위해서는 관련 객체 데이터 수집과 최적화 작업이 필요하다.
본 연구에서는 Depth 카메라를 통해 확인된 객체, 즉 철근 커플러 객체의 상세 데이터 수집을 진행하였다. 그림 1은 데이터 수집 화면으로 야외 환경에서 오전부터 오후까지 다양한 광각에 대한 철근 커플러 객체 데이터 약 3,000개를 수집하였다.
Data collection for rebar coupler object detection
그림 2와 같이 수집된 데이터는 AI 딥러닝 이미지 학습을 통해 검출 기능 구축을 위한 철근 커플러 객체의 이미지에 대한 데이터를 최적화하였다.
Rebar coupler image optimization using AI deep
그림 3은 테스트 결과 화면으로 데이터 최적화를 토대로 야외에서 객체 검출 기능을 테스트하였다. 테스트 결과, 평균 97% 이상의 이미지 인식률을 확인하였다.
Testing the object detection
이를 토대로 원격 교각 시공 모니터링 시스템에 철근 커플러 작업에 대한 AR 기능을 적용하였다.
3.3 AR 기반 원격 교각 시공 모니터링
AR 기반 원격 교각 시공 모니터링은 윈도우 프로그램을 통해 접속이 가능하다. 그림 4는 프로그램의 초기 설정 화면으로 프로그램 시작하기 위해서는 Depth 카메라의 IP 주소를 입력한 뒤에 시작할 수 있다. 만약, IP주소가 다를 경우 프로그램 자체가 실행되지 않는다. 즉, Depth 카메라의 IP 주소는 카메라 영상뿐만 아니라 AR 기능 활용을 위한 필수 조건이다.
Initial setup of the program
다음으로 접속된 카메라 영상에서 AR 이미지 정합 기능을 적용하기 위해서는 캘리브레이션이 필요하다. 그림 5와 같이 캘리브레이션 구성을 통해 영상을 보정함으로써 정밀한 AR 원격 교각 시공 모니터링이 가능하다.
Calibration configuration
그림 6은 현장에서 AR 기능이 구현된 화면으로 AR 기반 원격 교각 시공 모니터링 상에서 Depth 카메라와 빨간색 화살표로 표시된 객체의 거리와 방향 정보가 구현되는 것을 확인할 수 있다.
Implementation of AR function
빨간색 화살표는 현재 작업이 진행 중인 객체로 원격 작업자는 모니터링 시스템에서 카메라를 기준으로 거리 정보와 방향 정보에 대한 AR 기술을 동시에 볼 수 있다. 또한, 노란색으로 이미지 정합된 객체는 작업자에게 현재 작업 중인 객체의 다음 작업으로 인지하도록 개발하였다.
3.3 하드웨어 환경
AR 기반 원격 교각 시공 모니터링 시스템의 하드웨어는 원격 작업자에게 시공의 안전과 효율적인 시스템 운용을 목표로 구성하였다.
원격으로 교각 시공 로봇의 움직임과 주변 환경을 확인하기 위해서 Depth 카메라 3대와 IP 카메라 6대(2종)를 활용하였다.
그림 7, 8과 같이 IP 카메라는 각 3대씩 2가지 종류의 카메라를 통해 교각 시공의 전체와 세부 작업 용도로 구성하였다. 작업자가 원격으로 로봇의 아주 가까운 거리에 대한 세부 작업 영상을 모니터링하기 위해서 로봇의 툴(end effector)에 부착된 고정형 IP 카메라를 활용하였다. 특히, 로봇의 하중과 카메라의 광각을 고려하여 저중량 및 소형의 IP카메라를 로봇에 거치용 지그를 활용하여 부착하였다. 또한, Depth 카메라의 위치 정보를 기반으로 로봇 툴의 거리를 계산하였고, 계산된 위치와 방향에 대한 AR 정보를 모니터링 상에 정합하여 실시간으로 확인할 수 있다.
Location of IP camera (Upper part of pier construction)
Implementation of AR function of IP camera for detailed operation (Gripper)
그림 9는 교각 시공 환경에 대한 전체 영상을 작업자에게 보여주기 위해 전체 작업용 IP 카메라를 높은 위치에 설치하여 전체 영상에 대한 모니터링이 가능하다.
Implementation of IP camera monitoring for overall operation
해당 카메라는 PTZ 기능이 내장된 IP카메라로서, 작업자가 작업 현장에서 원하는 위치로 360° 회전이 가능하다.
그림 10과 11과 같이 작업자는 원격 교각 시공 모니터링을 통해 교각 시공 현장에서 떨어진 40피트 규모의 컨트롤룸에서 통신선을 활용하여 원격 조작이 가능하다.
Inside the remote control room 1
Inside the remote control room 2
컨트롤룸에서 원격 교각 시공 모니터링 환경을 구성하기 위해 작업자 3명 기준으로 총 9대의 27인치 모니터와 3대의 75인치 TV를 활용하였다. 이를 기반으로 각 작업자는 로봇 1대당 2대의 원격 컨트롤러를 활용하여 원격 교각 시공을 진행한다.
IV. 결론 및 향후 과제
본 연구를 진행하기 앞서 교각시공 작업자의 헤드 마운티드 디스플레이(HMD, Head Mounted Display) 기기를 착용하여 AR 기반 원격 교각시공 모니터링 개발을 검토하였다. 하지만, 작업자가 HMD를 착용하며 원격 시공이 불가능하다고 판단하였다. 이는 HMD의 무게 및 발열로 인해 작업자가 오랫동안 사용하기 어려울 뿐만 아니라, 넓은 시야 확보를 기반으로 교각시공이 필요한 상황에서 몰입도가 높은 HMD로 인해 제한된 원격 작업이 예상되었다. 이로 인해 원격 시공 환경에서 안전성 면에서는 기술적 수용도가 낮다고 판단하였다.
향후 AR 기반 원격 교각시공 모니터링 시스템이 미래 건설산업의 무인 원격 시스템으로 발돋움하기 위해서는 지속적인 시공 테스트가 필요하다. 더불어, 교각시공 뿐만 아니라 다양한 건설 시공법에 원격으로 모니터링이 가능한 시스템을 구축하여 건설 근로자의 무사고와 무재해를 확보하는 것이 필요하다.
Acknowledgments
이 연구는 국토교통부/국토교통과학기술진흥원이 시행하고 한국도로공사가 총괄하는 "스마트건설기술개발 국가 R&D사업(과제번호 RS-2020-KA157074)"의 지원으로 수행하였습니다
이 논문은 2023년도 한국정보기술학회 추계종합학술대회에서 발표한 논문 “AR 기반 원격 교각시공 모니터링 시스템”[15]을 확장한 논문임
References
- D. S. Kim and Y. W. Chung, "Message delivery considering quality of service in delay tolrerant network", Journal of KIIT, Vol. 10, No. 11, pp. 121-127, Nov. 2012.
-
H. S. Park, "Current Status and Improvement Plan for Foreign Construction Laborer", Journal of the Korea Contents Association, Vol. 15, No. 9, pp. 555-561, Sep. 2015.
[https://doi.org/10.5392/JKCA.2015.15.09.555]
-
S. H. Chae, Y. S. Yang, and T. D. Han, "The Fourth Industrial Revolution and Multimedia Converging Technology: Pervasive AR Platform Construction using a Mobile Robot based Projection Technology", Journal of Korea Multimedia Society, Vol. 20, No. 2, pp. 298-312, Feb. 2017.
[https://doi.org/10.9717/kmms.2017.20.2.298]
-
H. Antti, P. Roel, L. Minna, L. Jyrki, and K. Joni-Kristian, "AR-based interaction for human-robot collaborative manufacturing", Robotics and Computer Integrated Manufacturing, Vol. 63, pp. 1-9, Jun. 2020.
[https://doi.org/10.1016/j.rcim.2019.101891]
-
G. Michalos, P. Karagiannis, S. Makris, Ö. Tokçalar, and G. Chryssolouris, "Augmented Reality (AR) Applications for Supporting Human–Robot Interactive Cooperation", Procedia CIRP 2016, Vol. 41, pp.370-375, 2016.
[https://doi.org/10.1016/j.procir.2015.12.005]
-
Y. S. Moon, S. H. Roh, K. H. Jo, and Y. C. Bae, "Robot Localization and Monitoring using OpenRTM in Outdoor Environment based on Precision GPS", The Journal of the Korea institute of electronic communication sciences, Vol. 7, No. 2, pp. 425-431, Jan. 2012.
[https://doi.org/10.13067/JKIECS.2012.7.2.425]
-
T. Y. Uhm, J. Y. Jung, S. H. Cho, G. D. Bae, and Y. H. Choi, "Multiple Wireless Networks based Control System for Unmanned Surveillance Robot", The Korea Robotics Society in Journal of Korea Robotics Society, Vol. 15, No. 4, pp. 392-397, Nov. 2020.
[https://doi.org/10.7746/jkros.2020.15.4.392]
-
D. W. Kim, Y. H. Kim, S. W. Park, and J. W. Park, "Tele-Monitoring System of Diesel Engine Controller", The Journal of KIIT, Vol. 13, No. 6, pp. 17-27, Jun. 2015.
[https://doi.org/10.14801/jkiit.2015.13.6.17]
-
J. H. Seo and J. D. Kim, "A Study on the Priority Setting for Smart Construction Technologies Adoption by Using the House of Quality Model", Journal of the Korean Production and Operations Management Society, Vol. 31, No. 2, pp. 185-207, 2020.
[https://doi.org/10.21131/kopoms.31.2.202005.185]
-
S. J. Kim and J. Y. Soh, "A Study on the Curriculum Status and Educational Direction of Interior Architecture Design Major in Junior College - For Human Resources Development of Smart Construction Technology -", Korean Institute of Interior Design Journal, Vol. 31, No. 1, Feb. 2023.
[https://doi.org/10.14774/JKIID.2023.32.1.116]
-
H. J. Park, S. M. Lee, C. H. Song, J. W. Cho, and J. Y. Oh, "A Study on the Introduction and Application of Core Technologies of Smart Motor-Graders for Automated Road Construction", The Journal of Korean Society for Rock Mechanics, Vol. 32, No. 5, pp. 298-311, Oct. 2022.
[https://doi.org/10.7474/TUS.2022.32.5.298]
-
D. H. Kim, K. H. Bae, and J. W. Cho, "Feasibility Test with IoT-based DCPT system for Digital Compaction Information of Smart Construction", Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 40, No. 5, pp. 421-428, Oct. 2022.
[https://doi.org/10.7848/ksgpc.2022.40.5.421]
-
B. W. Cho, H. Kim, Y. S. Lee, and D. K. Kim, "Development of Real Time Smart Structure MonitoringSystem for Bridge Safety Maintenance using Sensor Network", The Journal of the Korea Contents Association, Vol. 16, No. 2, pp. 221-230, Feb. 2016.
[https://doi.org/10.5392/JKCA.2016.16.0]
-
Y. S. Byun and J. Kwak, "A Study on Integration Security Management Model in Cloud Environment", Journal of Digital Convergence, Vol. 11, No. 12, pp. 407-415, Dec. 2013.
[https://doi.org/10.14400/JDPM.2013.11.12.407]
- S. Lee, "AR-based Remote Pier Construction Monitoring System", Proc. of the 2023 KIIT Autumn Conference, Jeju, Korea, pp. 91, Nov. 2023.
2015년 2월 : 서울대학교 경영정보학(경영학석사)
2021년 9월 : 성균관대학교 경영정보학(경영학박사 수료)
2016년 12월 ~ 현재 : 한국건설기술연구원 전임연구원
관심분야 : AR/VR, Construction Technology, Data Mining, Data Analysis, Human Behavior