객체 인식과 증강 현실을 이용한 모바일 환경에서의 향상된 위치 기반 시설물 관리

2.1 지중화 제어반

C. Lee 연구팀은 지중 매립형 제어반과 작동 제어를 위한 제어반을 발명하였다[1]. 해당 제어반은 에어포켓의 원리를 통해 수분 및 습기로부터 보호할 수 있는 매립형 시스템을 제안하였다. 이를 발전하여, 침수에 대한 이중안전 구조를 포함하는 매립형 제어반을 발명하였다[2]. 이 발명품은 에어포켓의 단점을 개선하기 위해 내부압력을 발생하여 내부에 있는 물을 밖으로 밀어내도록 설계한 구조이다. 하지만 매립형 제어반[1][2]은 관리자가 위치를 쉽게 찾지 못하며, 지속적인 관리를 위해서는 지상으로 올려야 하는 단점이 존재한다. 이에 따라, 관리하고 개선하기 위한 연구가 진행되었다.

J. Kim 연구팀[3]은 지중화 제어반에 대하여 모니터링 및 관리를 할 수 있는 어플리케이션을 제안하였다. 하지만, 제어반의 상세정보나 길 찾기 능의 기능이 존재는 하지만 사용자 관점에서 UI/UX의 개선이 필요함을 볼 수 있다. 또한, 증강 현실이 아닌 카메라만을 사용한다는 점에서 본 논문과의 차별적 내용이 존재한다.

이에 따라 J. Si 연구팀[4]은 증강현실과의 객체 인식을 접목하기 위한 설계에 대한 방법에 대해 소개하였다. 이는 GPS의 한계를 극복하기 위한 내용으로 관리자에게 보다 나은 기능을 제공할 것으로 분석하였다. 해당 연구[3][4]에 따라 본 논문에서는 증강현실에서 객체 인식을 활용한 지중화 제어반의 위치 정확도를 향상할 수 있는 전체적인 시스템과 UI/UX를 개선한 지중화 제어반 관리 어플리케이션에 대해 소개한다.

2.2 객체 인식

객체 인식은 컴퓨터 비전 분야에서 가장 중요한 연구 주제로 다양한 모델들이 존재한다.

SPPNet[5]는 기존 CNN 구조의 고정 입력 크기의 단점을 개선한 객체 검출 모델로 다양한 크기와 비율에 대하여 일관적인 특징을 추출할 수 있는 것이 특징이다. Spatial Pyramid Pooling을 사용하여 영상의 크기에 관계없이 고정된 길이로 생성할 수 있기 때문에 강제적인 Crop과 Wrap에 비해 높은 성능을 나타낼 수 있다.

EfficientDet[6]는 EfficientNet과 BiFPN을 통하여 모델의 크기, 입력 이미지의 크기 등을 조절하고 특징을 융합하는 방식의 객체 검출 모델을 제안하였다. 낮은 연산량와 높은 정확도의 결과를 보여주기 때문에 대표적인 가볍고 성능이 좋은 객체 검출 모델로 인식되고 있다.

Yolo[7]는 입력으로 들어온 영상을 한 번에 처리할 수 있는 객체 검출 모델로 위치와 클래스를 동시에 예측할 수 있는 방식을 제안하였다. 하나의 영상을 여러개의 그리드로 분할하고, 이를 중심으로 anchor boxes의 예측과 confidence score를 계산하는 것이 특징이다. Yolo의 경우 이를 확장한 연구들이 지속적으로 소개되고 있다[8]-[10]. 이 중 Yolo-v4[8]는 Yolo-v3[9]에서 CSP Darknet53의 Backbone구조에서 SPP(Spatial Pyramid Pooling), PAN(Path Aggregation Network) 등의 기술을 도입하여 성능을 향상시킨 모델이다. YOLO-v5[10]와 그 이후의 모델들은 많은 발전을 보였지만 대부분 PyTorch 프레임워크를 기반으로 개발되었다. 이는 실용적 측면에서 우수한 성능을 보이지만, YOLO-v4[8]는 Darknet 아키텍처를 기반으로 하며 FPS 성능에 있어서 뛰어난 최적화를 보인다. 이러한 이유로 본 연구에서는 모니터링 및 위치 정확도 향상이라는 중요한 측면을 고려하여 YOLO-v4를 선택한다.

이러한 객체 인식 기술을 통해 다양한 분야에서 응용되고 활용되고 있다. J. Si 연구팀[11]은 객체 인식을 기반으로 단방향 전자 회로도에 대하여 검출하고 이를 통해 네트리스트로 변환하는 연구에 대해 소개하였다. 회로도에서 사전에 정의한 여러 클래스의 심볼과 전선의 관계를 고려하여 자동으로 변환하는 작업을 제안하였다. J. Lee 연구팀[12]는 객체 인지 기술을 적용하여 스마트 폰의 카메라를 통해 퍼팅 조준을 위한 홀 컵의 정보를 실시간으로 측정할 수 있는 어플리케이션을 제안하였다.

3.1 제어반 데이터베이스 및 서버

AWS RDS는 AWS(Amazon Web Services)에서 제공하는 관리형 관계형 데이터베이스 서비스의 종류로, 데이터베이스의 인스턴스의 설정, 운영, 확장 및 복구가 용이하다는 장점을 가진다. 제어반 데이터베이스의 RDS 인스턴스 종류로는 비용 효율성을 고려하여 db.t2.micro 인스턴스를 활용한다.

지중화 제어반의 데이터베이스는 한 개의 테이블로 구성되며 모델명, 설치 날짜, 설치 위치, 현재 온도 및 습도, 유속, 제어반의 위도와 경도, 제어반 위치의 도로명 주소가 저장된다. 표 1은 지중화 제어반 데이터베이스의 상세 스키마 정보를 나타낸다.

Table 1.

Database schema of underground control panel

MariaDB에서는 한글을 사용하기 위해 별도의 파라미터 그룹을 생성하고, 파라미터 중 character 및 collation과 관련된 파라미터들의 값 유형을 각각 uf8mb4과 utf8mb4_general_ci로 변경한다. 또한, 데이터베이스의 전반적인 로직과 효율적인 트랜잭션 관리를 위해 Spring Data JPA를 사용한다. 이를 사용하여 제어반 데이터베이스에 안정적으로 접근할 수 있는 CRUD 기능을 표 2와 같이 구현한다.

Table 2.

Server API of underground control Panel

제어반의 서버는 크게 2가지로 구성된다. 첫째, 제어반의 정보를 저장하고 이를 활용하는 제어반 데이터베이스 서버와 둘째, 위치 정확도 향상을 위해 제어반 주변 객체를 검출하고 이를 바탕으로 제어반의 위치를 찾는 서버로 구성된다.

제어반 데이터베이스 서버는 Spring Boot에 내장된 Tomcat 웹 서버를 통해 통신한다. 이를 위해 AWS EC2 인스턴스에 JAVA OpenJDK 17을 설치한다. 이후 소스 코드를 인스턴스로 불러오기 위하여 Github SSH 키를 발급받아 소스코드를 불러와 빌드하여 데이터베이스 서버를 동작시킨다.

3.2 제어반 관리 어플리케이션

어플리케이션의 시스템 구조는 크게 그림 3와 같이 모델, 서비스, 데이터베이스, 데이터 소스로 구성된다.

Fig. 3.

Mobile system architecture

뷰의 경우 사용자와 상호작용할 수 있는 역할로 홈 화면과 제어반 상세화면, AR 카메라 화면으로 구성된다. 뷰는 안드로이드에서 액티비티 컴포넌트로 구현이 되며 사용자의 터치와 같은 상호작용을 받아서 뷰 모델에 해당 요청을 전달하고 완수된 이벤트를 다시 사용자에게 전달해준다. 뷰 모델의 경우 데이터 소스와 뷰를 연결해주는 역할로 뷰가 온전히 사용자와 상호작용만 할 수 있도록 한다. 또한, 특수한 이벤트로 뷰가 초기화될 때 정보가 유지될 수 있도록 중요 정보들을 저장할 수 있다.

서비스는 백그라운드에서 동작하면서 사용자의 GPS 위치를 1초마다 갱신하고 이에 따라 내부 알고리즘에 따라 GPS 관련 정보를 계산한다. 그리고 Broadcast Receiver를 통해 뷰에 정보를 전송한다.

데이터베이스의 경우에는 내부 저장소에 SQLite를 이용하여 구축하고 어플리케이션에서 제어반의 정보를 테이블로 구성하여 저장할 수 있도록 한다.

데이터 소스는 외부와 어플리케이션의 통신을 담당하는 기능이다. Room 라이브러리를 이용하여 내부 데이터베이스와 SQL 명령어를 통해 연결할 수 있다. Retrofit2 라이브러리를 통해서 http 통신을 통해 서버와 데이터를 주고받을 수 있도록 한다.

제어반 관리 및 위치 확인을 위해 크게 제어반 지도, 제어반 상세 정보, 제어반 길찾기, 제어반 AR 길 찾기 기능을 제공한다. 그림 4은 이러한 기능을 어플리케이션 상에서 나타낸 예시이다.

Fig. 4.

Examples of running an application

제어반 지도는 그림 4-(a)와 같이 존재하는 제어반을 지도에 표시하여 관리자에게 제공한다. 지도는 Google Maps API를 사용하였고, 사용자가 홈 화면에 들어가면 지도를 요청하고 요청이 성공하였을 때 서비스를 시작하여 사용자의 GPS 정보를 갱신하여 지도에 표시한다. 서버에 전체 제어반 정보를 JSON 형태로 요청하고 받아온다. Gson 라이브러리를 이용하여 데이터 클래스로 변환하고 위치 정보를 토대로 지도에 마커로 표시한다. 관리자는 제어반 마커를 클릭하여 해당 제어반에 대한 상세정보를 볼 수 있도록 한다.

제어반 상세정보는 그림 4-(b)와 같이 사용자가 원하는 제어반에 대한 정보를 서버로부터 받아와서 제공하는 기능이다. 사용자가 지도의 제어반 마커나 제어반 리스트의 아이템을 터치하면 제어반 상세 창으로 뷰가 전환된다. 뷰가 전환될 때 서버에 사용자가 원하는 제어반의 상세정보를 서버에 요청하고 돌아온 정보를 화면에 표시한다.

제어반 길 찾기는 그림 4-(c)와 같이 현재 위치를 기준으로 원하는 제어반까지 길 찾기 기능을 제공한다. 사용자와 제어반의 위·경도 정보를 토대로 URI를 생성하고 네이버에 빠른 길 찾기를 요청한 후, 뷰를 전환하여 관리자에게 내용을 전달한다.

제어반 AR 길찾기는 구글에서 제공하는 ARCore API를 활용한다. ARCore API는 내부에서 OpenGL을 사용하여 제어반에 대한 3D 객체를 카메라에 그린다. 주변 지형의 특징점을 추출하고 모션 트래킹 기술을 이용하여 사용자가 이동할 때도 제어반 객체가 원하는 위치상에 고정되어 표현된다. AR 길찾기 기능을 사용하면 원하는 제어반이 실제 주변 환경에서 어디에 있는지 확인할 수 있다. 또한, 객체 검출 기능을 이용하면 더 정확한 위치로 조정하여 제공받을 수 있다.

3.3 객체 인식 및 위치 정확도 향상

지중화 제어반의 위치 정확도를 향상하기 위해서 제어반 자체를 객체 인식을 통해 검출할 수 없으며 주변 객체를 통해 인식해야 한다. 그림 5는 실제 지중화 제어반의 위치를 나타낸다. 지중화 제어반은 매립되어 있으므로 주변에서 찾기가 매우 어려운 것을 알 수 있으며, 지중화 제어반 자체를 검출하는 것은 불가능한 수준이다. 따라서, 본 논문에서는 주변 객체들의 정보를 통해 실제 제어반의 위치를 예측하여 위치 정확도를 향상시키는 방법에 대해 소개한다. 주변 객체에는 대표적인 6가지의 클래스를 선정하며 이는 나무, 전봇대, 표지판, 빌딩, 볼라드, 버스정류장이 포함된다.

Fig. 5.

Example of underground control panel

각각의 지중화 제어반은 위치에 따라 주변 환경이 고정되어 있다. 따라서, 본 논문에서는 표 3과 같이 각 지중화 제어반의 임의의 고정 위치에 대한 주변 객체의 검출 결과의 좌표를 통해 적절한 제어반의 위치를 추론하여 보정한 좌표를 생성한다.

Table 3.

Location inference coordinates for each underground control panels

객체 탐지를 위하여 YOLO-v4[9]를 기반으로 지중화 제어반 주변 객체의 위치와 클래스를 동시에 예측하는 방식으로 작동한다. 학습된 모델은 새로운 이미지에 적용하여 지중화 제어반 주변의 객체들의 위치와 클래스를 인식하고, 이 정보들은 위치를 보정하는 데 사용된다.

3.4 증강현실 투영

카메라를 통해 증강현실 요소가 반영된 현장의 실시간 화면을 제공한다. GPS 정보를 기반으로 한 증강현실 아이콘은 사용자와의 상호작용을 위한 버튼으로 활용된다. 하지만, GPS 정보만을 이용해 증강현실에 투영 시, 오차가 발생하여 정확한 위치를 계산하기가 힘들다. 따라서, 본 논문에서는 3.3절의 객체 인식과 위치 향상 알고리즘을 통해, 증강현실 기술을 활용한 관리용 어플리케이션을 이용하여 현장 관리자에게 효율적인 관리를 제공하고자 한다.

모바일 애플리케이션에서 AR 길찾기 기능을 사용하여 좀 더 정확한 위치를 제공받기 위해 객체 검출 기능을 이용하는 방법에 대해 소개한다. 객체 검출 버튼을 누르면 애플리케이션은 카메라의 화면을 캡처하여 서버로 전송한다. 서버에서 객체검출을 완료하여 상대좌표를 보내면, 애플리케이션은 2차원 좌표를 증강현실 아이콘으로 전환하기 위하여 3차원 좌표로 변환한다. 2차원 좌표를 3차원 좌표로 표현하기 위해 서버로 부터 받아온 상대좌표와 현재 위치와 제어반까지의 거리 정보를 이용한다. 상대좌표는 휴대폰의 화면 크기에 맞게 절대좌표로 변환이 된다. x 절대좌표는 비율에 따라 3차원 좌표의 x 좌표와 z 좌표로 변환된다. 이때, 제어반까지의 거리를 이용하여 깊이를 조절할 수 있다. y 절대좌표는 3차원 좌표의 y 좌표로 변환된다. 변환된 3차원 좌표는 기존의 제어반 아이콘의 위치 정보를 변환하여 정확한 위치에 제어반 아이콘이 다시 생성하도록 한다. 그림 6는 증강현실에 투영된 지중화 제어반의 위치를 나타낸다.

Fig. 6.

Result of augmented reality projection

4.1 데이트 세트 및 학습

본 논문에서는 객체 인식을 활용하기 위해 지중화 제어반 주변 환경의 다양한 데이터를 수집하였다. 데이터는 360도 카메라 및 휴대폰 카메라를 통해 촬영한 영상과 네이버 로드뷰를 통해 획득한 영상으로 구성한다. 특히, 네이버 로드뷰는 실제 도로 및 주변 환경을 고해상도로 촬영한 이미지를 제공한다. 따라서, 지중화 제어반의 위치 예측에 있어서 중요한 참고 자료로 활용된다. 수집한 데이터는 지중화 제어반의 6m 이내에서 촬영한 영상으로 나무, 전봇대, 표지판 등 다양한 객체가 포함되어 있다. 학습에는 데이터 296장, 실험에는 데이터 100장을 통해 진행하였으며 mAP를 통해 모델의 성능을 평가한다. 모델 학습에는 Ubuntu 18.04 LTS 환경에서 RTX 3090을 통해 진행되었다. YOLO-v4의 입력 계층의 크기는 608x608으로 하며, 총 16,000번의 Iteration으로 설정하여 학습을 진행한다. 이렇게 학습된 모델의 가중치는 AWS-EC2로 이동하여 어플리케이션을 통해 결과를 볼 수 있도록 구성한다.

4.2 데이터베이스 및 서버 환경

제어반의 서버는 AWS EC2 - Ubuntu 22.04.02 인스턴스를 통해서 구현한다. 제어반 주변의 객체를 검출하고, 이를 통해 제어반의 위치를 찾는 서버는 빠른 결과 추론을 위해 GPU의 사용이 필요하다. 본 논문에서는 vCPU 32개를 사용하는 p2.xlarge 인스턴스를 사용하며 Tesla K80의 GPU를 포함한다. 이를 통해 빠르고 정확한 주변 객체를 검출하고 제어반의 위치를 반환할 수 있도록 한다.

3.1 절에서 언급한 두 서버는 하나의 EC2 인스턴스에서 동작한다. 이때, 데이터베이스 서버의 경우 3306 포트를, 객체를 검출하는 서버의 경우 5000의 포트 번호로 서로 다른 포트 번호를 사용한다. 이를 통해 여러 개의 EC2 인스턴스를 사용함에 있어 발생하는 비용적인 문제를 최소화 한다.

4.3 결과 분석

표 4는 객체 인식을 위한 모델의 성능 평가에 관한 내용을 나타낸다. 버스정류장의 경우 0.75로 가장 높았으며 전봇대는 56.1%로 가장 낮은 성능을 나타낸다. 전체 6개의 클래스에 대한 모델의 mAP는 67.1%로 측정되었다. mAP는 IoU 50%로 측정된 결과로, 이 값은 예측된 바운딩 박스와 실제 객체의 겹침이 50% 이상일 때를 기준으로 한다. 이 기준은 객체 탐지 분야에서 널리 받아들여지는 기준이다. 본 연구에서 활용된 학습 데이터는 제한적이지만, 다양한 형태와 조건에서 촬영된 객체 이미지들을 포함하고 있다.

Table 4.

Performance evaluation of proposed model

특히 이 연구의 사용 사례와 목적을 반영하여 데이터를 수집하였기 때문에, 67.1%라는 mAP 값은 우수한 성능을 보여준다고 판단된다.

버스 정류장은 일정한 형태와 크기를 갖고 있어, 높은 검출 성능을 나타낸다. 또한, 도로 옆에 위치하며 주변 환경과 대조되는 색상과 형태로 인해 모델이 높은 정확도로 학습할 수 있다. 전봇대는 그 형태와 크기, 위치가 매우 다양하여, 상대적으로 낮은 검출 성능을 보인다. 특히, 전봇대의 특성 차이가 모델 학습에 영향을 미치는 것을 알 수 있다.

그림 7은 데이터베이스에 저장된 각 제어반의 GPS 좌표(위도, 경도)를 기반으로 증강 현실 환경에 투영한 결과와 본 논문에서 소개하는 객체 인식을 통해 얻은 매핑 결과를 나타낸다. 그림 7-(a)와 7-(b)는 위도와 경도 값을 이용하여 제어반의 위치를 투영한 것으로, 실제 제어반의 위치와 큰 오차를 보인다. 그림 7-(a)에서 보이는 제어반은 표 3에서 언급된 6번째 제어반에 해당한다. 실제 위치는 오른쪽에 나무가 모여있는 지역에 위치해야 하지만, 건너편 도로를 가리키고 있다. 그리고 그림 7-(b)의 제어반은 2번째 제어반으로 실제 위치는 중앙 전봇대 아래의 볼라드 근처에 위치해야 한다. 그러나, 더 멀리 있는 상가 부근을 가리키고 있다. 이와 같이 GPS 좌표만을 사용하면 오차로 인해 정확한 위치에 마커를 매핑하는 것이 어려운 것을 알 수 있다. 한편, 그림 7-(c)와 7-(d)는 본 논문에서 제안하는 방법을 통해 위치 정확도를 개선한 결과이다. 이 방법은 주변 객체를 인식하여 위치를 계산하는 방법으로 GPS 좌표와 비교했을 때, 제어반을 보다 정확하게 찾을 수 있다.

Fig. 7.

Results using original coordinates and object recognition for underground control panels