Home

본 논문에서는 유토피아 스마트시티 인공지능 미들웨어를 소개한다. 또한, 유토피아 스마트시티 인공지능 미들웨어를 사용하여 클라우드를 기반으로 한 실시간 분산병렬처리를 소개한다. 스마트시티에서 지정된 비디오카메라들로부터 수집되는 모든 영상의 각각의 정지화면에 있는 사람들을 인공지능을 사용하여 실시간으로 동시에 탐지하는 기술을 소개한다.

이번에 개발한 유토피아 스마트시티 인공지능 미들웨어를 사용하여, 딥러닝을 통하여 인공지능을 개발한다. 이 인공지능을 이용하여, 스마트시티의 수많은 CCTV들과 영상장치들로부터 전송되어 오는 수많은 스마트시티 CCTV 화면들을 동시에 실시간으로 모두 분석한다. 그리하여, 각각의 CCTV 화면상에 사람으로 의심되는 객체가 있는지를 찾아낸다. 그 후에, 이 객체가 사람인지를 개발된 인공지능을 사용하여 추론하여 추론 결과를 각 화면상에 표시한다. 이때 추론은 모든 화면을 대상으로 하여 동시에 이루어지며, 다음 화면이 주어지기 전에 추론 작업과 결과표시를 끝내는 것을 만족시키는 실시간 처리로 이루어진다. 이와 같이, 주어진 모든 동영상의 모든 정지영상에서, 개발된 인공지능이 실시간으로 사람 탐지를 추론하여, 추론된 모든 사람 탐지 결과들을 실시간으로 미들웨어에 보고하게 하는 실시간 동시 처리 기술과 시스템을 본 논문에서 소개한다.

이와 같이 빅 비디오 데이터를 실시간 분석하여 보고된 결과를 사용하여, 유토피아 스마트시티 인공지능 미들웨어는 융복합 스마트 서비스를 만들어서, 스마트시티 사용자들에게 공급한다. 예를 들면, 유토피아 스마트시티 인공지능 미들웨어는, 그림 1과 같은 화재 사고 등이 발생하였을 때, 인명긴급구조 등의 사고처리를 위한 스마트 서비스들을 스마트시티 사용자들에게 제공한다. 그림 1의 화재 사고는 2003년 2월 18일 대구 도시철도 1호선 중앙로역에서 발생하였으며, 192명의 사망자와 21명의 실종자 그리고 151명의 부상자를 초래하였다.

Fig. 1. 
A subway fire accident in Daegu, Korea in 2003 (From Yonhap News. https://en.yna.co.kr)

또한, 유토피아 스마트시티 인공지능 미들웨어는, 재난이 발생하였을 때, 재난관리를 위한 스마트 서비스들과 잠재 위험장소의 안전관리를 위한 스마트 서비스들과 보안이 요구되는 지역의 보안관리를 위한 스마트 서비스 등을 스마트시티 사용자들에게 제공한다.

스마트시티는 정보통신기술(ICT)을 활용해 언제 어디서나 모든 기기를 통해 시민들이 스마트 서비스를 누릴 수 있는 미래 도시 패러다임 중 하나이다. 스마트시티에 대한 전 세계적으로 합의된 정의가 있다. ISO는 스마트시티를 “사물인터넷, 클라우드 컴퓨팅, 빅데이터, 공간/지리정보 통합 등 차세대 정보기술을 적용하여 도시의 계획, 건설, 관리 및 스마트 서비스를 용이하게 하는 신개념 및 신모델”이라고 정의한다[1]. 대한민국의 법률은 스마트시티를 다음과 같이 정의하고 있다[2]. “스마트시티는 도시의 경쟁력과 삶의 질의 향상을 위하여 건설·정보통신기술 등을 융·복합하여 건설된 도시기반시설을 바탕으로 다양한 도시서비스를 제공하는 지속 가능한 도시를 말한다.”

본 논문에서는 인공지능을 사용하여 실시간으로 사람 탐색을 하기 위하여, 이번에 개발한 클라우드 기반의 분산병렬처리 기술과 방법과 시스템을 소개한다. 본 논문은 실제 측정을 통한 성능평가 결과들을 제시한다. 클라우드 기반 분산병렬처리 기술과 방법과 시스템, 성능평가, 유토피아 스마트시티 인공지능 미들웨어가 본 논문의 주요 공헌 사항이다.

본 논문은 다음과 같이 구성되었다. Ⅱ장에서는 관련 연구를 서술한다. Ⅲ장에서는 유토피아 스마트시티 미들웨어를 설명한다. Ⅳ장에서는 딥러닝 기반 실시간 인공지능 사람 감지를 설명한다. Ⅴ장에서는 클라우드 기반 실시간 분산병렬처리를 설명한다. Ⅵ장에서는 사용되는 클라우드 컴퓨팅을 설명한다. Ⅶ장에서는 성능평가를 설명한다. 마지막으로, Ⅷ장에서 결론과 향후 연구할 내용을 소개한다.

참고문헌 [3]은 딥러닝의 알고리즘, 기술, 구조 및 응용 프로그램에 대하여 전 세계의 최신 연구 현황을 제공한다. 참고문헌 [4]는 분산-머신-러닝에 대하여 전 세계의 최신 연구 현황을 제공한다. 참고문헌 [5]는 딥러닝을 사용한 객체 감지에 대하여 전 세계의 최신 연구 현황을 제공한다. 참고문헌 [6]은 사람 탐지에 대하여 전 세계의 최신 연구 현황을 제공한다. 참고문헌 [7]은 클라우드와 GPU를 사용하여 영상으로부터 객체를 감지하고 분류하는 프레임워크를 소개했다. 참고문헌 [8]은 철도 건널목 교통에 YOLOv3를 사용한 인공지능 감시 시스템을 제안했다. 이 시스템은 물체를 인식하고 그 상태를 평가한다. 참고문헌 [9]는 수색 및 구조 작업에서 사람을 감지하기 위해 YOLOv4를 사용하는 Deep CNN 감지기를 제안했다. 이 외에 YOLO를 사용한 연구들이 다수 있다[10]. YOLO는 딥러닝의 빠른 수행이 가능하다. YOLOv2, YOLOv3, YOLOv4, YOLOv5로 이어져 오고 있다. YOLOv3-tiny는 one-stage CNN을 기반으로 하는 시스템으로, YOLOv3의 경량 버전이다. YOLOv3보다 정확도는 떨어지지만, 컴퓨팅 파워가 덜 필요하고, YOLOv3보다 빠른 처리 속도를 보여 주기 때문에, 실시간 처리에서는 YOLOv3보다 좋다. 유토피아 스마트시티 인공지능 미들웨어는 YOLOv3-tiny를 지원한다.

MapReduce, Spark, Storm은 분산병렬처리를 위한 오픈 소스 프로그래밍 모델이다. HDFS는 데이터를 저장하는 오픈 소스 분산파일시스템이다[11]. 유토피아 스마트시티 인공지능 미들웨어는 이들을 지원한다.

그림 2는 유토피아의 미들웨어 티어에 있는 유토피아 스마트시티 인공지능 미들웨어의 구조를 중심으로 3개 티어를 보여 준다. 본 연구는 유토피아 스마트시티 패러다임을 사용하는 스마트시티에 적용된다[12][13]. 유토피아 인프라 티어는 비디오카메라, 사물인터넷, 센서 등 다양한 종류의 장치를 지원한다. 유토피아 시스템은 유토피아 인프라 티어에서 통합 네트워크를 통해 다양한 유형의 데이터를 수집한다. 유토피아 미들웨어 티어는 유토피아 시스템에서 두뇌의 역할을 한다. 많은 공통 퍼실리티(Facility)와 많은 공통 기능을 제공하며, 유토피아 인프라 티어에서 수집된 데이터를 처리한다.

Fig. 2. 
UTOPIA smart city paradigm

유토피아 스마트시티 인공지능 미들웨어는 다양한 기능들을 갖추고 있다. 그림 3은 일부 기능을 보여 준다. 유토피아 스마트시티 인공지능 미들웨어는 이러한 기능을 활용하여 스마트시티 서비스를 만들어 사용자에게 제공한다.

Fig. 3. 
Some functions of UTOPIA AI middleware

유토피아 스마트시티 인공지능 미들웨어는 다양한 서비스를 제조하여 유토피아 스마트시티 사용자에게 제공한다. 유토피아 스마트시티 인공지능 미들웨어 없이 스마트시티 서비스가 각각 별도로 개발된다면 많은 기능이 중복으로 개발되어야 한다. 유토피아 스마트시티 인공지능 미들웨어는 이런 중복을 없앨 수 있도록 공통의 퍼실리티와 기능을 제공한다.

유토피아 스마트시티 인공지능 미들웨어는 4개의 층으로 이루어져 있다. 유토피아 미들웨어 티어는 다중 계층 아키텍처를 가지므로 복잡성 감소, 확장성 향상, 구성 요소 재사용성 향상 등 많은 이점을 가진다.

유토피아 미들웨어 티어는 Device Interface Layer(DIL), Intelligent Processing Layer(IPL), Core Processing Layer(CPL), Application Interface Layer(AIL)의 4가지 주요 계층으로 구성된다. DIL은 유토피아 인프라 티어에서 비디오카메라, IoT 장치를 포함한 다양한 종류의 원격 장치를 지원한다. DIL은 유토피아 미들웨어 티어에 대한 게이트웨이이며, 다양한 종류의 통신 프로토콜을 지원한다. DIL은 확장 가능한 비디오 스트리밍 퍼실리티를 통해 대량 비디오 데이터를 수집한다. 수집된 대량 비디오 데이터는 AI Analyzer로 전달된다[12][14][15]. 유토피아 미들웨어 티어는 IPL의 추론 엔진을 포함하여 온톨로지 기반 컨텍스트 데이터 관리 퍼실리티를 통해 지능형 처리를 수행한다. IPL은 스마트 서비스 검색, 스마트 서비스 배포 및 스마트 서비스 실행을 가능하게 한다. CPL은 사용자에게 스마트 서비스를 제공하기 위해 다양한 스마트 융합 처리를 수행하고 클라우드 컴퓨팅 퍼실리티를 제공한다[12][15][16]. APL은 유토피아 포털에 대한 사용자 인터페이스를 제공한다 [12]. APL을 사용하면 방화문을 비롯한 비상 IoT 장치와 같은 원격 IoT 장치를 실시간으로 제어할 수 있다. 유토피아 포털 티어를 통해 사용자와 관리자는 스마트폰, 태블릿, PC 등 모든 장치에서 언제 어디서나 스마트시티 서비스를 사용하고 관리할 수 있다.

이 장에서는 유토피아 스마트시티 인공지능 미들웨어의 딥러닝 기반 실시간 인공지능 사람 감지에 대해 설명한다. 그림 4는 유토피아 스마트시티 인공지능 미들웨어에 의한 딥러닝 기반 실시간 인공지능 사람 감지를 보여 준다. 유토피아 인프라 티어의 비디오카메라는 통합 네트워크를 통해 비디오 데이터를 유토피아 미들웨어 티어로 보낸다.

Fig. 4. 
Deep learning based real-time AI person detection by UTOPIA smart-city AI middleware

이때, 네트워크 적응형 확장 가능한 비디오 스트리밍을 통해 스트리밍된다. 스마트 비디오 스트리머(Smart video streamer)는 네트워크 대역폭이 제한된 경우에도 수많은 비디오카메라의 비디오 데이터 흐름을 효과적이고 원활하게 처리하여 유토피아 인프라스트럭처에 위치한 원격 카메라로부터 스마트시티 현장의 비디오 데이터를 수집한다. 관리자는 이러한 모든 프로세스를 제어할 수 있는 스마트 비디오 관리자(Smart video manager)를 사용하여 유토피아 인프라스트럭처에 위치한 원격 카메라와 비디오 스트리밍을 관리할 수 있다.

유토피아 미들웨어 티어의 스마트 비디오 스트리머가 수신한 비디오 데이터는 인공지능 분석기(AI analyzer)에 전달된다. 인공지능 분석기는 딥러닝을 통하여 얻은 인공지능을 이용하여 전달받은 비디오 데이터를 분석한다. 인공지능 분석기는 각 비디오 장면을 분석하여 사람이 있는지를 생성한 인공지능을 이용하여 탐색하여 결과를 생성한다. 비디오의 각 장면에서 탐색된 사람은 그림 5에서 보듯이, 붉은색 직사각형으로 테두리가 처져서 각각 표시되고 각각의 직사각형 위에는 사람이라고 추론되는 확률을 표시한다.

Fig. 5. 
A detected person in a city park

유토피아 스마트시티 인공지능 미들웨어는 딥러닝 기반 실시간 인공지능 사람 감지를 수행한다. 이를 위하여, 스마트시티에 유토피아 인프라스트럭처로서 산재해 있는 비디오카메라(CCTV)와 스마트 비디오 스트리머와 인공지능 생성기와 인공지능 추론기와 클라우드 기반 실시간 분산병렬처리기와 스마트 클라우드 컴퓨팅 퍼실리티 등을 사용한다.

그림 6은 이 과정을 수행하기 위하여, 유토피아 스마트시티 인공지능 미들웨어가 사용하는 스마트 비디오 관리자, 인공지능 기반 실시간 분석기, 스마트 비디오 스트리머의 세부 구조를 보여 준다. 이 절에서는 그림 6을 사용하여, 스마트시티에서 생성되는 빅 비디오 데이터를 실시간으로 처리하여 실시간으로 변화하는 동영상 비디오의 각각의 정지화면에서 사람을 탐색하기 위한, 클라우드 컴퓨팅 기반 실시간 분산병렬처리에 대해 설명한다.

Fig. 6. 
Detailed architecture for each component

클라우드 기반 실시간 분산병렬처리기는 그림 7과 같이, 실시간 분산병렬처리를 한다. 클라우드 기반 실시간 분산병렬처리기는 비디오를 GOP(Group-Of-Picture) 단위의 세그먼트(Segment)로 나누어 비디오 세그먼트(Video segment) 들을 만들어서 복수의 스케터러(Scatterer) 프로세스들에 할당한다. GOP 단위로 분할하는 이유는 데이터가 MPEG 규격에 따라 압축되었기 때문이며, 압축된 데이터를 세그먼트로 분할할 때, 압축 해제에 필수적인 각 GOP의 헤더 정보가 손실되는 것을 방지하기 위함이다. 스마트 자원 관리자(Smart Resource Manager)가 각각의 Scatterer 프로세스로 하여금 할당된 비디오 세그먼트들을 사용하여 사람 탐지 작업을 수행하게 한다. 사람 탐지를 수행하는 이 들 복수의 Scatterer 프로세스들은 클라우드 기반의 워커 노드에 적절히 분산 할당되어 그림 7처럼 분산병렬처리된다. 마스터 노드의 스마트 자원 관리자의 지휘하에 워커 노드들에 의하여 처리된 각각의 결과들은 게더러(Gatherer) 프로세스에 의하여 수집되어 최종 결과가 분산파일시스템에 질서정연하게 저장된다. 표 1은 클라우드 기반 실시간 분산병렬처리기에서 사용되는 키-값 쌍을 보여 준다.

Fig. 7. 
Cloud based real-time distributed parallel processing for real-time person detection

클라우드 기반 실시간 분산병렬처리기(Cloud Base Real-time Distributed Parallel Processor: CRDPP)는 그림 9에 보여 준 컴퓨팅 파워를 그림 8의 유토피아 클라우드 퍼실리티의 IaaS(Infra-structure as a Service) 기능을 사용해 확보한다.

Fig. 8. 
Distributed parallel system provided by the IaaS of UTOPIA Cloud

유토피아 클라우드 퍼실리티는 매우 효율적인 방식으로 유토피아 스마트시티 인공지능 미들웨어의 모든 작업에 충분한 컴퓨팅 성능을 제공한다.

CRDPP는 Cloud Platform을 통해 클라우드 서비스를 요청할 수 있다. 그러면, Cloud Engine이 클라우드 컴퓨팅 자원을 관리하여 요청한 클라우드 서비스를 제공한다.

그림 9는 유토피아 Cloud의 IaaS를 이용하여 구축한 실험환경을 보여 준다. 동종 노드로 구성된 클러스터 시스템으로서 Master-Worker 방식으로 운영되었다. 클러스터 시스템의 모든 노드는 1 Gbps 이더넷으로 연결되었다. 각 노드는 Intel Core TM i7-8700(6 cores) CPU, DDR4 16 GB RAM main memory, 7200rpm 1TB HDD를 사용했다. Ubuntu 16.04 Linux, Ubuntu 16.04 JAVA, x264 codec (open-source for MPEG H.264 codec), OpenCV 3.4, FFmpeg를 사용하였다. CRDPP는 Apache Hadoop 3.2.2 환경을 활용하였다. 딥러닝에는 유토피아 스마트시티 인공지능 미들웨어가 지원하는 YOLOv3-tiny와 Darknet을 활용하였다.

Fig. 9. 
System used for experiments

유토피아 스마트시티 인공지능 미들웨어가 16.7초 동안 네트워크로 연결된 46개의 원격 CCTV에서 수집한 비디오 데이터를 성능평가 실험의 부하로서 사용하였다. 각각의 CCTV로부터 16.7초 동안 총 1,000프레임, 총 40.7MB를 수신했다. 16.7초 동안 46개의 원격 CCTV로부터 총 46,000 프레임을 수신하였으며, 크기는 약 1.83GB이다. 각 CCTV는 초당 60프레임의 속도로 영상 데이터를 전송하였다. 비디오 해상도는 1920x1080(FHD: Full High Definition)으로서 2 Mega Pixel이었고, 코덱은 H.264였다. GOP 값은 25 프레임이었다.

첫 번째 성능평가 실험으로써, 이번에 개발한 유토피아 스마트시티 인공지능 미들웨어가 잘 작동하고 실시간으로 사람 탐색을 효율적으로 수행하는지를 확인한다. 그리고, 이번에 개발한 유토피아 스마트시티 인공지능 미들웨어에 부가되는 작업량이 증가함에 따라, 어떠한 반응을 보이는지를 평가하였다. 유토피아 클라우드 시스템의 IaaS를 통해 Master 노드 1대와 Worker 노드 8대로 구성된 클러스터 시스템을 서비스 받아서 성능평가 실험에 사용하였다.

그림 10은 처리해야 할 작업량을 점진적으로 증가시켰을 때의 전체 처리 시간의 변화 그래프를 보여 준다. 전체 처리 시간은 유토피아 스마트시티 인공지능 미들웨어가 네트워킹된 비디오카메라로부터 비디오를 전송받은 시점부터 주어진 부하에 대하여 사람 탐지를 다 완수한 시점까지에 걸린 시간을 의미한다. 각 Scatterer에 할당된 영상 프레임 수는 100으로 고정하였다. 전체 처리 시간이 작업 부하가 증가함에 따라 거의 선형적으로 증가함을 보여 준다.

Fig. 10. 
Processing time vs workload

이는, 이번에 개발한 유토피아 스마트시티 인공지능 미들웨어가 잘 작동하며, 실시간으로 사람 탐지를 효율적으로 수행하며, 부가되는 부하가 증가하여도, 안정적으로 매우 우수하게 작동한다는 것을 의미한다.

두 번째 성능평가 실험으로써, 실시간 처리 용량 계획을 위한 성능평가 실험을 하였다. 작업을 수행하는 Worker 노드의 수를 점차 늘려감으로써, 컴퓨팅 파워를 증가시켰을 때, 전체 처리 시간의 변화를 측정하는 성능평가 실험을 하였다. 유토피아 클라우드 시스템의 IaaS를 통해 Master 노드 1대와 Worker 노드 8대로 구성된 클러스터 시스템을 서비스 받아서 성능평가 실험에 사용하였다. 각 Scatterer에 할당된 영상 프레임 수는 100으로 고정하였다.

그림 11은 작업자 노드의 수를 증가시킴으로써 컴퓨팅 파워를 증가시켜갈 때, 전체 처리 시간이 감소하는 것을 보여 준다. 이는, 이번에 개발한 유토피아 스마트시티 인공지능 미들웨어의 확장성(Scalability)이 매우 우수함을 확인시켜 주는 성능평가 결과이다. 이 결과는 실시간 처리를 위한 용량 계획에 매우 유용하다. 그래프는 8개의 노드를 사용할 때 초당 평균 23.45개의 프레임이 처리되는 것을 보여 준다. 이를 통하여, 2초마다 영상 속 인물 감지를 요청하면 실시간 처리가 가능하다는 것을 확인할 수 있다. 이로써 이번에 개발한 유토피아 스마트시티 인공지능 미들웨어가 성능평가 실험에서 주어진 빅 비디오 데이터를 분석하여 사람 인식을 인공지능으로 처리하는 작업을 실시간으로 성공적으로 처리함을 확인하였다. 참고로, 주어진 이 작업을 단일 노드에서 수행했을 때 전체 실행 시간은 14,938초라는 상대적으로 매우 긴 시간이다.

Fig. 11. 
Processing time vs computing power

본 논문에서는 유토피아 스마트시티 인공지능 미들웨어를 소개하였다. 그리고, 이 개발된 인공지능 미들웨어를 사용하여 클라우드를 기반으로 하여 실시간 분산병렬처리를 소개하였다. 또한, 스마트시티에서 지정된 비디오카메라들로부터 수집되는 모든 영상의 각각의 정지화면에 있는 사람들을 인공지능을 사용하여 실시간으로 동시에 탐지하는 기술을 소개하였다. 이 3가지 사항이 본 논문의 주요 공헌 사항이다.

유토피아에서 스마트시티 인공지능 미들웨어를 구현하였다. 비디오카메라는 유토피아 인프라 티어에 배치되며 저장된 시나리오 및 원격 사용자에 따라 원격으로 제어할 수 있다. 유토피아 스마트시티 인공지능 미들웨어는 스마트 비디오 스트리머를 통해 다양한 종류의 비디오카메라로부터 방대한 영상 데이터를 수집할 수 있으므로, 네트워크 대역폭이 제한된 경우에도 데이터를 효과적이고 원활하게 관리할 수 있다. 미들웨어 티어는 유토피아의 브레인으로 유토피아 스마트시티 인공지능 미들웨어를 포함한다. 그리고, 스마트 비디오 관리자, 스마트 비디오 스트리머, 인공지능 분석기, 클라우드 기반 실시간 분산병렬처리기, 클라우드 플랫폼을 비롯한 다양한 스마트 컨버전스 솔루션과 기능을 제공한다.

실험은 유토피아 클라우드가 IaaS로 제공하는 클러스터 시스템에서 수행되었다. 실험에서는 키 프레임을 잃지 않도록 동영상 데이터를 25프레임 GOP 길이로 나누었다. 비디오 해상도는 1920×1080(FHD)이었으며, 사용된 비디오 워크로드는 온라인으로 수집되었고, 성능평가 실험은 실험적인 유토피아 환경에 수행되었다. 이번에 개발한 유토피아 스마트시티 인공지능 미들웨어는 좋은 성능으로 잘 작동했으며, 확장성이 좋은 것을 확인했다. 용량 계획 실험을 통하여, 주어진 실험환경을 사용하면, 실시간 처리가 보장됨을 확인하였다.

유토피아 스마트시티 인공지능 미들웨어는 물체 인식에도 사용할 수 있다. 실시간 처리를 위해 Storm과 Spark도 사용할 수 있다. 유토피아 스마트시티 인공지능 미들웨어는 사람 감지 결과를 손쉽게 다양한 스마트 서비스로 만들어 유토피아 스마트시티 이용자에게 제공할 수 있도록 다양한 퍼실리티와 기능을 갖추고 있다. 그러므로, 각종 사고관리 서비스, 재난관리 서비스, 안전관리서비스, 보안관리 서비스 등에 유용하게 사용될 수 있다. 추후에 그 서비스 범위를 확충할 계획이다.