2020년 이후, 사회재난이 2020년도 25건, 2021년도 23건으로 매년 지속적으로 발생하였다. 유형별로는 다중밀집시설 대형화재가 가장 많이 발생하였다. 할로윈을 즐기기 위해 많은 인파가 서울 용산구 이태원동 해밀톤호텔 골목에 몰렸던 2022년 10월 29일, 현장 통제 또는 안전관리가 전혀 이루어지지 않아 159명이 사망하고 197명의 부상자가 발생하는 대규모 참사가 발생하였다. 2024년 10월 29일 광주광역시 충장상권 르네상스 라온페스타 행사장에서 수많은 인파가 몰렸지만 안전관리계획 수립 없이 진행되어서 인명피해 우려속에 공연이 결국 취소되었다. 결론적으로, 다양한 상황에 실시간으로 오류없이 대처하는 통합서비스의 부재로 피해가 확대되었다. 현재 대부분의 지자체 통합관제센터 서비스들은 범죄 예방차원에서, 사람 객체를 재식별하여 각각의 영상분석 결과를 관제 모니터에 표출 및 알람등의 단순 서비스만 제공한다. 인공지능 기반의 관제서비스를 제공하더라도 오탐지 및 과잉 탐지 등의 문제점이 발생하여 전국 지자체에서는 지능형 관제 솔루션 전반에 대한 신뢰도가 낮아지고 있다.

본 논문에서 제안하는 인공지능 기반의 영상분석 시스템은 실시간 군중 밀집 탐지 (군중 혼잡도 예측, 히트맵(HeatMap) 기반의 군중밀집 주의 영역 집중 관리) 및 군중 이동방향 예측, 통계 자료를 기반으로 체계적인 군중 밀집 지역 관리 등의 종합적인 서비스를 제공한다. 서비스들 간 데이터 연계를 통해 다양한 군중밀집 상황에 대한 사고예측이 가능하다. 인공지능 기술을 활용한 군중 밀집 분석 및 관리용 소프트웨어에서 가장 중요한 기술은 군중 객체검출 및 군중 혼잡도 분석, EDGE AI(Artificial Intelligence)를 위한 학습모델 경량화, 군중 이동방향 예측 기술이다. 군중 밀집 안전을 위한 연구는 산업계·대학·연구소에서 현재까지 꾸준히 진행되고 있다. B.-J. Lee et al.[1]은 다양한 군중 밀집 인식 알고리즘을 조사하고, 조도와 거리 등의 변수에 따른 오차와 정확도를 비교 및 분석하여 정확도 0.71 확보한 P2PNet을 가장 정확한 군중 밀집 인식 알고리즘으로 선정하였다. H.-Y. Lim et al.[2]은 밀집된 인파에서의 보행자 검출에서 보행자간의 가려짐 및 겹침으로 인해 정확도 저하 및 오검출 등 문제를 해결하고자 YOLOv5 모델 기반의 개선 방법을 제안하였다. J.-H. KIm et al.[3]은 기존 CSRNet(Congested Scene Recognition Network)에서 밀도 변화 시 관찰되는 성능 저하 문제를 해결하기 위해 이미지 정보에서 입력을 취하고 이미지에서 추출된 특징을 기반으로 CSRNet(Congested Scene Recognition Network)의 출력을 조정하여 현장 내 사람들의 밀도 변화에 적응하는 군중 카운팅 네트워크를 제안하였다. B. Xu et al.[4]은 군중 밀도 추정을 위해 광범위한 feature sets를 적용하고 계산 효율성과 확장성을 달성하기 위해 트리 구조가 본질적으로 빠르고 확장 가능한 회귀 모델로 Random Forest를 사용하여 군중 탐지 성능을 향상시켰다. W. Liu et al.[5]은 군중 밀도를 정확하게 예측하는 데 필요한 상황별 정보의 규모를 적응적으로 인코딩하여, 원근감 효과가 강한 상황에서 군중 계산 시, 특징의 중요성을 학습하는 종단 간 훈련 가능한 심층 아키텍처를 제안하였다. C. Wang et al.[6]은 보행자 감지를 위해 높은 감지 정확도와 경량 네트워크 모델 사이의 균형을 맞춘 YOLOv7 기반 아키텍처인 GSDCNet을 통해 감지 정확도를 강화하는 동시에 평활화된 확장 컨볼루션을 통합 설계하여 네트워크의 계산 공간을 줄이는 연구를 수행하였다. D. Liang et al.[7]은 대부분의 회귀 기반 방법은 CNN(Convolution Neural Network)을 사용하여 밀도 맵을 회귀시키는데, 이는 밀도 맵이 매우 밀집된 장면에서 인스턴스를 정확하게 찾을 수 없는 문제를 해결하기 위해 군중 위치화 작업을 위한 새로운 FIDT(Focal Inverse Distance Transform) 맵을 제안하였다. Y. Kim et al.[8]은 모델 배포 비용을 줄이고 제한된 컴퓨팅 리소스로 대상 엣지 장치에서 실시간 추론을 가능하게 하기 위해 경량 1D CNN(One-Dimensional Convolution Neural Network) 모델을 제안하였다. D. Lee et al.[9]은 K-평균 군집화 알고리즘 및 딥러닝 기반 군중 집계를 이용한 전염병 확진자 접촉 가능성 여부 판단 모니터링 시스템을 제안하였다.

결론적으로, 기존에는 군중밀집이 아닌 군중 카운팅 분야에 많은 연구들이 진행되었고, 군중밀집 분석 연구들의 대부분은 중앙 집중식 서버방식으로 진행되었다.

본 논문에서는 이태원 군중밀집과 같은 위험상황에 실시간으로 안전을 확보하기 위해서, 제한된 리소스를 활용하는 엣지컴퓨팅에서 딥러닝 기반의 경량화 영상분석 기술을 연구개발하였고, 단순한 군중 카운팅이 아닌 군중객체 밀집도 및 군중 이동방향 예측 이벤트 검출이 가능한 군중 영상분석 시스템을 연구개발하였다. 그 결과 다양한 유형의 군중밀집 사고에 실시간으로 대응할 수 있다.

본 논문에서는 실내외에서 다양한 군중밀집 사고를 예방하기 위한 YOLOv7기반 실시간 군중밀집 탐지 기술, 군중 혼잡도 및 이동방향 예측 기술, 다양한 상황의 통계 자료를 기반으로 체계적인 군중 밀집 지역 관리를 위한 사용자 인터페이스 기술을 제안한다. 이러한 기술들은 다양한 군중 밀집사고를 예방할 수 있는 통합서비스 시스템에 핵심기술로 사용된다. 그림 1은 본 논문에서 제안하는 군중 밀집 분석 시스템의 전체구조를 나타낸다. 정확한 연구개발 목표 수립을 위해 행위자 기반 모델을 통하여 보행자 유동 현상 및 상황통제(우측통행 등)의 변수에 따라 인구과밀현상의 위험도 변화 양상을 분석하였다. 또한 군중흐름에서 개체수 간의 관계를 알아보았고, 군중, 밀도, 흐름 등을 고려하여 군중 속도는 군중 앞이 지배적이라는 사실을 확인하였다. 인공지능 기반 객체 검출 및 이벤트(군중 밀집) 분석을 위해서는 관련 학습데이터 구축이 필수이다. 군중 밀집 분석용 데이터 구축, 학습모델 설계 및 파라미터 설정을 통한 가중치를 도출하였다. 군중 객체검출을 위한 학습데이터 성능테스트를 수행하여 YOLOv7을 최종 학습모델로 선정하였다. EDGE AI 적용을 위한 학습모델 경량화을 진행하였고, 그 결과 군중객체검출률 80% 이상 및 군중객체 추론속도 20FPS 성능을 확보하였다. CCTV(Closed Circuit Television) 위치정보와 거리정보를 활용하여, 현재 화각의 군중들에 대한 이동방향을 예측하였다. 사용자가 설정한 ROI(Region of Interest) 영역에서 감지된 객체 수와 사용자가 설정한 영역의 면적대비 1㎡당 몇 명이 있는지 계산하여 군중 밀집도를 예측하였다. 웹 접근성 및 웹 호환성이 적용된 UI/UX 사용자인터페이스 연구개발을 통해, 실제 지자체 통합관제시설 관리자들에게 다양한 상황에서 사고예측이 가능한 맞춤형 군중 밀집 탐지 분석 서비스를 제공할 수 있을 것이다.

Fig. 1. 
Elements of a system for crowd density detection

군중 밀집분석 통합서비스 플랫폼은 CCTV 영상(수집 및 관리하는 객체 영상 및 이미지 데이터는 RTSP(Real Time Streaming Protocol)로부터 전달받은 실시간 데이터를 가공하여 DB(database)에 저장)에 대해 사람에 대한 객체를 검출하고 분석하여 설정한 영역 내의 군중 밀집을 감지할 시 알림과 이미지 및 영상을 제공하는 딥러닝 기반 시스템이다. 로그인, CCTV추가, 이벤트 타임라인, 시스템 설정, 통계정보제공 등 Web Application 형태의 GUI(Graphical User Interface)를 제공하기 위해 사용자 중심 UI/UX 디자인을 도출하였다. 객체 영상 및 이미지 데이터에 대한 수집/관리 및 검색 기능을 서비스 형태로 구현하였고, 관제사가 다양한 탐지 영역 설정이 기능하도록 영역 설정 기능을 구현하였다. 2×2 ~ 6×6까지 시스템에서 화면에 맞게 자동 분할하여 군중 밀집 탐지영역 설정할 수 있는 가이드 영역 설정과 사용자가 직접 군중 밀집 탐지영역을 나누어 배치하는 커스텀 기능을 구현하였다. CCTV별, 영역별, 날짜별 이벤트 발생 수를 차트로 확인할 수 있고 조건에 맞는 데이터를 검색한 후 엑셀 파일로 내려받을 수 있는 통계기능을 그림 7과 같이 구현하였다.

Fig. 7. 
Statistical data per region

제공된 영상 기반 군중 밀집 상황에 대한 체계적인 분석을 위해 타임라인 기능을 구현하였다. 이벤트 발생 최신시간 기준으로 상단 정렬이 가능하고, 이벤트 발생 CCTV, 영역, 발생시간, 캡쳐 된 썸네일 정보를 제공하고, 군중 밀집 이벤트 발생 시 이벤트 발생 전 후 시간을 포함하여 영상을 녹화 및 재생할 수 있는 기능을 구현하였다. 사용자가 정의한 군중 수가 밀집되면 해당 CCTV 붉은색 라인이 점멸되는 자동 알람 기능을 개발하였다. 최종적으로, 그림 8과 같이, CCTV 영상을 통해 객체의 위치를 실시간으로 모니터링이 가능하며, 실시간으로 설정한 영역에 대한 군중 밀집 알림, 군중 이동 방향, 군중 밀집도 분석 서비스를 제공한다.

Fig. 8. 
Service platform service for urban crowd density safety

실외에서 다양한 군중 밀집사고를 예방하기 위한 딥러닝 기반 군중 객체 검출기술, EDGE AI적용을 위한 학습모델 경량화 기술, 군중 이동방향 예측기술, 군중 밀집도 분석기술 연구개발을 통해 본 논문에서는 다음과 같은 결론을 얻을 수 있었다.

첫째 군중 객체 검출기술은 군중 밀집 판단의 중요한 기준이다. 특정 시간 동안 군중에서 개별 객체각각을 검출하는 것은 군중 밀집 판단에서 아주 중요하다. 본 연구에서는 YOLOv7 기반 학습모델을 통해 다양한 군중 학습데이터를 적용하여 객체 검출 정확도 80% 이상, 군중 객체 추론속도 20fps를 확보하였다. 향후 다양한 화각에서 촬영된 군중 학습데이터셋 추가확보 및 알고리즘 성능 개선을 통해 검출 정확도를 90% 이상으로 높일 예정이다.

둘째 군중이 특정 지점까지 인파가 이동하여 영향을 미칠 것인지를 예상하기 위해 군중 이동방향 예측기술을 연구개발하였다. 현재는 단일영상 중심으로 이동방향을 예측할 수 있다. 다중 군중 분석 기반 혼잡도 예측 기능은 각 CCTV 영역에서 군중들에 대한 관측 영역(ROI)을 지정하고, 이들 군집에 대한 군중 이동 방향을 측정한 후, 인근한 CCTV 들(A영역, B영역, C영역 등)의 군중 이동 방향을 측정해 다양한 형태의 안전사고가 일어날 수 있는 혼잡도를 예측할 수 있다. 추후 다양한 학습데이터 확보 및 학습모델 고도화를 통해 다중 영상기반 군중 이동방향 예측기술을 연구개발 할 예정이다.

셋째 현재까지 군중 밀집 분석을 위해 객체검출, 이동방향 예측, 밀집도 판단기술등을 연구개발하였다. 향후 뎁스카메라의 객체 깊이정보를 군중밀집도 판단에 적용할 계획이다. 통합서비스 플랫폼과 외부 지자체, 경찰서, 소방서관계자들과 실시간 정보공유를 위해서, 모바일 앱 알람 시스템 개발할 예정이다. 또한 다중 드론을 활용해 보다 넓은 군중밀집 지역을 모니터링 할 수 있는 시스템을 연구개발할 예정이다. 최종적으로 다양한 기술과 융합을 통한 기술적 차별화를 통해 군중밀집 재난안전 시장 선점, 시민 생활 안전 위협요소 조기 탐지 및 피해 확산 방지를 통해 인명사고로 인한 국가 경제적 비용 절감효과를 기대해 볼 수 있다.