인파 밀집 분석을 위한 보행자 검출 방법에 대한 연구

2.1 YOLO 모델

YOLO는 대표적인 객체 탐지 모듈로서 CVPR2016에서 처음 공개된 후 현재 YOLO v8 버전까지 출시되었다[6]. 그중 가장 많이 응용되는 버전은 v5와 v8 버전으로, v5는 사용성이 편리하다는 점에서 많은 응용에 쉽게 접근할 수 있다는 장점이 있고, v8 버전은 더 빠르고 정확하다는 장점이 있어, 결국에는 애플리케이션의 요구 사항에 따라 사용되는 버전도 달라지지만, 대체적으로 실시간으로 처리할 것인지 아니면 접근성을 확보할 것인지에 따라서 선택할 수가 있다[7]. YOLO v5는 2020년에 Ultralytics 연구팀이 제안한 1-stage 객체 검출 알고리즘으로 기존의 모델을 간소화함과 동시에 강인성 및 처리 속도와 정확도를 개선하였다. 다른 모델에 비해 YOLO v5는 처리 속도와 정확도를 확보함과 동시에 상대적으로 낮은 하드웨어 사양에서도 구현 가능하다는 장점이 있다.

일반적으로 YOLO v5 기반의 보행자 검출 또는 객체 검출 방법은 크게 세 개 부분으로 구성할 수 있다. (1) 입력 영상 데이터의 특징을 추출하는 핵심 네트워크 Backbone에서는 ResNet, DenseNet 그리고 VGGNet 등과 같은 CNN 구조를 통해 fine-tune 과정을 수행하게 된다. 이렇게 higher semantics와 같은 심층 구조에 의한 다양한 라벨의 특징을 생성하는 구조는 보행자 검출 신경망의 후반부에서 유용한 정보로 제공된다. (2) 다양한 스케일의 피라미드 특징을 융합하여 핵심 네트워크 Backbone과 연결해주는 Neck에서는 FPN(Feature Pyramid Network), PANet, Bi-FPN 등이 사용 될 수 있다. Neck은 이름 그래도 backbone과 뒤에 나오는 head 사이를 연결해주는 연결부이다. 여기서는 다양한 층, 즉 피라미드 특징을기반으로 하기 때문에 다양한 스케일 변화를 주어 객체를 효과적으로 검출할 수 있다는 것이다. (3) Head에서는 객체 분류를 위한 바운딩 박스의 분류 및 회귀와 같은 검출 기능이 이루어 지는 실질적인 부분이다. 이렇게 세 모듈을 하나의 과정으로 통합해서 보면 그림 1과 같다.

Fig. 1.

YOLO architecture

2.2 YOLO v5의 원리

YOLO 모델의 공통점은 입력 이미지 또는 특징맵(Feature map)을 특정 격자망(Grid)으로 나누고, 각 셀(Cell)마다 객체 검출을 수행하는 것이며, 이는 SSD 모델에서의 특징맵의 각 포인트마다 객체 검출을 수행하는 원리와 같다고 볼 수 있다.

YOLO v5의 경우 backbone으로 SCP-Darknet53을 사용하며, 이는 주로 Focus, CSP(Cross Stage Partial), SPP(Spatial Pyramid Pooling) 세 개 부분으로 구성된다. 그중 Focus 모듈은 빠른 다운샘플링 작업을 수행할 수 있다. CSP 모듈은 CSPNet 구조를 따르며, YOLO v4의 Scaled버전에서 제안된 방법이다. CSP 구조는 이전 계층으로부터 입력받은 데이터를 각각 컨볼루션 연산을 수행하는 두 개의 경로로 분리한다. 그중 하나의 경로는 CBL 블록을 이용하여 컨볼루션, 정규화, 활성화 함수 등 처리를 거친후 Multiple Residual 구조로 전달된다. 다른 경로에서는 컨볼루션 정보만 전달한다. 상기 두 경도로에 전달되는 데이터를 결합하여 다음 계층으로 전달하여 신경망 모델의 학습력을 향상함과 동시에 정확도를 확보할 수 있다. SPP는 CNN 기반 모델[8]들이 고정적인 입력 이미지 크기만 사용한다는 단점을 해결하고자 제안된 방법으로써, CNN 수행 후 SPP를 수행하게 되면 고정된 스케일의 텐서가 출력되기 때문에 이미지의 화질을 수정하거나 잘라낼 필요가 없이 바로 검출이나 분류 학습을 수행할 수 있다는 장점이 있다. SPP 작동 원리는 SPM(Spatial Pyramid Matching)을 기본으로 이미지의 관심 영역별로 특징을 추출한 뒤 각 특징별로 이미지에서 나타나는 빈도수를 카운팅하는 기법이다. SPP 블록은 Conv, max-pooling 및 concat 세 부분으로 구성된다.

3.1 베이스 네트워크 개선 방안

객체 검출이나 분할 등 영역에서 관심 객체에 더욱 집중하여 학습할 수 있는 어텐션 메커니즘(Attention mechanism)[9] 개념을 도입하면 영상에서의 관심 영역 즉 관심 특징에 초점을 맞춰, 불필요한 특징을 억제하는 작용을 한다.

본 논문에서는 밀집 인파 영상에서 복잡한 배경 또는 목표 객체와 배경이 비슷한 경우 등 요소로 인해 목표 객체의 특징이 불명확하거나 뚜렷하지 못한 상황을 대비하여 관심 영역 검출 기법인 어텐션 네트워크를 추가적으로 구성하여 특징 추출 네트워크로 사용한다. 밀집 인파 즉 보행자 영역을 제외한 배경 영역에 대한 특징은 보행자의 특징 추출 시 잘못된 특징으로 학습될 수 있기 때문에 보행자 내부 영역을 관심 영역으로 구분하여 핵심적인 특징으로 활용하고자 한다. 최종적으로 기존의 YOLO v5s 모델에서 보행자와 배경을 구분하는 가중치 특징 맵을 추출하여 사전 학습된 네트워크의 특징에 컨볼루션 연산을 수행하여 보행자의 위치 정보를 추가적으로 반영하여 바운딩 박스를 찾기 위한 특징의 공간적 중요도를 강조할 수 있게 모델링할 수 있다. 그림 2는 YOLO v5s 모델에 어텐션 네트워크를 조합을 통해 개선된 구조를 보여주고 있다.

Fig. 2.

Structure of modified YOLO v5 network

개선된 베이스 네트워크는 두 단계로 구성된다. 하나는 어텐션 융합 특징 추출이고, 다른 하나는 인파 밀도 맵의 생성이다. 첫 번째 단계에서는 기존 YOLO v5s의 각 컨볼루션 층에 어텐션 특징을 조합형 융합 특징을 추출한다. 입력된 밀집 인파 영상 S에 각각 사이즈가 (h, 1)과 (1,w)인 커널을 이용하여 인코딩 작업을 수행하여 height가 H, weight가 W인 C번째 채널의 독립된 수용 특징 맵 Z(H)와 Z(W)를 생성하며, 사이즈는 각각 c×1×h，c×1×w이다. 특징맵 계산 수식은 다음과 같다.

각 컨볼루션 층에서 풀링(Pooling)을 수행했기 때문에 네트워크 층이 깊어질수록 특징 맵의 사이즈는 축소되면 최종적으로 원 영상의 1/16로 되며, 인코더의 출력에 더 많은 특징 정보를 부여하게 된다. 여러 번의 풀링작업을 통해 얻은 특징 맵은 해상도가 현저히 저하되며 일부의 공간적 정보를 손실하게 된다. 따라서 디코더의 역할은 영상의 사이즈와 공간적 정보를 복원함과 동시에 스케일 어텐션 맵을 생성하도록 한다. 그 원리는 디코더시 핵심적인 4개의 층(사이즈가 원 영상 사이즈의 1/16, 1/8, 1/4, 1/2인 특징 맵)의 깊이 특징을 유지하게 한다. 또한 high layer의 특징들은 유용한 특징들을 포함하게 되고, low layer의 특징들은 보행자 및 기타 배경 특징간의 경계 에지 정보를 포함하게 된다. 따라서 본 논문에서는 디코더 단계에서의 4 장의 특징 맵을 스케일 어텐션 네트워크를 위한 특징 맵으로 사용하게 된다.

두 번째 단계에서는 Concat융합을 통해 상기 생성된 Z(H)과 Z(W)을 컴볼루션 변환 함수 F() 을 사용하여 변환시킨다. 즉, 수평과 수직방향에서 공간적 특징에 대해 인코딩된 어텐션 특징 맵 A를 생성한다.

식 (3)에서 δ는 비선형 활성화 함수를 뜻한다. 식에서 사용된 커널 함수 F()는 사이즈가 １인 커널을 사용한다. 어텐션 네트워크는 주로 컨볼루션 모델 를 학습하여 밀집 인파 영상 S에서 어텐션 특징 맵을 추출하고 loss함수를 통해 예측 값과 실제 값의 손실 정도를 분석하여 학습을 수행한다. 각 층에서의 특징 맵 융합과정은 다음 수식을 통해 구현한다.

위 식에서 C_iⁿ는 ｉ번째 입력 영상이 특징 융합 네트워크에서의 ｎ번째 특징 융합과정을 의미하며，F_iⁿ는 ｎ번째 융합의 입력값을 의미한다. A_iⁿ는 입력 영상에 대응되는 어텐션 맵을 의미한다.

3.2 NMS 구조 개선

NMS(Non-Maximum Suppression)의 기본 원리는 다음과 같다. 대다수의 객체 검출 알고리즘은 객체 영역에 여러 개의C_A : S→A^4×i score가 비교적 높은 바운딩 박스를 생성하며, 결론적으로는 이중 하나의 바운딩 박스만을 선택하여 최종 검출된 객체의 위치로 확정되는데, 이때 적용되는 기법이 NMS 방법이다. 즉, NMS는 객체 검출기가 예측하는 바운딩 박스 중에서 가장 정확한 바운딩 박스만을 선택하도록 하는 기법이다. 전통적인 NMS는 구조가 비교적 간단하고 효율적이지만, 일부 특수 환경에서는 다음과 같은 문제점들이 발생할 수 있다. 첫 번째는 score가 비교적 낮아 겸침이나 많은 부분이 가려진 특징을 가지는 박스에 대해서는 미검출 문제나 mAP(mean Average Precision)를 저하시킬 수 있다. 두 번째는 NMS의 임계값을 설정할 수 없다. 임계값을 낮게 설정하면 두 개의 독립된 객체에 대한 예측 바운딩 박스 중에 적은 양의 특징을 가지는 박스에 대해서 억제하여 하나로 인식할 수 있어 미검출을 초래할 수 있다는 것이다. 반대로 임계값을 너무 크게 설정하면 두 개의 겹치는 객체 사이에 잘못된 예측 바운딩 박스가 추가될 수 있어 오검출을 초래할 수도 있다.

오직 score만을 표준 척도로 사용하게 되면 score가 높은 바운딩 박스가 특정 상황에서는 정확한 위치가 아닐 수도 있다. 세 번째는 처리속도 이다. NMS는 반복적인 연산을 수행하게 된다. 따라서 GPU의 병렬처리 효율을 떨어뜨릴 수 있다.

이에 본 논문에서는 일정 비율 이상의 겹치는 바운딩 박스들의 신뢰도(Confidence)를 0으로 만들어 억제하는 방법을 사용하지 않고 줄여서 최종 mAP를 향상시키는 Soft NMS를 베이스 네트워크에 사용하여 구현한다.

3.3 활성화 함수

활성화 함수는 크게 두 가지 종류로 나눌 수 있다. 하나는 선형 함수이고, 다른 하나는 비선형 함수이다. 일반적으로 활성화 함수의 미분과정을 통해 역전파 학습을 수행하는 과정에서 손실 값을 줄이는 연산을 하게 된다. 신경망 모델에서 예측값과 가중치 간에는 비선형 관계를 가지게 되므로 비선형 함수를 사용하게 된다. 현재 신경망 모델에서 가장 많이 사용하는 활성화 함수는 ReLU(Rectified Linear Unit) 함수이다. 하지만 ReLU의 경우 음의 영역에서는 Dying 현상이 발생하여 학습 성능을 저하시킬 수 있다. 이에 Swish의 특성을 기반으로 하는 활성화 ReLU의 Dying 문제를 해결하여 좋은 성능을 보였다[10]. 본 논문에서는 그림 3과 같은 형태의 활성화 함수인 CoS(Consist of Sigmoid) 함수를 사용한다.

Fig. 3.

CoS activation function and differential graph

CoS 함수는 음의 영역 값을 더 적게 줄여 학습과정에서의 음수 값의 영향을 줄이고, 양의 값은 ReLU의 특성을 그대로 사용하고, Swish의 비단조성 특징을 강조하여 표현력을 증가시킬 수 있다. 활성화 함수는 식 (5)로 표현된다.

식에서 σ는 표준편차를 나타내며, 추가된 시그모이드 함수의 제곱식을 x의 계수 5와 상수값 0.5로 위치를 조절하여 Swish의 특성을 유지하면서 부드러운 곡선을 구사하여 초기값 및 학습률에 강인하고 기울기 변화에 따른 표현력 향상을 통해 네트워크의 정확도를 개선할 수 있다.

4.1 실험 데이터셋

본 논문에서 제안한 모델의 성능을 검증하기 위하여 공개 데이터 셋인 CrowdHuman Dataset을 이용하여 실험을 진행한다. 상기 데이터 셋은 객체의 밀집도가 높고 더욱 광범위한 장면 정보를 포함하고 있어 데이터의 규모가 아주 크며 풍부한 라벨링 정보와 다양성 데이터 정보를 포함하고 있다. 이 데이터 셋은 총 24000장의 영상을 포함하고 있으며, 그중 15000장의 학습용 영상, 4370장의 검증용 영상과 5000장의 테스트 영상을 포함하고 있다. 학습 및 검증용 데이터에 포함된 라벨링 보행자수는 470k에 달하며, 각 영상마다 다양한 겹침현상이 존재한다. 본 논문에서는 데이터 셋 중에서 임의로 10000장의 영상을 사용하여 제안하는 방법에 의한 모델을 학습시켰으며, 3000장의 테스트 영상을 사용하여 모델을 검증하였다. 또한 실제 환경에서의 테스트를 위하여 실내에 설치된 CCTV 카메라 영상을 통해 모델의 성능을 검증하였다.

4.2 성능지표

본 논문에서는 모델의 성능을 평가하기 위하여 AP(Average Precision), mAP(mean Average Precision), FPS(Frames Per Second), R(Recall) 등 성능지표를 사용한다.

precisiondms 객체를 검출한 결과가 실제 객체와 일치하는지를 나타내는 성능지표이고, recall은 실제 객체를 기준으로 얼마나 검출했는지에 대한 검출율을 나타내는 성능지표이다.

상기 수식에서 P는 precision，R은 racall, T_P는 정확히 검출된 보행자 수(True positive), F_P는 오 검출된 보행자 수(False positive), F_N는 미 검출된 보행자 수(False negative)를 나타낸다.

4.3 실험 결과 분석

본 논문에서 제안한 모델의 성능을 검증하기 위하여 기존 YOLO v5s 모델을 기반으로 개선되기 전후의 mAP 및 loss 손실함수 수렴 그래프를 비교하였으며, 결과는 그림 4에서 나타내고 있다.

Fig. 4.

Comparison of results YOLO v5 training

그림 4(a)에서 보여주는 바와 같이 개선된 모델의 mAP 곡선이 더 빠르게 증가하며, 최종적으로 0.916에서 안정되며, 기존 모델보다 8%정도 개선됨을 확인할 수 있다. 또한 실험을 통해 개선된 YOLO v5의 더욱 안정적인 성능과 개선된 검출 정확도를 확인할 수 있었다. 그림 4(b)에서는 손실함수의 수렴도를 보여준다. epoch는 총 200 수행하였으며, 50 정도에서 안정적으로 변화하는 것을 확인할 수 있다. 최종적으로 loss 값이 0.02에서 수렴되며, 기존 모델의 0.033보다 0.013정도 개선된 것을 확인할 수 있다.

개선된 모델의 성능을 검증하기 위하여 CrowdHuman Dataset[11]에서 실험을 통해 기존 YOLO v5와 본 논문에서 개선한 방법을 비교 분석하였다. 표 1에서 보여주는 바와 같이 어텐션 네트워크와 soft NMS를 추가했을 때의 검출율을 기존 모델과 비교하였을 때 표 1에서와 같이 두 가지를 동시에 적용한 결과가 68.6%로 가장 높은 것으로 기존 모델보다 2.3% 개선된 것을 확인할 수 있다.

Table 1.

Comparison results of mAP

또한 본 논문에서 제안하는 모델의 성능을 검증하기 위하여 실제 CCTV 카메라를 연결하여 실시간 영상에서의 검출율을 분석하였다. 그림 5는 실제 영상에서의 검출 결과를 보여준다. 실시간 영상에서의 가장 중요한 성능지표인 FPS는 77로 실시간 처리가 충분한 것으로 확인되었다.

Fig. 5.

Results of detection based on proposed method