영상 감시시스템을 위한 SOM 기반 실시간 변화 감지 기법

Ⅰ. 서 론

21세기 현대 사회는 불특정 다수를 대상으로 자행되는 수많은 범죄와 대테러 위협 등으로부터 지속적인 피로감을 느끼며 안전 불감증에 사로잡혀있다. 이러한 문제의 해결 및 방지를 위해 전 세계를 비롯한 국내 정부와 기관들은 큰 비용을 부담하며 감시 장비와 인력 투입을 위해 노력하고 있지만, 끊임없이 발생하는 사건 사고의 영향으로 안전에 대한 수요는 날이 갈수록 증가하고 있다[1]. 이러한 이유로 감지·감시 시스템 관련 산업과 기술들은 지속적으로 성장하고 있으며, 현재 상용화된 대표적인 감시 시스템으로는 적외선, 초음파 등의 센서 정보를 기반으로 하는 아날로그 감시 시스템과 이러한 센서들과 폐쇄회로(CCTV) 영상 카메라 정보를 서버를 통해 중앙에서 관리하는 디지털 감시 시스템이 있다. 이상 감시 시스템은 단 한 번의 판단 오류만으로도 치명적인 결과를 초래할 수 있으므로 다양한 환경 조건에서의 강인성과 운용 효율성이 요구되지만, 상용화된 기존의 감시 시스템은 이에 상충하는 몇 가지 단점이 존재한다. 표 1은 기존 감시 및 감지 시스템에 응용되는 센서 및 기술들의 한계를 나타내고 있다[2].

Table 1.

Limitations of sensors or techniques applied in existing surveillance systems

아날로그 감시 시스템에서 응용되는 센서는 크게 수동형 센서와 능동형 센서로 나뉜다. 수동형 센서는 자연으로부터 방출되는 에너지를 감지하는 전자전기적인 센서로서, 사람으로부터 방출되는 열적외선이나 주변 온도 및 태양의 존재 유무에 지나치게 민감하다는 단점이 있다. 조명할 자신의 에너지원을 가지고 있으며 이를 방사한 뒤 반사된 복사선 감지를 통해 활용되는 능동형 센서는 높은 신뢰도를 갖지만, 설치 지형에 따른 성능 저하가 발생한다. 또한 수동 센서 대비 높은 에너지원이 요구되며, 조명을 원하는 범위가 증가할수록 천문학적인 비용이 발생하여 운용 효율성의 문제가 뒤따른다[3].

무인경비나 CCTV를 이용하여 아날로그 감시 시스템의 취약점을 보강한 디지털 감시 시스템의 경우 단일 아날로그 센서를 이용한 기존 감시기법과 비교하여 효율성이 높고 능률적이며 설치환경의 제약이 낮은 장점이 있지만, 여전히 중앙 관리 감시 시스템의 판단은 사람의 몫으로서, 감시자의 집중과 판단에 의존되어 관리자의 부주의나 판단 실수 등에 의해 발생하는 치명적인 문제에 대한 한계가 명확하다는 단점이 존재한다.

아날로그 및 디지털 감시 시스템과 더불어, 최근 컴퓨터 하드웨어의 진보와 기계학습의 눈부신 발전과 함께 기존 영상 정보를 통한 단순한 감시가 아닌 알고리즘을 기반으로 감시가 이루어지는 지능형 감시 시스템이 주목받고 있다[4].

핵심이 되는 대표적인 관련 기술들로는 컴퓨터 비전(Computer Vision)과 영상처리(Image Processing)를 통해 불필요한 배경을 제거하고, 변화되는 픽셀의 감지를 통해 움직이는 사물의 위치와 방향 및 속도를 추적하는 이동 객체 검출과 합성곱 신경망(CNN), 서포트 벡터머신(SVM) 등의 학습 알고리즘을 기반으로 사물을 인지하고 분류하는 기계학습 기법이 있다[5]. 지능형 감시 시스템에 응용되는 기술들은 기존 감시 기법과 비교하여 매우 뛰어난 성능과 능동적인 상황 판단 및 인지 능력을 갖추고 있지만, 실시간으로 입력되는 영상을 기반으로 한 픽셀 단위의 영상처리와 컴퓨터 비전 연산 과정에서 고도의 연산능력이 필요조건으로 존재하여 기존 감시 장비뿐만 아니라 알고리즘 연산을 위한 고성능 하드웨어가 요구된다. 더불어 이동 객체 검출 기법의 경우, 픽셀의 변화량을 기반으로 사물을 추적하는 과정에서 정적 이상 감지와 잡음 및 음영의 변화가 존재할 경우 매우 취약하다는 단점이 있으며, 객체 단위의 Classification 및 Localization을 위한 기계학습 과정에서는 다양한 데이터와 학습 과정의 조건부가 존재한다.

결과적으로 지능형 감시 시스템 운용을 위해 많은 시간과 비용이 요구되며 기법에 따라 기존 아날로그 감시 시스템과 같은 환경에 따른 강인성 저하가 발생한다. 단순 성능적인 면에서는 뛰어난 성능을 보장하지만 다양한 산업 환경에서의 응용성과 비용 효율성의 측면을 고려하게 되면 많은 제약조건이 뒤따르게 되어 관련 기술 연구의 성장은 가파르나 이러한 한계점으로 인하여 상용화에 차질을 빚고 있다.

이에 본 논문에서는 기존 감시 시스템이 내재하고 있는 다양한 환경 및 정적 이상 감지에서의 낮은 강인성 문제를 보완하고 비용 효율성 문제를 해결하기 위한 지능형 이상 감지 시스템을 새롭게 제안한다. 제안된 변화 감지 시스템의 구현을 위해 데이터 군집화 기법으로 응용되고 있는 자기 조직화 신경망(SOM, Self-Organizing Map)을 활용하였으며, 사전 확보된 학습 데이터를 기반으로 SOM 학습을 수행한 뒤 최적화된 신경망 내부 뉴런의 군집 분포를 분석하여 이상 감지를 위한 클래스를 부여하였다. 이후 실시간 감시 시스템으로부터 새롭게 입력되는 데이터와 SOM 연산으로 확보된 최근접 이웃 뉴런의 클래스를 비교하여 동적 환경 변화에 따른 이상 감지 유무를 판단한다. 제안된 SOM 기반 변화 감지 시스템(Change Detection Architecture based on SOM)는 전략적 학습을 통해 최적화하였으며, 자체 제작된 실내 환경에서의 테스트 데이터를 통해 실시간 감시 가능성을 확인하였으며, 타 알고리즘과 비교하여 다양한 환경에서 보다 뛰어난 강인함을 보여주어 실시간 이상 감지 시스템의 실질적인 활용을 기대할 수 있었다.

Ⅱ. SOM 기반 변화 감지 시스템

SOM은 인간의 인식 과정과 신경 상태에서 영감을 얻은 비지도 학습 인공 신경망 알고리즘으로서, 현재 기계학습의 한 분야인 데이터 군집화 기법의 발전과 함께 다양한 분야에서 응용되고 있다. SOM은 ‘WINNER-TAKE-ALL’의 학습 메커니즘을 통해 고차원 입력 벡터의 차원 축소 및 군집화를 동시에 수행하며 복잡하고 비선형을 갖는 데이터의 특징점 추출을 통해 2차원 형태로 시각화할 수 있는 것이 특징이다[6]. 일반적으로 응용되는 SOM은 2차원 격자 신경망 구조로 이루어지며, 신경망 내부를 대표하는 각각의 뉴런 i는 초기값을 갖는 가중치 벡터 m_i = {m_i1,...,m_id}로 구성된다. 여기서 d는 입력 벡터의 차원이며 뉴런의 개수는 데이터의 복잡성에 따라 수백 쌍 이상의 구조적 확장이 가능하다.

본 논문에서 제안된 CDAS의 구조는 그림 1과 같다.

Fig. 1.

Learning process in SOM

카메라 모듈로부터 수집된 N_row×N_col 픽셀의 RGB 영상 정보 Y_NrawNcol = {y_r,y_g,y_b}를 단일 Gray scale 압축 및 0과 1사이로 정규화한 뒤, SOM의 입력을 위해 1차원 벡터 X∈R^d×1로 재배열하여 구성하였다. SOM의 학습 알고리즘은 반복 과정을 통해 뉴런과의 연결 강도를 최적화 하는 방향으로 진행되며, 매 학습 단계에서 입력 벡터 X와 각 뉴런의 가중치 벡터 m_i의 위상적인 거리를 구하게 된다. 이때 입력 벡터 X와 가장 인접한 거리의 뉴런을 승자 뉴런으로 정의하게 되며 식 (1)과 같이 경쟁 학습 과정(Competitive Learning)을 거친다.

이후 승자 뉴런을 중심으로 전체 가중치 벡터는 식 (2)와 같이 갱신된다.

여기서 ϵ(t)는 학습 속도를 결정하는 학습률이며, 이웃 함수로 정의되는 Λ_winner(X),i는 승자 뉴런을 중심으로 이웃한 뉴런과의 연결 강도를 식 (3)과 같은 오목한 형태의 가우시안 필터 스칼라 곱으로 조정한다.

여기서 r_i과 r_winner(X)는 SOM의 격자 구조 내 뉴런의 위치이며, σ²(t)는 이웃 함수의 반경을 나타내는 분산이다. σ²(t)과 ϵ(t)는 0 ~ 1의 범위에서 학습이 진행됨에 따라 점진적으로 감소하는 선형 함수 형태를 갖는다. 결과적으로 SOM의 학습 기법은 입력 벡터와 뉴런과의 경쟁 학습 과정을 통해승자가 된 뉴런을 중심으로 연결 강도를 조정하며 최적화된다. 이와 같은 학습 메커니즘을 활용하여 군집된 뉴런을 기반으로 2차원 신경망 격자 구조에 클래스를 부여하게 되면 새로운 입력 X^new에 대한 경쟁 학습 연산만으로도 분류와 예측 문제의 해결 가능성이 존재한다[7].

이를 고려하여 제안된 CDAS는 카메라 모듈로부터 수집된 영상 데이터를 SOM을 기반으로 학습한 뒤 최적화된 뉴런의 군집 특징으로 클래스를 부여한다. 이후 실시간으로 수집되는 영상의 입력을 통해 승자 뉴런을 구한 뒤 군집된 뉴런과 비교하여 가장 인접한 거리의 뉴런을 최근접 이웃(NN, Nearest Neighbor)으로 정의한다. 이때 뉴런과의 거리는 최적화된 격자 구조의 군집 분포 특성을 고려하기 위해 기존 뉴런과 SOM의 시각화 기법인 U-Matrix(Unified Distance Matrix)에서 정의되는 이웃 뉴런과의 연결강도를 활용하여 간선 가중치 그래프의 최단 경로를 찾는 알고리즘을 적용한다[8][9].

SOM 격자 구조 내 뉴런 위치의 집합 γ∈{r₁,...,r_m}과 인접한 두 뉴런 (i,j)의 연결 강도를 나타내는 w_ij의 집합 W로 이루어진 유향 그래프 G= (γ, W)를 가정하면 승자 뉴런 winner(X^new)과 목표가 되는 뉴런 r_target의 최단 경로 P(winner(X^new),r_target)은 식 (4)와 같이 정의된다.

최종적으로 도출된 승자 뉴런의 NN을 군집된 뉴런과의 최단 경로 기법으로 구한 뒤, NN의 클래스정보를 통해 영상 변화의 감지를 기대할 수 있게 된다. 이를 통해 기존 이상 감지 기법에서 발생 가능한 이상 감지의 판단 오류와 잡음 환경에서 보다 향상된 감시 강인성과 효율성을 갖는 실시간 이상 감지 시스템을 구축하는 것을 목표로 한다. 그림 2는 제안된 시스템의 이상 감지 과정을 도시화한 것이다.

Fig. 2.

Change detection process of proposed framework

Ⅲ. CDAS 시스템 성능 평가

제안된 CDAS는 실제 운용 환경에서 발생 가능성이 있는 판단 오류 문제를 보완하고 비교적 저비용으로 운용 가능한 시스템 설계를 통해 기존 변화 감지 시스템 대비 향상된 강인성과 효율성을 갖도록 목표하였다. 자체적으로 제작된 데이터를 기반으로 전략적 학습을 수행하여 CDAS 내부 매개 변수를 최적화한 뒤 지능형 감시 시스템에서 응용되는 타 알고리즘과의 성능 비교평가를 진행하였다.

3.1 성능 평가 데이터

본 논문에 제안된 지능형 감시 시스템의 가용성을 평가하기 위해 감시가 요구되는 다양한 실내외 환경 중에서 일반적으로 응용 가능성이 높은 실내 사무실 환경에서의 데이터를 자체적으로 제작하여 모의시험을 진행하였다. 데이터 수집을 위해 실내 8m×6m 공간의 환경에서 Logitech HD Webcam을 사용하였으며, 수집된 1280×720의 해상도, 30frame/s의 비디오 영상을 문 열림 및 닫힘 등의 정적 변화, 영상에 존재하는 피 실험자의 수 및 움직임 등을 기반으로 하여 영상의 변화 감지 정도를 Normal(움직임 및 화면 변화 없음: Negative/Class 1), Static Abnorma(정적 환경 변화: Positive/Class 2), Dynamic Abnormal(동적 환경 변화: Positive/Class 3)로 나눠 3단계의 평가 레벨을 부여하였다. 학습을 위해 수집된 3600장의 단일 영상 이미지 중 무작위로 1200장의 영상 이미지를 추출하였으며, 학습 데이터와의 중복 가능성과 연속된 영상에서의 감시 강인성 평가를 위해 다양한 정·동적 변화가 있는 4개의 영상을 확보하여 성능 평가를 진행하였다. 표 2는 SOM 데이터 학습을 위해 수집된 실내 사무실 환경에서의 데이터를 나타낸다.

Table 2.

Office dataset for training

3.3 변화 감지 시스템 모델 최적화

영상의 변화 감지 시스템의 매개변수는 문제의 복잡성과 입력 데이터의 차원에 따른 최적값의 다양성으로 최적의 성능을 위해서는 전략적 학습을 기반으로 한 최적 설계가 요구된다. 제안된 시스템 성능에 영향을 미치는 요소로는 입력 데이터의 크기, 정규화 등의 전처리 기법에 따른 영향과 뉴런이 배열되는 2차원 격자구조의 밀도를 나타내는 격자 크기가 있다. 감시 성능 고도화 및 최적화를 위해 제시된 두 가지 요소에 변화를 주어 실험하였다. 학습에는 모두 동일한 학습 데이터와 파라미터(ϵ(t),σ(t))를 사용하였다. 전략적 학습에 따른 이상 감시 시스템의 시험 결과는 표 3과 같다.

Table 3.

Comparative study result for choosing the size of the SOM as well as the image scale

영상 데이터의 크기가 변화할 경우 1/2배 압축된 영상 기반 시스템에서 SOM 내부 격자 크기와 무관하게 FNR과 PBC가 상대적으로 낮게 형성되었으며, 6×6의 격자 크기에서 가장 높은 성능을 보여 CDAS 최적 설계 모델로 선정하였다. 또한 15frame/s의 연산 속도를 보여주어 실시간 변화 감지의 가능성을 확인할 수 있었다.

3.4 CDAS 시스템 성능 평가 결과

전략적 학습을 통해 최적화된 CDAS의 비교 평가를 위해 기존 변화 감지 기법에서 폭넓게 사용되며 비교적 적은 연산 과정을 요구하는 감지 기법을 채택하였다. 이전 영상과의 감산을 통해 움직임을 추적하는 FD(Frame Difference), 필터 기반의 배경 제거를 통해 사물을 검출하는 MF(Median Filter)와 사전 저장된 정보를 기반으로 배경을 제거하는 GI (Global Illumination)을 비교 평가에 활용하였다[11]-[13]. 비교 평가에 사용된 감지 기법은 모두 배경을 제거 및 사물 추적을 위한 알고리즘으로써, 이상 검출을 위해 변화가 감지된 픽셀의 개수가 판단 기준 이상으로 감지될 경우를 음성 또는 양성으로 판단하며 변화 감지 시스템의 비교 성능 평가 결과는 표 4와 같다.

Table 4.

Performance evaluation of change detection system

제안된 자기 조직화 신경망 기반의 변화감지 모델은 타 감지 기법 비교하여 이상 정도와 무관하게 테스트 데이터 영상 전 구간에 걸쳐 우수한 성능을 보였다. 성능 평가한 감지 기법 모두 FNR 지표에서 높은 강인성을 보였지만, GI와 제안된 CDAS를 제외한 FD와 MF 감지 기법은 동·정적 변화 정도가 테스트 영상 1, 2에서 FPR이 증가하며 상대적으로 낮은 감지 성능을 보여주었다. 비록 제안된 CDAS는 사전 데이터 정보를 기반으로 하는 GI와의 비교에서 MR이 다소 높게 형성되었지만, 소수점 이하의 무시할 수 있는 근사한 차이로 판단할 수 있다.

또한 추가로 진행한 표 5의 강인성 평가에서 뛰어난 잡음 강인성을 입증할 수 있었다. 기존 감지 기법의 경우 잡음의 영향으로 영상의 변화 감지 정도가 임계값을 상회하게 되어 음성 판단이 이루어지지 않아 FPR 지표가 측정 불가하게 되었다.

Table 5.

Performance evaluation of change detection system in noisy environment

그 결과 PBC는 상대적으로 감소하게 되어 단일 지표상으로는 높은 성능을 갖는 시스템으로 기대할 수 있지만, FAR 지표가 100%에 수렴하게 됨으로써 감시를 위한 변화 감지를 판단할 수 없는 시스템으로 고려할 수 있다. 비록 제안된 변화 감지 기법은 잡음의 영향으로 테스트 데이터 일부 구간에서의 양성 판단 강인성이 저하되어 PBC가 다소 높게 형성되었지만, MR 또는 FAR가 100%로 수렴하지 않음으로써 잡음의 간섭에도 불구하고 변화 감지의 판단력이 유지됨의 확인을 통해 타 감지 기법 대비 뛰어난 잡음 강인성을 입증하였다.

그림 3과 4는 영상의 변화 정도에 따른 감지 기법의 성능 비교를 위해 테스트 데이터의 영상 일부 구간의 감지 결과를 이진 분류 문제로 고려한 뒤 잡음의 간섭 여부에 따라 도시화한 것이다.

Fig. 3.

Example of evaluation results of a change detection system

Fig. 4.

Example of evaluation results of a change detection system in noisy environment

그림 3(e)의 제안된 기법은 클래스 1, 3 구간에서 가장 우수한 판단능력을 보였으며, 잡음 환경에서 일부 구간에서의 성능 저하는 있었지만, 클래스 1 또는 2, 3의 변화 감지 판단력을 잃은 타 감지 기법과는 대조적으로 전 구간에 걸쳐 감지 성능이 유지됨을 확인할 수 있었다. 테스트 영상 데이터 전 구간에 걸쳐 제안된 CDAS는 우수한 감지 성능을 보였으며, 사전 학습 정보를 기반으로 하는 GI와의 비교에서 근사한 성능 차이가 있었지만, 잡음의 간섭이 존재하는 환경에서 압도적인 성능 차이를 보이며 우수한 잡음 강인성을 입증하였다.

Ⅳ. 결론 및 향후 과제

본 논문에서는 기존 영상 감시 시스템이 내재하고 있는 잡음 강인성과 운용 효율성의 문제를 해결 및 보강하기 위해 자기 조직화 신경망 알고리즘을 기반으로 하는 영상의 변화 감지 기법을 통한 실시간 지능형 감시 시스템을 새롭게 제안하였다. 제안된 감지 기법은 SOM의 경쟁 학습 과정을 거쳐 군집되도록 최적화한 뒤, 2차원 격자 구조의 뉴런의 군집 특성에 따라 클래스를 부여하였다.

이후 실시간으로 입력되는 영상 데이터와 최적화된 뉴런과의 연산을 통해 가중치 간선 그래프를 가정하여 최근접 이웃 뉴런을 구한 뒤 분류 단계에 적용하여 영상의 클래스를 분류 및 예측한 뒤, 최종적으로 분류된 승자 뉴런의 클래스 정보를 통해 영상의 변화 감지에 응용하였다. 이후 변화 감지를 이진 분류 문제로 가정하여 다양한 환경 변화가 존재하는 테스트 영상 데이터를 기반으로 한 타 알고리즘과의 비교 시험에서 제안된 알고리즘의 뛰어난 성능을 확인 하였다. 특히, 감시 시스템에서 중요한 정적 이상 상태(미세 움직임 또는 변화된 화면 배치)와 잡음 환경에서 타 알고리즘 대비 뛰어난 잡음 강인성을 보여 실내 보안 감시 시스템 뿐만 아니라 실외 경보, 화재 경보, 시스템 점검 등의 다양한 산업 환경에서의 응용 가능성을 기대할 수 있을 것으로 사료된다. 향후 실내 데이터 이외에도 다양한 환경에서의 모의실험 및 강인성 향상을 위한 학습 보강 기법을 통해 일반화된 이상 감시 시스템 모델로 발전시킬 계획이다.

Acknowledgments

이 논문은 2018 정부(교육부)의 재원으로 한국연구재단 (No.2018R1D1A3B07041729) 및 순천향대학교 학술연구비의 지원을 받아 수행된 연구임

References

• M. L. Wang, C. C. Huang, and H. Y. Lin, "Intelligent Surveillance System Based on Omnidirectional Vision Sensor", IEEE Cybernetics and Intelligent Systems, Jun.), (2006.
• M. Valera, and S. A. Velastin, "distributed surveillance systems: a review", IEEE Vision, Image and Signal Processing, 152(2), p192-204, Apr.), (2005.
• F. Ortega-Zamorano, M. A. Molina-Cabello, E. López-Rubio, and E. J. Palomo, "Smart motion detection sensor based on video processing using self-organizing maps", Expert Systems With Applications, 64, p476-489, Dec.), (2016. [https://doi.org/10.1016/j.eswa.2016.08.010]
• D. Vallejo, F. J. Villanueva, J. A. Albusac, C. Glez-Morcillo, and J. J. Castro-Schez, "Intelligent Surveillance for Understanding Events in Urban Traffic Environments", International Journal of Distributed Sensor Networks, 10(8), Aug.), (2014. [https://doi.org/10.1155/2014/723819]
• M. L. Wang, C. C. Huang, and H. Y. Lin, "An Intelligent Surveillance System Based on an Omnidirectional Vision Sensor", IEEE Conference on Cybernetics and Intelligent Systems, Jul.), (2006. [https://doi.org/10.1109/iccis.2006.252312]
• T. Kohonen, "The self-organizing map", Neurocomputing, 21, p1-6, May), (1998.
• R. Dlugosz, T. Talaska, W. Pedrycz, and R. Wojtyna, "Realization of the conscience mechanism in CMOS implementation of winner-take-all self-organizing map networks", IEEE Transactions on Neural Networks, 21(6), p961-971, Jun.), (2010.
• A. Ultsch, and H. P. Siemon, "Kohonen’s Self Organizing Feature Maps for Exploratory Data Analysis", International Neural Networks Conference (INNC), p305-308, (1990).
• D. L. Olson, and D. Delen, "Advanced Data Mining Techniques", Springer, p138, Feb.), (2008.
• C. Zhan, X. Duan, S. Xu, Z. Song, and M. Luo, "An improved moving object detection algorithm based on frame difference and edge detection", Image and Graphics, p519-523, Aug.), (2007. [https://doi.org/10.1109/icig.2007.153]
• I. Cohen, and G. Medioni, "Detecting and Tracking moving objects for video surveillance", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2, p319-325, Jun.), (1999.
• J. A. Vijverberg, M. J. H. Loomans, C. J. Koeleman, and P. H. N. de With, "Global illumination Compensation for Background Subtraction Using Gaussian-Based Background Difference Modeling", IEEE International Conference on Advanced Video and Signal Based Surveillance, Sep.), (2009. [https://doi.org/10.1109/avss.2009.101]
• Z. Zivkovic, and F. van der Heijden, "Efficient adaptive density estimation per image pixel for the task of background subtraction", Pattern recognition letters, 27(7), p773-780, May), (2006. [https://doi.org/10.1016/j.patrec.2005.11.005]