Current Issue

동영상이란 각각의 정지된 화면 즉, 프레임을 빠르게 지나가게 하여 마치 움직이는 것처럼 보이도록 하는 기술이다. 프레임의 상관관계란 연속된 프레임이 약간의 차이가 있을 때 배경은 똑같지만 움직이는 물체가 있는 부분이 두 프레임의 차이를 말한다.

프레임의 상관관계를 이용하여 픽셀 차이를 구하기 위해 종래에는 주로 두 프레임 전체를 픽셀 단위로 비교하는 방법을 사용해 왔다. 그러나 이 방법은 비교하는데 많은 시간이 소요되기 때문에 보다 효율적인 프레임 비교를 위해서 본 논문에서는 이미지를 16분할하여 처리하는 방법을 제안한다.

비교 대상 프레임(기준 프레임)과 현재 재생되는 프레임을 비교하여 의미 있는 내용을 추출한다. 즉, 두 프레임과의 비교에서 움직이는 물체가 없는 고정된(기준) 프레임은 추출하지 않고, 움직이는 물체가 존재하는 경우 두 프레임의 픽셀의 차이만을 구하는 방법이다.

이때 픽셀 차이를 비교하여 중복되는 데이터는 제거되고, 의미 있는 데이터만을 가변적인 블록으로 구성하게 된다. 다시 말해서 픽셀 차이를 비교한 후, 같은 부분은 흰색으로 채우고 움직이는 물체(기준 프레임과 다른 부분)만 이미지에 채운다. 프레임을 블록 단위로 분할하는 이유는 의미 있는 픽셀의 값을 객체화시켜서 빠르고 정확하게 처리하기 위한 것이며, 이때 값을 가지지 않은 블록은 의미가 없으므로 연산에서 제외된다.

픽셀(프레임) 간의 차이 값을 구하는 것과 프레임 블록화는 둘 다 영역을 지정한 후 수행이 가능하기 때문에 전체영역을 16분할하여 동시에 스레드를 이용할 수 있다. 따라서 각 분할된 영역의 스레드는 동 시간대에 프레임간의 차이 값 구하기와 프레임 블록화가 수행되고 모든 영역에 대한 작업이 끝났을 때 다음 프레임의 작업을 수행하게 된다.

이렇게 16분할 스레드를 설계함으로써 영상 처리속도를 증대하여 현재 프레임과 다음 프레임간의 속도 간섭을 막을 수 있다. 그림 2는 프레임 16분할 스레드의 구성 예를 나타낸다.

Fig. 2. 
Configuration example of frame 16 partition thread

스레드는 CPU 내에서 실행되는 최소의 프로그램 단위로서 스레드 ID, 레지스터들의 집합, 스택, 프로그램 카운터 등과 같은 정보들로 구성된다. 멀티 스레드는 동일 프로세스 내에서도 메모리 공유가 가능하므로 효율적인 데이터 처리가 가능함은 물론 시스템의 자원 낭비를 줄인다. 본 논문에서는 많은 스레드가 실행될 때 데이터의 데이터 처리의 효율성을 고려하여 16분할하여 영상을 처리한다.

그림 2에서 Locked는 동기를 맞추기 위해 사용하며, 하나의 프로세스에 속한 16개의 스레드는 메모리 등의 자원을 공유하여 병렬처리가 가능하므로 처리속도가 매우 빠르게 된다.

기준 프레임(이미지) 지정은 지정된 장소를 촬영하는 CCTV 영상의 특성을 이용하여 지정된 시간마다 기준 이미지를 생성한다. 기준 이미지가 지정되면 그 이후의 프레임들은 이 기준 이미지와 픽셀을 비교하게 된다. 기준 이미지와 이후 프레임의 배경 밝기가 같고 움직이는 물체가 있다고 가정했을 때, 이전과 중복되는 부분에 대해서는 픽셀의 차이가 없으므로 이 부분은 흰색으로 채우고 움직이는 물체만을 추출하여 이미지에 채운다.

비교를 위한 이미지 파일들의 크기를 절약하기 위하여 일정 시간마다 생성하는 기준 이미지를 이용한다. 그림 3의 (a)는 기준 이미지를 생성하기 위한 방법을, (b)는 픽셀 비교를 위한 효율적인 알고리즘을 나타낸다.

Fig. 3. 
Basic image generation and Pixel comparison algorithm

그림 3에서 알 수 있듯이 기준 이미지는 60초 마다 생성이 되며, 이 파일은 암호화되어 저장된다.

픽셀 차이를 비교하여 중복되는 데이터가 제거되면 의미 있는 데이터만을 가변적인 블록으로 구성한다. 이때, 픽셀이 같은 부분은 흰색으로 채우고 기준 프레임(이미지)과 달라지는 부분만을 채우고 일정한 크기로 블록화 한다. 만일 이 수준의 값보다 더욱 정밀한 움직임이나 데이터를 추출하고자 한다면 픽셀 비교의 기준 값을 더 낮추거나 블록의 크기를 줄여서 데이터를 추출하면 된다.

블록화를 한 후 각 블록들을 좌측 상단부터 차례대로 채운다. 이때 각 블록의 원래 위치를 찾을 수 있도록 각 블록의 앞에 좌표 값을 넣어준다. 블록화와 블록정렬은 전체 이미지를 블록 크기별로 탐색하여 수행한다. 탐색한 값이 흰색이 아닐 경우에만 값을 저장하여 블록화하고. 그 블록의 첫 번째 좌표를 저장하고 블록들을 정렬한다. 그림 4는 16분할로 동시 실행하는 블록화 및 블록정렬 과정을 나타낸다.

Fig. 4. 
Process of image blocking and block alignment

이러한 과정을 통하여 이미지를 가공했을 때, 불필요한 데이터를 줄여 이미지 파일의 크기를 기존의 원본 이미지 파일 크기보다 최대 1/30까지 줄일 수 있다. 정렬 할 때에는 각 블록의 첫 좌표가 파일에 저장되며 Viewer를 통해 읽어 들일 때 같이 읽어 들여서 블록을 재배치 할 때 사용한다.

이미지를 영상으로 재생시키려면 각 이미지를 촬영할 때의 처리속도(FPS, Frame Per Second)를 알아야 실제 촬영 영상과 동일한 영상을 볼 수 있다. FPS를 모른다면 영상이 너무 빠르거나 느리고 영상 재생 중 누락되는 부분이 있을 수 있다. 그렇기 때문에 CCTV촬영을 하면서 FPS를 이미지 파일에 같이 저장해야 한다.

Viewer 서버에는 CCTV 영상 촬영 후 가공된 이미지파일들이 저장된다. 이때 이미지들은 블록화 및 블록정렬 후에 저장되기 때문에 Viewer에서는 이미 전송된 각 블록들(조각들)의 좌표(각각의 기준 프레임에 대한 좌표)를 찾아야 한다. 그리고 블록 좌표에 맞춰 기준 이미지 파일에 정렬된 블록을 연결하여 원래 영상을 재생한다.

제안한 CCTV 보안시스템은 ARIA 암호알고리즘을 기반으로 하여 암호화 및 복호를 수행한다. 대칭키 알고리즘인 ARIA는 블록의 길이가 128비트이며, 128/192/256비트인 키의 길이를 가변적으로 사용할 수 있다. 또한, 키의 크기에 따라 각각 10/12/14번의 라운드를 반복하여 암호화를 실행한다[8].

구현된 암호화 엔진은 암호화와 복호화를 수행하는 라운드 모듈과 키 값을 생성하기 위한 스케줄러로 되어 있다. 본 논문에서는 128비트의 키를 사용하여 암호화 엔진을 설계하고 구현한다.

라운드 함수의 모듈은 키 덧셈(AddRoundKey 함수), 치환 계층(SubstLayer 함수), 그리고 확산 계층(DiffLayer 함수) 등 크게 세 부분으로 구성된다. 라운드 함수의 키 덧셈은 128 비트의 라운드 키와 128 비트의 입력 값에 대해 비트 별로 XOR 연산을 수행한다. 치환 계층은 2 종류로 구성되며, 이들 각 계층은 8비트의 입력과 출력 S-box 그리고 그들에 대한 역변환 구조를 가진다. 확산 함수를 수행하는 확산 계층은 16×16 인볼루션(Involution) 구조이며, 행렬 연산을 실행한다[8].

본 논문에서는 기존의 ARIA C(C++) 소스 코드를 C# 코드로 변환하여 시스템을 구현하였다. 각각 클래스를 이용하여 정의 부분과 암호화, 복호화 부분을 재구성 하였으며, 고정 키 값을 설정하여 사용하였다. 그림 5는 기존의 ARIA 알고리즘의 C 소스코드를 C# 코드로 변환하는 과정을 나타낸다.

Fig. 5. 
Process of converting conventional ARIA C source code to C# code

그림 6은 정렬된 프레임과 기준 프레임의 암호화된 예를 보여준다.

Fig. 6. 
Examples of aligned frames and reference frames

블록 정렬 후 나오는 최종 프레임(정렬된 기준 프레임)에 대해서만 암호화를 수행한다. 그림 6에서 알 수 있듯이 정렬된 프레임을 암호화했을 경우 동일한 주소(Address)에 암호화된 프레임(기준 프레임)이 저장되어 있다. 이때 암호화 대상 파일은 기준 프레임 파일(bmp 파일)이며, 이 파일은 특성상 헤더부분이 손상되면 파일 전체를 읽을 수 없게 된다. 그래서 본 논문에서는 프레임의 헤더 부분인 bmp 파일은 부분적으로 암호화하여 암호화 속도를 높이는 방법을 이용하였다.

그림 7은 그림 6의 정렬된 프레임의 3개의 평문(Plaintext) 주소(Address)에 대한 각각 암호화(Ciphertext) 및 복호화된(Decrypted) 결과를 보여준다. 위에서 설명한 것처럼, 영상 시스템에서의 Viewer는 고정 프레임 파일과 정렬된 파일, 그리고 좌표 파일을 읽어 들인다. 그 다음에 좌표 파일로부터 블록의 좌표를 읽어 들이고 블록 정렬에 이 좌표를 적용시켜서 블록을 원래 위치로 이동시키는 역할을 한다.

Fig. 7. 
Result of both encrypted and decrypted frames for aligned frames

표 1은 5분간 영상을 촬영하면서 기존의 원본영상[4]과 제안한 방법에 대한 실험결과를 나타낸다.

원본영상의 경우는 영상을 가공하지 않고 동영상을 그대로 촬영한 방법이다. 실제로 국내에서 제일 많이 쓰이는 방법으로 많은 저장 공간을 필요로 하고 누구나 접근이 가능하여 데이터 보안에 문제가 있다. 제안방법1은 여기에서 제안한 분할 스레드 기반의 방법을, 제안방법2는 분할 스레드 기반 및 암호화 방법을 병행하여 수행한 결과를 나타낸다.

표 1에서 알 수 있듯이 제안방법1은 기존의 원본 영상[4]과 비교하여 FPS는 약 40% 정도 개선되었다. 그리고 용량의 경우도 약 75% 정도 감소되었지만, 누구나 접근이 가능하여 보안에 노출되어 있다.

제안방법2의 경우는 BMP 파일의 헤더부분만 부분적으로 암호화되어 전송하므로 속도 면에서는 방법1과 차이가 없다. 그러나 평균 용량의 경우는 암호화 수행을 통하여 어느 정도 증가하였지만, 비인가자의 접근 및 기밀성이 보장되므로 보안성은 우수한 편이다.

그림 8은 Viewer에서 실행한 화면의 일부분을 나타낸다. 그림 8에서 흰색으로 보이는 부분은 기준 프레임과 변화(차이)가 없는 부분을 나타낸다. 4개의 파일 들 중에서 서버에 파일로 저장되는 이미지 파일들은 블록 정렬과(a)과 기준 프레임(c)이다. 기준 프레임과 블록 영상(d)은 기준 프레임에 블록 재배치된 결과를 합성한 영상인데 실제 촬영되는 영상이 (d)와 같다. 암호화된 이미지는 Viewer에서 영상을 재생할 때만 복호화를 행한다.

Fig. 8. 
View display in Viewer, (a) Block alignment, (b) Block rearrange, (c) Reference frame, (d) Block synthesis with reference frame

구현된 CCTV 영상 보안시스템은 Visual Studio 15의 C#을 사용하여 구현하였으며, 카메라는 USB WebCam ALC-M600을 사용하였다.